akkikiki https://blog.hatena.ne.jp/akkikiki/ Topics Related to Computers and NLP https://akkikiki.hatenadiary.org/ 先日tkngさんより「CRFの目的関数は凹関数なので局所最適解は存在しない」とご指摘を受けたのですが、「あれ、凹関数であることをどうやって示せばいいのかな？」と考え、調べた結果をまとめます。大学１年生レベルの内容ですが復習がてらです。 Claim: CRFの目的関数は凹関数である。 まずこれを示すためにはある関数が凹関数であることをどうやって示すのか？ Lemma 1: 凹関数であることを示すには関数の二階微分が正であることを示せばよい。多次元の引数を取る場合、ヘッセ行列が半正定値対称行列であることを示せばよい。 何でこれでよいか？と聞かれるとまだ説明ができませんが、イメージとしてあるのは「傾… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fakkikiki.hatenadiary.org%2Fentry%2F20140330%2F1396193579" title="CRFの目的関数が凹関数（concave function）であるかの証明 - Topics Related to Computers and NLP" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2014-03-30 00:32:59 rich https://akkikiki.hatenadiary.org/entry/20140330/1396193579 1.0 100%