kyotaw https://blog.hatena.ne.jp/kyotaw/ https://kyotaw.hatenablog.jp/ 前回でChaSen形式のコーパスリーダーを作ったので、続いてコーパス中に出てくる単語を集めて語彙辞書を作ります。この辞書を形態素解析器の単語知識のソースにする予定です。 語彙辞書のフォーマット まず辞書のフォーマットを次のように決めておきます。 ・1行につき1単語を書く ・1単語についての情報量と表現形式はChaSen形式を使う ・単語は重複しない（つまり、見出し形、読み、原形、品詞、活用種別・型が全て同じ単語は複数存在しない） ・五十音順は特に気にしない辞書の一部の例を挙げれば以下のような感じです。 戦い タタカイ 戦う 動詞-自立 五段・ワ行促音便 連用形 戦い タタカイ 戦い 名詞-一般… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fkyotaw.hatenablog.jp%2Fentry%2F2015%2F03%2F08%2F152233" title="形態素解析のための語彙辞書を作る - " class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2015-03-08 15:22:33 rich https://kyotaw.hatenablog.jp/entry/2015/03/08/152233 1.0 100%