ukonlly https://blog.hatena.ne.jp/ukonlly/ 開発めも２ https://ukonlly.hatenablog.jp/ perl 言語処理 例えば「ウォークマン」を形態素解析器にかけると、mecabやChasenの場合だと、 「ウォーク|マン」と分けてしまう。 多くの場合、連接する名詞をくっつけて複合名詞とすればうまくいくけど、例外もたくさんある。 単純に連接名詞をとるだけだと、「世界最高新記録並の早さ」を「世界最高新記録並|の|早さ」と分けてしまう。 「世界最高新記録並」は確かにひとつの名詞と呼べそうではあるけど、なんか気持ち悪いです。 つまりどこで区切るのが適切かをコンピュータに自動的に判定させるのは難しいわけなんですが、そこでwikipediaを使います。 wikipediaの各ページは人手で作られているため、その単語（複合… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fukonlly.hatenablog.jp%2Fentry%2F20100831%2F1283246213" title="wikipedia dump を使って複合名詞を判定してみる - 開発めも２" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2010-08-31 18:16:53 rich https://ukonlly.hatenablog.jp/entry/20100831/1283246213 1.0 100%