kujira16 https://blog.hatena.ne.jp/kujira16/ くじらにっき++ https://kujira16.hateblo.jp/ 機械学習 自然言語処理 Python 情報検索で使われる単語の重み付け方法のひとつにOkapi BM25というものがあります。文献によって細かな違いはありますが，今回は Wikipediaに載ってるやつ を使うことにします。 それぞれの文書におけるそれぞれの語の重みを表す行列を計算するクラスを作りたいのですが，いろいろと省略すると，以下のような形式の計算を行う必要が出てきます。 ここで， は の疎行列で ， は の密なベクトルで です。 この計算は，NumPyのブロードキャストルールに従えば以下のように書けるはずです。 残念ながら，この通りに書くだけでは都合の悪いことがあります。 は疎行列で，展開するとメモリにやさしくないので疎行… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fkujira16.hateblo.jp%2Fentry%2F2016%2F01%2F20%2F235500" title="Okapi BM25をスパース行列のまま計算するPythonライブラリを作った - くじらにっき++" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://chart.apis.google.com/chart?cht=tx&chl=%5Cdisplaystyle%20W_%7Bi%2Cj%7D%3D%5Cfrac%7BA_%7Bi%2Cj%7D%7D%7BA_%7Bi%2Cj%7D%2Bb_%7Bi%7D%7D Hatena Blog https://hatena.blog 2016-01-20 23:55:00 rich https://kujira16.hateblo.jp/entry/2016/01/20/235500 1.0 100%