llamerada https://blog.hatena.ne.jp/llamerada/ llameradaの日記 https://llamerada.hatenadiary.org/ Googleで利用されている分散データ処理言語SawzallのOSS実装 szl が公開されました。 公開されたソースの中にはSawzallの実行環境の他に大規模データ向けの統計ライブラリが含まれています。この統計ライブラリには高度なアルゴリズムが実装されているので、これを他の言語からも利用できると便利だなと思い、C++, Ruby, Pythonから利用できるようにしました。 便利な統計アルゴリズムの1つに出現回数が上位のN件の要素の抽出(top-N)があります。 top-Nを求める具体例としては、自然言語処理でよく使う、出現回数上位の単語を求める処理があります。この処理の単純な実装では、ま… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fllamerada.hatenadiary.org%2Fentry%2F20101113%2F1289650030" title="Googleの分散データ処理言語Sawzallの統計ライブラリをC++, Ruby, Pythonから利用するライブラリSZaruを公開しました - llameradaの日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2010-11-13 21:07:10 rich https://llamerada.hatenadiary.org/entry/20101113/1289650030 1.0 100%