hiroppon https://blog.hatena.ne.jp/hiroppon/ 中年engineerの独り言 - crumbjp https://crumbjp.hateblo.jp/ 自然言語 やはりcanopyが厄介だ。。 T2サンプリングの問題 自然言語処理では物凄くスパースなベクトルを扱ってるので canopy(T2)の段階で、クラスタ数が必要以上に増える。その後、canopy(T1)で重心算出すると、２０個以上の重心がT2内に入ってる状態になったりする。 後処理しても、、 後からそれらを纏めてしまう事もできるが、そもそも必要以上の重心を作ってしまったT2サンプリングに問題があるように思える。只でさえ、並列化の難しいアルゴリズムなのに、 本来必要な比較回数の数十倍の比較回数を処理しなければならないのが無駄だ。 代替案 T2サンプリング時に、逐一、重心算出をしながら行えば、ベクト… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fcrumbjp.hateblo.jp%2Fentry%2F20130917%2F1379383133" title="自然言語処理の落書き（canopy問題） - 中年engineerの独り言 - crumbjp" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2013-09-17 10:58:53 rich https://crumbjp.hateblo.jp/entry/20130917/1379383133 1.0 100%