espio999 https://blog.hatena.ne.jp/espio999/ Technically Impossible https://impsbl.hatenablog.jp/ AI IT Python 話題 年初から大規模言語モデルの概要に触れていくうちに、芽生え始めたアイデアが確率論としての言語生成だった。適切な言葉が出力される「真の」確率モデルが存在しており、大規模言語モデルを真のモデルへ近づけていくようなイメージだ。書籍『大規模言語モデルは新たな知能か』*1には、「圧縮機としての言語モデル」というコラムが掲載されていた。手短に記せば、次のようなことが書かれていた。 言語を生成しているで「あろう」確率分布に基づいた符号化→大規模言語モデル データを生成している確率分布に基づいた符号化→データ圧縮 言語モデル＝言語の可逆データ圧縮 そして偶然たどり着いたのが、次のブログ投稿だった。この投稿で紹介… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fimpsbl.hatenablog.jp%2Fentry%2FSpeechOfLZMA" title="圧縮アルゴリズムとランダム・データによる言葉生成 - Technically Impossible" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/e/espio999/20230903/20230903012724.png Hatena Blog https://hatena.blog 2023-09-03 02:25:04 rich https://impsbl.hatenablog.jp/entry/SpeechOfLZMA 1.0 100%