flatton https://blog.hatena.ne.jp/flatton/ ABEJA Tech Blog https://tech-blog.abeja.asia/ LLM ABEJAでデータサイエンティストをしている藤原です。 今回は LLM のロングコンテキスト言語処理（Long-context language modeling; LCLM）に関連するブログになります。近年の LLM ではオープン・クローズド問わずより長大なコンテキストを正確に扱えるモデルが増えてきています。このようにロングコンテキストLLMが増えてくると、どのようにモデルのLCLM性能を評価すべきかが課題となります。 しかしながら、日本語の LCLM 評価のデータセットやベンチマークは現状なく、自作するにしても 128k トークンもある文章を人間が読んで品質を担保するのはかなり難しい問題だ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech-blog.abeja.asia%2Fentry%2Flongcontext-llm-massive-values-202509" title="様々なコンテキスト長における LLM の Self-Attention の Query と Key の分析 - ABEJA Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/f/flatton/20250911/20250911211315.png Hatena Blog https://hatena.blog 2025-09-24 13:00:00 rich https://tech-blog.abeja.asia/entry/longcontext-llm-massive-values-202509 1.0 100%