peisuke726 https://blog.hatena.ne.jp/peisuke726/ ABEJA Tech Blog https://tech-blog.abeja.asia/ はじめに こんにちは、Labsチームの藤本です。 弊社は、経済産業省とNEDOが実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の1期に続き、2期にも採択され、そこで大規模言語モデルの開発を進めています。今回は、そのプロジェクトの中で実施した大規模言語モデルの蒸留（Knowledge Distillation）に関する技術的な取り組みをご紹介します。 本蒸留の成果については、以前の記事（https://tech-blog.abeja.asia/entry/geniac2-qwen25-7b-v… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech-blog.abeja.asia%2Fentry%2Fgeniac2-distillation-pipeline-parallel" title="小型LLM「ABEJA Qwen2.5-7B Model」学習のための蒸留のパイプライン並列化 - ABEJA Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/p/peisuke726/20250513/20250513114541.png Hatena Blog https://hatena.blog 2025-05-19 10:34:01 rich https://tech-blog.abeja.asia/entry/geniac2-distillation-pipeline-parallel 1.0 100%