shot4410 https://blog.hatena.ne.jp/shot4410/ SB Intuitions TECH BLOG https://www.sbintuitions.co.jp/blog/ 概要 SB IntuitionsのSeng Pei Liew、李凌寒、高瀬翔です。 弊社では日本語能力に主眼を置いた大規模言語モデルの構築に取り組んでおり、パラメータの大規模化のための施策として、学習済みの70Bパラメータ*1をMixture-of-Experts（MoE）モデルに拡張し、事前学習を行ったモデルをSarashina2-8x70Bとして公開しました。 言語モデルの100Bパラメータ以上までの大規模化はまだ弊社でも試行錯誤の段階にあり、引き続き大規模なモデルの学習を行っていますが、 本記事では先日公開したSarashina2-8x70Bの性能やMoE、学習済モデルのMoEモデルへの… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.sbintuitions.co.jp%2Fblog%2Fentry%2F2024%2F11%2F25%2F175000" title="Sarashina2-8x70Bの公開 - SB Intuitions TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/shot4410/20241124/20241124201523.png Hatena Blog https://hatena.blog 2024-11-25 17:50:00 rich https://www.sbintuitions.co.jp/blog/entry/2024/11/25/175000 1.0 100%