Hyperion64 https://blog.hatena.ne.jp/Hyperion64/ サイエンスとサピエンス https://hyperion64-universe.hatenadiary.org/ 大規模言語モデルは文字通り深層学習のDeeperで規模が破格なモデルです。 GPTの系列を見てもその内部パラメータや訓練データの数値の大きさは圧倒的です。しかも、年々増加しているわけですね。 LLM製品 公開年 訓練データ量 パラメータ数 GPT-1 2018 約30億トークン １２０,０００,０００ GPT-2 2019 約２８０億トークン １,５００,０００,０００ GPT-3 2020 約４０００億トークン １７,５０００,０００,０００ PaLM 2022 約７８００億トークン ５４,００００,０００,０００ GPT-4 2023 （非公開；約１兆トークン） （非公開：数千億～数兆） … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhyperion64-universe.hatenadiary.org%2Fentry%2F2024%2F07%2F10%2F091749" title="Transformerの示すスケーリング則とフラクタル性 - サイエンスとサピエンス" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/H/Hyperion64/20240710/20240710090508.jpg Hatena Blog https://hatena.blog 2024-07-10 09:17:49 rich https://hyperion64-universe.hatenadiary.org/entry/2024/07/10/091749 1.0 100%