PrimeNumber
https://blog.hatena.ne.jp/PrimeNumber/
prime's diary
https://primenumber.hatenadiary.jp/
皆さん、3値データ、使っていますか？ どうやら最近はLLMの文脈で3値データが注目を浴びているようです。 arxiv.org この論文では、重みに3値データを使うことで大幅な軽量化が可能、という触れ込みです。 ここ一か月でも動作する実装が公開されたり、続きの論文が発表されるなど、ホットな状況が続いています。 3値(ternary)データとは、3種類の値を取るデータのことです。 3種類の値の例としては、の他に、や、、 などもあります。 ✊↔0, ✌↔1, ✋↔2のように、あらかじめとの対応関係を決めておくことで、これらの値をで表現することができます。 以下、3値データはの形で表されているものとし…
190
<iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fprimenumber.hatenadiary.jp%2Fentry%2F2024%2F11%2F10%2F105201" title="効率的かつハードウェアフレンドリーな3値データのエンコーディングの提案 【Densely Packed Ternary, DPT】 - prime's diary" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe>
Hatena Blog
https://hatena.blog
2024-11-10 10:52:01
効率的かつハードウェアフレンドリーな3値データのエンコーディングの提案 【Densely Packed Ternary, DPT】
rich
https://primenumber.hatenadiary.jp/entry/2024/11/10/105201
1.0
100%