Ryuz88 https://blog.hatena.ne.jp/Ryuz88/ Ryuz's tech blog https://blog.rtc-lab.com/ FPGA 計算機科学 はじめに 少し前に、X(Twitter) にこんな絵を張り付けた。 ちょうど BitNet(b1.58) が盛り上がっていて、パラメータ効率の議論が起こっていたときだと思う。 忘れる前にもう少し書いておこうと思う。 上の図では少なくとも DRAM などの外部メモリや、そこへ読み書きアクセスを行ってパラメータ入れ替えをする機構が要らなくなる分、お得であることは伝わると思う。 大量の演算器リソースと、それを埋め尽くす入力リソースが無いと成り立たないので GAFAM のような企業でないと難しいかもしれないが、確かにコスパのいい推論が出来るはずなのだ。 と言う話だったが、これには続きがある。 ここまで… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.rtc-lab.com%2Fentry%2F2024%2F04%2F04%2F233138" title="パラメータごと合成するという事 - Ryuz&#39;s tech blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/R/Ryuz88/20240404/20240404225654.png Hatena Blog https://hatena.blog 2024-04-04 23:31:38 rich https://blog.rtc-lab.com/entry/2024/04/04/233138 1.0 100%