Hironsan https://blog.hatena.ne.jp/Hironsan/ Ahogrammer https://hironsan.hatenablog.com/ 機械学習 PyTorch QLoRAについて少し書く機会があったので、その要素技術であるブロックごとの量子化（block-wise quantization）の解説とその実装をしてみました。実際のところ、bitsandbytesなどのライブラリに実装されているので、自前で実装する必要はまったくないのですが、学習用兼サボってたブログのリハビリ用です。 量子化 量子化とは、浮動小数点数を整数による表現に変換する技術です。たとえば、モデルの重みが32ビットの浮動小数点数として格納されているとします。量子化によって、これらの重みは32ビットからたとえば8ビットの整数に変換できます。量子化は計算時間やメモリ使用量を削減できる一方… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhironsan.hatenablog.com%2Fentry%2Fblock-wise-quantization" title="ブロックごとの量子化を実装する - Ahogrammer" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/H/Hironsan/20250107/20250107202125.jpg Hatena Blog https://hatena.blog 2025-01-07 20:48:47 rich https://hironsan.hatenablog.com/entry/block-wise-quantization 1.0 100%