fogelklou https://blog.hatena.ne.jp/fogelklou/ RevComm Tech Blog https://tech.revcomm.co.jp/ 研究紹介 Research Engineerの大野です。 新しいスライドを公開したのでご紹介します。 speakerdeck.com スライドの概要 ここでは、機械学習モデルの学習の際のメモリ要件を下げることができる、Low-Rank Adaptation (LoRA) の評価を行いました。 言語モデルの大きさが加速度的に増えており、それに伴いハードウェアの要件が大きくなっています。第1回LLM勉強会の資料の図を下記に引用し、近年に作成された言語モデルのパラメータ数を示します。 第1回LLM勉強会の資料の図 評価では、対話要約のデータセットである[Gliwa 19]のSAMSumコーパス（コーパスへのリ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.revcomm.co.jp%2Freduce-memory-lora" title="スライド紹介: LoRAによるメモリ使用量削減の検証 - RevComm Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/f/fogelklou/20230628/20230628170058.png Hatena Blog https://hatena.blog 2023-07-03 10:00:00 rich https://tech.revcomm.co.jp/reduce-memory-lora 1.0 100%