eufo https://blog.hatena.ne.jp/eufo/ エムスリーテックブログ https://www.m3tech.blog/ こちらはエムスリー Advent Calendar 2024 17日目の記事です。 AI・機械学習チームの髙橋です。チームでは先週からNeurIPS読み会が開催されており、"Deep Learning Architecture, Infrastructure"という深層学習のアーキテクチャに関するセッションを担当しました。その中でも興味深い一本として"You Only Cache Once: Decoder-Decoder Architectures for Language Models"という論文を勉強会まとめブログで紹介してます。 www.m3tech.blog この論文ではLLMの推論… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.m3tech.blog%2Fentry%2F20241217_flash_attention" title="GPUで高速なモデル推論を実現するために考えること -FlashAttentionはなぜ高速か- - エムスリーテックブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/m3tech/20241220/20241220172340.png Hatena Blog https://hatena.blog 2024-12-17 18:00:00 rich https://www.m3tech.blog/entry/20241217_flash_attention 1.0 100%