fallpoke https://blog.hatena.ne.jp/fallpoke/ 誰かの技術置き場 https://fallpoke-tech.hatenadiary.jp/ 機械学習 画像処理 Python 備忘録 お疲れ様です。 画像分類モデルのDeiTについて、使う機会があり内容を調べてみたのでメモ的にまとめておきます。 論文 arxiv.org 要約（from ChatGPT） 背景 Vision Transformer (ViT) は自然言語処理のTransformerを画像分類に応用したモデルだが、従来は数億枚規模のデータセット（例: JFT-300M）と大規模計算資源が必要で、一般的な利用は難しかった。 提案手法（DeiT: Data-efficient image Transformers） ImageNet (1.3M枚) のみを使い、単一のGPUノード（8GPU）で 3日以内 に高精度な… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ffallpoke-tech.hatenadiary.jp%2Fentry%2F2025%2F09%2F18%2F233529" title="画像分類モデルDeiTについて調べたまとめ - 誰かの技術置き場" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/f/fallpoke/20250918/20250918232634.png Hatena Blog https://hatena.blog 2025-09-18 23:35:29 rich https://fallpoke-tech.hatenadiary.jp/entry/2025/09/18/233529 1.0 100%