Ninhydrin https://blog.hatena.ne.jp/Ninhydrin/ にんひどりんはんのう https://ninhydrin.hatenablog.com/ 論文読み MLP openreview.net2021/10/8時点でUnder review as a conference paper at ICLR 2022 概要 画像タスクでViTが高い性能を発揮しているが、それは本当にTransformerのアーキテクチャの恩恵なのか、それともパッチに分割するという画像タスクに適した帰納バイアスのおかげなのか。 提案するConvMixerはMLP-MixerをベースにしつつViTの考え方を踏襲した非常にシンプルなモデルだが、ViTやMLP-Mixerよりも優れている。 手法 ConvMixerのアーキテクチャについて。全体図は図2参照。 構造としてはPatch Em… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fninhydrin.hatenablog.com%2Fentry%2F2021%2F10%2F08%2F101136" title=" [論文メモ] Patches Are All You Need? - にんひどりんはんのう" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/N/Ninhydrin/20211008/20211008101053.png Hatena Blog https://hatena.blog 2021-10-08 10:11:36 rich https://ninhydrin.hatenablog.com/entry/2021/10/08/101136 1.0 100%