Ninhydrin https://blog.hatena.ne.jp/Ninhydrin/ にんひどりんはんのう https://ninhydrin.hatenablog.com/ Attention ViT 論文読み MLP arxiv.org あくまで個人的メモレベル 概要 ViTのように近年ではTransformerのCV分野への応用が活発だが、画像認識においてself-attentionが高パフォーマンスを得るための鍵なのか調査し、最近また再燃しているMLPモデルを改良したattention-freeなsMLPNetを提案。 導入 ViTやDeiTなど、適切な事前学習をしたtransformer系のビジョンモデルは画像認識でSOTAを達成した。 DeiTなどの畳み込みのないViTは2つの固定観念的なものを生み出した 1) グローバルな依存関係のモデリングが重要で、畳み込みのようなローカルな依存関係を置き換えら… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fninhydrin.hatenablog.com%2Fentry%2F2021%2F09%2F16%2F101038" title=" [論文メモ] Sparse MLP for Image Recognition: Is Self-Attention Really Necessary? - にんひどりんはんのう" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/N/Ninhydrin/20210915/20210915094335.png Hatena Blog https://hatena.blog 2021-09-16 10:10:38 rich https://ninhydrin.hatenablog.com/entry/2021/09/16/101038 1.0 100%