TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ ほぼ個人メモです。画像認識のモデルで、畳み込みを使わずMLPのみ同等の精度が出せるというMLP Mixerの発展形であるgMLPを試してみた。 gMLP チャネル方向と、空間方向に分けてMLPを適用する構成は、MLP Mixerと同じだが、Spatial Gating Unit (SGU)という仕組みを使うことで、空間的相互作用をとらえられるようになり、非正方形の畳み込みを学習することができるそうだ。 過学習しやすいため、強い正則化が必要らしい。ただし、画像認識の精度は最高精度の畳み込みのモデルには及ばないようだ。 自然言語処理にも使えて、タスクによってはBERTと同等の精度になるようだ。Re… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2022%2F05%2F11%2F234241" title="gMLPを試す - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/T/TadaoYamaoka/20220511/20220511230417.png Hatena Blog https://hatena.blog 2022-05-11 23:42:41 rich https://tadaoyamaoka.hatenablog.com/entry/2022/05/11/234241 1.0 100%