fanta_orange_grape https://blog.hatena.ne.jp/fanta_orange_grape/ fanta_orange_grapeの（日記というより）記事のつもり https://fanta-orange-grape.hatenablog.com/ AI100の疑問。No.001。Transformerでcifar10が上手く学習できない理由 疑問のステータス 未解決。 疑問の内容 Attention is all you needで有名なTransformerの画像への展開としてViT等があるが、これを画像のデータセットcifar10に適用した場合、たぶん、90%の正解が出せていないと思う。このデータセットは、CNN系のネットワークでは簡単に95%とか、もっと、98％とか出せる（当然、augmentationとかは使う）。 さて、これは何が原因か。 原因として考えられる方向性は2つ。 そもそもデータセットが不適切。CNN系のネットワーク… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ffanta-orange-grape.hatenablog.com%2Fentry%2F2021%2F07%2F17%2F103354" title="【AI100の疑問】No.001: Transformerでcifar10が上手く学習できない理由 - fanta_orange_grapeの（日記というより）記事のつもり" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-07-17 10:33:54 rich https://fanta-orange-grape.hatenablog.com/entry/2021/07/17/103354 1.0 100%