Ninhydrin https://blog.hatena.ne.jp/Ninhydrin/ にんひどりんはんのう https://ninhydrin.hatenablog.com/ 論文メモ ViT ResNet augmentation arxiv.orgMeta AI ただの教師あり学習だけ(自己教師あり学習なし)でVision Transformerのパフォーマンスを向上させた。 Vision Transformer(ViT)はconvolutionのような帰納バイアスが無い分能力は高いが学習しパフォーマンスを出すのが難しく、事前学習としてBerTのような自己教師あり学習が重要と考えられてきたが本当にそうなのか？というお気持ち あくまでこの議論を盛り上げようということ。 手法 VIT用に教師あり学習を工夫する。具体的には augmentationの見直し 正則化追加 lossの見直し crop方法の見直し 低解像度でのカリ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fninhydrin.hatenablog.com%2Fentry%2F2022%2F04%2F20%2F101448" title=" [論文メモ] DeiT III: Revenge of the ViT - にんひどりんはんのう" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/N/Ninhydrin/20220419/20220419091058.png Hatena Blog https://hatena.blog 2022-04-20 10:14:48 rich https://ninhydrin.hatenablog.com/entry/2022/04/20/101448 1.0 100%