e4exp https://blog.hatena.ne.jp/e4exp/ 学んだことメモ https://e4exp.hatenablog.com/ DeepLearning Pre-Training Self-Supervised Transformer 論文読み Data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language 2022/01 https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language 音声、自然言語処理、コンピュータビジョンのいずれに対しても同じ学習手法を用いるフレームワーク、data2vecを提案 同一モデルを教師/生徒モードで使用する自己蒸… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fe4exp.hatenablog.com%2Fentry%2F2022%2F02%2F04%2F175836" title="data2vec: 画像，音声，言語を同じ手法で事前学習できる一般的フレームワーク - 学んだことメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/e/e4exp/20220204/20220204175537.png Hatena Blog https://hatena.blog 2022-02-04 17:58:36 rich https://e4exp.hatenablog.com/entry/2022/02/04/175836 1.0 100%