e4exp https://blog.hatena.ne.jp/e4exp/ 学んだことメモ https://e4exp.hatenablog.com/ DeepLearning NLP Programming Transformer コード生成 論文読み Competition-Level Code Generation with AlphaCode 2022/02 https://storage.googleapis.com/deepmind-media/AlphaCode/competition_level_code_generation_with_alphacode.pdf 自然言語からコード生成するシステムAlphaCodeを提案 モデルは巨大な(最大41B)transformer encode-decoder GitHubのオープンソースコード715.1GB分で事前学習 学習サンプルをランダムに前後に分け前半をencoder, 後半を… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fe4exp.hatenablog.com%2Fentry%2F2022%2F02%2F04%2F131517" title="競技プログラミングのコード生成で上位54%以内を達成，AlphaCode - 学んだことメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/e/e4exp/20220204/20220204130714.png Hatena Blog https://hatena.blog 2022-02-04 13:15:17 rich https://e4exp.hatenablog.com/entry/2022/02/04/131517 1.0 100%