wwacky https://blog.hatena.ne.jp/wwacky/ wwackyの備忘録 https://wwacky.hateblo.jp/ 論文読み 目次 概要 提案手法の内容 Digit Tokenization(DT) Random Shift(RS) pre-training用のNumerical Data (ND)の生成 pre-training用のTextual Data (TD)の生成 追加pre-trainingの方法 数値実験 ND・TDによる追加pre-trainの効果 Digit Tokenizationの効果 言語理解能力を失っていないかの確認 GENBERTの重みは、GENBERT以外のアーキテクチャでも利用できるか？ 補足 リンク 論文：[2004.04487] Injecting Numerical Reason… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwwacky.hateblo.jp%2Fentry%2Finjecting-numerical-reasoning-skills-into-language-models" title="Injecting Numerical Reasoning Skills into Language Models を読んだ - wwackyの備忘録" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/w/wwacky/20210214/20210214220713.png Hatena Blog https://hatena.blog 2021-02-15 01:11:36 rich https://wwacky.hateblo.jp/entry/injecting-numerical-reasoning-skills-into-language-models 1.0 100%