kopo3 https://blog.hatena.ne.jp/kopo3/ ふさふさ日記 https://bio-linux-etc.hatenablog.com/ とりあえず、Wikipediaから抽出したテキストに自分の興味のある分野のテキストを足してGoogle BERTで事前学習させてみたところ、Pytorch形式まで変換することに成功した。しかし、文の一部をmaskingして中に入る単語を予測させると一文字単語しか出てこない。しかも必ずしも適切な単語でもない。う〜ん、結局何をやっているか訳も分からずやっているのがダメなのだろうと色々と本を読み始めたが、とにかく分からない。題名の書籍はBERTを初めから構築することを通して理解できるようにする、というものだそうだが、途中でTensorflowが出てきて、結局このモジュールの理解が全然できていないので… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbio-linux-etc.hatenablog.com%2Fentry%2F2022%2F02%2F17%2F173344" title="作ってわかる！自然言語処理AI(坂本俊之) - ふさふさ日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2022-02-17 17:33:44 rich https://bio-linux-etc.hatenablog.com/entry/2022/02/17/173344 1.0 100%