madoibito80 https://blog.hatena.ne.jp/madoibito80/ そうだね https://madoibito80.hatenablog.jp/ BERTとNLPの基礎について勉強したのでメモ。 paraphrasingとは? どんなタスク? 言い換え。要約とか剽窃検出での応用がある。 named entity recognitionとは? 文中の固有表現にタグをつけるタスク。地名とか時間とか人名とか BERTの学習は穴埋めだという記憶があるが、具体的には? Masked Language Model (MLM)というパラダイム。一定確率で入力単語をMASKして、これを予測するソフトマックス出力のモデルを学習する。 BERTの特徴はBidirectionalな文脈考慮をしていること。これを実現するためにlossも前方予測ではなくMask… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmadoibito80.hatenablog.jp%2Fentry%2F2022%2F06%2F01%2F232616" title="BERT一問一答 - そうだね" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2022-06-01 23:26:16 rich https://madoibito80.hatenablog.jp/entry/2022/06/01/232616 1.0 100%