Hal40n https://blog.hatena.ne.jp/Hal40n/ ゼロからAI理論を再構築する https://serenewealth.net/ 機械学習 前回までにTransformerの仕組みを見てきました。ここからの問題は、そのTransformerに何をどう学習させるかです。 人間がラベルを付けたデータで学習させる（教師あり学習）には量の限界があります。一方、インターネット上にはラベルのないテキストが大量にある。このテキストそのものを使って、ラベルなしで学習できないか。それが事前学習の発想です。 事前学習：ラベルなしで学習する仕組み 事前学習では、テキストに対して自動的に「問題」を作り出します。方法は主に2つあります。 穴埋め問題（Masked Language Modeling）は、文章の一部を隠して、周囲の文脈からそこに入る単語を当て… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fserenewealth.net%2Fentry%2F2026%2F03%2F15%2F190000" title="事前学習とBERT・GPTの違い - ゼロからAI理論を再構築する" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2026-03-15 19:00:00 rich https://serenewealth.net/entry/2026/03/15/190000 1.0 100%