chakoku https://blog.hatena.ne.jp/chakoku/ chakokuのブログ(rev4) https://chakoku.hatenablog.com/ 背景：「LLM自作入門」(LLM from Scratch(ChatGPTでは、Raschka本と言ってきた))を読んでミニマムLLMを作る(その2) 課題：「2.8章 単語の位置をエンコードする」まで読んで来た。トークンの位置は絶対位置情報を使い、乱数で生成した位置組み込み(pos_embeddings)をトークンのテンソルに加算すると書かれている。が・・・トークンのテンソルに足してしまったら位置なんて分からないのでは？？という疑問と、「3.3章 Self-Attentionを使って入力の異なる部分に注意を払う」がどう関係しているのか、分からなくなった 取り組み：ChatGPTに「LLM f… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fchakoku.hatenablog.com%2Fentry%2F2026%2F01%2F01%2F222236" title="LLM自作入門でミニマムなLLMを作る(その２) - chakokuのブログ(rev4)" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/c/chakoku/20260101/20260101222549.png Hatena Blog https://hatena.blog 2026-01-01 22:22:36 rich https://chakoku.hatenablog.com/entry/2026/01/01/222236 1.0 100%