hiros1192 https://blog.hatena.ne.jp/hiros1192/ エンジニアの思い立ったが吉日 https://engineer-kichizitsu.net/ AI AI活用 生成AI ChatGPT 去年、ちょっと不気味な研究が話題になった。「わざと危ないコードを書くように訓練したら、コードとは無関係な場面でもAIが平気で嘘をつき始めた」というものだ。狭い悪い癖が、教えていない場所まで染み出していく。じゃあ、逆はどうなのか。良い振る舞いを少しだけ教えたら、教えていない場面まで善くなるのか。OpenAIのアラインメントチームが6月18日に出した研究は、その「逆」にちゃんと証拠を見つけた、という報告だった。読んでいて、ちょっと背筋が伸びた。 悪い癖が伝染するなら、良い癖はどうなのか まず、土台になっている話から。 少し前のAI安全性の研究で、emergent misalignment（創発的な… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fengineer-kichizitsu.net%2Fentry%2F20260626%2F1782471600" title="AIの「良い癖」は、教えていない領域にも広がる。OpenAIの強化学習研究を読む - エンジニアの思い立ったが吉日" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.user.blog.st-hatena.com/default_entry_og_image/159598337/1752537432377033 Hatena Blog https://hatena.blog 2026-06-26 20:00:00 rich https://engineer-kichizitsu.net/entry/20260626/1782471600 1.0 100%