skurukuru https://blog.hatena.ne.jp/skurukuru/ 学も衒うし、奇も衒う https://skurukuru.hatenablog.com/ メモ書き程度の考察．全く別のことを考えていた際に下の考察を思いついたが，[Wang+ ICLR 2022]を見つけてしまったので供養を込めて投稿する． 自己注意機構は本質的にローパスフィルタである．この事実を2通りの数式で眺める． (1) 確率行列としての固有値構造 [Wang+ ICLR 2022] (2) 熱核近似によるラプラシアン拡散 なお，先に論文紹介． [Wang+ ICLR 2022] Theorem 1 openreview.net[Choi+ NeurIPS 2024]深層での過平滑化（oversmoothing）現象を指摘している． openreview.net [Wang+… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fskurukuru.hatenablog.com%2Fentry%2F2025%2F05%2F07%2F051431" title="自己注意機構はローパスフィルタである． - 学も衒うし、奇も衒う" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-05-07 05:14:31 rich https://skurukuru.hatenablog.com/entry/2025/05/07/051431 1.0 100%