TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ 前回、単純なTransformerで学習を試した。 出力層を全てのトークンの全結合としていたため、パラメータ数の半分近くを占めており効率が悪かった。 今回は、出力層の全結合の前に、カーネルサイズ1の畳み込み層を追加することで、チャンネル方向に圧縮を行い、学習が効率化できるか試した。トークンの方向に圧縮する場合と、埋め込みの次元方向に圧縮する場合の2パターンを試した。 トークン方向に圧縮 方策と価値の出力層の全結合の前に、カーネルサイズ1のConv1dを追加し、トークンを16に圧縮する。 def __init__(self, ntoken=96, d_model=256, nhead=8, di… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2024%2F05%2F26%2F172910" title="大規模言語モデルで将棋AIを作る その３（出力層の構成） - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-05-26 17:29:10 rich https://tadaoyamaoka.hatenablog.com/entry/2024/05/26/172910 1.0 100%