taku-buntu https://blog.hatena.ne.jp/taku-buntu/ びぼーろぐ https://taku-buntu.hateblo.jp/ モデル圧縮 論文 hint learnig 蒸留 arxiv.org 2014/12 一言でいうと knowledge distillationの拡張。今回の生徒モデルは教師モデルよりも深くて細長いモデル。教師モデルの出力だけを使うのではなく、中間特徴も生徒モデルの最終結果（出力層の結果）を改善させるために、ヒントとして利用する。生徒モデルの中間層のパラメータ数は、教師モデルのものよりも少ないため、それらをマッチングさせるマップの役割を果たすパラメータが導入される。これにより、深い生徒モデルはおよそ10.4倍のパラメータを削減できた。 得られたdeep and thinな生徒モデルを(FitNet)と呼ぶ。 結論 教師の中間層から中間レベルの… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftaku-buntu.hateblo.jp%2Fentry%2F2019%2F01%2F08%2F171510" title="FITNETS: HINTS FOR THIN DEEP NETS - びぼーろぐ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://chart.apis.google.com/chart?cht=tx&chl=%20%5Cmathcal%20%7B%20L%20%7D%20_%20%7B%20K%20D%20%7D%20%5Cleft%28%20%5Cmathbf%20%7B%20W%20%7D%20_%20%7B%20%5Cmathbf%20%7B%20S%20%7D%20%7D%20%5Cright%29%20%3D%20%5Cmathcal%20%7B%20H%20%7D%20%5Cleft%28%20%5Cmathbf%20%7B%20y%20%7D%20_%20%7B%20%5Ctext%20%7B%20true%20%7D%20%7D%20%2C%20%5Cmathbf%20%7B%20P%20%7D%20_%20%7B%20%5Cmathbf%20%7B%20S%20%7D%20%7D%20%5Cright%29%20%2B%20%5Clambda%20%5Cmathcal%20%7B%20H%20%7D%20%5Cleft%28%20%5Cmathbf%20%7B%20P%20%7D%20_%20%7B%20%5Cmathrm%20%7B%20T%20%7D%20%7D%20%5E%20%7B%20%5Ctau%20%7D%20%2C%20%5Cmathbf%20%7B%20P%20%7D%20_%20%7B%20%5Cmathbf%20%7B%20S%20%7D%20%7D%20%5E%20%7B%20%5Ctau%20%7D%20%5Cright%29 Hatena Blog https://hatena.blog 2019-01-08 17:15:10 rich https://taku-buntu.hateblo.jp/entry/2019/01/08/171510 1.0 100%