TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ MoE 前回、ONNXにエクスポートしたカスタムノードに対応する処理をTensorRTのプラグインで実装する。 TensorRTのプラグイン 公式ドキュメントに記載されている通り、プラグインクラスとプラグイン クリエーターを実装する。 プラグインがREGISTER_TENSORRT_PLUGINで登録されていると、ONNXのパーサが自動でカスタムノードをプラグインに置換する。 今回は、互換性を優先して、TensorRT 8ベースで実装する。 TensorRT 8ベースだと、nvinfer1::IPluginV2DynamicExtを継承したプラグインクラスと、nvinfer1::IPluginCrea… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2026%2F05%2F25%2F214812" title="dropless MoE(Mixture of Experts)を試す その3(プラグイン) - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2026-05-25 21:48:12 rich https://tadaoyamaoka.hatenablog.com/entry/2026/05/25/214812 1.0 100%