TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ MoE 前回、Pythonで実装したエンジンビルドスクリプトで保存した.engineを読み込んで、TensorRTで推論する処理をC++で実装する。 推論処理 TensorRTのライブラリの使用がメインである。 デフォルトで、CUDA Graphを有効にしている。 CUDA Graphは、プラグインでCUDAカーネルを呼び出す際のオーバーヘッドを削減する仕組みである。 infer.cpp #include <NvInfer.h> #include <NvInferPlugin.h> #include <cuda_runtime_api.h> #include <dlfcn.h> #include <a… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2026%2F05%2F29%2F235122" title="dropless MoE(Mixture of Experts)を試す その5(推論処理) - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2026-05-29 23:51:22 rich https://tadaoyamaoka.hatenablog.com/entry/2026/05/29/235122 1.0 100%