<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<oembed>
  <author_name>kanmu-tech</author_name>
  <author_url>https://blog.hatena.ne.jp/kanmu-tech/</author_url>
  <blog_title>カンム テックブログ</blog_title>
  <blog_url>https://tech.kanmu.co.jp/</blog_url>
  <categories>
  </categories>
  <description>エンジニアの佐野です。Synapse という社内 AI エージェントを運用しています。Synapse のような AI エージェントは LLM やプロンプト、セマンティックレイヤーの変更によって回答品質が急に落ちることがあります。そこで今回は、Synapse の回答品質を継続的に評価するために、SQL の Execution Accuracy、参照テーブルの完全一致、自然言語回答の Rubric 評価を組み合わせたテスト基盤を作った話を書きます。目的は LLM の回答を100%正しくすること、ではなく、利用者にとって困るデグレを早く検知すること、です。 生成 AI は出力に不確実性を孕んでおり、…</description>
  <height>190</height>
  <html>&lt;iframe src=&quot;https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.kanmu.co.jp%2Fentry%2F2026%2F09%2F29%2F140214&quot; title=&quot;Synapse開発日記: AIエージェントの回答品質を継続的にテストする - カンム テックブログ&quot; class=&quot;embed-card embed-blogcard&quot; scrolling=&quot;no&quot; frameborder=&quot;0&quot; style=&quot;display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;&quot;&gt;&lt;/iframe&gt;</html>
  <image_url>https://cdn-ak.f.st-hatena.com/images/fotolife/k/kanmu-tech/20260330/20260330131704.png</image_url>
  <provider_name>Hatena Blog</provider_name>
  <provider_url>https://hatena.blog</provider_url>
  <published>2026-09-29 14:02:14</published>
  <title>Synapse開発日記: AIエージェントの回答品質を継続的にテストする</title>
  <type>rich</type>
  <url>https://tech.kanmu.co.jp/entry/2026/09/29/140214</url>
  <version>1.0</version>
  <width>100%</width>
</oembed>
