meetsmore https://blog.hatena.ne.jp/meetsmore/ ミツモア Tech blog https://engineering.meetsmore.com/ ※こちらはミツモアAdvent Calendar 2024の12/10の記事です こんにちは、ミツモアプロダクト部データグループの増田(@masudahiroto.bsky.social)です。ミツモアでは、データドリブンでプロダクトを改善するために数多くのABテストを実施しています。その際に、事前に必要なサンプルサイズを見積もり、実験期間を算出しています。 先日、ランダムなABテストではなくDID（差分の差分法）を使った場合に、有意差検定やサンプルサイズ計算をどのように進めるべきかについて考える機会がありました。本記事では、その際に考えたメモを公開します。 ABテストとDIDの違い ABテス… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fengineering.meetsmore.com%2Fentry%2F2024%2F12%2F10%2F165246" title="DIDでの有意差検定やサンプル数推定について考えた - ミツモア Tech blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-12-10 16:52:46 rich https://engineering.meetsmore.com/entry/2024/12/10/165246 1.0 100%