hoxo_m https://blog.hatena.ne.jp/hoxo_m/ ほくそ笑む https://hoxo-m.hatenablog.com/ R 統計 作った Web における A/B テストでは、ランダム化単位と分析単位が異なるということがよくあります。 例えば、A か B かのランダム割付がユーザーごとに行われるのに対して、評価指標として分析したいのはページビューごとのクリック率だったりします。 この場合、ランダム化単位はユーザー、分析単位はページビューということになります。 一般に、Web の A/B テストはサンプルサイズが非常に大きいため、中心極限定理により平均値は正規分布に従うと仮定できるので、Z検定がよく使われます。 しかし、ランダム化単位と分析単位が異なると、この Z検定にまずいことが起きます。 具体的には、一人のユーザーが複数のペー… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhoxo-m.hatenablog.com%2Fentry%2F2025%2F03%2F05%2F080000" title="デルタ法を使った統計的仮説検定を行うパッケージ deltatest をリリースしました - ほくそ笑む" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/h/hoxo_m/20250305/20250305012135.png Hatena Blog https://hatena.blog 2025-03-05 08:00:00 rich https://hoxo-m.hatenablog.com/entry/2025/03/05/080000 1.0 100%