読者です 読者をやめる 読者になる 読者になる

下校時刻

メモ、読んだ本のまとめメモ、考えたことのメモ、その他のメモなどが書いてあるブログです(twitter: @hoture6)

『Bayesian Methods For Hackers』Ch. 7 まとめ

Ch. 7です。


A/Bテストの解釈

サイトAとBのコンバージョン率をそれぞれ$p_A, p_B$とする。MCMCでそれぞれの確率を推定した後、どのくらい差があるかを見たいとする。ここで、それぞれの期待値を取って上昇率を

$$\frac{\hat{p}B - \hat{p}A}{\hat{p}_A}$$

などとしてしまうのは良くない。せっかくベイズ推定で得た不確定性についての情報を完全に無視しているし、この方法だと上昇率を過大評価してしまう可能性が高い。

それよりは、$p_A, p_B$それぞれのMCMCサンプルから$(p_B - p_A) / p_A$のサンプル(事後分布)を作り、

  • 増加する確率はa%
  • 20%以上増加する確率はb%
  • 50%以上増加する確率はc%

などという考察をする方が有意義。

増加率の点推定

とは言っても、ビジネスの人はそんな分布は知ったことでなく、上昇率の値をピンポイントで知りたいことが多い。その時、$(p_B - p_A) / p_A$の分布の

  • 平均値
  • 中央値
  • (例えば)30%点

で推定することが候補にあがるが、もっとも安全なのは最後。このような選択は、過大評価してしまうことに対して損失関数を大きくとることに対応する(!)。また、上記のいずれも$(\hat{p}_{B} - \hat{p}_{A}) / \hat{p}_{A}$とは異なることに注意。