Ch. 7です。

A/Bテストの解釈

サイトAとBのコンバージョン率をそれぞれ$p_A, p_B$とする。MCMCでそれぞれの確率を推定した後、どのくらい差があるかを見たいとする。ここで、それぞれの期待値を取って上昇率を

$$\frac{\hat{p}B - \hat{p}A}{\hat{p}_A}$$

などとしてしまうのは良くない。せっかくベイズ推定で得た不確定性についての情報を完全に無視しているし、この方法だと上昇率を過大評価してしまう可能性が高い。

それよりは、$p_A, p_B$それぞれのMCMCサンプルから$(p_B - p_A) / p_A$のサンプル（事後分布）を作り、

などという考察をする方が有意義。

増加率の点推定

とは言っても、ビジネスの人はそんな分布は知ったことでなく、上昇率の値をピンポイントで知りたいことが多い。その時、$(p_B - p_A) / p_A$の分布の

で推定することが候補にあがるが、もっとも安全なのは最後。このような選択は、過大評価してしまうことに対して損失関数を大きくとることに対応する（！）。また、上記のいずれも$(\hat{p}_{B} - \hat{p}_{A}) / \hat{p}_{A}$とは異なることに注意。