SmartNewsのPUSH配信最適化に関する記事を読んだのでメモ

Take aways

Push配信回数が多いほうが短期的に（2週間程度）Engagement指標（DAUなど）がControlに比べてリフトした
しかし長期的（6ヶ月程度）に見るとチャーン等が発生しControlに負ける結果となった
基礎分析の結果以下がわかった
- Existing usersとNew usersで異なる反応を示しており、New usersは特にPush配信を増やしたときのNegative Impactが大きかった
- Existing usersは長期間サービスを利用しているユーザーであり生存バイアスが働いていると推察できる
- 一方New usersはサービスの使い始めなので、あらゆるpushにnoticeableかつsensitiveになっている
- 以上の基礎分析から、登録日の長さに比例するようにPUSH配信をaddaptiveに増やす戦略を実施した
よりone-to-oneな世界にするため、short/long-termリフトをミックスしたValue functionを目的関数としてMLモデルの構築をし、Engagement指標の15％リフトを達成した

感想

こういうlong-termにTreat/Controlの比較ができる環境って案外難しい。

社内全体を巻き込んでUniversal Controlを置いたり、他のチームのTreatmentになったとしてもランダム割り付けであるか保証したり、諸々大変そう。でもこういう会社全体でのA/Bテストデザインって勉強したことないな。