Лабораторна робота №4

Прикладний статистичний аналіз

Опис завдання

А/А-тестування мобільного застосунку.

Необхідно порахувати результати A/A-тесту, перевіряючи метрику якості FPR (будемо перевіряти на конверсії в покупку). Відомо, що спліт-система зламана.

Потрібно перевірити твердження про поломку і знайти її причини, якщо спліт-система дійсно зламана.

	uid	experimentVariant	version	purchase
1	c4ca4238a0b923820dcc509a6f75849b	1	v2.8.0	0
2	c81e728d9d4c2f636f067f89cc14862c	0	v2.9.0	0
3	eccbc87e4b5ce2fe28308fd9f2a7baf3	1	v2.9.0	0
4	a87ff679a2f3e71d9181a67b7542122c	1	v2.8.0	0
5	e4da3b7fbbce2345d7772b0674a318d5	1	v2.8.0	0
...	...	...	...	...
127014	d1f082ede77b17a99a9b0b240daf7bdf	0	v2.8.0	0
127015	94f0d540830ccdc6b29c1938eea445cc	0	v2.8.0	0
127016	709f74cf9721328e98be6f216e8a05a8	1	v2.9.0	0
127017	1767ae3f8ffec269d9ed0ac0ede68d90	1	v2.8.0	0
127018	8dd8503c49b5e8c6aaea1ed7f0c49765	1	v2.8.0	0

127018 rows × 4 columns

Опис колонок

• uid - ідентифікатор користувача
• experimentVariant - варіант експерименту
• version - версія додатка
• purchase - факт покупки

Завдання

1. Запустіть A/A-тест.
2. Порахуйте FPR на рівні \(\alpha\) = 0.05 (ставте підвибірки без повернення обсягом 1000). Ви побачите, що \(FPR > \alpha\)! Нам потрібно навпаки - щоб було менше.
3. Знайдіть причини поломки спліт-системи, орієнтуючись на результати експерименту (підказка: знайдіть аномалію у версії додатка).
4. Напишіть висновки, які можна зробити на основі аналізу результатів A/A-тесту.

Підказка: як знайти причини поломки?

Вам доступна версія мобільного застосунку (МЗ) кожного користувача. Цю корисну інформацію можна використати для дослідження проблеми:

• Порахуйте конверсію (коефіцієнт покупок), групуючи за варіантом і версією МЗ. Можливо вже стане зрозуміло де саме причини поломки
• Порахуйте pvalue для кожної версії МЗ
• Знайдіть версії, де pvalue < 0.05
• Виключіть версію з pvalue < 0.05 з основного датафрейма
• Повторно запустіть розрахунок FPR через A/A. Тепер \(FPR < \alpha\)
• Ви знайшли поломку

Важливо

• Дедлайн здачі роботи: 15.02.2024

Порада

• Звіт бажано оформити з використанням Quarto. Підтримує R, Python. Можна використовувати Jupyter Notebook. Мої відео-інструкції:
  • на прикладі VS Code: https://www.youtube.com/watch?v=pe4At0eaC4Q
  • на прикладі RStudio: https://www.youtube.com/watch?v=Vdw3WQ4iE0o