Прикладний статистичний аналіз
КНУ імені Тараса Шевченка, ФІТ
Монте-Карло — що є дуже потужний інструментом у статистиці.
З його допомогою ми відповімо з вами на запитання:
| маленька вибірка | велика вибірка | |
|---|---|---|
| нормальний розподіл | t-test | t-test |
| будь-який розподіл | t-test |
Що означає, що критерій коректний?
Коротко:
Розгорнуто:
bad_cnt = 0.pvalue < alpha. Якщо так, то збільшити лічильник bad_cnt на 1. Тут ми перевіряємо, чи помилився критерій на поточній симуляції, чи ні.bad_cnt / N.
numpy.random.seed(42)
bad_cnt = 0
N = 10000
alpha = 0.05
sample_dist = norm(loc=2, scale=3)
mu0=sample_dist.expect()
for i in range(N):
# Генерую вибірку тесту і контролю
test = sample_dist.rvs(5)
control = sample_dist.rvs(5)
# Запускаю критерій і рахую p-value
pvalue = ttest_ind(test, control, alternative='two-sided').pvalue
# Перевіряю, що pvalue < alpha
bad_cnt += (pvalue < alpha)
print(f"FPR: {round(bad_cnt / N, 4)}")FPR: 0.0519numpy.random.seed(42)
bad_cnt = 0
N = 10000
alpha = 0.05
sample_dist = expon(scale=10)
mu0=sample_dist.expect()
for i in range(N):
# Генерую вибірку тесту і контролю
test = sample_dist.rvs(5)
control = sample_dist.rvs(5)
# Запускаю критерій і рахую p-value
pvalue = ttest_ind(test, control, alternative='two-sided').pvalue
# Перевіряю, що pvalue < alpha
bad_cnt += (pvalue < alpha)
print(f"FPR: {round(bad_cnt / N, 4)}")FPR: 0.0389(0.03528393401149463, 0.042870189285943314)numpy.random.seed(42)
test_dist = expon(scale = 10)
control_dist = expon(loc=5, scale = 5)
x = numpy.linspace(0, 100, 1000)
pyplot.figure(figsize=(10, 5))
pyplot.title('Приклад розподілів', fontsize=12)
pyplot.plot(x, test_dist.pdf(x), label='test', color=red)
pyplot.plot(x, control_dist.pdf(x), label='control', color=blue)
pyplot.xlabel('Виручка')
pyplot.ylabel('Щільність')
pyplot.legend(fontsize=12)
pyplot.grid(linewidth=0.2)
pyplot.show()
print(f"mean_t: {test_dist.mean()}, mean_c: {control_dist.mean()}")
mean_t: 10.0, mean_c: 10.0def check_criterion(test_dist, control_dist, sample_size, N_exps=10000, to_print=True):
"""
Функція для перевірки t-test критерію для AB-тесту
Повертає довірчий інтервал для FPR, якщо прапор to_print = False. Інакше друкує результат.
Параметри:
- test_dist: Розподіл тестової вибірки в експерименті
- control_dist: Розподіл контрольної вибірки в експерименті
- sample_size: розмір вибірки тесту і контролю
- N_exps: кількість експериментів, за якими потім рахується FPR
- to_print: друкувати результат чи ні. Якщо ні, то функція повертає довірчий інтервал для FPR.
"""
numpy.random.seed(35)
bad_cnt = 0
alpha = 0.05
for i in range(N_exps):
# Генерую вибірку
test = test_dist.rvs(sample_size)
control = control_dist.rvs(sample_size)
# Запускаю критерій і рахую p-value
pvalue = ttest_ind(test, control, equal_var=False, alternative='two-sided').pvalue
# Перевіряю, що pvalue < alpha
bad_cnt += (pvalue < alpha)
if to_print:
print(f"FPR: {round(bad_cnt / N_exps, 4)}")
print(f"CI={proportion_confint(count = bad_cnt, nobs = N_exps, alpha=0.05, method='wilson')}")
else:
return proportion_confint(count = bad_cnt, nobs = N_exps, alpha=0.05, method='wilson')scale = numpy.arange(20, 110, 20)
for N in scale:
left, right = check_criterion(test_dist=test_dist, control_dist=control_dist, sample_size=N, N_exps=10000, to_print=False)
if left < alpha < right:
print(f"Min sample size: {N}")
breakMin sample size: 60FPR: 0.0527
CI=(0.0484900114917122, 0.05725351345069507)Якщо треба більша точність, то можна збільшити кількість експериментів N_exps.
Щоб перевірити критерій, треба вміти багато разів проводити один і той самий експеримент.
| маленька вибірка | велика вибірка | |
|---|---|---|
| нормальний розподіл | t-test | t-test |
| будь-який розподіл | Монте-Карло | t-test |
Є 2 відповіді на це запитання:
Наші користувачі розміщують оголошення. Кожне оголошення відноситься тільки до однієї категорії товарів і розміщено тільки в одному регіоні. Звідси виникає нехитрий алгоритм:
У нас є 2 критерії, які ми хочемо порівняти. Як вибрати кращий?
numpy.random.seed(42)
rej_cnt = 0
N = 10000
alpha = 0.05
sample_dist = norm(loc=2, scale=3)
mu = sample_dist.expect()
for i in range(N):
# Генерую вибірку тесту і контролю
test = sample_dist.rvs(15)
control = sample_dist.rvs(15) * 2
# Запускаю критерій і рахую p-value
pvalue = ttest_ind(test, control, equal_var=False, alternative='two-sided').pvalue
# Перевіряю, що pvalue < alpha
rej_cnt += (pvalue < alpha)
print(f"TPR або потужність: {round(rej_cnt / N, 4)}")TPR або потужність: 0.1938numpy.random.seed(42)
rej_cnt = 0
N = 10000
alpha = 0.05
sample_dist = norm(loc=2, scale=3)
mu = sample_dist.expect()
for i in range(N):
# Генерую вибірку тесту і контролю
test = sample_dist.rvs(15)
control = sample_dist.rvs(15) * 3
# Запускаю критерій і рахую p-value
pvalue = ttest_ind(test, control, equal_var=False, alternative='two-sided').pvalue
# Перевіряю, що pvalue < alpha
rej_cnt += (pvalue < alpha)
print(f"TPR або потужність: {round(rej_cnt / N, 4)}")TPR або потужність: 0.343numpy.random.seed(42)
rej_cnt = 0
N = 10000
alpha = 0.05
sample_dist = norm(loc=2, scale=3)
mu = sample_dist.expect()
for i in range(N):
# Генерую вибірку тесту і контролю
test = sample_dist.rvs(50)
control = sample_dist.rvs(50) * 3
# Запускаю критерій і рахую p-value
pvalue = ttest_ind(test, control, equal_var=False, alternative='two-sided').pvalue
# Перевіряю, що pvalue < alpha
rej_cnt += (pvalue < alpha)
print(f"TPR або потужність: {round(rej_cnt / N, 4)}")TPR або потужність: 0.8361
