Прикладний статистичний аналіз
Нормальний розподіл \(\xi \sim \mathcal{N}(\mu, \sigma^2)\) — неперервний розподіл, у якому щільність спадає зі збільшенням відстані від \(\mu\) за експонентою квадрата.
\[ f(x) = \frac{1}{\sigma\sqrt{2\pi}} \exp^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2} \]
де
numpy.random.seed(2024)
check_distr = norm(loc=0, scale=2)
x = numpy.linspace(-8, 8, 1000) # розставить на рівних відстанях одна від одної 1000 точок від -8 до 8
pdf = check_distr.pdf(x)
cdf = check_distr.cdf(x)
sample = check_distr.rvs(10000)
pyplot.figure(figsize=(22, 5))
pyplot.subplot(1, 2, 1)
pyplot.title('Візуалізація щільності', fontsize=12, color=slate)
pyplot.hist(sample, bins='auto', density=True, alpha=0.6, label='згенеровані значення') # rvs
pyplot.plot(x, pdf, label='щільність розподілу') # pdf
pyplot.legend(fontsize=12)
pyplot.subplot(1, 2, 2)
pyplot.plot(x, cdf) # cdf
pyplot.show()
first_sample = first_dist.rvs(10000)
second_sample = second_dist.rvs(10000)
sum_sample = first_sample + second_sample
x = numpy.linspace(-8, 12, 1000)
pyplot.figure(figsize=(10, 5))
pyplot.title('Перевірка розподілів', fontsize=12)
# Ця функція будує як гісторгамму значень, так і емпіричний розподіл
distplot(sum_sample, label='Емпіричний розподіл')
pyplot.plot(x, checking_sum_distr.pdf(x), label='Перевірюваний розподіл')
pyplot.legend(fontsize=12)
pyplot.xlabel('X', fontsize=12)
pyplot.ylabel('Щільність', fontsize=12)
pyplot.show()
def binom_generator(p, n, size):
return binom(p=p, n=n).rvs(size)
p = 0.01
n = 20
size = 5000
# ми обертаємо binom_generator в lambda, щоб функція не приймала параметри на вхід
visualize_CLT(lambda: binom_generator(p, n, size),
expected_value = p * n,
variance = n * p * (1 - p)
)
def binom_generator(p, n, size):
return binom(p=p, n=n).rvs(size)
p = 0.01
n = 20
size = 40
# ми обертаємо binom_generator в lambda, щоб функція не приймала параметри на вхід
visualize_CLT(lambda: binom_generator(p, n, size),
expected_value = p * n,
variance = n * p * (1 - p)
)
def expon_generator(expected_value, size):
return expon(scale=expected_value).rvs(size)
expected_value = 24
size = 400
visualize_CLT(lambda: expon_generator(expected_value, size),
expected_value=expected_value, variance=expected_value ** 2)
def cmp_pvalue_binom_and_norm(n, mu0, t, add_to_x=0):
"""
Функція для порівняння функцій pvalue у біноміального критерію і нормальної апроксимації.
Будує графіки:
- binom pvalue
- norm pvalue
- великими крапками позначено pvalue у точці t, отримані 2 способами.
Параметри:
- n: кількість значень у вибірці
- mu0: конверсія за умови коректності нульової гіпотези
- t: кількість доставок з оплатою
- add_to_x: параметр для додавання до T(X) у нормальному розподілі.
"""
x_axis = numpy.linspace(0, n, 1000)
dots_to_show = numpy.arange(0, n + 1, 1)
# параметри нормального розподілу
sum_mu = n * mu0
sum_variance = n * mu0 * (1 - mu0)
sum_std = numpy.sqrt(sum_variance)
# самі розподіли
binom_dist = binom(n=n, p=mu0)
norm_dist = norm(loc=sum_mu, scale=sum_std)
pyplot.figure(figsize=(20, 7))
pyplot.title('Порівняння p-value: біноміального і нормального', fontsize=12)
# будуємо красивий дискретний бернулліївський розподіл
# спочатку горизонтальні лінії
pyplot.hlines(1 - binom_dist.cdf(x_axis[:-1]), x_axis[:-1],
x_axis[1:], color=slate, linestyle='-')
# вертикальні лінії, яких насправді немає
pyplot.vlines(x_axis[:-1], 1 - binom_dist.cdf(x_axis[:-1]), 1 - binom_dist.cdf(x_axis[1:]),
color=slate, linestyle=':')
# дискретні точки в розподілі
pyplot.scatter(dots_to_show, 1 - binom_dist.cdf(dots_to_show-1), color=slate,
alpha=1, linewidths=0.5,
label=f'Binom pvalue = 1-binom.cdf(x-1)')
# pvalue через біноміальний розподіл
pyplot.scatter(t, 1 - binom_dist.cdf(t - 1), color=slate, marker='o',
alpha=1, s=100, label=f'binom p-value({t})')
# нормальний розподіл, що апроксимує, нормальний розподіл
add_str = "" if add_to_x == 0 else f"{add_to_x}"
pyplot.plot(x_axis, 1 - norm_dist.cdf(x_axis + add_to_x), color=red_pink, alpha=0.5,
label=f'Normal pvalue = 1-norm.cdf(x{add_str})')
# pvalue через нормальний розподіл
pyplot.scatter(t, 1 - norm_dist.cdf(t + add_to_x), color=red_pink,
alpha=1, marker='o', s=100, label=f'norm p-value({t})')
pyplot.legend(fontsize=12)
pyplot.xlabel('t', fontsize=12)
pyplot.ylabel('p-value', fontsize=12)
pyplot.show()
cmp_pvalue_binom_and_norm(30, 0.5, 15)\[F_{\text{new}}(x) = F_{\text{old}}(x - 0.5)\]
cmp_pvalue_binom_and_norm(30, 0.5, 15, add_to_x=-0.5)
