X = numpy.array([6.9, 6.45, 6.32, 6.88, 6.09, 7.13, 6.76])
print(f"Середній час завантаження в СУБД: {round(numpy.mean(X), 2)}")Середній час завантаження в СУБД: 6.65\(t\)-критерій Ст’юдента
Прикладний статистичний аналіз
🐍 Python та 📊 Розподіл статистики
Код
numpy.random.seed(8)
sample_size = 7
M = 100000
sample_distr = norm(loc=5, scale=3) # Нехай вибірка з цього розподілу
T_X = lambda sample: numpy.sqrt(sample_size) * (numpy.mean(sample) - sample_distr.mean()) / numpy.sqrt(numpy.var(sample, ddof=1)) # або numpy.std
Z_X = lambda sample: numpy.sqrt(sample_size) * (numpy.mean(sample) - sample_distr.mean()) / sample_distr.std()
samples = {
"T(X)": sample_statistics(
number_of_experiments=M, statistic_function=T_X,
sample_size=sample_size, sample_distr=sample_distr),
"Z(X)": sample_statistics(
number_of_experiments=M, statistic_function=Z_X,
sample_size=sample_size, sample_distr=sample_distr)
}
pyplot.figure(figsize=(22, 5))
for i, name in enumerate(["T(X)", "Z(X)"]):
pyplot.subplot(1, 2, i + 1)
current_sample = samples[name]
l_bound, r_bound = numpy.quantile(current_sample, [0.001, 0.999])
x = numpy.linspace(l_bound, r_bound, 1000)
pyplot.title(f'Розподіл статистики {name}, sample size={sample_size}', fontsize=12)
distplot(current_sample, label='Емпіричний розподіл')
pyplot.plot(x, norm(0, 1).pdf(x), label='$\mathcal{N}(0, 1)$')
pyplot.legend(fontsize=12)
pyplot.xlabel(f'{name}', fontsize=12)
pyplot.xlim((l_bound, r_bound))
pyplot.ylabel('Щільність', fontsize=12)
pyplot.grid(linewidth=0.2)
pyplot.show()
📝 Чому так вийшло?
\(S^2\) — це випадкова величина!
Давайте подивимося на розподіл \(\sqrt{S^2}\) на все тому ж нормальному розподілі.
Код
numpy.random.seed(42)
S2 = lambda sample: numpy.std(sample, ddof=1)
S2_sample = sample_statistics(
number_of_experiments=M, statistic_function=S2,
sample_size=sample_size, sample_distr=sample_distr
)
pyplot.figure(figsize=(10, 5))
pyplot.title('Розподіл $\sqrt{S^2}$', fontsize=12)
distplot(S2_sample, label='Емпіричний розподіл')
pyplot.legend(fontsize=12)
pyplot.xlabel('$\sqrt{S^2}$', fontsize=12)
pyplot.ylabel('Щільність розподілу', fontsize=12)
pyplot.grid(linewidth=0.2)
pyplot.show()
📊 Задача
print(f"average profit = {profits.mean()}")
print(f"n = {profits.shape[0]}")average profit = 58.4868
n = 5000seaborn.distplot(profits)
pyplot.grid(linewidth=0.2)
- Початкова вибірка не з нормального розподілу
- Вибірка досить велика: не 7 елементів, а вже 5000.
Чи можемо ми використати нормальний розподіл для наближення?
🐍 Python та перевірка
Перевіримо наш критерій на великих вибірках:
Код
numpy.random.seed(8)
sample_size=2000
M = 10000
sample_distr = expon(loc=5, scale=300)
T_X = lambda sample: numpy.sqrt(sample_size) * (numpy.mean(sample) - sample_distr.mean()) / numpy.std(sample, ddof=1)
T_sample = sample_statistics(
number_of_experiments=M, statistic_function=T_X,
sample_size=sample_size, sample_distr=sample_distr)
pyplot.figure(figsize=(10, 5))
l_bound, r_bound = numpy.quantile(T_sample, [0.001, 0.999])
x = numpy.linspace(l_bound, r_bound, 1000)
pyplot.title(f'Розподіл статистики T(X), sample size={sample_size}', fontsize=12)
distplot(T_sample, label='Емпіричний розподіл')
pyplot.plot(x, norm(0, 1).pdf(x), label='Експоненціальний розподіл')
pyplot.legend(fontsize=12)
pyplot.xlabel(f'{name}', fontsize=12)
pyplot.xlim((l_bound, r_bound))
pyplot.ylabel('Щільність', fontsize=12)
pyplot.grid(linewidth=0.2)
pyplot.show()
Ми бачимо, що розподіли збіглися!
🐍 Python та перевірка
А на нормальному розподілі, де вперше були відмінності на маленькій вибірці?
Код
numpy.random.seed(8)
sample_size=2000
M = 30000
sample_distr = norm(loc=5, scale=300)
T_X = lambda sample: numpy.sqrt(sample_size) * (numpy.mean(sample) - sample_distr.mean()) / numpy.std(sample, ddof=1)
T_sample = sample_statistics(
number_of_experiments=M, statistic_function=T_X,
sample_size=sample_size, sample_distr=sample_distr)
pyplot.figure(figsize=(10, 5))
l_bound, r_bound = numpy.quantile(T_sample, [0.001, 0.999])
x = numpy.linspace(l_bound, r_bound, 1000)
pyplot.title(f'Розподіл статистики T(X), sample size={sample_size}', fontsize=12)
distplot(T_sample, label='Емпіричний розподіл')
pyplot.plot(x, norm(0, 1).pdf(x), label='$\mathcal{N}(0, 1)$')
pyplot.legend(fontsize=12)
pyplot.xlabel(f'{name}', fontsize=12)
pyplot.xlim((l_bound, r_bound))
pyplot.ylabel('Щільність', fontsize=12)
pyplot.grid(linewidth=0.2)
pyplot.show()
Тобто першого разу нам не пощастило, що розмір вибірки був маленьким
\(t'\)-тест vs. \(t\)-тест
Для початку визначимося, коли який критерій краще використовувати?
- Якщо вибірка розміру 60, то вже \(t_{59} \approx \mathcal{N}(0, 1)\).
- Подивимося на розподіли Стьюдента і нормального:
df = 59
t_dist = t(df=df)
z_dist = norm(loc=0, scale=1)
x = numpy.linspace(-3, 3, 100)
pyplot.figure(figsize=(10, 5))
pyplot.title(f'Щільність розподілу статистики T і N', fontsize=12)
pyplot.plot(x, z_dist.pdf(x), label='N(0, 1)')
pyplot.plot(x, t_dist.pdf(x), label=f't(df={df})')
pyplot.legend(fontsize=12)
pyplot.grid(linewidth=0.2)
pyplot.show()
- Ми бачимо, що ці 2 розподіли візуально повністю збігаються, тому неважливо, як порахувати: статистика \(T\sim \mathcal{N}(0, 1)\) або \(T\sim t_n\).
- Але це не означає, що з N=60 T-test/T’-test працюють коректно! Якщо вибірка не з нормального розподілу, вони обидва можуть все ще помилятися.
\(t'\)-тест vs. \(t\)-тест
- Якщо вибірка менше 60, то безпечніше використовувати t-test, ніж t’-test.
- У T-test FPR завжди буде меншим, ніж у T’-test.
- На FPR впливає відсоток випадків
pvalue < alpha. У t-test pvalue \(\geq\) t’-test pvalue. pvalue = t_distr.cdf(x)абоpvalue = norm_dist.cdf(x). Тож чим важчий хвіст у розподілу, тим більше p-value. А тепер подивимося на прикладі:
- На FPR впливає відсоток випадків
- У T-test FPR завжди буде меншим, ніж у T’-test.
df_array = [2, 5, 10, 20]
x = numpy.linspace(-3, 3, 100)
pyplot.figure(figsize=(10, 5))
pyplot.title(f'CDF розподілів T та N', fontsize=12)
for df in df_array:
t_dist = t(df=df)
pyplot.plot(x, t_dist.cdf(x), label=f't(df={df})')
z_dist = norm(loc=0, scale=1)
pyplot.plot(x, z_dist.cdf(x), c=red_pink, label='N(0, 1)')
pyplot.legend(fontsize=12)
pyplot.xlabel('X', fontsize=12)
pyplot.grid(linewidth=0.2)
pyplot.show()
Розподіл Стьюдента з нескінченністю ступенів свободи — це нормальний розподіл: \(t_{\infty} = \mathcal{N}(0, 1)\). Тому norm(0, 1).cdf(x) = t_distr(df=infinity).cdf(x) < t_distr(df=N).cdf(x).
\[\text{MDE} = (z_{1 - \alpha} + z_{1 - \beta}) \cdot \sqrt{\dfrac{S^2}{N}}\]
де \(z_{1 - \alpha}\) та \(z_{1 - \beta}\) — квантилі розподілу \(\mathcal{N}(0, 1)\).
Дякую за увагу!
