Завдання №3

Прикладна аналітика

Отже, настав час провести свій перший A/B тест.

Опис задачі

Уявіть, що ви працюєте аналітиком у дуже великій компанії з доставки піци над застосунком для кур’єрів (так, зазвичай у таких компаніях є застосунок для кур’єрів і окремо застосунок для споживачів).

У вас є кілька ресторанів у різних частинах міста і цілий штат кур’єрів. Але є одна проблема — до вечора швидкість доставки падає через те, що кур’єри йдуть додому після робочого дня, а кількість замовлень лише зростає. Це призводить до того, що в момент перезміни наша доставка дуже сильно просідає в ефективності.

Наші data scientist-и придумали новий алгоритм, який дає змогу кур’єрам запланувати свої останні замовлення перед закінченням робочого дня так, щоб їхній маршрут доставки збігався з маршрутом до дому. Тобто, щоб кур’єри доставляли останні свої замовлення за день наче «дорогою» додому.

Ви разом із командою вирішили провести A/B тест для двох рівних груп кур’єрів. Частина кур’єрів використовує старий алгоритм без опції «по дорозі», інші бачать у своєму застосунку цю опцію і можуть її вибрати. Ваше завдання — проаналізувати дані експерименту і допомогти бізнесу ухвалити рішення про використання нової фічі для всіх кур’єрів.

Опис даних

  • order_id - id замовлення
  • delivery_time - час доставки в хвилинах
  • district - район доставки
  • experiment_group - експериментальна група

Завдання 1

Для початку давайте сформулюємо гіпотези для перевірки. Виберіть статистичні гіпотези, які ми зможемо перевірити в цьому експерименті:

  • Нульова гіпотеза (H0): Різниця між середнім часом доставки в тестовій і контрольній групі є
  • Альтернативна гіпотеза (H1): Різниця між середнім часом доставки в тестовій і контрольній групі є
  • Нульова гіпотеза (H0): Зміна алгоритму не впливає на швидкість доставки
  • Альтернативна гіпотеза (H1): Різниці між середнім часом доставки в тестовій і контрольній немає
  • Нульова гіпотеза (H0): Різниці між середнім часом доставки в тестовій і контрольній групі немає
  • Альтернативна гіпотеза (H1): Зміна алгоритму впливає на швидкість доставки

Завдання 2

Завантажте дані та побудуйте графіки розподілів для кожної групи. Які ви можете зробити висновки з цих графіків?

Завдання 3

Порахуйте кількість спостережень у тестовій і контрольній групі. На скільки за модулем відрізняється кількість спостережень у тесті та контролі?

Завдання 4

Тепер давайте вивчимо наші розподіли. Перевіримо виконання умов на нормальність і порахуємо стандартне відхилення в тесті та в контролі.

Обов’язково зробіть семплювання перед застосуванням критерію при перевірці на нормальність (і для тесту, і для контролю), оскільки на великих вибірках ви можете отримувати невірні результати:

experiment[experiment['experiment_group'] == 'test']['delivery_time'].sample(1000, random_state=17)

Завдання 5

Порівняйте середні часи доставки в тестовій і контрольній групі. Використайте критерій Стьюдента для незалежних вибірок.

Увага

Тут уже не потрібно користуватися методом .sample() — він нам потрібен був тільки для тесту Шапіро-Вілка, інші тести треба проводити на повних даних.

Завдання 6

На скільки відсотків змінився середній час доставки в тестовій групі порівняно з контрольною (округліть до сотих)?

Знак зміни необхідно врахувати!

Висновок

Який висновок можна зробити з результатів A/B тесту? Чи є статистично значимі відмінності між групами? Чи можна рекомендувати впровадження нового алгоритму для всіх кур’єрів?