Відео › Чому статистика бреше: 4 пастки, у які потрапляє кожен
Чому статистика бреше: 4 пастки, у які потрапляє кожен
Команда виграла п’ять матчів поспіль, і здається, що вона у чудовій формі та має вищі шанси. Ми перевірили це на наших даних: 1 295 матчів НХЛ, 1 049 601 спостереження і 1 882 матчі з live-статистикою. У відео розбираємо чотири пастки, у які потрапляє кожен, хто читає статистику: форма за п’ять матчів, «гаряча рука», оцінювання за результатом і вибір зручних чисел. Нижче — зміст із часовими позначками та повний текст відео з розрахунками.
Зміст відео
- 0:00 · Вступ: серія з п’яти перемог
- 0:29 · Про що ця частина серії
- 0:56 · Пастка 1: форма за п’ять матчів
- 1:58 · Чому п’ять матчів вводять в оману
- 2:35 · Пастка 2: «гаряча рука»
- 3:41 · Пастка 3: оцінювання за результатом
- 4:47 · Пастка 4: обираєш зручні числа
- 5:50 · Хибна точність
- 6:20 · Як себе перевіряти
- 7:03 · Висновок
- 7:25 · Завершення
Повний текст відео
Пастка 1: форма за п’ять матчів
Найпопулярніша пастка. У хокеї ходить «система»: береш команду з найкращою формою за останні п’ять ігор і чекаєш, що вона першою заб’є. На підтвердження показують список з одинадцяти перемог поспіль. Звучить переконливо.
Ми перевірили це не на відібраних прикладах, а на всіх матчах: 1 295 ігор НХЛ за сезон. Команда з найкращою формою першою забила у 50,3% ігор (похибка ±4,1 відсоткового пункта). Це як підкидання монети. А виграла матч вона у 52,2% випадків, тоді як господарі льоду в середньому перемагають у 52,5%. Тобто майже стільки ж, скільки зазвичай, без жодної «форми».
Звідки ж одинадцять поспіль? Цю серію вибрали з тисяч. Підкинь будь-яку монету — і в її історії знайдеться серія з одинадцяти «орлів». Це не частота, а відібраний відрізок.
| Показник (1 295 матчів НХЛ) | Значення |
|---|---|
| Команда з найкращою формою першою забиває | 50,3% (±4,1 в. п.) |
| Команда з найкращою формою виграє матч | 52,2% |
| Господарі льоду перемагають у середньому | 52,5% |
Докладний розбір: стаття «Форма за п’ять матчів і перший гол у хокеї».
Чому п’ять матчів вводять в оману
Бо це дуже короткий відрізок. Один матч із червоною карткою, один із пенальті, одна випадкова контратака — і готова картина «команда на підйомі». Ми називаємо це формою, хоча насправді це шум, схожий на тенденцію. Що коротший відрізок, то більше в ньому випадковості й сильніше бажання знайти сенс. Мозок бачить закономірність там, де є лише везіння.
Пастка 2: «гаряча рука»
Друга пастка виростає з першої: серія перемог. Команда виграла п’ять поспіль, і мозок домальовує картину: вона на підйомі, отже, її шанси вищі, ніж здається.
Ми перевірили це на 1 049 601 спостереженні. Після серії з п’яти перемог команда виграє наступний матч у 57,54% випадків, тоді як ринок очікував 56,34%. Різниця — 1,2 відсоткового пункта, тож здається, що серії недооцінені. Але є підступ: команди із серіями майже завжди й без того фаворити, а фаворити загалом перемагають трохи частіше, ніж випливає з ціни.
Ми порівняли серію не з усім ринком, а з командами з такою самою ціною. Різниця зникла: −0,01 в. п. (±0,32). Серію вже враховано в ціні. «Виглядає як фаворит» означає лише «ринок уже знає, що це фаворит».
| Серія з 5+ перемог (1 049 601 спостереження) | Наступний матч виграно |
|---|---|
| Фактично | 57,54% |
| Очікування ринку (ціна без маржі) | 56,34% |
| Різниця з урахуванням ціни | −0,01 в. п. (±0,32) |
Докладний розбір: стаття «Серія з п’яти перемог: це вже враховано в ціні?».
Пастка 3: оцінювання за результатом, а не причиною
Найдорожча пастка. Уявімо, що ти побудував модель, і вона каже: ймовірність цього результату — шістдесят відсотків. Ти поставив, але не зайшло. Потім ще раз і ще. Три рази поспіль. Висновок напрошується сам: модель погана.
А тепер порахуймо. Три промахи поспіль за ймовірності шістдесят відсотків: 0,4 × 0,4 × 0,4 = 6,4% (це розрахунок, а не вимірювання). Таке трапляється приблизно раз на шістнадцять подібних трійок просто тому, що так буває. Модель могла бути правильною — просто випала невдала серія.
І навпаки: якщо модель випадково вгадала кілька разів поспіль, ти вирішуєш, що вона геніальна, і починаєш ставити більше. Короткий результат нічого не доводить, а налаштування моделі під останні результати — це підлаштування під шум. Перевірка процесу замість результату: калькулятор CLV і стаття про лінію закриття.
Пастка 4: обираєш числа, які тобі подобаються
Четверта пастка тиха. Ти вже хочеш обрати результат і починаєш шукати числа, які його підтримають. Форма за п’ять матчів хороша — береш. А весь сезон, де все гірше? Не помічаєш. Ігри проти команд такого самого рівня? Теж повз увагу. Числа стають не інструментом, а виправданням: рішення вже ухвалено, а статистика — лише декорація.
Приклад — удари. Ми взяли 1 882 матчі з live-статистикою. Команда з перевагою за ударами перемагає у 54,1% матчів. За переваги у десять ударів і більше — приблизно у 68%. Але навіть тоді кожен третій матч (31,7%) закінчується без її перемоги. Удари — це не результат, а лише одна з ознак, яка не скасовує випадковості.
| Перевага за ударами (1 882 матчі) | Команда з перевагою перемагає |
|---|---|
| Будь-яка перевага | 54,1% |
| Перевага — 10 ударів і більше | близько 68% (без перемоги — 31,7%) |
Докладний розбір: стаття «Більше ударів не означає перемогу».
Чому числа так легко вводять в оману: хибна точність
Є ще дещо, що підсилює всі чотири пастки: хибна точність. Модель каже: ймовірність 0,38. Звучить як факт. А чесна відповідь: десь від тридцяти до сорока п’яти відсотків. І ще: ринок уже врахував майже все, що бачиш ти, а твоя невелика перевага, якщо вона взагалі є, може повністю вміщатися в маржі контори (калькулятор EV, маржа букмекера).
Як себе перевіряти: чотири правила
- Порівнюй із командами з такою самою ціною, а не з усім ринком. Інакше ефект фаворита видаватиметься за нову закономірність.
- Оцінюй процес, а не результат. Ціна закриття з попередньої частини серії і є перевіркою процесу.
- Потрібна велика вибірка й інтервал, а не одна точка. Десять матчів — це не дані (калькулятор розміру вибірки).
- Перед рішенням знайди число, яке йому суперечить. Якщо не знайшов, значить, не шукав.
Висновок
Форма за п’ять матчів і серія перемог — найчастіше шум і те, що вже враховано в ціні. Результат не показує, чи було рішення хорошим. Числа потрібні, щоб перевірити власну ідею, а не виправдати її.
Поширені запитання
Серія з п’яти перемог підвищує шанси в наступному матчі?
Ні, якщо порівнювати з командами з такою самою ціною: на 1 049 601 спостереженні різниця становила −0,01 в. п. (±0,32). Серію вже враховано в ціні.
Якщо модель тричі поспіль помилилася, вона погана?
Не обов’язково. Три промахи поспіль за ймовірності 60% трапляються приблизно у 6,4% трійок, тобто раз на шістнадцять. Такої серії замало, щоб оцінювати модель.
Команда з найкращою формою частіше забиває першою?
На 1 295 матчах НХЛ — ні: 50,3% (±4,1 в. п.). Вона виграла 52,2% матчів, тоді як господарі льоду перемагають у середньому в 52,5% випадків.
Це сьома частина серії «Психологія ринку». Наступна частина: емоції й тільт. Усі відео серії: розділ «Відео».