Сигнал і шум: чому так багато прогнозів виявляються хибними, а деякі — ні

Книга досліджує прогнозування, інформацію та людські помилки, маючи на меті вчитися на помилках минулого. Друкарський верстат і комп'ютерна ера виявляють інформаційний парадокс: більше даних може призвести до меншого розуміння, сприяючи вибірковому залученню та упередженості, що затримує справжній прогрес. Сучасне прогнозування передбачає планування в умовах невизначеності, наголошуючи на людській волі, а не на фаталізмі.

Фінансова криза 2008 року стала катастрофічним провалом прогнозування, коли кредитно-рейтингові агентства (S&P, Moody's) присвоювали рейтинги AAA цінним паперам, забезпеченим субстандартними іпотечними кредитами, що значно недооцінювало ризик дефолту. Їхні моделі помилково припускали незалежність дефолтів і плутали невизначеність із кількісно вимірюваним ризиком, ставлячи прибуток вище за точність та ігноруючи дані «поза вибіркою» з минулих крахів ринку нерухомості.

Політичні оглядачі та експерти часто справляються не краще за випадковість, демонструючи значну надмірну впевненість. Дослідження Філіпа Тетлока виділило «їжаків» — жорстких ідеологів — та «лисиць» — адаптивних, мультидисциплінарних прогнозистів, причому лисиці виявилися кращими. Моделі, засновані на даних, такі як FiveThirtyEight, надають пріоритет імовірнісному мисленню, постійному оновленню та консенсусу для надання точніших прогнозів, перевершуючи інтуїтивні судження експертів, особливо при об'єктивному зважуванні якісної інформації.

Система PECOTA автора зробила революцію в бейсбольному прогнозуванні, розрізняючи майстерність і везіння та моделюючи старіння гравців. Вона використовувала показники схожості історичних гравців для прогнозування майбутніх результатів, пропонуючи імовірнісні діапазони. Хоча ранні статистичні моделі спочатку конфліктували з традиційними скаутами, галузь еволюціонувала в гібридний підхід, визнаючи цінність як кількісних даних, так і якісних ідей, що зрештою покращило прогнозування результативності гравців.

Прогнозування погоди значно покращилося завдяки співпраці людини та машини та ансамблевому моделюванню, що дозволяє ефективно керувати чутливістю теорії хаосу до початкових умов. Навпаки, прогнозування землетрусів залишається невловимим; дані зашумлені, теорія недорозвинена, а перенавчання є поширеним явищем. Землетрус у Л'Аквілі продемонстрував небезпеку прийняття шуму за сигнал, що призвело до хибної впевненості та неправильної комунікації ризику, оскільки події часто не піддаються остаточному прогнозуванню.

Прогнозування в галузі охорони здоров'я зазнало фіаско під час спалахів свинячого грипу 1976 та 2009 років, що позначилися завищеними оцінками та невдалими прогнозами. Прості моделі, такі як SIR, виявляються неадекватними через нереалістичні припущення про випадкове змішування та рівномірну сприйнятливість. Екстраполяція, яка припускає, що поточні тенденції триватимуть нескінченно довго, є основним джерелом помилок, як це було видно в ранніх прогнозах щодо СНІДу та історичних прогнозах чисельності населення, що підкреслює потребу в нюансованому розумінні базової динаміки та людської поведінки.

Теорема Томаса Баєса забезпечує фундаментальну основу для оновлення імовірнісних переконань за допомогою нових доказів. Вона вимагає врахування апріорних імовірностей, імовірності доказів за різних гіпотез, а потім обчислення апостеріорної імовірності. Цей підхід допомагає виправити когнітивні упередження, змушуючи прогнозистів контекстуалізувати нову інформацію в ширших історичних або статистичних рамках, поступово наближаючись до об'єктивної істини шляхом уточнення наближень.

Deep Blue від IBM переміг чемпіона з шахів Гаррі Каспарова, частково використовуючи людські психологічні упередження після того, як випадкова «помилка» була невірно витлумачена як просунута стратегія. Це продемонструвало швидкість комп'ютерів у тактичних розрахунках порівняно зі стратегічною гнучкістю людей. Сучасні «фрістайл-шахи», де люди співпрацюють із ШІ, демонструють оптимальну результативність, підкреслюючи доповнювальні ролі людської винахідливості та обчислювальної потужності, а не повну перевагу машин.

«Покерний бум» бачив аматорів, які шукали легкого багатства, але професійна гра вимагає ретельного статистичного аналізу, щоб відрізнити майстерність від везіння. «Читання рук» передбачає постійне оновлення імовірностей комбінацій суперника (баєсівський процес). Успіх вимагає зробити власну гру непередбачуваною та використовувати упередження опонентів. Бульбашка лопнула, коли конкурентний «рівень води» піднявся після регуляторних змін, виявивши крихкість екосистеми, залежної від постійного припливу аматорів.

Гіпотеза ефективного ринку (EMH) стверджує, що ціни на активи відображають усю інформацію, що робить стабільне випередження ринку неможливим для більшості. Однак ринки недосконалі, на них впливає стадна поведінка, надмірна впевненість («прокляття переможця») та ірраціональні «шумові трейдери». Хоча ринки загалом рухаються до рівноваги, періодичні бульбашки та крахи неминучі, що вказує на «двоколійний ринок», де передбачувані фундаментальні показники стикаються з короткостроковим хаотичним шумом, як показує коефіцієнт P/E Шиллера.

Кліматологія стверджує, що парниковий ефект і спричинене людиною збільшення викидів CO2 призводять до потепління — це надійна теорія. Однак повідомляти про невизначеність складно. Критика кліматичних моделей включає їхню складність і обмежену незалежність. Хоча конкретні довгострокові прогнози температури були уточнені, фундаментальне розуміння динаміки клімату є міцним, а явне кількісне визначення невизначеності є вирішальним для наукової достовірності та суспільного розуміння, що відрізняє науковий скептицизм від політичного контраріанства.

Провали розвідки, такі як Перл-Гарбор та 11 вересня, виникли через нездатність відрізнити критичні сигнали від шуму серед інформаційного перевантаження та існуючих упереджень. «Провал уяви» щодо незнайомих загроз призвів до ігнорування важливих попереджень. «Невідомі невідомі» Дональда Рамсфелда підкреслюють проблему врахування неуявних непередбачуваних обставин. Статистичний аналіз (степеневий закон розподілу) показує, що серйозні терористичні атаки, хоч і рідкісні, є математично передбачуваними ризиками, що вимагає пріоритетності великомасштабних загроз.