Систематическая ошибка выжившего самолеты

Кадр: фильм «Изгой» / 20th Century Fox

Востоковед, интересующийся IT. В прошлом редактор раздела «Системный блок» журнала «Fакел», автор журналов Computer Gaming World RE, Upgrade Special, руководитель веб-ресурсов компании 1С-Softclub.

Бросил университет и стал миллиардером, курил три пачки в день и дожил до ста лет, получил отказ от всех музыкальных студий, но прославился на весь мир… Нередко, принимая решения, мы ориентируемся только на истории успеха и совершаем известную ошибку — ошибку выжившего. В этой статье разберёмся, откуда она берётся и что можно сделать, чтобы не стать её жертвой.

Систематическая ошибка выжившего (англ. — survivorship bias) — это один из видов ошибки отбора, когда по одной группе объектов («выжившие») информации много, а по другой («погибшие») — практически нет. В результате мы учитываем только часть информации, игнорируя противоположные, но существующие случаи. Здесь можно вспомнить Цицерона с одним из первых описаний ошибки выжившего:

«Диагор приехал однажды в Самофракию, и там один его друг задал ему вопрос: „Вот ты считаешь, что боги пренебрегают людьми. Но разве ты не обратил внимания, как много в храме табличек с изображениями и с надписями, из которых следует, что они были пожертвованы по обету людьми, счастливо избежавшими гибели во время бури на море и благополучно прибывшими в гавань?“ — „Так-то оно так, — ответил Диагор, — только здесь нет изображений тех, чьи корабли буря потопила, и они сами погибли в море“».

Цицерон,
«О природе богов»

Другими словами, ошибка выжившего — это тенденция обращать внимание только на истории успеха, что создаёт искажённую картину, в которой игнорируются неудачи.

Проблему впервые сформулировал венгерский математик Абрахам Вальд, работавший в нью-йоркской лаборатории во время Второй мировой войны. Американские военные поставили перед ним важную задачу — уменьшить потери бомбардировщиков ВВС США.

Нужно было изучить повреждения на самолётах, которые возвращались с боевых вылетов, и определить, на какие участки поставить больше брони. Обвешать бронёй весь самолёт было нельзя из-за ограничений по грузоподъёмности.

Оказалось, что пробоины распределялись неравномерно: больше всего их было на фюзеляже и крыльях, меньше в топливной системе и совсем мало — в двигателях.

Военные решили, что нужно укрепить центральные части фюзеляжа и крылья, где было больше отверстий от пуль. Однако Вальд возразил: очевидно, что самолёт, повреждённый в этих местах, ещё способен вернуться на базу. А вот попадания в двигатель или топливный бак, видимо, были фатальными. Поэтому он предложил укреплять бронёй как раз те места, которые у вернувшихся самолётов наименее повреждены.

Абрахам Вальд оказался прав. Размещение брони на этих участках снизило потери ВВС США. А само когнитивное искажение, когда мы делаем выводы на основе частичных данных, то есть успешном опыте, и игнорируем другие, неудачные кейсы, математик назвал «ошибкой выжившего».

Ошибку выжившего можно встретить практически везде — от историй чудесного спасения утопающих до невероятных успехов стартапов.

Во время Первой мировой войны после начала использования стальных касок солдаты стали чаще обращаться в санчасть с травмами головы. Можно решить, что каски увеличивают риск травмы. Но так ли это? Совсем наоборот — просто раньше пуля или осколок легко пробивали тряпичные головные уборы, солдат умирал и уже не мог вернуться за медицинской помощью. Каски просто сделали часть ранений не смертельными, поэтому общее число обращений к врачам выросло.

Похожая ситуация возникла и после ввода ремней безопасности в автомобилях. Если водитель был пристёгнут, то ДТП, которое раньше бы стало причиной смерти, теперь заканчивалось только травмами. Обращений в больницы стало больше, что и послужило распространению мнения о том, что ремни безопасности повышают риск травмироваться в машине.

Многие слышали, что дельфины спасают потерпевших кораблекрушение. Такие случаи иногда попадают в новости по телевидению или газеты. Но менее известно то, что они могут проявлять агрессию по отношению к людям. А ещё дельфины любят играть, толкая предметы носом, и никто не знает, сколько утопавших они толкали от берега в океан. СМИ делают вывод о дельфинах-спасателях, основываясь на информации от выживших, и не учитывают данные о тех, кто стал их жертвой.

Некоторые люди, видя старое, но хорошо сохранившееся здание, автомобиль или другой предмет, любят говорить: «Вот раньше умели строить или делать, сейчас так уже не умеют». Создаётся ложное впечатление, что всё, что произведено в прошлом, прочнее и долговечнее современного. Но дело в том, что люди видят один или несколько сохранившихся экземпляров, и не учитывают все те здания и автомобили, которые развалились и исчезли.

Или, например, слушая хит 1960–1970-х, кто-то говорит: «Вот раньше были великие музыканты, сейчас таких песен никто не пишет». Ошибочность суждения в том, что человек сравнивает современную музыку с лучшими творениями прошлого, пережившими десятилетия, и не принимает во внимание тысячи ужасных песен, которые появились в то же время.

Ошибка выжившего встречается повсюду. Например, когда заходит речь о том, нужно ли высшее образование, кто-нибудь обязательно вспомнит про Марка Цукерберга, Стива Джобса, Билла Гейтса и скажет: «Смотрите, эти люди бросили свои колледжи и университеты и стали богатыми и знаменитыми». Это типичная ошибка выжившего.

Мы знаем этих людей и то, что они не получили высшего образования только потому, что они добились успеха и оказались в центре внимания СМИ. Но мы не учитываем истории миллионов других людей, которые бросили учёбу и работают менеджерами или продавцами, не основав прибыльную компанию. Если посмотреть на статистику, то из 362 самых богатых людей США только 12,2% бросили университет. Получается, что вероятность стать богатым у людей с высшим образованием выше.

«В мире всегда будут люди вроде Jay-Z, Коби Брайанта и Марка Цукерберга — те, кто бросает колледж, но вы должны исходить из того, что вы не такой, как они, и идти учиться».

Скотт Гэллоуэй,
профессор маркетинга в Школе бизнеса Стерна Нью-Йоркского университета. Business Insider

Ошибку выжившего легко найти в различных историях успеха: «Я прошёл шестимесячные курсы и устроился джуном», «Я добавила год опыта в резюме и уже месяц работаю мидлом», «Моя бабушка открыла свою IT-компанию и добилась успеха в 70 лет…» Даже если это действительно так, мы не знаем всех подробностей и делаем ложный вывод: «Если у них получилось, то смогу и я», забывая о тех людях, кто не смог повторить этот успех.

Одна из причин этого скрыта в нашем неумении правильно соотносить причину и следствие. Нам кажется, что в имеющейся информации есть определённая закономерность: и Цукерберг, и Джобс, и Гейтс бросили учёбу и разбогатели. Но, скорее всего, это простое совпадение — они прославились совсем не потому, что бросили учёбу. Это было просто одним из множества событий в их жизни.

В книгах и фильмах о предпринимательстве часто встречаются истории успешных стартапов, начавшихся в гараже и ставших единорогами. Складывается впечатление, что успех не за горами, главное — начать бизнес. Но статистика говорит об обратном: 90% стартапов терпят неудачу и только 1% из них достигает выдающейся прибыли.

Говард Шульц известен как создатель глобального бренда Starbucks. Часто о нём рассказывают так, что он достиг успеха, только войдя в двери компании. На самом деле, чтобы добиться этого, он потратил годы. Шульц пришёл в компанию в 1982 году на должность директора по розничным операциям и маркетингу. После поездки в Италию он попытался убедить владельцев начать продавать эспрессо, но те идею забраковали. Тогда Шульц ушёл из Starbucks, чтобы начать свой собственный бизнес. Из 242 инвесторов, к которым он обращался, 217 отвергли его идею. И только через два года ему удалось вернуться в компанию, выкупить Starbucks и постепенно сделать её кофейной империей.

Глядя только на истории успеха, мы думаем, что обстоятельства проще или чаще складываются в нашу пользу, чем это есть на самом деле. Опять же, мы упускаем важную информацию о «погибших» — компаниях, которые потерпели неудачу и о которых не пишут в СМИ.

«Почти каждая презентация для стартапов начинается со слов „Девяносто пять процентов всех стартапов терпят неудачу“, но очень редко мы делаем паузу и задумываемся: „Что это значит на самом деле?“

Самир Ратх и Теодора Георгиева,
No Startup Hipsters: Build Scalable Technology Companies

В историях миллиардеров, основавших большие и прибыльные компании, редко упоминают о том, что у них были богатые родители, в универе они познакомились с нужными людьми, которые в будущем порекомендовали их первым инвесторам, или что они просто оказались в нужное время в нужном месте. Это тоже вносит своё искажение в восприятие предпринимательства и стартапов, приводя к ошибке выжившего.

Мало кому придёт в голову писать биографию бизнесмена, который разорился, или актёра, который поехал в Голливуд и вернулся через год без денег и славы. Нам нравятся истории, которые воодушевляют и вселяют веру в успех. В этом психологическая сила ошибки выжившего и её стойкости. Нужно принять, что успех не гарантирован. Большинство компаний разоряются, единицы становятся богатыми или знаменитыми.

Остерегайтесь советов от успешных людей.

Барнаби Джеймс,
инвестор, директор по прикладному ИИ в Google Labs. fs.blog

Как этому научиться? В борьбе с ошибкой выжившего помогут простые правила:

• Изучайте когнитивные искажения: предупреждён — значит вооружён. Можно начать со статьи в «Википедии» или подобрать интересную книгу по теме.
• Если вам нужно сделать какой-то выбор, то старайтесь получить и учитывать всю доступную информацию. Например, при выборе смартфона, читайте не только те отзывы, что производитель разместил на своём сайте, а поищите их на форумах и в профильных изданиях. Это поможет найти не только положительные комментарии о телефоне, но и узнать о его проблемах. Такой подход применим к разным областям.
• Критически анализируйте информацию. Это сложный навык, которому можно научиться, практикуя его. Старайтесь при принятии важных решений на основе информации спрашивать себя, почему ей следует доверять, надёжен ли её источник, подтверждается ли она другими данными и так далее. Кроме практики критического мышления можно добавить и теорию, выбрав подходящую книгу.

Каким бы ни было утверждение, подумайте, откуда берутся данные, как они были получены, и спросите себя: «Какая информация отсутствует?»

Сендхил Малленатан,
профессор вычислительных и поведенческих наук Школы бизнеса Бута Чикагского университета. Scientific American

Всегда помните Вальда с самолётами: обращайте внимание не только на то, что видно сразу, но и думайте о том, что осталось за кадром.

Как зарабатывать больше с помощью нейросетей?
Бесплатный вебинар: 15 экспертов, 7 топ-нейросетей. Научитесь использовать ИИ в своей работе и увеличьте доход.
Узнать больше

Что такое систематическая ошибка выжившего

Ложные выводы, построенные только на известных фактах, называют ошибкой выжившего. Она не имеет ничего общего с советами, как выживать в тех или иных условиях. Такое заблуждение возникает тогда, когда учитывается очевидное, но пренебрегается неизвестным. Мозг человека устроен таким образом, что в условиях избытка информации или ее недостатка, а также при необходимости принимать быстрые решения реагирует на задачи наиболее энергоемким образом. То есть систематическая ошибка выжившего не связана с интеллектом и эрудицией, это побочный эффект психических процессов.

Феномен получил такое название после случая, который произошел во время Второй мировой войны. Американские военные решили выяснить, как уменьшить потери авиации. Покрыть весь самолет броней было невозможно, поскольку он стал бы тяжелым. Поэтому военным предстояло определить, какие части техники нужно защитить в первую очередь. Специальная комиссия проанализировала пробоины на вернувшихся с рейдов самолетов и решила, что покрыть броней нужно крылья, так как по статистическим данным они получили большее количество повреждений.

Венгерский математик Абрахам Вальд не согласился с таким выводом. Он был уверен, что, поскольку исследуемые самолеты смогли вернуться, их поврежденные части являются сильными местами. Он настаивал на бронировании двигателя, где повреждений не было вообще. Вальд был уверен, что из-за отсутствия пробоин в двигателе эти самолеты смогли прилететь на базу. То есть математик учитывал не только успешный опыт «выживших», вернувшихся самолетов, но и неудачный, который оставался для исследовательской группы скрытым. Такое когнитивное искажение в теории Абрахама Вальда получило термин «ошибки выжившего».

Важно не перепутать ошибку выжившего с синдромом выжившего — комплекса вины, возникающего у тех, кто остался жив после аварии, теракта, стихийного бедствия. Особенно ярко такой синдром проявляется у людей, которые потеряли близких, но спаслись сами. Это связано с тем, что они эмоционально застревают на одной из пяти стадий переживания, которые предложила Элизабет Кюблер-Росс.

Как работает ошибка выжившего: примеры

Первыми, кто заметил ошибочность выводов при невозможности учесть все, даже неочевидные факты, были древние греки. Известно, что Диагор Мелосский одним из первых усомнился в эффективности мольбы моряков к богам во время сильного шторма. Он справедливо замечал, что грекам известны лишь те случаи, когда мореплаватели взывали к богам и успешно одолевали стихию. О тех же, кто отчаянно молился, но не пережил шторм, ничего не известно. 

Сегодня с последствиями ошибки выжившего сталкиваются даже наиболее рационально мыслящие люди. Врач-психотерапевт Надежда Адрова отмечает, что это связано особенностью взаимодополняющих друг друга процессов перцепции (восприятия) и когниции (обработки, оценки): «При когнитивной оценке ситуации выводы строятся на данных, показывающих, как правило, только одну сторону. А перцептивный процесс проводит восприятие лишь той стороны, которая имеет непосредственное отношение к текущей проблеме, что сужает видение ситуации в целом. То есть когнитивным искажениям в той или иной степени подвержен каждый из нас». 

Почему не стоит верить историям успеха

Сложно найти издательство, которое возьмется опубликовать биографию погрязшего в долгах бизнесмена. Или актера, который неоднократно пытался получить роль в голливудском фильме, но так и не достиг своей цели. Истории успеха на книжных полках приводят к тому, что у читателей складывается неверное представление о количестве тех, кто достиг значимых результатов.

Здесь также возникает опасность неверно понять связь причины и следствия. Например, в ряде мотивирующих книг говорится о тех, кто не получил высшее образование, но вопреки этому стал богатым и известным. Скорее, это простое совпадение, связанное с удачным стечением обстоятельств, и это не значит, что нужно повторять такие примеры. Ведь если рассматривать опыт всех людей, пытавшихся сделать то же самое, но проигравших, их будет в сотни раз больше.

Почему же так популярны истории успеха? Потому что люди в подобных случаях склонны отбрасывать рациональные доводы, чтобы убедить себя, что невозможное реально в достижении. Успех не гарантирован, большинство тех, кто готов на серьезный риск, терпит неудачу. Единицы не останавливают своих попыток и в итоге получают достойный результат, который ложится в основу книг об успехе. Это равносильно азартной игре, где рациональных причин, сопутствующих победе, практически нет.

Почему общественное признание не всегда показатель качества

Фамилии Галилея, Лобачевского, Ампера, Курно, Менделя, Теслы, Ван Гога, Кафки, Уайльда, Вермеера, Модильяни и других деятелей, совершивших прорыв в науке или искусстве, сегодня на слуху у многих. Однако при жизни далеко не каждый из творцов был оценен по достоинству своими современниками. Психология настаивает на том, что человеческое восприятие весьма консервативно, и если оно сталкивается с чем-то новым, неизвестным, то первым делом будет это отрицать. Поэтому яркие открытия проходили часто незамеченными — научное сообщество просто не могло осознать их перспективности. То же касается и деятелей искусства, которые творили вне традиций и школ. Сегодня мы понимаем ценность их вклада в развитие культуры благодаря знаниям об искусстве разных эпох. Тот факт, что в оценке научных открытий и достижений культуры люди склонны попадаться на крючок «ошибки выжившего», подтверждают непрекращающиеся дебаты о современном искусстве. 

Лайки, репосты и комментарии в социальных сетях тоже относятся к виду общественного признания. Нельзя оценивать качество контента только лишь по показателям статистики, ведь на нее влияет огромное количество факторов. Интернет-маркетологи, например, склонны попадать в ловушку негативных комментариев при внушительном количестве лайков — комментарии оставляют немногие, ведь этот процесс требует времени. То есть маркетолог не будет знать мнения тех, кому публикация понравилась, и станет жертвой типичной
«ошибки выжившего». 

Почему нужно проверять достоверность расхожих утверждений

По умолчанию люди привыкли верить в достоверность распространенных убеждений. Например, о том, что раньше автомобили делали на века, что здания строили более качественно, что музыку писали лучше, а народная медицина опережала по эффективности современную. Все эти принципы лишь примеры заблуждений, связанных с «ошибкой выжившего»: учитываются лишь очевидные факты.

О качестве ретроавтомобилей можно судить лишь по тем образцам, которые сохранились до наших дней. К слову, ни не ездят по бездорожью, не стоят в километровых пробках, не развивают скорость больше 50 км/ч. Это фактически музейные экспонаты, которые в свое время использовались по назначению при совершенно других условиях. Поэтому подобное сравнение некорректно.

Здания, сохранившиеся с прошлых веков, прошли своеобразный отбор временем. Это те же истории успеха, только перенесенные на архитектуру. Наименее эстетичные или плохо сконструированные здания давно исчезли с улиц городов, поэтому судить о том, как строили раньше, лишь по отдельным образцам неправильно.

Вечера классической музыки, выставки живописи, театральные постановки (не современные) — все это концентрат лучших достижений прошлых веков. Мы не видим и не слышим тех произведений, которые не стали востребованными и канули в небытие. Современная же культура доступна во всем многообразии. Лишь время сможет отобрать ее лучшие образцы. Когда-нибудь на них будут ссылаться при утверждениях, в основе которых лежит «ошибка выжившего».

Дискуссии насчет эффективности вакцин, насчет безопасности авиаперелетов, насчет смышлености дельфинов, подталкивающих утопающих к берегу, — многие даже рациональные на первый взгляд аргументы могут относиться к заблуждениям, возникшим из-за «ошибки выжившего». Это связано либо с неполнотой статистических данных, либо с тиражированием в медиа негативных событий вроде авиакатастроф, что создает неверное представление о действительности.

Как избежать систематической ошибки выжившего

Систематическая ошибка выжившего нередко влекла за собой серьезные последствия, включая аварии на крупных производствах. Чтобы не стать жертвой заблуждений, нужно прежде всего спросить себя, каких фактов не хватает. Если перед вами данные о «выживших», нужно найти также диаметрально противоположные факты. Если перед вами стоит задача принять важное решение, не делайте поспешных решений, возьмите паузу: время позволит снизить риск ошибки выжившего и тщательно рассмотреть все стороны ситуации. Еще один совет — используйте не менее трех авторитетных источников данных. Но даже при этом ищите те факты, на которые могут не обратить внимания даже профессионалы.

Психотерапевт Надежда Адрова рекомендует следующий алгоритм:

1. Сначала постарайтесь определить, субъективное ли мнение перед вами или конкретный факт.
2. Найдите данные, которые могут подтвердить это суждение. Чем больше источников — тем лучше. Используйте системный подход, не пренебрегайте деталями.
3. Обратите внимание на другие точки зрения касательно этой проблемы. Поищите статистику неудачных случаев или проанализируйте, не стал ли этот успех случайным.
4. Не повторяйте рекомендации «выживших». Разузнайте больше о неудачном опыте. Разбирая поражения других, вы сможете понять, чего делать не стоит и как избежать неудачи. 

Ошибка выживших

История об элементарной ошибке командования, грозившей пустой растратой ресурсов и едва не стоившей жизни многим пилотам. История об исчезнувших пробоинах и тайном, которое значит больше, чем явное. Скрытый смысл? Скорее, типичное заблуждение, свойственное человеческому несовершенству.

Техническая справка

Суматошно на подходе
Нас калибры обнимают.
Сквозь разрывы в шлемофоне:
Мы над целью — начинаем!

Масса броневых плит у поздних модификаций “Крепостей” достигала 900 кг. На более легких машинах также применялась защита, которая непрерывно усиливалась с эскалацией боевых действий.

Авиационная броня не рассчитывалась на прямые попадания снарядов. Её задача — прикрывать жизненно важные узлы самолета от роя осколков, образующихся при дистанционном подрыве зенитных боеприпасов. А также от огня мелкокалиберных авиационных пушек и пулеметов истребителей.

Помимо бронирования кабины, основных узлов и агрегатов, применялись другие действенные меры, направленные на локализацию повреждений и возможность продолжения полета при получении повреждений. Многомоторная схема, дублирование жизненно важных систем (электропроводка, тяги управления), протектирование топливных баков и наддув их свободного объема азотом или выхлопными газами двигателя. Кто-то пошел еще дальше, установив внутри фюзеляжа стальную “лыжу” для спасения пилота при жесткой посадке.

В бою выживали сильнейшие. Концепции защиты авиатехники непрерывно эволюционировали на протяжении всей войны. А перед конструкторами стоял вопрос — на основе имеющихся данных предвидеть и спрогнозировать наиболее эффективные пути решения проблемы.

____________________

Манхэттен, 118-я улица, район Морнингсайд-Хайтс. Место дислокации Центра статистических исследований для решения военных задач. Сокращенно — SRG.

Среди сотрудников Центра числились лучшие математики той эпохи: Ноберт Винер, Леонард Сэвидж, будущий нобелевский лауреат М. Фридман.

Они рассчитывали все. Наиболее выгодные сочетания вооружения. Способы бомбардировок. Схемы выборочного контроля боеприпасов (когда при наименьших усилиях удается проверить достаточное число, чтобы сделать вывод о соответствии стандартам той или иной партии снарядов).

Группе ученых, которой руководил Абрахам Вальд, выпала задача проанализировать повреждения и найти оптимальную схему бронирования. Какие места самолета нуждаются в наибольшей защите?

Как подданный “враждебной страны”, Вальд формально не имел доступа к секретным документам. Коллеги шутили, что “особисты” должны сразу выхватывать из его рук составленные им отчеты, чтобы он не успел их прочесть.

Рабочей группе статистиков был представлен обширный материал о вернувшихся с задания самолетах, чьи плоскости и фюзеляжи были похожи на швейцарский сыр. По результатам анализа повреждений были составлены схемы с указанием наиболее уязвимых мест.

Наибольшее число попаданий приходилось вдоль плоскостей крыла, в районе хвостовой оборонительной установки и в нижнюю сторону фюзеляжа.

Задача была успешно решена. Представители командования видели возможность повышения выживаемости самолетов путем усиления защиты в найденных уязвимых местах.

Единственным, кто выразил сомнения, был Абрахам Вальд. Он рассмотрел снимки, но не увидел следов от попаданий в двигатели и кабину пилотов. По мнению венгерского математика, это могло означать следующее.

Либо осколки отличаются особой избирательностью при выборе целей, они попадают везде, кроме кабины и моторов.

Второе объяснение — самолеты с убитым экипажем и пораженным двигателем, как правило, не возвращались с задания. Фотографировать было нечего.

Подобно тому, как основное число пациентов военных госпиталей имеют ранения в конечности. Но это не значит, что пули не попадают в голову. Это свидетельство того, что получившие ранение в голову, как правило, погибают на месте.

Поэтому делать выводы только на основе вернувшихся самолетов — это ошибка.

Изрешеченные плоскости и фюзеляж не нуждаются в дополнительных мерах защиты. Представленные факты свидетельствуют, что их прочности хватает для продолжения полета даже при обширных повреждениях обшивки и силового набора.

Все имеющиеся резервы должны быть потрачены на защиту критических важных узлов, повреждения которых неминуемо приводят к катастрофе.

_______________________

Почему Абрахам Вальд смог увидеть то, чего в упор не видели все офицеры ВВС, обладающие набором профессиональных знаний и пониманием законов воздушного боя? Как отмечалось выше, виной тому было несовершенство человеческого мышления. Обрастая набором стереотипов, мы уже не способны видеть истину во всей её простоте и красе. Единственным, кто сумел задать верный вопрос и получить верный ответ, был ученый-математик, привыкший смотреть на вещи с аналитической точки зрения.

Что касается самой задачи с таинственно исчезнувшими пробоинами, то этот феномен стал известен, как “систематическая ошибка выжившего”. И встречается она не только на войне, а практически в любой ситуации.

В основе её составление законов, советов и инструкции только на основе удачных примеров. Неудачные — в топку. На этом основана вся реклама, любые диеты, лотереи и городские легенды. Рассказы о том, как дельфины толкают тонущих людей к берегу (ведь те, кого толкали от берега, поделиться своим опытом не смогли). И прочее, прочее.

Как много успешных людей в этом зале! (И как много неуспешных.)

Рассказы о Билле Гейтсе, который бросил учебу и добился успеха, подается как пример для и без того не слишком грамотных и не стремящихся к знаниям жертв ЕГЭ.

Что касается заглавной темы статьи, то элементарная, очевидная и теперь уже простая ошибка, допущенная ответственными лицами ВВС, есть показатель особенностей человеческого мышления. Несовершенны мы все, ничего с этим не поделать. И хорошо, что в той ситуации нашелся хоть кто-то, кто усомнился в общепринятой токе зрения, задумался над оставленными без внимания фактами и смог указать на ошибку.

53 комментария

Ошибка выжившего

«Защита» — хороший ярлык для плохих дел.
Милтон Фридман «Свобода выбирать»

Этот текст получился в результате анализа некоторых комментариев к статьям «Дефекты лайков» и «Экономика и права человека».

Интерпретируя какие-либо данные и делая выводы, некоторые комментаторы совершали типичную «ошибку выжившего».

Что такое «систематическая ошибка выжившего»? Это учет известного и пренебрежение неизвестным, но существующим.

Примером «стоимости» ошибки выжившего и примером удачного преодоления этой ошибки является работа венгерского математика Абрахама Вальда, работавшего на американскую армию во время Второй мировой войны.

Командование поставило перед Вальдом задачу проанализировать пробоины от пуль и осколков на американских самолетах и предложить способ бронирования, чтобы пилоты и самолеты не погибали.

Сплошное бронирование применить было нельзя — самолет получался слишком тяжелым. Нужно было или бронировать те места, где повреждения были, куда попали пули, либо те места, где повреждений не было. Оппоненты Вальда предлагали бронировать поврежденные места (на картинке они помечены красными точками).

Вальд возражал. Он говорил, что самолеты с такими повреждениями смогли вернуться, в то время как самолеты с повреждениями в других местах вернуться не смогли. Точка зрения Вальда одержала верх. Самолеты были забронированы там, где у вернувшихся машин повреждений не было. В итоге количество уцелевших самолетов значительно возросло. По некоторым данным, Вальд таким образом спас жизни примерно 30% американских летчиков. (В цифре я могу ошибаться, но эффект был весьма значительным. Вальд спас сотни жизней).

Еще одной иллюстрацией «ошибки выжившего» является рассказ Цицерона о словах Диагора Мелосского, который на аргумент в пользу клятв богам, потому что есть множество «изображений о спасении людей, которые попадали в шторм и давали клятву богам совершить какой-либо обет», ответил, что «однако отсутствуют любые изображения тех, кто погиб в море в результате кораблекрушения».

И первая «ошибка выжившего» в комментариях к статье «Дефекты лайков» состоит в том, что нам неизвестно, сколько хороших, полезных, гениальных идей, творений, изобретений, научных работ было похоронено разнообразными «дизлайками», «игнорами» и «банами».

Процитирую формулировку господина @S-e-n: «Никто не знает, сколько хороших идей было слито, не опубликовано, не разработано из страха бана. Сколько было попыток, тихо закончившихся баном автора — тоже. То, что видно сейчас — сколько удачных идей признано сразу или с запозданием, сколько неудачных не признано. Если опираться только на то, что видно — то да, всё ок.»

Это актуально для любой системы рейтингов, основанной на предпочтениях большинства. Будь то наука, соцсети, поисковые системы, первобытные племена, религиозные группы или иные человеческие сообщества.

Не всегда «бан» и «дизлайк» происходят по «злому умыслу». Реакция «возмущения» на нечто новое и необычное — это рутинная физиологическая и психологическая реакция, называемая модным словом «когнитивный диссонанс» — это просто особенность всего вида Хомо Сапиенс, а не свойство какой-то отдельной группы. А вот раздражители у каждой группы могут быть свои. И чем «новее» и «необычнее», тем сильнее возмущение, сильнее диссонанс. И нужно очень хорошо владеть своей психикой, чтобы не наброситься на «возмутителя спокойствия». Что, впрочем, нисколько не оправдывает агрессора. «Возмутитель» лишь «возмущает», в то время как действия агрессора направлены на уничтожение.

Ошибка выжившего встречается и в комментариях к статье «Экономика и права человека». И касается сертификации лекарств.

Чуть ниже я приведу большую цитату из книги «Свобода выбирать» нобелевского лауреата по экономике Милтона Фридмана, а пока лишь замечу, что огромное количество клинических испытаний, сертификатов и прочего почему-то не всех людей убеждают делать прививки, пить назначенные антибиотики и гормоны. Т.е. лицензирование и сертифицирование в данном случае «не работает». При этом есть довольно много людей, применяющих БАДы или гомеопатию, которые не подвергаются (мягко говоря) такому серьезному контролю, как лекарства. Есть много людей, предпочитающих обратиться к знахарям и народным целителям, вместо того, чтобы идти к доктору и пить «химию», на которую есть лицензии, сертификаты и которая прошла множество контролей и испытаний.

Цена такого решения бывает неимоверно высока — от инвалидности до смерти. Быстрой смерти. Время, которое пациент тратит на лечение БАДами, пренебрегая химией и визитом к врачу, оборачиваются упущенной возможностью успеть вылечить болезнь на ранней стадии, в т.н. «светлый промежуток».

При этом важно понимать, что прежде чем лекарство будет отправлено на «сертификацию», фармфирма проводит множество собственных испытаний и контролей, в т.ч. на людях.

Сертифицирование лишь дублирует эту процедуру. Причем в каждой стране все повторяется, что в конечном итоге увеличивает стоимость лекарства для потребителя.

Это было небольшое отступление от темы. Теперь, сильно сокращая, цитирую Милтона Фридмана.

«Для организации совместной взаимовыгодной деятельности людей не требуется вмешательства внешних сил, принуждения либо ограничения свободы… В настоящее время накоплены значительные свидетельства того, что регулирующая деятельность Управления (FDA) пагубна, что она принесла больше вреда, тормозя прогресс в производстве и распространении полезных препаратов, чем пользы, защищая рынок от вредных и неэффективных препаратов.
Влияние Управления по надзору за качеством пищевых продуктов и медикаментов (FDA) на темпы внедрения новых лекарств очень значительно… в настоящее время требуется значительно больше времени на то, чтобы получить одобрение нового лекарства, и, отчасти вследствие этого, затраты на разработку новых препаратов многократно возросли… для внедрения нового продукта на рынок нужно израсходовать 54 миллиона долларов и около 8 лет, т.е. произошел стократный рост затрат и четырехкратное увеличение времени по сравнению с общим двукратным ростом цен. В результате фармацевтические компании США больше не в состоянии разрабатывать новые препараты для лечения пациентов с редкими заболеваниями. Вдобавок мы даже не можем воспользоваться в полной мере зарубежными достижениями, поскольку Управление не принимает свидетельства из-за границы как доказательство эффективности препаратов.

Если исследовать терапевтическую значимость лекарств, которые не появились в США, но доступны, например, в Англии, вы столкнетесь с рядом случаев, когда пациенты пострадали от отсутствия лекарств. Например, существуют лекарства, которые называются бета-блокаторами и могут предотвратить смерть от сердечного приступа — вторичным предотвращением смерти от инфаркта миокарда, — если бы эти лекарства были доступны в США, они могли бы спасать примерно десять тысяч жизней в год…

Косвенным последствием для пациента является тот факт, что терапевтические решения, которые раньше были на усмотрении врача и пациента, все больше принимаются на национальном уровне комитетами экспертов. Для Управления по надзору за качеством пищевых продуктов и медикаментов высшим приоритетом является избежание риска, вследствие чего у нас есть лекарства более безопасные, но нет более эффективных.

Отнюдь не случайным является то, что Управление по надзору за качеством пищевых продуктов и медикаментов, несмотря на самые лучшие намерения, своими действиями отбивает охоту разрабатывать и реализовывать на рынке новые и потенциально полезные лекарства.

Поставьте себя на место чиновника Управления, отвечающего за одобрение или неодобрение нового препарата. Вы можете совершить две ошибки:

1. Одобрить лекарство, оказывающее непредвиденное побочное действие, которое приведет к смерти или серьезному ухудшению здоровья относительно большого числа людей.

2. Отказать в одобрении лекарства, которое могло бы спасти жизнь многих людей или облегчить огромные страдания и не имеющее неблагоприятных побочных действий.

Если вы сделаете первую ошибку и одобрите, ваше имя появится на первых полосах всех газет. Вы попадете в суровую опалу. Если вы совершите вторую ошибку, кто об этом узнает? Фармацевтическая фирма, продвигающая новый препарат, от которой можно отмахнуться, как от образчика алчных бизнесменов с каменными сердцами? Несколько разъяренных химиков и врачей, занимающихся разработкой и тестированием нового препарата?

Пациенты, чьи жизни можно было бы спасти, уже не смогут выразить свой протест. Их семьи даже не узнают о том, что дорогие им люди потеряли жизнь из-за «осторожности» неизвестного чиновника из Управления по надзору за качеством пищевых продуктов и медикаментов.

Даже имея самые лучшие в мире намерения, вы невольно запрещали бы многие хорошие лекарства или откладывали бы их одобрение, чтобы избежать даже отдаленной возможности пропустить на рынок лекарство, которое имело бы побочное действие в виде газетной шумихи…
Вред, причиненный деятельностью Управления по надзору за качеством пищевых продуктов и медикаментов, не является следствием недостатков людей, занимающих ответственные посты. Многие из них являются способными и преданными государственными служащими. Тем не менее, социальное, политическое и экономическое давление определяет поведение людей, отвечающих за деятельность правительственного агентства, гораздо в большей степени, чем они сами, определяют его поведение. Без сомнения, бывают исключения, но они почти так же редки, как и лающие кошки». Конец цитаты.

Таким образом «ошибка выжившего» в оценке эффективности работы контролирующего органа «обходится» человечеству в 10000 жизней в год только по одному препарату в одной стране. Размер всей невидимой части этого «айсберга» оценить сложно. И, пожалуй, страшно.

«Пациенты, чьи жизни можно было бы спасти, уже не смогут выразить свой протест. Их семьи даже не узнают о том, что дорогие им люди потеряли жизнь из-за «осторожности» неизвестного чиновника». Ни один нерадивый производитель не наносил своим согражданам такой ущерб.

Кроме прочего, услуга сертифицирования довольно дорого обходится налогоплательщикам. Т.е. всем жителям. По подсчетам Милтона Фридмана, доля «проедаемого» чиновниками, регулирующими различные социальные программы в США, составляет около половины всей суммы налогов, направляемых на различные социальные выплаты. Эта половина тратится на зарплаты и прочие расходы чиновников от социальной распределительно-регулирующей системы. Любой бизнес давно бы обанкротился с такими непроизводительными накладными расходами.

Это все равно, что заплатить официанту за плохое обслуживание в ресторане чаевые в размере стоимости ужина. Или оплатить упаковку продуктов в супермаркете в размере полной их стоимости только за то, что вам их упакуют в пакетики.

Наличие чиновника в цепочке изготовитель-товар-потребитель или услуга-потребитель удваивают стоимость любого товара и услуги. Т.е. на зарплату любого человека можно было бы купить вдвое больше товаров и услуг, если бы контролем этих товаров и услуг не занимался чиновник.
Как сказал судья Луис Брандис: «Опыт учит тому, что свобода особенно нуждается в защите, когда правительство устремляется к благотворным целям».

Лицензирование, как и иные запретительные способы регулирования (депрессирования) экономики вовсе не новы и известны со средних веков. Все разновидности гильдий, каст, сословий — это ни что иное, как лицензирование и сертифицирование, в переводе на современный язык. И цель их всегда была одна — ограничить конкуренцию, поднять цены, увеличить доходы «своих» и не допустить «чужих». Т.е. все та же дискриминация и банальный картельный сговор, ухудшающий качество и повышающий цены для потребителя.

Может надо как-то выбираться из средневековья? На дворе 21-й век.

Аварии на дорогах устраивают водители, имеющие права и лицензии. Врачебные ошибки совершают дипломированные и лицензированные врачи. Плохо учат, наносят ученикам психологические травмы лицензированные и дипломированные учителя. При этом знахари, гомеопаты, шаманы и шарлатаны великолепно обходятся без лицензий и экзаменов и прекрасно процветают, занимаются своим делом, удовлетворяя спрос населения.

В то же время, со всех этих лицензий и разрешений кормится масса чиновников, не производящих никаких полезных для граждан товаров или услуг, зато обладающей почему-то правом решать за гражданина, где ему лечиться и учиться за его же налоги.

Остается только удивляться тому что, не смотря на запретительный вектор работы чиновников, фармкомпаниям все же удалось в 20-м веке зарегистрировать множество лекарств, спасших миллионы жизней.

И остается лишь ужасаться тому, какое количество лекарств было не разработано, было не зарегистрировано, было признано неперспективными экономически в силу дороговизны и длительности разрешительного процесса. Ужасаться, скольким людям стоил жизни и здоровья результат запретительной деятельности чиновников.

При этом наличие огромного количества лицензирующих, контролирующих, надзирающих и штрафующих чиновников и инстанций нисколько не сократили количество шарлатанов, народных снадобий, всевозможных панацей и волшебных таблеток. Часть из них выпускается под видом биологически активных добавок, часть просто распространяется в обход любых аптек, магазинов и инстанций.

Стоит ли продолжать настаивать на ошибочном пути лицензирования и регулировки? Я думаю, что нет.

Если мозг героического уважаемого читателя, дочитавшего статью до конца, еще не полыхает яростным когнитивным диссонансом, то я хочу порекомендовать для «затравки» четыре книжки, написанные очень простым языком и разрушающие многие мифы, касающиеся капитализма, ошибки выжившего, экономики и государственного контроля. Вот эти книги: Милтон Фридман «Свобода выбирать», Айн Рэнд «Капитализм. Незнакомый идеал», Стивен Левитт «Фрикономика», Малькольм Гладуэлл «Гении и аутсайдеры», Фредерик Бастия «Что видно и чего не видно».
А вот здесь размещена еще одна статья про «ошибку выжившего».

Иллюстрации: McGeddon, Сергей Елкин, Акролеста.

P.S. Уважаемые господа читатели, прошу Вас помнить, что «Стиль полемики важнее предмета полемики. Предметы меняются, а стиль создает цивилизацию.» (Григорий Померанц). Если я не ответил на Ваш комментарий, значит что-то не так со стилем Вашей полемики.

Дополнение.
Прошу прощения у всех, кто написал толковый комментарий, а я не ответил. Дело в том, что кто-то из пользователей повадился минусовать мои комментарии. Каждый. Как только появляется. Это мешает мне набрать «заряд» и поставить плюс в карму и за ответ тем, кто пишет толковый комментарий.
Но если Вы все-таки хотите получить ответ и обсудить статью, Вы можете писать мне личное сообщение. Я на них отвечаю.

Дополнение 2.
«Ошибка выжившего» на примере этой статьи.
На момент написания этого дополнения у статьи 33,9к просмотров и 141 комментарий.
Предположим, что большинство из них негативные по отношению к статье.
Т.е. статью прочитали 33900 человек. Поругали 100. В 339 раз меньше.
Т.е. если очень грубо и с допущениями округлять, то у автора нет данных о мнении 33800 читателей, а есть данные только о мнении 100 читателей (на самом деле еще меньше, поскольку часть читателей оставляет несколько комментариев).
И что же делает автор, т.е. я, читая комментарии? Совершаю типичную «ошибку выжившего». Я анализирую лишь сто «минусов», полностью (психологически) игнорируя тот факт, что это лишь 0,3% мнений. И на основании этих 0,3%, что в пределах статистической погрешности, делаю вывод, что статья не понравилась. Огорчаюсь, не имея к этому ни малейшего повода, если рассуждать логически, а не эмоционально.
Т.о. «ошибка выжившего» лежит не только в области математики, но, вероятно, и в области психологии и нейрофизиологии, что делает ее обнаружение и исправление довольно «мучительным делом» для человеческого мозга.

Дополнение 3.
Хотя это выходит за рамки данной статьи, но поскольку в комментариях довольно бурно обсуждается вопрос контроля за качеством лекарств, то отвечаю сразу всем.
Альтернативой госконтролю может стать создание частных экспертных лабораторий, которые будут проверять качество лекарств, конкурируя друг с другом. (И такие лаборатории, общества, ассоциации и институты в мире уже существуют).
Что это даст? Во-первых, устранит коррупцию, поскольку всегда будет возможность перепроверить и опровергнуть данные коррумпированной экспертизы. Во-вторых, это будет быстрее и дешевле. Просто потому, что частный бизнес всегда эффективнее, чем государственный. В-третьих, экспертная лаборатория будет продавать свои услуги, а значит, будет отвечать за качество, сроки, цены, Все это совокупно снизит стоимость лекарств в аптеке. В-четвертых, если на упаковке не стоит отметка о проверке в независимой частной экспертной лаборатории, а то и в двух-трех, то покупатель будет понимать, что лекарство непроверенно. Или проверенно многократно. И будет «голосовать рублем» за того или иного фармпроизводителя.

Дополнение 4.
Мне кажется, что важно учитывать «ошибку выжившего» при разработке ИИ, алгоритмов машинного обучения и т.п.
Т.е. закладывать в обучающую программу не только известные примеры, но и некую дельту, возможно даже теоретические модели «возможного неизвестного».
На примере «рисующих» ИИ это м.б., условно «ван Гог + дельта», тогда при большой величине дельты, машина создаст фильтр на основе ван Гога, но совершенно уже на него не похожем.
Подобное обучение м.б. полезно там, где имеется дефицит данных: медицина, генетика, квантовая физика, астрономия и т.п.
(Прошу прощения, если «криво» объяснил).

Примечание (надеюсь последнее)
Всем, кто дочитал до конца — «Спасибо». Мне очень приятно видеть Ваши «закладки» и «просмотры».