Почему эксперты ошибаются

Давний клиент глобальной компании из сферы финансовых услуг, с которой мы работали, случайно подал одну и ту же заявку сразу в два ее офиса. Казалось бы, сотрудники, рассматривающие заявки, везде следуют одним и тем же правилам, а значит, примут одинаковые решения. Однако два офиса выставили совершенно разные сметы. Озадаченный этим клиент обратился к конкуренту. С точки зрения компании, сотрудники, делающие одну и ту же работу, абсолютно взаимозаменяемы, но это иллюзия. И, к сожалению, типичная.

Во многих организациях специалистов для выполнения конкретных видов работ выбирают произвольно — это относится к людям разных специальностей. От них ждут последовательных и единообразных действий: одинаковые случаи предполагают похожий — и даже единственно возможный — подход. Но люди не автоматы, их решения не всегда надежны. На их выводы сильно влияют разные факторы: сиюминутное настроение, погода, желание заморить червячка. Такой зависящий от случая разброс выводов мы называем «шумами». Это невидимый налог на финансовые результаты многих компаний.

Некоторые виды работы не подвержены «шумам». Банковские или почтовые сотрудники выполняют сложные операции, но они обязаны соблюдать четкие правила, которые минимизируют субъективность их выводов и гарантируют, что идентичные случаи будут идентично же рассмотрены. Что же касается врачей, сотрудников кредитных учреждений, судей, топ-менеджеров, то все они принимают решения по ситуации, руководствуясь не столько жесткими правилами, сколько опытом и общими принципами. И если они находят не совсем тот ответ, какой получили бы другие на тех же должностях, то это приемлемо; именно это мы имеем в виду, говоря, что решение — это вопрос личного суждения и оценки. Если в фирме сотрудники руководствуются собственным суждением, то вряд ли их решения будут полностью защищены от «шумов». Но очень часто уровень «шумов» значительно превышает тот, который топ-менеджеры сочли бы допустимым, — если бы понимали, что происходит.

Неизбежность «шумов» доказана исследованиями. Ученые не раз подтверждали, что выводы специалистов, сделанные ими ранее, часто противоречат предыдущим выводам, если им дают те же данные, но в иных обстоятельствах. Например, разработчиков ПО попросили в разные дни ответить на один и тот же вопрос: сколько им нужно времени для выполнения конкретного задания? Цифры, названные ими в разные дни, расходились в среднем на 71%. Патологоанатомы дважды оценивали результаты биопсии. Корреляция между их оценками составила лишь 0,61 (из 1, что означало бы полную корреляцию). То есть они довольно часто ставили несовпадающие диагнозы. Вероятность расхождения выводов, сделанных разными людьми, еще выше. Исследователи подтвердили, что специалисты, оценивающие стоимость акций, недвижимости или эффективности работы, выносящие приговоры преступникам, проверяющие финансовые отчеты и т. д., часто грешат непоследовательностью. Неизбежный вывод состоит в том, что чаще всего их решения сильно отличаются от решений коллег, от их собственных предыдущих решений и от правил, которые они, по их словам, соблюдают.

«Шумы» весьма коварны: даже сильные компании теряют из-за них значительные деньги. Насколько значительные? Чтобы это понять, мы предлагали руководителям одной из изучаемых нами организаций одну и ту же задачку. Предположим, объективная стоимость работы — $100 тысяч. Отвечающий за нее специалист оценивает ее в $115 тысяч. Каковы в этом случае издержки организации? И какими они были бы, если бы работу оценили в $85 тысяч? Издержки оказались высокими. Когда мы суммировали издержки ежегодных оценок, цена «шумов» выросла до нескольких миллиардов. Если уменьшить «шумы» хотя бы на несколько процентов, можно сэкономить десятки миллионов. Но до наших расспросов организация полностью игнорировала эту проблему.

Давно известно, что прогнозы и решения, полученные с помощью простых статистических алгоритмов, часто оказываются точнее составленных экспертами, даже если они оперируют большим объемом информации, чем формулы. Куда менее известно, что главное преимущество алгоритмов — их неподверженность «шумам». Формула, в отличие от человека, по любой конкретной введенной информации всегда выдает один и тот же результат. Идеальная последовательность позволяет даже простым и несовершенным алгоритмам быть точнее любого специалиста.

В статье мы объясняем, чем «шум» отличается от искажений, и рассказываем, как руководители могли бы отслеживать уровень «шумов» и их последствия у себя в организациях. И далее мы описываем недорогой и простой метод создания алгоритмов, устраняющих «шумы», а также рассказываем, как гарантировать «чистоту» решений, когда вариант с алгоритмами не годится.

Идея коротко

Проблема

Организации ждут от своих специалистов точных и единообразных решений. Однако, когда люди делают выводы, на них обычно воздействуют посторонние факторы вроде погоды или предыдущего случая из практики. Но главное, разные специалисты принимают разные решения по одному вопросу. Зависящий от посторонних факторов разброс выводов называется «шумами», и эти шумы очень дорого обходятся компаниям.

Отправной момент

Руководителям нужно проводить аудит ­шумов, в ходе которого сотрудники подразделения, работая независимо друг от друга, оценивали бы весь набор ситуаций. Уровень «шумов» определяется степенью расхождения их решений. ­Скорее всего, он будет гораздо выше, чем думает руководство.

Решение

Самое смелое решение проблемы «шумов» — замена алгоритмами выводов экспертов. Создать алгоритмы технически несложно, но обычно их не применяют по политическим или производственным причинам. Если это так, то компаниям нужны процедуры, которые помогали бы специалистам сокращать разнобой в решениях.

«Шумы» vs искажения

Когда обсуждают ошибки в выводах и решениях, то обычно говорят о социальных предубеждениях вроде стереотипных представлений о меньшинствах или о когнитивных заблуждениях — например, о чрезмерной уверенности или необоснованном оптимизме. Ненужный разброс вариантов, который мы называем «шумом», относится к ошибкам другого типа. Чтобы понять, в чем разница, представьте себе свои напольные весы. Мы считаем их неточными, если они всегда слишком завышают или занижают наш вес. Если показания зависят от того, как вы ставите ноги, у вас «зашумленные» весы. Если же настоящий вес всегда занижается на пару килограмм, весы врут, но не «шумят». Весы, выдающие два разных значения, когда вы дважды на них встаете, «зашумлены» в два раза сильнее. Многие ошибки измерения объясняются сочетанием искажений и «шумов». Дешевые напольные весы обычно и не совсем точны, и довольно сильно подвержены «шумам».

Чтобы наглядно представить себе разницу, посмотрите на мишени, изображенные во врезке «Как шумы и искажения сказываются на точности». Перед вами — результаты стрельбы по ­мишеням команд, состоявших из четырех человек. Каждый из них сделал по одному выстрелу.

• Команда А точна: все попали в «яблочко» — и близко друг от друга.
• Команда В подвержена «шумам»: пули попали рядом с «яблочком», но разброс очень широк.
• Для команды С характерны искажения: никто не попал в «яблочко», но все выстрелы сосредоточены на одном участке.
• Команда D продемонстрировала и «шумы», и искажения.

Если мы сравним команды А и В, то увидим, что чем выше уровень «шумов», тем заметнее снижается точность, если нет искажений. Если они есть, то это может в порядке счастливой случайности привести к меткому попаданию, судя по примеру команды D. Понятно, что ни одна компания не станет возлагать надежды на счастливый случай.

Организациям полезно знать, что в решениях их сотрудников есть и «шумы», и искажения, но собрать информацию об этом непросто. При оценке подобных ошибок возникает немало проблем. Главная — что результаты решений можно оценить лишь в отдаленном будущем. Например, нередко лишь спустя годы специалисты по кредитам могут понять, правы ли они были, одобрив кредит, и обычно им почти ничего не известно о судьбе заявителя, которому они когда-то отказали.

«Шумы», в отличие от искажений, можно измерить, не зная точного результата. Представьте себе, что вы рассматриваете снятые со стенда мишени, в которые целились стрелки. Вы не сможете ничего сказать о точности команд, но вы поймете, что что-то не так с командами В и D, у которых сильный разброс выстрелов. Где бы ни находилось «яблочко», никто в него не попал. Чтобы измерить «шумы» в выводах, нужно попросить нескольких специалистов оценить независимо друг от друга разные реальные ситуации. Опять-таки, разброс мнений можно увидеть, не зная точного ответа. Такие эксперименты мы называем аудитом «шумов».

Аудит «шумов»

Аудит «шумов» проводят не ради отчета. Его конечная цель — повысить качество решений, и диагностика будет удачной, только если руководители подразделения готовы признать ее неприятные результаты и соответственно им действовать. Чтобы итоги аудита касались каждого, в нем нужно участвовать всем сотрудникам.

Недавно мы помогали диагностировать «шумы» двум финансовым фирмам. Должностные обязанности и профессиональные знания двух групп сотрудников сильно различались, но и те, и другие оценивали сравнительно сложные данные и должны были принимать решения относительно сотен тысяч долларов. В обеих организациях мы действовали по одному и тому же протоколу. Прежде всего мы просили группы придумать несколько правдоподобных ситуаций для проверки. Чтобы не было утечки информации, все мероприятие мы проводили в один день. Примерно половину дня сотрудники анализировали от двух до четырех случаев. В каждом они должны были, как обычно, определиться с денежной суммой. Чтобы люди не сговаривались, им не сказали, что предметом исследования была надежность решений. Сотрудникам одной организации объяснили, что цель эксперимента — понять ход их рассуждений, понять, насколько эффективно они пользуются профессиональными инструментами, и улучшить обмен информацией между коллегами. В мероприятии участвовало около 70 человек из компании А и примерно 30 — из В.

Для каждой вымышленной ситуации мы соз­давали индекс «шумов», чтобы он помог нам понять, насколько различаются выводы двух произвольно выбранных сотрудников. Количество различий мы выражали в процентах от их среднего значения. Допустим, два специалиста оценивают кредит в $600 и $1 тысячу — соответственно. Среднее значение их оценок составляет $800, а разница между этими оценками равна $400, так что индекс «шумов» для этой пары — 50%. Такие же вычисления мы выполнили для всех пар сотрудников, а потом подсчитали общий средний индекс «шумов» для каждой проанализированной ситуации.

Перед аудитом мы провели интервью с топ-менеджерами каждой организации. Эти руководители предполагали, что решения их специалистов будут различаться в пределах от 5 до 10%, — это они считали приемлемым для решений «оценочного характера». Результаты исследования их потрясли. В организации А, там рассматривали шесть случаев, индекс «шумов» колебался между 34 и 62%, а общее среднее составляло 48%. В компании В сотрудники проанализировали четыре ситуации. Там индекс «шумов» колебался между 46 и 70% при общем среднем 60%. Досаднее всего, пожалуй, что профессиональный стаж не играет роли. Среди специалистов с опытом работы пять лет и больше среднее расхождение достигало 46% в организации А и 62% в организации В.