Шумы, или всегда ли правы эксперты?

Давний клиент глобальной компании из сферы финансовых услуг, с которой мы работали, случайно подал одну и ту же заявку сразу в два ее офиса. Казалось бы, сотрудники, рассматривающие заявки, везде следуют одним и тем же правилам, а значит, примут одинаковые решения. Однако два офиса выставили совершенно разные сметы. Озадаченный этим клиент обратился к конкуренту. С точки зрения компании, сотрудники, делающие одну и ту же работу, абсолютно взаимозаменяемы, но это иллюзия. И, к сожалению, типичная.

Во многих организациях специалистов для выполнения конкретных видов работ выбирают произвольно — это относится к людям разных специальностей. От них ждут последовательных и единообразных действий: одинаковые случаи предполагают похожий — и даже единственно возможный — подход. Но люди не автоматы, их решения не всегда надежны. На их выводы сильно влияют разные факторы: сиюминутное настроение, погода, желание заморить червячка. Такой зависящий от случая разброс выводов мы называем «шумами». Это невидимый налог на финансовые результаты многих компаний.

Некоторые виды работы не подвержены «шумам». Банковские или почтовые сотрудники выполняют сложные операции, но они обязаны соблюдать четкие правила, которые минимизируют субъективность их выводов и гарантируют, что идентичные случаи будут идентично же рассмотрены. Что же касается врачей, сотрудников кредитных учреждений, судей, топ-менеджеров, то все они принимают решения по ситуации, руководствуясь не столько жесткими правилами, сколько опытом и общими принципами. И если они находят не совсем тот ответ, какой получили бы другие на тех же должностях, то это приемлемо; именно это мы имеем в виду, говоря, что решение — это вопрос личного суждения и оценки. Если в фирме сотрудники руководствуются собственным суждением, то вряд ли их решения будут полностью защищены от «шумов». Но очень часто уровень «шумов» значительно превышает тот, который топ-менеджеры сочли бы допустимым, — если бы понимали, что происходит.

Неизбежность «шумов» доказана исследованиями. Ученые не раз подтверждали, что выводы специалистов, сделанные ими ранее, часто противоречат предыдущим выводам, если им дают те же данные, но в иных обстоятельствах. Например, разработчиков ПО попросили в разные дни ответить на один и тот же вопрос: сколько им нужно времени для выполнения конкретного задания? Цифры, названные ими в разные дни, расходились в среднем на 71%. Патологоанатомы дважды оценивали результаты биопсии. Корреляция между их оценками составила лишь 0,61 (из 1, что означало бы полную корреляцию). То есть они довольно часто ставили несовпадающие диагнозы. Вероятность расхождения выводов, сделанных разными людьми, еще выше. Исследователи подтвердили, что специалисты, оценивающие стоимость акций, недвижимости или эффективности работы, выносящие приговоры преступникам, проверяющие финансовые отчеты и т. д., часто грешат непоследовательностью. Неизбежный вывод состоит в том, что чаще всего их решения сильно отличаются от решений коллег, от их собственных предыдущих решений и от правил, которые они, по их словам, соблюдают.

«Шумы» весьма коварны: даже сильные компании теряют из-за них значительные деньги. Насколько значительные? Чтобы это понять, мы предлагали руководителям одной из изучаемых нами организаций одну и ту же задачку. Предположим, объективная стоимость работы — $100 тысяч. Отвечающий за нее специалист оценивает ее в $115 тысяч. Каковы в этом случае издержки организации? И какими они были бы, если бы работу оценили в $85 тысяч? Издержки оказались высокими. Когда мы суммировали издержки ежегодных оценок, цена «шумов» выросла до нескольких миллиардов. Если уменьшить «шумы» хотя бы на несколько процентов, можно сэкономить десятки миллионов. Но до наших расспросов организация полностью игнорировала эту проблему.

Давно известно, что прогнозы и решения, полученные с помощью простых статистических алгоритмов, часто оказываются точнее составленных экспертами, даже если они оперируют большим объемом информации, чем формулы. Куда менее известно, что главное преимущество алгоритмов — их неподверженность «шумам». Формула, в отличие от человека, по любой конкретной введенной информации всегда выдает один и тот же результат. Идеальная последовательность позволяет даже простым и несовершенным алгоритмам быть точнее любого специалиста.

В статье мы объясняем, чем «шум» отличается от искажений, и рассказываем, как руководители могли бы отслеживать уровень «шумов» и их последствия у себя в организациях. И далее мы описываем недорогой и простой метод создания алгоритмов, устраняющих «шумы», а также рассказываем, как гарантировать «чистоту» решений, когда вариант с алгоритмами не годится.