Всё выше и выше: что нужно знать о высоких оценках
в рейтингах

Рейтинги играют в нашей жизни огромную роль. Составленные критиками, судьями и простыми людьми, они определяют развитие событий в тривиальных ситуациях (какое вино вы купите к ужину и какие товары положите в корзину на Amazon) и серьезных обстоятельствах (кто из спортсменов выиграет олимпийское золото и кого из абитуриентов примут в самые престижные университеты).

Но насколько надежны эти рейтинги? Насколько они устойчивы во времени?

Мы задались этим вопросом, когда узнали о том, как со временем меняются винные рейтинги. Десятилетия назад Роберт Паркер представил свою 100-балльную рейтинговую систему, и самый высокий балл, который он тогда поставил вину, был 91. Теперь же многие вина каждый год получают высший рейтинг, информация о котором публикуется в издании Паркера Wine Advocate. Точно так же в 2000 году только 15% вин, оцененных журналом Wine Spectator, получили оценку выше 90. Однако к 2015 году их количество удвоилось: теперь почти треть всех вин получают оценку выше 90.

Мы решили выяснить, что происходит, и действительно ли люди склонны со временем давать более высокие оценки.

Оценки растут с опытом

Из восьми исследований, недавно опубликованных в журнале Psychological Science, мы выделили и проанализировали 12 тыс последовательных оценок, чтобы понять, менялись ли они по мере того, как оценщик приобретал больше опыта. Предметом нашего исследования стали оценки специалистов из самых разных областей. Мы рассмотрели оценки жюри на телешоу «Танцы со звездами»; то, как университетские преподаватели оценивают студентов; рейтинги коротких рассказов и фотографий студентов колледжей. Мы также проанализировали тысячи отзывов о продуктах на Amazon, оставленных регулярными посетителями.

В рамках первой части исследования мы проанализировали 5511 оценок, выставленных одной и той же командой жюри «Танцев со звездами». Мы обнаружили, что за 20 сезонов выработалась следующая закономерность: чем больше оценок ставили судьи, тем выше они становились. Это утверждение правдиво, даже если принять во внимание то, что на их оценки могли повлиять и другие факторы: например, то, что партнеры-профессионалы, участвовавшие в шоу, становились все лучше, или то, что в последних сезонах снимались более опытные танцоры.

Затем мы приступили ко второй части исследования, в ходе которой изучили оценки студентов за десятилетний период по 991 предмету. Курсы по этим предметам неоднократно читали одни и те же преподаватели. Выяснилось, что, как и в случае с жюри танцевального конкурса, чем дольше преподаватель читал курс, тем выше становились его оценки. Однако мы снова задались вопросом, могло ли и здесь сказаться влияние других факторов, включая лучший отбор студентов, общее повышение оценок по всем предметам и тот факт, что предметы, по которым студенты получали высшие баллы, были стабильно популярны среди учащихся, да и сами профессора с течением времени становились все компетентнее в области преподавания. Несмотря на то, что мы учитывали все эти возможности, наш вывод не изменился.

Чтобы исключить альтернативные объяснения, мы протестировали этот вывод в контролируемом эксперименте, в рамках которого люди оценивали чужие рассказы. Мы попросили 168 студентов в течение десяти дней оценивать по одному рассказу в день. К концу исследования все участники оценили одни и те же 10 рассказов, однако читали они их в разном порядке. Это позволило нам избежать влияния порядкового фактора на оценки. Другими словами, мы хотели выяснить, растет ли уровень оценок, вне зависимости от предмета оценки, с ростом их количества? Как и прежде, мы обнаружили, что чем больше рассказов оценивал человек, тем выше становились выставляемые им оценки. Следовательно, десятый рассказ в среднем получал более высокую оценку, чем первый. Таким образом, все наши исследования подтвердили один и тот же вывод.

Чем чаще оцениваешь, тем легче становится это делать

Почему рейтинги со временем растут? Возможно, чем чаще человек оцениваете что-то, тем легче ему это дается, а это, в свою очередь, влияет на уровень самой оценки? В следующем исследовании мы попросили 362 участников онлайн-группы в течение десяти дней оценивать по одному случайно выбранному рассказу в день. Также мы ежедневно задавали вопрос о том, насколько легко было оценивать этот рассказ. С течением времени участники эксперимента отвечали, что им становилось все легче и приятнее заниматься этой работой. А эти эмоции, в свою очередь, вели к росту оценок.

Полученные результаты говорят о том, что предвзятые оценки — это результат ошибки атрибуции: люди склонны считать, что если им стало легче что-то оценить, то причина в более высоком качестве оцениваемого предмета. Другими словами, они ошибочно подменяют фактические достоинства предмета (почему эта вещь должна получить более высокую оценку) своими чувствами к процессу оценки (с каждым разом он становится все легче и приятнее). Несмотря на то, что все участники эксперимента получали рассказы в произвольном порядке, паттерн их поведения оставался неизменным.

Однако когда мы спросили, согласны ли они с тем, что со временем они начинают выставлять более высокие оценки, все участники ответили отрицательно. Следовательно, большинство людей не подозревают, что выносят предвзятые решения.

Отзывы, рейтинги и карьерный рост: чему можно доверять?

Почему результаты нашего исследования должны быть интересны менеджерам и организациям? Они важны прежде всего для компаний, которые собирают пользовательские отзывы о своей продукции. В дополнительном исследовании мы обнаружили, что более высокие оценки товарам ставят те пользователи Amazon, которые пишут больше отзывов. Например, если кто-то пишет рецензию первый или второй раз, скорее всего, он поставит товару меньшее количество звезд (вне зависимости от самого предмета оценки), чем в случае, если это будет 20-й по счету отзыв. Если для бизнес-модели организации оценка потребителей крайне важна, ее лидеры должны знать о таком поведении потребителей.

Сделанные нами выводы также поднимают интересный для менеджеров вопрос: как описанная предвзятость влияет на процесс найма, продвижения и оценки результатов деятельности сотрудника? Можем предположить, что чем дольше рекрутер занимается оценкой кандидатов, тем более высокие результаты они будут получать с течением времени. Сейчас мы ищем партнеров среди организаций, чтобы провести исследование на эту тему.

Нам также хотелось бы выяснить, воспроизводятся ли выявленные нами закономерности в процессе принятия решений о продвижении сотрудника и при его ежегодной оценке по методу «360 градусов». Подтверждение нашей теории в этой области может повлиять на настоящее и будущее рынка труда.

Мы также ищем пути смягчить выявленную нами предвзятость, например, при оценке кандидатов на должность и при продвижении по карьерной лестнице. Одна из возможностей — информировать людей о том, что влияет на их решения. Существуют и другие ситуационные переменные, которые мы также стремимся выделить и изучить.

Несмотря на то, что одна и та же закономерность была обнаружена во всех изученных нами контекстах, принятию решения по оценке способствует и множество других факторов. Отклонение в сторону повышения оценки с течением времени — лишь один из них. Есть некоторые свидетельства того, что с течением времени при определенных условиях оценки могут изменяться и в негативную сторону. Однако факторы и условия, которые определяют, будет оценка повышаться или понижаться с течением времени, по-прежнему неизвестны.

В следующий раз, когда вы будете публиковать отзыв на сайте Yelp или беседовать с кандидатом на должность, примите в расчет, сколько отзывов и оценок вы уже написали и поставили к этому моменту. Это поможет вам скорректировать стратегию принятия решений.

И наоборот, если вам принципиально важна оценка других, держите в уме, что она может зависеть не только от качества товара. Возможно, покупка вина с более низким рейтингом может оказаться не такой уж плохой затеей.

Об авторах

Киран О'Коннор (Kieran O’Connor) — доцент кафедры менеджмента в Школе коммерции Макинтайра при Виргинском университете.

Амар Чима (Amar Cheema) — преподаватель маркетинга в Школе коммерции Макинтайра при Виргинском университете.