Всё выше и выше: что нужно знать о высоких оценках в рейтингах

Рейтинги играют в нашей жизни огромную роль. Составленные критиками, судьями и простыми людьми, они определяют развитие событий в тривиальных ситуациях (какое вино вы купите к ужину и какие товары положите в корзину на Amazon) и серьезных обстоятельствах (кто из спортсменов выиграет олимпийское золото и кого из абитуриентов примут в самые престижные университеты).

Но насколько надежны эти рейтинги? Насколько они устойчивы во времени?

Мы задались этим вопросом, когда узнали о том, как со временем меняются винные рейтинги. Десятилетия назад Роберт Паркер представил свою 100-балльную рейтинговую систему, и самый высокий балл, который он тогда поставил вину, был 91. Теперь же многие вина каждый год получают высший рейтинг, информация о котором публикуется в издании Паркера Wine Advocate. Точно так же в 2000 году только 15% вин, оцененных журналом Wine Spectator, получили оценку выше 90. Однако к 2015 году их количество удвоилось: теперь почти треть всех вин получают оценку выше 90.

Мы решили выяснить, что происходит, и действительно ли люди склонны со временем давать более высокие оценки.

Оценки растут с опытом

Из восьми исследований, недавно опубликованных в журнале Psychological Science, мы выделили и проанализировали 12 тыс последовательных оценок, чтобы понять, менялись ли они по мере того, как оценщик приобретал больше опыта. Предметом нашего исследования стали оценки специалистов из самых разных областей. Мы рассмотрели оценки жюри на телешоу «Танцы со звездами»; то, как университетские преподаватели оценивают студентов; рейтинги коротких рассказов и фотографий студентов колледжей. Мы также проанализировали тысячи отзывов о продуктах на Amazon, оставленных регулярными посетителями.

В рамках первой части исследования мы проанализировали 5511 оценок, выставленных одной и той же командой жюри «Танцев со звездами». Мы обнаружили, что за 20 сезонов выработалась следующая закономерность: чем больше оценок ставили судьи, тем выше они становились. Это утверждение правдиво, даже если принять во внимание то, что на их оценки могли повлиять и другие факторы: например, то, что партнеры-профессионалы, участвовавшие в шоу, становились все лучше, или то, что в последних сезонах снимались более опытные танцоры.

Затем мы приступили ко второй части исследования, в ходе которой изучили оценки студентов за десятилетний период по 991 предмету. Курсы по этим предметам неоднократно читали одни и те же преподаватели. Выяснилось, что, как и в случае с жюри танцевального конкурса, чем дольше преподаватель читал курс, тем выше становились его оценки. Однако мы снова задались вопросом, могло ли и здесь сказаться влияние других факторов, включая лучший отбор студентов, общее повышение оценок по всем предметам и тот факт, что предметы, по которым студенты получали высшие баллы, были стабильно популярны среди учащихся, да и сами профессора с течением времени становились все компетентнее в области преподавания. Несмотря на то, что мы учитывали все эти возможности, наш вывод не изменился.

Чтобы исключить альтернативные объяснения, мы протестировали этот вывод в контролируемом эксперименте, в рамках которого люди оценивали чужие рассказы. Мы попросили 168 студентов в течение десяти дней оценивать по одному рассказу в день. К концу исследования все участники оценили одни и те же 10 рассказов, однако читали они их в разном порядке. Это позволило нам избежать влияния порядкового фактора на оценки. Другими словами, мы хотели выяснить, растет ли уровень оценок, вне зависимости от предмета оценки, с ростом их количества? Как и прежде, мы обнаружили, что чем больше рассказов оценивал человек, тем выше становились выставляемые им оценки. Следовательно, десятый рассказ в среднем получал более высокую оценку, чем первый. Таким образом, все наши исследования подтвердили один и тот же вывод.

Чем чаще оцениваешь, тем легче становится это делать

Почему рейтинги со временем растут? Возможно, чем чаще человек оцениваете что-то, тем легче ему это дается, а это, в свою очередь, влияет на уровень самой оценки? В следующем исследовании мы попросили 362 участников онлайн-группы в течение десяти дней оценивать по одному случайно выбранному рассказу в день. Также мы ежедневно задавали вопрос о том, насколько легко было оценивать этот рассказ. С течением времени участники эксперимента отвечали, что им становилось все легче и приятнее заниматься этой работой. А эти эмоции, в свою очередь, вели к росту оценок.

Полученные результаты говорят о том, что предвзятые оценки — это результат ошибки атрибуции: люди склонны считать, что если им стало легче что-то оценить, то причина в более высоком качестве оцениваемого предмета. Другими словами, они ошибочно подменяют фактические достоинства предмета (почему эта вещь должна получить более высокую оценку) своими чувствами к процессу оценки (с каждым разом он становится все легче и приятнее). Несмотря на то, что все участники эксперимента получали рассказы в произвольном порядке, паттерн их поведения оставался неизменным.

Однако когда мы спросили, согласны ли они с тем, что со временем они начинают выставлять более высокие оценки, все участники ответили отрицательно. Следовательно, большинство людей не подозревают, что выносят предвзятые решения.