Этот вопрос часто возникает при обсуждении goodbre.ws, а совсем недавно и по поводу recommendable, где при реализации рейтингования выбрана система, основанная на симпатиях и антипатиях, а не на более привычной пятизвездочной шкале оценок. Обычно, я краток и лаконичен: Думаю, что звездная систем рейтингования лукава. Иногда, я немного продвигаюсь в подробностях: Думаю, что звездная систем рейтингования действительно лукава. Тем не менее, сейчас мне думается, что, задавая этот вопрос, люди ждут своего рода «фактического ответа». Поэтому сегодня хотелось бы объясниться, почему я считаю рейтинг с пятизвездочной шкалой страшным и почему я решил использовать бинарную систему симпатий и антипатий.
Шкала в ★★★★★
Рейтинговая шкала со звездами, возможно, самая классическая из всех, и поэтому не удивительно, что множество веб-сайтов используют её. Сайты большой электронной коммерции такие, как Amazon и eBay для обеспечения данными своих систем отзывов и рекомендаций используют пятизвездочную шкалу, и Netflix также использует пятизвездочный шкалу. Конечно, есть вариации. IMDB использует десять-звездочную шкалу, которая, однако, может быть и 5-звездочной, когда используется только половина звезд (например, опрос мнений о BeerAdvocate). Есть множество способов сделать звездную шкалу, но то, что из этого получается всегда лукаво.
Неоднозначность и неопределенность шкал
Одно из главных моих разочарований, вызванное пятизвездочной шкалой, заключается в неоднозначности рейтинга, который вы получаете для дальнейшей обработки. Что именно отличает три звезды от четырёх? Чего достаточно для оценки следующей звездой от предыдущей? Чего достаточно для снижения оценки? Из-за отсутствия ясности, звездные рейтинги могут оказаться очень субъективными. Просто, в конечном счете, два человека, оценив элемент одинаково, в три звезды рейтинга, на самом деле ощущают это по разному. Некоторые веб-сайты разумно пытаются с этим справиться. Netflix, например, использует пояснительный текст к каждой звезде, парящий над ней во время рейтингования:
★ (Ненавижу)
★★ (Не нравится)
★★★ (Понравилось)
★★★★ (Очень понравилось)
★★★★★ (Люблю)
Однако, во время написания этого поста Netflix больше не показывает таких текстов при выдаче рейтинга. Вместо этого рейтингование Netflix теперь напоминает процесс на Amazon: вы просто видите пять интерактивных звезд, оставаясь наедине со своими страхами и предубеждениями. Вот так это бывает почти всегда при выдаче звездного рейтинга.
Тем не менее, даже сам пояснительный текст, в конечном счёте, может считаться субъективным. Чем отличается «Очень» при оценке понравилось? Почему интервалы между вариантами неравны (т.е. нет варианта «Очень не люблю»)? Пояснительный текст может помочь, если сделано все правильно, но он и просто может добавить субъективности в представленный рейтинг.
Ненадежность рейтингов
Если сама звездная рейтинговая шкала так неясна и неопределенна так, что же говорить о получаемых рейтингах. Одни пользователи не будут использовать эту шкалу, как Вы задумали, даже с наличием пояснительного текста. Другие будут использовать шкалу, как предполагалось, но всегда основываясь на своих субъективных мнениях о путях использования Шкалы.
Однако, рекомендательные системы, не обращая на это внимание, будут принимать оценки рейтинга за статистически достоверные отклики. На сайтах с огромными количеством пользователей, можно замаскировать влияние природы рейтингования на надежность данных. Вполне вероятно, что при росте выборки ненадежность данных можно нормировать. Однако, небольшие сайты и рекомендательные системы в состоянии холодного старта в силу субъективного характера своей небольшой рейтинговой выборки будут значительно страдать.
Бинарное голосования по существу уже есть
Несмотря на то, что рейтинговая шкала имеет пять значений, в большинстве случаев голосование проходит в бинарном режиме. Еще в 2009 году YouTube опубликовал некоторые интересные данные по поводу рейтингов видео, размещенных на нём. Как выяснилось, огромное количество видеороликов, в основном, получили пять звезд. Я думаю, что из этого выводом YouTube была следующая позиция:
Похоже, когда дело доходит до оценки, то в значительной степени это происходит по принципу все или ничего. Понравится видео — максимум; все, что меньше — безразличие.
Конечно, вторым самым частым рейтингом была одна звезда. Это отличный пример бинарного голосования в творчестве. Многие чаще всего дают пять звезд тому, что им нравятся. Если что-то не нравится, то даётся оценка либо в одну звезду, либо просто полностью игнорируется. По моим разговорам с друзьями и знакомыми, они признаются, что ставят исключительно четыре звезды тому, что нравятся и только три звезды тому, что «просто хорошо».
YouTube поиграл с идеей перехода к рейтингованию через «Избранное», «выражая свою любовь к видео», но в конечном счете остановился на варианте с пальцем вверх или вниз, который мы наблюдаем и ценим сегодня. Со стороны пользователей YouTube было некоторое несогласие, выражающее тревогу в связи изменением рейтинговой шкалы, но в поддержку этой группы не было ничего большего, чем клеймо громкого меньшинства.
Бинарная шкала и почему она лучше
Бинарная рейтинговая шкала — еще одна популярная система. Как упоминалось ранее, на YouTube в настоящее время работает палец вверх или вниз. Есть и другие веб-сайты, использующие подобную шкалу, например, Reddit (upvotes и downvotes) и Digg. Некоторые социальные сети, воспользовавшись этой идеей, пошли еще дальше и полностью убрали отрицательный рейтинг, например, на Facebook только Like, а на Google+ только кнопка +1. Я хотел бы сосредоточиться на классической паре Like/Dislike. Чем эта система лучше пятизвездочной?
Сниженная неоднозначность
Бинарная шкала в значительной степени снижает неопределенность, присутствующую в звездных системах. Пять (или более) субъективных значений рейтинга группируются около двух вариантов с текстовыми подсказками, которые легко понятны носителям языка. Для человека гораздо проще: «Эй, я люблю эту вещь», чем «Ну, мне нравится это дело …» напротив третьей звезды, как у него или четыре звезды, как у меня. Это как? »
Сниженный субъективизм
В значительной степени снижается субъективизм. Оценки, основанные непосредственно на чувствах, намного более достоверны, чем оценки, основанные на номерах. Это упрощает множество ситуаций, когда у двоих сходные чувства, но различные оценки:
Я: «Мне понравилось это дело и это четыре звезды».
Друг: «Мне понравилось это дело и это пять звезд.»
Я: «Мне понравилось это дело и это три звезды».
Друг: «Я не люблю эту вещь настолько, что дал ей только три звезды».
Наши чувства явно плохо передаются звездными рейтингами и они не совпадают. Как я уже говорил ранее, это можно нормализовать при больших объемах данных, но это ничего не меняет так, как у нас нет никакой возможности узнать насколько лежащие в основе оценки действительно свидетельствует о согласии. Напротив. при бинарной шкале такое соглашение гораздо более ясно: «Мы оба любили эту вещь» или «мы оба не любили эту вещь.»
Люди уже делают это!
В-третьих, как уже отмечалось ранее, люди в значительной степени уже рейтингуют таким образом . Зачем с ними бороться?
Третьего не дано
Конечно, система Like/Dislike не без собственных недостатков. В частности, как правило, в бинарной системе явно отсутствует нейтральная территория, соответствующая состоянию «Воздерживаюсь». Это ситуация все-или-ничего, где вас вынуждают отвечать Да или Нет. Для вас, как отвечающего, это может быть или не быть проблемой. Лично мне, когда намерен проголосовать, всегда удается классифицировать ответ в нравится или не нравится, даже если варианты очень близки. Однако, если я по-настоящему прочувствую 100% нейтралитета, то, скорее всего, не буду голосовать, проигнорирую рейтинг и продолжу движение вперед. Если у меня нет мнения то, почему я должен хотеть что бы мои рекомендации на что-то влияли?
tl;dr — Too long; didn’t read
Бинарной рейтинговой системе столбовая дорога . Она гораздо менее двусмысленна и субъективна, чем её звездный двоюродный брат, и гораздо проще для пользователя, в целом, гораздо проще. Чувства легче сопоставимы, чем цифры, косвенно отражающие наши мнения, что может привести к более точным рекомендациям.
Источник: Why I Hate Five-Star Ratings
‘