Новое исследование Mozilla показало, что YouTube игнорирует фидбэк пользователя о том, что ему не нравится. К такому выводу авторы пришли после изучения данных 20 тысяч пользователей сервиса.
Участников исследования использовали расширение RegretsReporter. Оно накладывало поверх интерфейса специальную кнопку, которую можно было нажать, увидев неинтересный ролик. Но тип отправленного в Google фидбэка отличался: выбирался произвольный вариант из “Не нравится”, “Не интересует”, “Не рекомендовать видео с этого канала”, “Удалить из истории просмотров”.
Также была контрольная группа из людей, от которых фидбэк не уходил совсем. Участники не знали, что именно они нажимают, но исследователи видели все данные.
В результате получилось проанализировать 500 тысяч рекомендованных видео. Из них исследователи выделили 44 тысячи пар роликов: первый был помечен пользователем как неинтересный, второй — следующая же рекомендация после этого действия. Эти пары просмотрели вручную и с помощью алгоритма машинного обучения, чтобы определить, похожа ли рекомендация на помеченный ранее контент.
В лучшем случае нажатие этих кнопок помогало отсекать половину нерелевантного контента, в худшем — почти никак не влияло на рекомендации.
По сравнению с контрольной группой нажатие кнопок “Не нравится” и “Не интересует” блокировало лишь 12% и 11% нежелательных рекомендаций соответственно. “Не рекомендовать видео с этого канала” и “Удалить из истории просмотров” были более эффективны: они предотвращают 43% и 29% некорректных рекомендаций, но это всё ещё недостаточно хорошо.
Исследователи считают, что YouTube должен больше уважать обратную связь пользователей и считать её указанием того, как пользователи хотят проводить время на платформе.
Представитель YouTube Елена Эрнандес уже прокомментировала этот отчёт. По её словам, исследователи не учитывали принципы работы алгоритмов сервиса, из-за чего результаты нельзя считать корректными. В частности, YouTube не пытается блокировать целые темы и мировоззрения из видео, отмеченного неинтересным, так как это может испортить пользовательский опыт.
Так, кнопка “Не интересует” убирает из рекомендаций конкретное видео, а “Не рекомендовать видео с этого канала” — отдельных пользователей, но задачи отключить все рекомендации похожего контента у такого фидбэка нет. Эрнандес отметила, что YouTube приветствует независимые исследования платформы, но использовать данные Mozilla для чётких выводов не представляется возможным.
