Обсуждаем влияние интернет-алгоритмов на поведение пользователей на примере разработки блогплатформы «Думайте», запуск которой запланирован на май 2024 года. Большинство из нас привыкли оценивать комментарии в двух форматах. Либо ставить или не ставить «лайк», либо отмечать комментарий «плюсом» или «минусом». На основании такого подхода в комментариях часто доминируют отзывы по типу «спасибо, статья великолепна» или «фигня, не согласен», которые хотя и служат отображением отношения комментатора к материалу, но абсолютно несодержательны.
Можно ли как-то исправить ситуацию?
Да, предложить другой критерий оценки комментария. На платформе «Думайте» их сразу два: Полезность и Уместность. Поставить «лайк» или «плюс» эмоциональному комментарию в стиле «автор несёт чепуху» или «автор восхитителен» могут многие, а вот называть его «полезным» вряд ли кто-то станет. Скорее, полезным назовут комментарий, который будет раскрывать какие-то смыслы и аргументировать согласие или несогласие автора комментария с публикацией.
Благодаря оценке по полезности наверх по результатам голосования и сортировки будут подыматься более содержательные комментарии, а не просто эмоциональные отклики на прочитанное или просмотренное. Это значительно повысит качество обсуждения.
Прототип отображения комментариев и предлагаемой системы оценки на сайте Думайте
Но есть и второй важный критерий: «Уместно / Не уместно».
Типичная проблема интернет-дискуссий – это увод обсуждения в сторону от темы публикации. Иногда это происходит случайно, иногда целенаправленно с целью манипуляции. Так или иначе и автору, и его подписчикам лучше, когда обсуждение идёт не в стиле «каждый о своём и со своей колокольни», а по заявленной теме, и если отклоняется в сторону – то обосновывается причина перехода в смежную область. Соответственно, чтобы мягко стимулировать этот процесс и повышать качество дискуссии по теме и введён дополнительный критерий «уместно / не уместно».
Есть и ещё один любопытный механизм повышения ответственности и предотвращения троллинга – он называется «качество комментариев пользователя». В профиле каждого пользователя на сайте «Думайте» будет отображаться среднее качество всех опубликованных им комментариев – оно варьируется от 0% до 100%. Рассчитывается очень просто – как среднее арифметическое результата оценки всех его комментариев другими пользователями.
Пока качество выше 50%, пользователь может комментировать любые записи и в неограниченном количестве. Но если качество снизится ниже 50%, то появляется ограничение на максимальное количество комментариев в сутки (например, 10 штук) и чем ниже показатель – тем оно строже. Кстати это нововведение практически полностью блокирует потенциал для рассылки спама в комментариях сайта.
Окно со списком пользователей, оценивших комментарий как «Полезный» на сайте Думайте
Возможно кто-то посчитает описанную выше систему достаточно жёсткой, но эта жёсткость справедлива, прозрачна и равнозначна для всех. Она нацелена на повышение качества обсуждений, формирует у пользователя мотивацию думать о том, что он пишет в комментариях, не заниматься троллингом и высказываться аргументированно.
Система оценки комментариев и «показатель качества комментариев пользователя» – один из элементов этой системы. Есть и другие механизмы, с ними будем вас постепенно знакомить в других публикациях проекта "Думайте".
______
Делитесь в комментариях к этому посту своими мнениями, идеями. Какие вы видите положительные и отрицательные стороны предлагаемых новшеств? «Думайте» вместе с нами!
Комментарии
Лучше здесь значимые новости давайте о происходящем в мире, а не на платформе. Платформу можно освещать на самой платформе, там заведомо собираются те кому она интересна. Но в Блоги можно и у нас.
Что касается конкретно касательно кармы и аналогов, мы у себя это обсуждали и отказались, было голосование. Причина - мотивация на накрутки и клоноводство.
Добро, тогда подобные темы на Афтершоке будем давать иногда и только в блоге. Основная тематика будет как обычно про влияние массовой культуры.
По поводу доработок алгоритмов сайта Афтершок - за это агитировать не стоит задача, прекрасно понимаем, что логика каждого сайта развивается по своему уникальному пути, и разным ресурсам уместны разные механизмы/алгоритмы (да и чисто технически бывает сложно вносить серьёзные изменения в код сайта). К тому же лучше сначала посмотреть, как механизм будет работать на другом сайте, какие будут трудности/положительные моменты - а потом уже оценивать потенциал применения.
Но в целом считаем полезным привлекать внимание широкой аудитории к теме влияния разных алгоритмов, как в целом для общества (больше потенциал изменения интернет-пространства), так и из "меркантильных интересов" продвижения разрабатываемого сайта.
Алгоритмы сами по себе не работают, если нет жесткой модерации состава пользователей и их активности. Это отдельный штат, отдельная головная боль
и риск превратиться в то, во что превратился хабрАлгоритмы сайта работают, и модерация работает. И то, и другое - разные стороны одного процесса поддержания порядка на сайте и повышения качества взаимодействия пользователей с контентом, повышения качества самого контента.
В целом по части модерации, мы стремимся значительную часть процесса переложить на пользователей, и за счёт более верных критериев оценки записей и комментариев это будет работать в некоторой мере эффективнее, чем на других сайтах. Некоторые алгоритмы (в частности ограничения, связанные с качеством записей или комментариев) описаны в заметке. Есть много чего другого, чем тоже постепенно будем делиться.
Полностью избавиться от ручной модерации вряд ли на данный момент возможно, но у нас нет и пока не предвидится штата модераторов, поэтому сами себе мы заранее стараемся максимально упростить процесс в этом отношении, продумывая механизмы саморегуляции. По этой теме будем рады и идеям других читателей.
Вы имеете какое-то отношение к администрации сайта?
Странно. У меня один алгоритм, который у меня в голове. Как он работает я не знаю, но людям нравится.
Теперь ещё и ТС хочет сделать из нас гербарий.
У китаёзов социальный рейтинг. Тоже скоро овощами будут. Сушеными.
На большинстве интернет-платформ уже сейчас есть система ранжирования комментариев на основе лайков - на Ютубе, в ВК, Дзене и т.д. Мы делаем аналогичную систему ранжирования комментариев, только на основе других критериев.
Афтершок в этом плане отличается, что имеет как плюсы, так и минусы. Однако если сравнивать те системы, где уже есть ранжирование по лайкам, то разве ранжирование по критериям Полезности и Уместности будет хуже (вариант "по дате" также останется)? Или всё же имеет ряд преимуществ, раскрытых в статье?
Возможно вы сможете предложить какие-то более подходящие критерии. Делитесь идеями.
Я олдскул. Мне нужно посмотреть на человека глазами. И не в зуме.
Любой рейтинг как вы его не назовете уничтожит мнения на площадке и рано или поздно приведет к диктатуре.
Всем известный сайт ГА, где плюсы-минусы, а так же политика модеров по убиванию участников с низким рейтингом уничтожила их форум.
Теперь там стабильность и порядок мнений, рай для военпенсов-всезнаек и одобрямсов на зарплате.
Не стоит повторять их ошибки.
"Любой рейтинг как вы его не назовете уничтожит мнения на площадке и рано или поздно приведет к диктатуре" - очень абстрактный аргумент. Хотя бы потому что в понятие "диктатура" все вкладывают очень разные смыслы. Рейтинг определённо способствует порядку, но этот порядок может работать как на созидательные, так и деструктивные цели.
Не уходя в политическую плоскость, важно отметить, что порядок "основанный на лайках" хуже, чем порядок, основанный на "отметках по полезности". Хуже в первую очередь с точки зрения того, как работает психика пользователя, когда он ставит "лайк" и отметку "полезно/вредно". Во втором случае у него больше мотивации задуматься о смыслах и содержании оцениваемого.
Ничего из моих аргументов абстрактно. Я сужу по примерам как ГА, Реддита, так и некоторых других сайтов, где произошло ровно то что я и описал. Они превратились в сайты одного мнения и остальные мнения злобно убиваются местными "экспертами".
Ну и мне лично не нужны никакие лайки чтобы оценивать полезность того что я читаю. Я сам способен оценить это.
"Ну и мне лично не нужны никакие лайки чтобы оценивать полезность того что я читаю. Я сам способен оценить это" - Условные "лайки" или отметки "полезно" нужны, чтобы ранжировать комментарии выше или ниже. Если такого механизма нет, то на первом месте всегда висит комментарий, оставленный первым пользователем. Какую бы глупость он ни написал - её теперь будут вынуждены все читать, потому что он сделал это первым.
Вполне логично и удобно иметь возможность посмотреть комментарии, получившие высокие оценки от других пользователей. А не смотреть все подряд (хотя такая возможность тоже всегда должна быть, что тоже правильно).
Вот чем больше вы пишете, тем более очевидно что вы вообще не понимаете проблемы.
Кто будет решать что он написал глупость? Большинство, которое как правило ни в чем не разбирается? Или какой-нить местный эксперд, а-ля Счетовод?
Кто защитит от минусования хейтерами? Или от плюсования одобрямсами которые смотрят на имя пользователя а не на мысль?
-
Всё это уже проходили. Социологические эксперименты даже проводили, показывающие плавную деградацию дискурса на площадках с ранжированием. Рано или поздно большинство вытесняет меньшинство, исчезают острые обсуждения и обмен мнениями и площадка загнивает, т.к. всем становится неинтересно ни читать ни писать. Причем это "большинство" не обязательно является большей частью пользователей. Это может быть небольшая, но очень активная группа которая первая задает направление.
Люди начинают бояться писать "неправильно", и мотивируются писать то что все хотят услышать. Вы этого хотите?
Вначале ответьте на вопрос, какому порядку способствует рейтинг?
Какой смысл от рейтинга полезности, который проставляют политически ангажированные профаны?
(профаны не в уничижительном смысле, а в фактическом, большинство обсуждений на этом форуме формируется людми которые слабо или совсем не разбираются в теме обсуждения).
Какое значение от рейтинга полезности уборщиц, которые они проставляют главному инженеру завода?
"Какой смысл от рейтинга полезности, который проставляют политически ангажированные профаны?" - Рейтинг и оценки нужны для ранжирования комментариев - подробнее в предыдущем ответе.
На платформах присутствуют разные люди, как умные, так и не очень, как искренние, так и нет. И рейтинг формируется по результатам массового голосования разных людей. Когда мы заменяем "лайки" на "полезно", то качество голосования этого множества пользователей становится немного выше.
В целом, разрабатывая сайт "Думайте", мы исходим из того, что большинство людей/пользователей всё же достаточно адекватны и надо создавать более благоприятные условия для этих адекватных людей. Если исходить из позиции, что все вокруг "профаны или дебилы", то действительно рейтинг не нужен.
Вы не прочитали текст комментария внимательно.
Профаны не потому, что дебилы, а потому, что не разбираются в теме. Адекватность не может устранить некомпетентность.
Большинство, особенно эмоциональное и политически ангажированное будет ставить "неполезно" тому/чему что "не нравится". Для подавляющей части аудитории это одно и тоже.
"Профаны не потому, что дебилы, а потому, что не разбираются в теме" - да, это проблема существует и авторам, которые публикуют информацию, надо учитывать, что часто важные вещи надо объяснять долго, постепенно, начиная с простых вещей, иначе случайный/неподготовленный человек может не понять, о чём речь.
Но в целом частично эта проблема уже решается даже через существующие инструменты подписок. Те, кто понимают важность какой-то темы и разделяют мнение автора, подписываются на него, чаще знакомятся с материалами данного пользователя через инструмент подписок, чаще комментируют его записи, лучше начинают понимать тему. Если его запись попадает случайной аудитории (например, выходит в топ какого-то сайта), то автор может наглядно увидеть, как воспринимает его информацию неподготовленная аудитория.
Мировая практика подписок со всей очевидностью показывает, что она только очень небольшой своей часть связана с полезностью. Лидеры по подпискам, для адекватного человека, дают совершенно бесполезную информацию. Вы действительно думаете, что у вас получится иначе?
Сегодня лидируют на Ютубах и прочих сервисах авторы так назывательного "развлекательного контента" (по факту образовательного, что тщательно скрывается в том числе через систему лайков), а точнее те, кто под видом развлечения часто продвигают осознанно или неосознанно разный деструктив.
Такая ситуация сложилась в результате как алгоритмического, так и бесструктурного и ручного управления. Те, кто действуют по стратегии "разделяй и властвуй" заинтересованы в ухудшении нравственности/интеллектуальности общества, и аморальный отупляющий "развлекательный контент" при этом целеполагании для них максимально эффективен, потому они его разными способами и поощряют. Подробно данная тема раскрыта одним из участников проекта "Думайте" в этом докладе: https://youtu.be/h82jFEny0Gk
Оценка "по полезности" сможет в значительной степени изменить ситуацию в лучшую сторону (особенно в сфере массовой культуры), так как современная ситуация с топовыми блогерами сформировалась как раз во многом благодаря ставке на эмоции и лайки. Подробно этот момент раскрыт в этом видео:
https://youtu.be/XD9tNO4extQ
Только представьте, что будет если современных деятелей шоубизнеса и их произведения общество начнёт оценивать не по критерию "нравится / не нравится", а по критерию "полезное / вредное творчество". Большинство так называемых "звёзд" окажется на "свалке истории" в тот же день, где им и место.
Так большинство будет ставить полезно вслед за лайком и неполезно вслед за дизлайком. То есть цель у вас, очевидно, хорошая. Но средство достижения нерабочее.
Зачем? Хочется по-руководить, что ль?
Нужное, полезное, здравое "вырастет" только в жестких условиях.
В "благоприятных" - непременно загнется.
И маленькя ремарка по заметке в целом:
лучше бы "ручки шаловливые" убрать от того, что работает - "лучшее - враг хорошего"(с)
Вашу систему оценки комментариев раскритиковать очень легко.
Приведу пример.
Предположим, что есть два равных и сильных эксперта, с относительно противоположным мнением по какому-то вопросу. И вот они какой-то вопрос прокомментировали.
Мнение (или даже стиль изложения) одного эксперта пользователям нравится, а мнение другого нет. Тогда комментарий второго эксперта по вашим оценкам будет проигрывать комментарию первого, хотя в реальности он может быть в 100 раз сильнее и в 100 раз полезнее.
А это, в свою очередь, означает, что большинству пользователей вы своими оценками, фактически, нанесли ущерб.
Опираться на критерий "нравиться" большинство будет если система оценки "лайки", а если человека спрашивают про "полезность" и "уместность", то у него больше мотивация задуматься о смыслах и всём остальном. Наличие мотивации не гарантирует, что человек сможет правильно оценить тему - но всё же, как говориться, "правильный вопрос - это половина ответа". Так вот вопрос "вы считаете комментарий полезным?" более правильный, чем вопрос "вам нравится комментарий?".
Предлагаемая система не обеспечит автоматически доминирование везде лучших мнений и так далее (это могут сделать только сами люди/пользователи), но она лучше чем существующая сегодня норма оценивать комментарии "лайками".
Если вы знаете более оптимальные критерии оценки - предложите. Если вы считаете, что оценивать комментарии вообще не надо, то прочтите наши ответы выше, возможно посмотрите на данный вопрос с другой стороны.
Будете ли вы оценивать адекватность оценок комментариев. Есть допустим группа координированных товарищей из 20 человек. Работая совместно и без комментариев они довольно быстро направят обсуждения в необходимое русло. Как то вы от этого страхуетесь?
Вот да, тоже сталкивался, есть условный писатель с группой почитателей, мнение товарища простое и понятное "один я умный, все несогласные идиоты", при этом пишет не плохо, почитатели агрессивны, на любую критику (кажущуюся либо мнимую) кумира реагируют агрессивно, набегая и закидывая минусами. А себя, взаимно плюсуют.
Раньше, ещё сам писатель любил натравливать своих поклонников на всех, кто ему не нравится, но получив настоятельные замечания от модераторов теперь делает вид, что он "не причём".
Так вот, как ваша система будет реагировать на вот такое безобразие? Пример, хоть и без имён, вполне реален.
Взвешивать оценки по рейтингу. Рейтинг низкий - влияние на оценки низкое.
Эти господа занимаются взаимоопылением, так что рейтинг они быстро восстановят, а соответственно и влияние.
Да, ситуации "взаимоопыления/накруток рейтинга" надо выявлять и бороться с ними. Для этого продумываются разные факторы "признаки накрутки" (совпадение IP, массовое проставление оценок без дочитывания или просто в короткий период времени и т.д.), после чего администратору должно приходить уведомление о выявлении фактора "подозрительного поведения" для ручной проверки действий пользователей и при необходимости принятия предупредительных или ограничительных мер.
Это отдельная большая тема.
Получается, оценка должна влиять сразу на две сущности. Первая - моя оценка конкретного комментария (текста). Вторая - моя оценка автора текста. Если рейтинг автора выводить из совокупности оценок читателей (вторая сущность)), то накрутить рейтинг не получится, для этого нужно не количество оценок текста а количество голосующих - размер группы поддержки.
Вопрос противодействия накруткам - это отдельная большая тема, которая в большей степени связана с системами роста на сайте (изменением веса голоса), технологиями выявления того, что ряд аккаунтов управляются с одного ПК или IP или просто связаны друг с другом и т.д. Базовые алгоритмы по этой теме продуманы, их будет достаточно на старте проекта, но в таких сферах от всего заранее не застрахуешься и скорее всего что-то по ходу дела надо будет дорабатывать, уже сталкиваясь с конкретикой.
Подробнее уже придуманные алгоритмы будем описывать на страницах проекта, сейчас не готов в них погружаться, так как за пару абзацев не раскроешь.
Голосовать для рейтинга... А можно без меня защитить меня от склонных голосовать? ИИ уже не нужен? Или вы из позавчера? Тут, пишут, что даже автомобили знают о сексуальных предпочтениях водителей...
Интересно, вы пробовали создать алгоритм "Справедливость"? Для ИИ!
Смотрю немного Глававантюру, и здесь. Возьмите лучшее с обеих платформ. Здесь более демократично, чем там. Но там как бы более профессиональные комментарии. В новостях часто бывают именно комментарии специалиста ценны, а не сама новость. Я бы чем нибудь награждал заиомобо ценные комментарии, притащить новость то легко.
Спасибо за рекомендацию. С логикой Глававантюры не знаком, попозже посмотрю, как там выстроен процесс.
К оценкам по "Полезности" записей и комментариев на сайте будет привязана система роста в нескольких тематических категориях. Соответственно оценки "Очень полезно" и "Полезно", поставленные другими пользователями, будут приносить дополнительные баллы автору комментария/записи в данной категории (к которой относится запись и комментарии к ней), а оценки "вредно", "не полезно", будут отнимать баллы. Это тоже несколько повысит мотивацию писать комментарии вдумчиво.
Про систему роста на сайте попозже опубликуем отдельную статью, она тоже будет прозрачная/открытая.
Любая (подчеркиваю - ЛЮБАЯ) система ранжирования на основе оценок читателей влечет загнивание форума по причине усиления доминации большинства (изначально,быть может, незначительного большинства).
Тут нет ни тайны, ни психологии - это просто математика. Аналог из физики: если два мыльных пузыря соединить трубочкой, то меньший пузырь всосётся в больший. И всё.
Вообще никаких оценок. Никаких лайков, рейтингов и прочего. Нафига все это? Это же манипуляции, в чистом виде. Только олдскул. "Отношение", также карма, по сути. Зачем она?
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
Далеко не каждый заморочится выставлением оценки комментариям.
Поэтому некоторые активисты и боты могут устроить необъективный перекос.
Необъективные перекосы, конечно, возможны в статистике массовых явлений, как по естественным причинам, так и по искусственным. Грубо говоря, на сайте в текущий момент ведётся тысяча обсуждений, из них по 8 работают боты (до тех пор пока их не выявит система) и создают перекосы. Но в 992 других обсуждений работает стандартная логика алгоритмов, которая благотворно влияет на общий процесс, если алгоритмы сформированы правильные.
Да, с ботами надо бороться, но важно, чтобы для подавляющего большинства других событий (до которых ботам нет дела) были созданы благоприятные условия. Оценки по полезности/уместности в этом плане могут значительно повысить качество обсуждения по сравнению с механизмом лайков.