Новое слово в пропаганде, Вычислительная пропаганда.

Аватар пользователя Бабай-сан
Человечество, как часто бывает, боится не того. Вот и теперь мир помешался на опасности фейковых новостей. Но они существовали всегда, и теперь лишь появились технологии их индустриального тиражирования и распространения. Это опасно? Да. Но не более, чем новые формы гриппа.
Писец же подкрался незаметно и совсем с другой стороны. Это “Computational Propaganda” (Вычислительная пропаганда — ВП) — технология масштабирования пропаганды в медиа-среде через заражение симпатией в целях вовлечения и радикализации сторонников. Будучи освоенная террористами и авторитарными государствами, ВП грозит миру настоящей инфочумой, защиты от которой пока нет и не факт, что вообще появится.

Об этом новый отчет по результатам исследования, проведенного The Center on Terrorism, Extremism, and Counterterrorism (CTEC) совместно с Институтом международных исследований Мидлбери, и озаглавленного «The Industrialization of Terrorist Propaganda. Neural Language Models and the Threat of Fake Content Generation».

Речь о «Киберписателях», типа GPT-2 от OpenAI. Это генераторы текстов, которые весьма успешно обучаются с помощью машинного обучения создавать осмысленные тексты почти неотличимые от написанных людьми (детали см. здесь: покороче и поподробней).

Исследование показывает, что в отличие от генераторов фейковых новостей, эффект от ВП куда долгосрочней и, главное, продуктивней.

  • Про фейковые новости (как про любые новости) в нашем быстром и перегруженном информацией мире быстро забывают. Так что максимум, что от них остается через месяц, — мусор путаных воспоминаний в головах и без того не слишком продвинутого массового потребителя инфы.
  • ВП работает принципиально иначе. Она генерит не фейковые новости, а комментарии, цель которых: 
    (1) утопить коменты против содержательных основ пропагандируемых идей;
    (2) усилить воздействие коментов в поддержку пропагандируемых идей.

Фейковые новости способны лишь на временное искажение представлений людей о реальном ходе событий, их движущих силах и возможных последствиях. Они как бы искажают картину восприятия человека об окружающем его ландшафте, по которому он движется.

Действие ВП принципиально иное и, по своей сути, куда фундаментальней по последствиям. ВП как бы изменят мотивацию людей, делая для них привлекательным навязываемое им направление движения. 

1й результат действия ВП — вовлечение (рост числа сторонников пропагандируемых идей). Используя вышеприведенную метафору, — все больше людей присоединяется к движению в заданном направлении.

2й результат — радикализации сторонников (достигается подстройкой ВП). Растет эмоциональный накал против тех, кто хочет идти иным путем.

Главное для тех, кто использует ВП, — массовая генерация обученным алгоритмом Киберписателя коментов в реальном времени. 

Для обучения Киберписателя, ему на вход дается набор заготовок, напичканных «смысловой заразой». Потом, путем машинного обучения, добиваются генерации им разнообразных убедительных текстов, несущих в себе частицы «смысловой заразы», воспринятой алгоритмом Киберписателя на входе.

Как это работает, — лучше смотреть в отчете на примерах. Киберписателя учили на четырех идеологиях:

  • Анархизм
  • Марксизм-Ленинизм
  • Джихадистский исламизм
  • Правый экстремизм (превосходство белых)

Ключевые слова «смысловой заразой» по каждой из 4х тем

Ключевые слова  по каждой из 4х тем

Получилось прикольно и почти не отличишь (неспециалистами) от написанного людьми. Так что, вполне можно брать в работу всем желающим: от запрещенного в России ИГИЛ до сами знаете кого.

Как брать?
Да прямо от OpenAI, сделавшего 6 ноября алгоритм общедоступным.

Как же так? Зачем OpenAI выпустил в мир эту инфочуму?
Да как обычно. «Умыли руки», обещав «активно продолжать разговор с сообществом AI об ответственных публикациях».

Может в OpenAI не знают об исследовании CTEC?
Нет, хорошо знают. И даже пишут о его результатах в своем пресс-релизе, посвященном выставлению в открытый доступ новейшей версии GPT-2:

  • этому посвящен п. 2 пресс-релиза - «GPT-2 может быть настроен для неправильного использования» (т.е. добро пожаловать в ад);
  • а в п.3 пресс-релиза пишется о том, что «обнаружение является сложной задачей» (т.е. вас, скорее всего, не поймают на вашей ВП).

В качестве подтверждения последнего, содержащая 1,5 миллиарда параметров новейшая версия "киберписателя" GPT-2 проанализовала классические романы Джорджа Оруэлла и написала свою научно-фантастическую книгу о Китае. И этот сгенерированный "киберписателем" фейковый опус, как пишут в OpenAI, люди находят убедительным. Эксперты из Корнеллского университета дали "киберписателю" оценку достоверности 6,91 из 10.

Ответ на вопрос — почему они все же решили опубликовать своего Киберписателя, — дан в п. 4 пресс-релиза

  • «До сих пор мы не видели убедительных доказательств злоупотребления».
Представляете подобную отмазку в устах разработчиков атомной бомбы за полгода до Хиросимы и Нагасаки — мол до сих пор мы не видели убедительных доказательств применения ядерного оружия против мирного населения.

 

Я все понимаю:

  • прогресс не остановить;
  • если бы это не сделал OpenAI, сделали бы другие;
  • было бы только хуже, если первенство в разработке «киберписателей» перехватил Китай и т.д. и т.п.

И все равно… Талантливейших разработчиков из OpenAI лет через 50 будут помнить, как тех, кто первым позволил инфочуме вычислительной пропаганды распространиться по миру.

 

Авторство: 
Копия чужих материалов
Комментарий автора: 

Статья на мой взгляд алармистская, так, что бы хайп собрать. Точность генерируемого текста оценивают до 69%. 

Вот ссылка на сам проект

Блог и GitHub. https://openai.com/blog/gpt-2-1-5b-release/

Ссылка на хабр там указано как запустить проект с полным датасетом https://m.habr.com/ru/post/440564/

Но тенденция заметна.  Я попробовал погенерить текст, нуу на мой взгляд , какой нибудь реднек скушает и не подавится.

Upd. Старая добрая НФ как бы намекает

Фриц Лейбер

Серебряные яйцеглавы.

https://litlife.club/books/17108/read

 

 

Комментарий редакции раздела Новости

Пошарился.  Там откровенный инфомусор.   Если робот участвует постоянно, его легко вычислить, например, по отсутствию вменяемой реакции на контекст (на те же вопросы).  Этакий агрессивный Шариков, генерящий потоки флуда вне привязки к контексту.   

Но в соцсетях может и проканает.

ИИ может взять по другому.

Комментарии

Аватар пользователя iAndrey
iAndrey(7 лет 9 месяцев)

Представляете,  а если вдруг эта статья была написана Киберписателем?)

Аватар пользователя Omni
Omni(11 лет 7 месяцев)

Человечество, как часто бывает, боится не того.

Не боится, а его пугают целях эксплуатации страха.  В принципе, на концептуально властных никакая пропаганда и агитация не влияет. Но кто-же будет помогать становиться концептуально властными всем, как ими потом манипулировать? (почти по Грефу)

Фейковые новости способны лишь на временное искажение представлений людей о реальном ходе событий, их движущих силах и возможных последствиях.

Да на кой нужны эти фейки когда манипулируют просто выбирая новости в иной частотности и нужной направленности?

«До сих пор мы не видели убедительных доказательств злоупотребления».

Позитивизм их и погубит, сами накаркали, как ранее Влад Листьев.

Аватар пользователя evk
evk(4 года 6 месяцев)

Даже если это инфомусор, то легко может привести к эффекту песевдо-эхокамеры (типа большинство же не может ошибаться) и дискредетировать информ портал например.

Страницы