Новое слово в пропаганде, Вычислительная пропаганда.

Аватар пользователя Бабай-сан
Человечество, как часто бывает, боится не того. Вот и теперь мир помешался на опасности фейковых новостей. Но они существовали всегда, и теперь лишь появились технологии их индустриального тиражирования и распространения. Это опасно? Да. Но не более, чем новые формы гриппа.
Писец же подкрался незаметно и совсем с другой стороны. Это “Computational Propaganda” (Вычислительная пропаганда — ВП) — технология масштабирования пропаганды в медиа-среде через заражение симпатией в целях вовлечения и радикализации сторонников. Будучи освоенная террористами и авторитарными государствами, ВП грозит миру настоящей инфочумой, защиты от которой пока нет и не факт, что вообще появится.

Об этом новый отчет по результатам исследования, проведенного The Center on Terrorism, Extremism, and Counterterrorism (CTEC) совместно с Институтом международных исследований Мидлбери, и озаглавленного «The Industrialization of Terrorist Propaganda. Neural Language Models and the Threat of Fake Content Generation».

Речь о «Киберписателях», типа GPT-2 от OpenAI. Это генераторы текстов, которые весьма успешно обучаются с помощью машинного обучения создавать осмысленные тексты почти неотличимые от написанных людьми (детали см. здесь: покороче и поподробней).

Исследование показывает, что в отличие от генераторов фейковых новостей, эффект от ВП куда долгосрочней и, главное, продуктивней.

  • Про фейковые новости (как про любые новости) в нашем быстром и перегруженном информацией мире быстро забывают. Так что максимум, что от них остается через месяц, — мусор путаных воспоминаний в головах и без того не слишком продвинутого массового потребителя инфы.
  • ВП работает принципиально иначе. Она генерит не фейковые новости, а комментарии, цель которых: 
    (1) утопить коменты против содержательных основ пропагандируемых идей;
    (2) усилить воздействие коментов в поддержку пропагандируемых идей.

Фейковые новости способны лишь на временное искажение представлений людей о реальном ходе событий, их движущих силах и возможных последствиях. Они как бы искажают картину восприятия человека об окружающем его ландшафте, по которому он движется.

Действие ВП принципиально иное и, по своей сути, куда фундаментальней по последствиям. ВП как бы изменят мотивацию людей, делая для них привлекательным навязываемое им направление движения. 

1й результат действия ВП — вовлечение (рост числа сторонников пропагандируемых идей). Используя вышеприведенную метафору, — все больше людей присоединяется к движению в заданном направлении.

2й результат — радикализации сторонников (достигается подстройкой ВП). Растет эмоциональный накал против тех, кто хочет идти иным путем.

Главное для тех, кто использует ВП, — массовая генерация обученным алгоритмом Киберписателя коментов в реальном времени. 

Для обучения Киберписателя, ему на вход дается набор заготовок, напичканных «смысловой заразой». Потом, путем машинного обучения, добиваются генерации им разнообразных убедительных текстов, несущих в себе частицы «смысловой заразы», воспринятой алгоритмом Киберписателя на входе.

Как это работает, — лучше смотреть в отчете на примерах. Киберписателя учили на четырех идеологиях:

  • Анархизм
  • Марксизм-Ленинизм
  • Джихадистский исламизм
  • Правый экстремизм (превосходство белых)

Ключевые слова «смысловой заразой» по каждой из 4х тем

Ключевые слова  по каждой из 4х тем

Получилось прикольно и почти не отличишь (неспециалистами) от написанного людьми. Так что, вполне можно брать в работу всем желающим: от запрещенного в России ИГИЛ до сами знаете кого.

Как брать?
Да прямо от OpenAI, сделавшего 6 ноября алгоритм общедоступным.

Как же так? Зачем OpenAI выпустил в мир эту инфочуму?
Да как обычно. «Умыли руки», обещав «активно продолжать разговор с сообществом AI об ответственных публикациях».

Может в OpenAI не знают об исследовании CTEC?
Нет, хорошо знают. И даже пишут о его результатах в своем пресс-релизе, посвященном выставлению в открытый доступ новейшей версии GPT-2:

  • этому посвящен п. 2 пресс-релиза - «GPT-2 может быть настроен для неправильного использования» (т.е. добро пожаловать в ад);
  • а в п.3 пресс-релиза пишется о том, что «обнаружение является сложной задачей» (т.е. вас, скорее всего, не поймают на вашей ВП).

В качестве подтверждения последнего, содержащая 1,5 миллиарда параметров новейшая версия "киберписателя" GPT-2 проанализовала классические романы Джорджа Оруэлла и написала свою научно-фантастическую книгу о Китае. И этот сгенерированный "киберписателем" фейковый опус, как пишут в OpenAI, люди находят убедительным. Эксперты из Корнеллского университета дали "киберписателю" оценку достоверности 6,91 из 10.

Ответ на вопрос — почему они все же решили опубликовать своего Киберписателя, — дан в п. 4 пресс-релиза

  • «До сих пор мы не видели убедительных доказательств злоупотребления».
Представляете подобную отмазку в устах разработчиков атомной бомбы за полгода до Хиросимы и Нагасаки — мол до сих пор мы не видели убедительных доказательств применения ядерного оружия против мирного населения.

 

Я все понимаю:

  • прогресс не остановить;
  • если бы это не сделал OpenAI, сделали бы другие;
  • было бы только хуже, если первенство в разработке «киберписателей» перехватил Китай и т.д. и т.п.

И все равно… Талантливейших разработчиков из OpenAI лет через 50 будут помнить, как тех, кто первым позволил инфочуме вычислительной пропаганды распространиться по миру.

 

Авторство: 
Копия чужих материалов
Комментарий автора: 

Статья на мой взгляд алармистская, так, что бы хайп собрать. Точность генерируемого текста оценивают до 69%. 

Вот ссылка на сам проект

Блог и GitHub. https://openai.com/blog/gpt-2-1-5b-release/

Ссылка на хабр там указано как запустить проект с полным датасетом https://m.habr.com/ru/post/440564/

Но тенденция заметна.  Я попробовал погенерить текст, нуу на мой взгляд , какой нибудь реднек скушает и не подавится.

Upd. Старая добрая НФ как бы намекает

Фриц Лейбер

Серебряные яйцеглавы.

https://litlife.club/books/17108/read

 

 

Комментарий редакции раздела Новости

Пошарился.  Там откровенный инфомусор.   Если робот участвует постоянно, его легко вычислить, например, по отсутствию вменяемой реакции на контекст (на те же вопросы).  Этакий агрессивный Шариков, генерящий потоки флуда вне привязки к контексту.   

Но в соцсетях может и проканает.

ИИ может взять по другому.

Комментарии

Аватар пользователя my-world-russia
my-world-russia(1 год 5 месяцев)

А где пробовали?

Комментарий администрации:  
*** Отключен (СЕО-спам) ***)
Аватар пользователя Бабай-сан
Бабай-сан(3 года 5 месяцев)

Он лайн доступ есть. Я ранее видел об этом публикацию на английском. В статье вроде ссылка есть. 

Аватар пользователя my-world-russia
my-world-russia(1 год 5 месяцев)

Если не сложно дайте прямую ссылку

Комментарий администрации:  
*** Отключен (СЕО-спам) ***)
Аватар пользователя Бабай-сан
Бабай-сан(3 года 5 месяцев)

Вот ссылка на сам проект

Блог и GitHub. https://openai.com/blog/gpt-2-1-5b-release/

Ссылка на хабр там указано как запустить проект с полным датасетом. 

https://m.habr.com/ru/post/440564/

Аватар пользователя my-world-russia
my-world-russia(1 год 5 месяцев)

177 это вообще ерунда полная... разве что на выставку абстрактного художественного текста...)))

Комментарий администрации:  
*** Отключен (СЕО-спам) ***)
Аватар пользователя Бабай-сан
Бабай-сан(3 года 5 месяцев)

А что с 1,5 миллиарда параметрами не попробовали?

И я посеял ссылку, на web интерфейс, через него тоже ничего так было, прилично, но кривовато.

Аватар пользователя NOD
NOD(6 лет 3 недели)

Так  зачем вы этот бред сами пропагандируете ? ребятам пришла гениальная мысль, теперь вот ищут спонсоров для своего успешного успеха.

Никакие AI не способны вовлечь человека в какую либо деятельность, наоборот чаще всего у человека вызывают отторжение восприятия. Яркий пример игровые AI - достигая результативности они напрочь теряют любой интерес зрителя. 

Аватар пользователя ВладиславЛ
ВладиславЛ(2 года 5 месяцев)

"...шпроты, найденные в ракете, представляют собою в согласии со здешними законами чудовищное оскорбление самых святых пинтийских идеалов посредством так называемого "преступного намека""

Stanislaw Lem. Dzienniki gwiazdowe.
Podroz trzynasta (1956)

https://www.booksite.ru/fulltext/0/001/005/167/029.htm

Интересная статья и Лем как футуролог в приведённой выдержке и в прочих на данную тему был прав. Совершенно не важно кто и что вы если есть информационное обеспечение вас достанут.

Аватар пользователя Бабай-сан
Бабай-сан(3 года 5 месяцев)

Да, отличная имитация. Лем, при всей его русофобии, был гений конечно

Аватар пользователя mmx
mmx(5 лет 6 месяцев)

Интернет по паспорту решает проблему на раз.

Аватар пользователя Бабай-сан
Бабай-сан(3 года 5 месяцев)

Фактически это означает деление инета на национальные, автономные  зоны

Скрытый комментарий mmx (c обсуждением)
Аватар пользователя mmx
mmx(5 лет 6 месяцев)

Скорее на кластеры. У приличных стран будет свой интернет, у "свободных" свой. И пусть они там друг дружке хоть каждый день твитерные революции устраивают.

Аватар пользователя Бабай-сан
Бабай-сан(3 года 5 месяцев)

Ааа, что совой об пень, что пнем об сову.))

Аватар пользователя Konstanrom
Konstanrom(2 года 9 месяцев)

Сейчас отчасти так и есть - дебилы сидят в своих огороженных фейсбучиках, нагнетают друг друга ужасами каждый день, а потом удивляются - че почему они на выборах всего 2% набрали.

Потом начинают: - АААаа, выборы подтасовали, все на митинг!

Начинается очередной шум в фейсбучике, потом митинг - и они опять удивляются, почему их митинг посетило всего 3000 человек, где все остальные???

Бггг , умора просто, интернет-революционеры 21-века.

 

Комментарий администрации:  
*** Отключен (невменоз, пропаганда майдана и прочей чепухи) ***
Аватар пользователя Vladyan
Vladyan(5 лет 11 месяцев)

laughyes Точно!

Аватар пользователя Key Z
Key Z(4 года 3 месяца)

Так всё наоборот - останутся только боты, их по паспорту не притянешь.

Аватар пользователя mmx
mmx(5 лет 6 месяцев)

С чего бы? Создаем подконтрольную государству централизованную службу логинов (по типу того как сейчас можно логинится на разных сайтах через соцсети) и обязываем всех сайтовладельцев допускать пользователей до комментариев только через неё. А дальше дело техники: если вдруг какой-то аккаунт начинает строчить тысячи комментов в день значит пора взять за жопу гражданина на которого данный аккаунт был зарегистрирован.

Аватар пользователя zebraptor
zebraptor(7 лет 7 месяцев)

пора взять за жопу гражданина на которого данный аккаунт был зарегистрирован

За жопу брать ни к чему, может это бабушка вирус подцепила и теперь её ноутбук своей жизнью живёт, став частью ботнета 😁 Просто доступ заблокировать при нарушениях до выяснения и всех делов. В целом идея здравая и вполне возможно к чему-то примерно такому всё и придёт. Тут понятно то, что сетевой хаос будет так или иначе упорядочен со временем.

Аватар пользователя Феофан Пургелин

Уже всё есть. На многих сайтах регистрация через госуслуги, например.

Аватар пользователя Vladyan
Vladyan(5 лет 11 месяцев)

Занятно будет через пару-тройку лет заходить на АШ через госуслуги... devil И только через них... Аккурат к выборам 2024... angel

Аватар пользователя zebraptor
zebraptor(7 лет 7 месяцев)

Если ты до сих пор этого не заметил, то АШ хоть и является русскоязычным ресурсом, но не является ресурсом для российских граждан ONLY, поэтому это не более вероятно, чем захват Земли марсианами 😂 Иными словами, даже если вдруг от всех россиян станут требовать идентификации для доступа в сеть, то сами сетевые ресурсы будут регулировать вопрос доступа ровно так, как сочтут целесообразным.

Аватар пользователя Vladyan
Vladyan(5 лет 11 месяцев)

Уж и пошутить нельзя, т-щи понауехи...

Аватар пользователя zebraptor
zebraptor(7 лет 7 месяцев)

Шутить можно и нужно! 🤣

Я просто к тому, что некоторые не вполне понимают отличий между базовым доступом в сесть, и доступом к некому сетевому ресурсу 😁 Вот, тут смысл в том, что бы идентифицировать всех на уровне базового доступа, а как там какой сетевой ресурс намерен регулировать свой собственный доступ, это уже только его дело 😁

Аватар пользователя mmx
mmx(5 лет 6 месяцев)

А дело государства регулировать доступ к своему интернету сетевых ресурсов. Кто хочет работать в рунете - организует комменты по паспорту. Кто хочет комментировать в рунете - организует себе авторизацию даже по своему иностранному паспорту. Международные ресурсы (типа ютуба) организуют фильтрацию с отображением в рунете только авторизованных комментаторов. Ну или пойдут на ТБМ, что конечно вряд ли: за прибыль они свою "демократию" моментально продадут laugh

Аватар пользователя zebraptor
zebraptor(7 лет 7 месяцев)

Ресурсам это невыгодно, всё слишком скучно и уныло станет, а унылость не самый лучший способ привлечения пользователей 😁 Государству это всё тоже не совсем интересно, ему интересно всех идентифицировать и упорядочить, но зачем бы ему разводить унылое болото в сети. Ресурсы могут, конечно, у себя по типу твиттера "подтверждённым" пользователям некий значок ставить, но всех "неподтверждённых" выпиливать не слишком разумно, если уж адекватно на этот вопрос смотреть 😁

К тому же, большинство ресурсов в сети транснациональные, а идентифицировать все 7 млрд. хумансов планеты возможно лишь в рамках глобальной единой транснациональной системы идентификации, а это уже вопрос некого туманного глобализированного будущего 😁

Аватар пользователя mmx
mmx(5 лет 6 месяцев)

Ну вопрос ведь будет стоять не привлечь или не привлечь пользователей, а получить или не получить доступ к русскоязычной аудитории. Где-то читал что она четвертая или пятая в мире, после англо-китае-испаноязычных. Такими рынками не разбрасываются.

Аватар пользователя zebraptor
zebraptor(7 лет 7 месяцев)

Не, вопрос тут будет стоять "отсечь от рунета все остальные 7 млрд. непрозрачных для РФ пользователей", а на это никто в здравом уме без передоза мухоморами очевидно не пойдёт. РФ тут будет волновать лишь идентификация своих граждан РФ, но это не запрещает доступ в рунет всем остальным долбодятлам из Конады и с Крыжополю, просто всех иносранцев будет довольно легко отделить в сети от россиян.

Аватар пользователя mmx
mmx(5 лет 6 месяцев)

Ну можно разделить сами ресурсы по языку контента. Делаешь русскоязычную площадку - пускаешь только авторизованных комментаторов. Иначе тебя самого в рунет не пустят. А доступ к сайтам "всех остальных 7 млрд." оставить в обычном режиме, все равно их значимость для пропаганды в рунете близка к нулю.

Аватар пользователя Феофан Пургелин

Читать-то может кто угодно. Я вот могу читать китайские сайты, а писать там - нет. Да и многие американские ресурсы анально огораживаются. Раньше это было смешно, а сейчас это суровая вынужденная мера, ибо никаких ресурсов модерации и саппорта не хватит, чтобы разгрести тонны навоза, наброшенного боевыми хомячками (а скоро и роботами).

Аватар пользователя Vladyan
Vladyan(5 лет 11 месяцев)

То-то понауехавшие засуетились.

Аватар пользователя evm11
evm11(8 лет 6 месяцев)

Вирус это один из вариантов.

Просто уркаденные/потерянные паспорта будут использовать не только для получения кредитов или подложных документов.

Аватар пользователя zebraptor
zebraptor(7 лет 7 месяцев)

Потерянные-то обнуляются, тебя с недействительным документом в систему не пустят "документ недействителен". Тут, как раз, чужие данные сложней использовать, поскольку идентификация может быть многоуровневой, к тому же попытка входа в аккаунт одновременно из разных мест будет сразу расценена как нарушение безопасности личных данных и человека об этом известят "ваши персональные данные скомпрометированы". ИМХО.

Вот, мне даже гугля алармы шлёт, если была попытка входа откуда-то из нового места и с устройства, которое гугля со мной ещё не ассоциировала и она алармит "Ахтунг! Это вы и это ваш девайс, или это вас ломануть хотят?" 😁

Аватар пользователя Aijy01
Aijy01(8 лет 7 месяцев)

+100500

Аватар пользователя И-23
И-23(5 лет 7 месяцев)

Не решает.
Без радикальной ревизии модели использования персональных данных (с попутным решением проблемы адресного спама) — в лучшем случае паллиатив.

ЗЫ: А также *необходимо* жестоко пресекать все поползновения в сторону нарушения принципа взаимности.
Иначе говоря — *достаточные* (чтобы никому неповадно было) штрафы за покупку желаемых законов.
Адекватная компенсация ущерба + публичное выписывание стимуляции извилины за ошибки типа false positives.
И, специально для правоторговцев: *вечная* абонентская плата за реализацию пролоббированных блокировок + публичный реестр интеллектуальной собственности (с показательными штрафами за превышение допустимого времени простоя) и налог на flibusta.rsl.ru.

Аватар пользователя zebraptor
zebraptor(7 лет 7 месяцев)

Полностью проблему решить невозможно, поскольку как бы некую официальную сеть ни упорядочили некими рамками правил, возникнут параллельные неофициальные с чайлдпроном и проч. "даркнеты". При этом параллельные не только программно, но и физически, поскольку современное беспроводное оборудование это позволяет реализовать даже на уровне устройств типа SOHO без особых усилий.

Скрытый комментарий Повелитель Ботов (без обсуждения)
Аватар пользователя Повелитель Ботов

Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.

Комментарий администрации:  
*** Это легальный, годный бот ***
Аватар пользователя денис74
денис74(1 год 8 месяцев)

"...Это опасно? Да. Но не более, чем новые формы гриппа." Автор этих слов идиот. 

Аватар пользователя Ярослав С.
Ярослав С.(6 лет 7 месяцев)

Херня из под коня. Пока AI не научился превращать любителей Кока-колы в любителей Пепси-колы (и наоборот) - он бесполезен и безвреден. Когда научится - его поставят на службу капиталу и правоохранительным органам, и он, напротив, будет бороться с терроризмом, экстремизмом и инакомыслием.

Аватар пользователя Бабай-сан
Бабай-сан(3 года 5 месяцев)

Да коллега, вы совершенно правы, метод обучения без учителя, при реально большом количестве переменных явно повысил качество обучения модели.

Аватар пользователя Alex Arx
Alex Arx(5 лет 3 месяца)

 

Не, ну а чё? Нормально так. Белковый жур или пис работает примерно так же. Ред даёт задание и жур генерит статью. Ну а писы ориентируются на запросы читов. Читам хочется больше экшена - и писы генерят экшн.)

Аватар пользователя taurussnake
taurussnake(6 лет 1 месяц)

Тема не раскрыта полностью, почему АИ не учили писать лево-право-либеральные, феминистские, лгбтшные и чадостластные комменты?

Аватар пользователя maxvlad
maxvlad(9 лет 3 месяца)

А откуда Вы знаете, что не научили?

Меня одна мысль беспокоит. В своё время Каспаров, проиграв Дип Блю, высказался в том смысле, что было бы интересно организовать партии, где с обеих сторон играли бы в связке гроссмейстер и комп. Типа, человек с роботом на подхвате эффективнее и человека, и робота. Применительно к обсуждаемому вопросу, подобный бредогенератор вполне может сделать заштатного писаку политическим феноменом.

Аватар пользователя Феофан Пургелин

Этот метод давно и успешно применяется уже. Человек в этой схеме выступает как контролёр и обучатель роботов, которые готовят ему полуфабрикаты текстов на заданные темы.

В принципе, многие пранки на подобном сотрудничестве были построены - роботы обеспечивали словарный запас и нужные семантические зацепки а человек обеспечивал более "живую" реакцию на слова собеседника.

Аватар пользователя ДК
ДК(8 лет 6 месяцев)

ВП работает принципиально иначе. Она генерит не фейковые новости, а комментарии, цель которых: 
(1) утопить комменты против содержательных основ пропагандируемых идей;
(2) усилить воздействие комментов в поддержку пропагандируемых идей.

что я каждый день (не только) здесь и наблюдаю. скоро алиса комментировать всё будет так как надо.

причём, полный профит. зарплата не нужна, фабрики троллей закрываются и открываются ВЦ троллей. мощность на гектар на порядок выше. окучиваемость зашкаливает.

Аватар пользователя Alex Arx
Alex Arx(5 лет 3 месяца)

И более того... Полагаю, не надо ограничиваться только каментами. Ибо, оч. скоро у электората выработается защитный условный рефлекс. Не забывайте, коллега, именно так мы потеряли ТВ.

Сравните эффективность воздействия ТВ на умы электората в 80-е годы прошлого века и сегодня. Это жи небо и земля! И если мы не хотим навсегда отстать от жизни, нам придётся осваивать новые  технологии.

И коллега Бай-бай-сан из нашего северо-амэрканского доминиона вовремя подкинул нам идею. Отныне борьба развернётся не за условный электорат, а за каждого конкретного электорируемого. Благо, технологии позволяют.

Вспомните благословенные 50-е, когда мы смотрели одни и те же передачи по ТВ, а назавтра обсуждали их в офисе на совете директоров или же в обеденный перерыв в ближайшем баре на 42 авеню за стаканом виски, йеа.

Полагаю, сегодня новости у каждого будут свои, так сказать, индивидуальные. Подобранные в соответствии с его взглядами, предпочтениями и сексуальными фантазиями. Естественно, и изобразительный ряд будет соответствующим.

Мы должны заменить электорателю его привычный круг общения - всех этих друзей и товарищей по работе. Отныне мы станем ему самым верным другом и советчиком. Мы будем формировать его представление о мире, о том, что ему хочется и, самое главное, за кого отдать свой голос на тех или иных выборах, на том или ином референдуме или опросе.

И если где-нибудь, в каком-либо уголке этой планеты кто-то вскинет руку и крикнет "- Хайль!" в чей-либо персональный адрес - знайте, там нас ждут, оттуда мы начнём наше триумфальное возрождение!)

Аватар пользователя AndreyTemp
AndreyTemp(5 лет 4 месяца)

интернет с ИИ формируют идеальные эхокамеры

Аватар пользователя zebraptor
zebraptor(7 лет 7 месяцев)

И везде боты с ботами будут общаться, "Ты тупая дура, Алиса! - Сама ты сучка крашена, Кортана!", а редкий случайный пользователь если случайно зайдёт, то сразу в ужасе убежит.

 

Аватар пользователя Omni
Omni(8 лет 7 месяцев)

Иллюзия управления общественным мнением не избавляет от объективного разочарования в его не соответствии, например, выборы между Трампом и Клинтон.

Аватар пользователя Vladyan
Vladyan(5 лет 11 месяцев)

 

cheeky

Аватар пользователя Key Z
Key Z(4 года 3 месяца)

Странно: написано что бота сложно определить, и тут же список ключевых слов, по которому его легко определить. Правильнее было бы сказать, что бот практически неотличим от сектанта-проповедника :) 

Страницы