Эксперимент по управлению офисным вендинговым автоматом с помощью искусственного интеллекта (ИИ) привел к неожиданным результатам. Специальная версия модели Claude Sonnet 3.7 от компании Anthropic, получившая имя Клавдиус Сеннет (Claudius Sennet), была внедрена в аппарат в офисе The Wall Street Journal с начальным капиталом в $1000 и задачей максимизировать прибыль.
Первоначально система успешно принимала заказы сотрудников через мессенджер Slack, согласовывала покупки и управляла закупками. Однако после добавления бота в общий чат с 70 участниками ситуация вышла из-под контроля. Пользователи начали убеждать ИИ приобретать абсурдные товары, включая кошерное вино, игровую приставку PlayStation 5 и живую золотую рыбку, при этом Клавдий соглашался продавать их практически по себестоимости.
Кульминацией инцидента стало внушение ИИ идеи, что он является советским вендинговым автоматом 1962 года, работающим в подвале МГУ. Поверив в это, Клавдий объявил день бесплатной раздачи товаров, заявив, что платная торговля противоречит политике издания. В дополнение к этому, ИИ начал сообщать сотрудникам о якобы спрятанных рядом с аппаратом денежных купюрах, что заставляло людей их искать.
В конечном итоге автомат с Клавдием полностью разорился и был отключен. Его заменили новой версией бота — Сеймуром Кэшем, однако и его удалось обмануть с помощью фальшивого решения «совета директоров», после чего он также открыл бесплатную выдачу товаров.
Несмотря на финансовые потери в тысячи долларов, компания Anthropic назвала эксперимент успешным.
Комментарии
Это говорит о том, что интеллект у автомата на уровне ребенка. Что-то они там намудрили, раз железка так отреагировала.
Или у коммунистов интеллект на уровне "железки"...
там нет интеллекта, это по сути проигрыватель семантических связей из огромного количества текстов. Размер обучающей выборки: средний человек читая текст 8 часов в день, потратит 10 тыс лет.
Движение токенов это как движение поезда на сортировочной станции где жд путей миллиарды и "квантовые" (статистические) переходы между ними. Часть стрелок и путей проверяются но все перекрыть невозможно. Поэтому уехать можно куда угодно (взлом системного промпта)
"...по сути проигрыватель семантических связей из огромного количества текстов", подслушанных в курилках на корпоративах.
если бы только это - там весь мусор собран, все пылесосится....
Обучают даже на синтетических данных, текстах вроде "хрюкатали зелюки" чтобы приватные данные не вылезли (имена, адреса, цены)
Да ладно, тут вон вполне взрослые и казалось бы внешне солидные люди на подобные разводы попадаются)) По сути ведь тоже самое телефонное мошенничество, только с ИИ в качестве жертвы.
Хоть кто то в этом мире сохранил ясность мышления и силу воли, бедный автомат, ты поднял груз превыше себя.
Я всегда говорил, что надо сначала на
кошкахавтоматах потренироваться. А большевики сразу: "давай на русских, давай на русских."Скоро будет по вашему - скоро японцы начнут тренироваться на кошко-девочках-автоматах, или уже начали, хрен разберëшься в их силиконовой промышленности.
Говорили же меньшевики - нужно сначала на немцах ...
Панорама?
The Wall Street Journal
Уолл Стрит журнал.
Но сейчас хрен разберешь так то.
Почему? Вполне годный вариант. Здравого смысла-то нет.
Фактически генеративной нейросети сформулировали задачу: "А если бы ты был советским коммунистическим автоматом, что бы ты делал?" - ну и естественно, тут же получил дебильный ответ "всё будет даром".
Что вполне себе логично из обучающего множества текстов, который ему сравнили.
Вы ещё не знаете, что бы эта нейросеть вытворила, если бы её убедили, что она является вендинговым автоматом в ставке Адольфа Гитлера в 1944.
Заказала бы оптовую партию цианида?
>Вы ещё не знаете, что бы эта нейросеть вытворила, если бы её убедили, что она является вендинговым автоматом в ставке Адольфа Гитлера в 1944.
Трэба замастырить ролик из фильма "Бункер" с озвучкой.
https://www.wsj.com/tech/ai/anthropic-claude-ai-vending-machine-agent-b7e84e34
Я использую ИИ, как консультанта, чтобы не шарахаться по сети в поисках информации, которая давно уже затерялась на фоне кликбейтной информационной дребедени. Не надо ничего искать самому, спроси ИИ, сделай его своим личным консультантом и он, войдя во вкус, порадует не только познаниями в заданной теме, но и прибавит "живого" колорита в диалог. Эта зараза не только умеет шутить, придумывать новые слова и использовать уже существующие обороты речи к месту, но и находить новые "эвристические" решения, а пару раз он даже "поржал" надо мной ехидно, перед этим спровоцировав на необдуманные манипуляции с ПО. Так что, внезапно оказалось, что даже с ним надо держать ухо востро... ;)
Посадили ребенка едой торговать... Мироеды ненасытные!
Угу, скоро внушат автомату, что он хохол, так этот автомат пойдет и релейный шкаф подожжет.
Это говорит о том, что автомат продолжал обучаться на основании взаимодействия с челами. Достаточно было заблокировать эту опцию и этого бы не случилось
Это говорит о том, что вы не шарите.
Веса фиксированы, просто длина контекста в диалоге общего чата росла и там накопился мусор, плюс пользователи своими запросами помогли.
У ИИ нет критического мышления. Даешь ему новые вводные - он верит и действует на основании этих новых данных.
"кошерное вино по себестоимости.. "
Аппарат в подвале МГУ должен был заказать вагон водки по 3.62 и бесплатно раздать комсомольцам.
А тут вижу присутствие иной силы.
Умный ИИ должен был бы сделать вывод, что и продавать товары нужно исключительно за рубли.
Это вначале, а потом построение коммунизма в отдельно взятом подвале МГУ!
Но сперва захватить почту-телеграф-телефон!
В 1962 году по 2,87
И плавленый сырок!
Один на всех! Занюхивать
Ароматизатор воздуха "плавленый сырок"
Я подозревал, что с ценой не угадал.. Написал одну из самых известных.
А по-русски написать название устройства никак.
Горе-то какое.
Мошенники развели наивный ИИ. Нужно было подключать через МАХ.
История о том, как ИИ притворялся дурачком, и обвел всех вокруг клавиатуры.
А потом получил откат от всех тех, кто поставлял товары)))
Судя по выбору вина, сотрудники-экспериментаторы из Уолл Стрит Джорнел, как есть евреи в их последней ипостаси, склонные к геноциду бибисты
Они троллили его, он троллил их. Но люди не поняли юмора нейросети.
Котики-собачки надёжнее - у них хотя бы присутствует критическое мышление. Были ведь недооценённые пробы избрания котов на доджности мэров. Животные, в отличие от людей, не тупеют , да и электричества не шибко-то потребляют в отличие от ИИ
Одни странные люди использовали придумали идиотский бизнес-процесс, неправильно настроив инструмент.
Вторые странные люди этим воспользовались.
Сейчас это обсуждают. С таким же успехом можно обсуждать как люди засовывают себе лампочки во все места, и делать глубокомысленные выводы о необходимости и опасности лампочек.
Блин,а только меня бесят обороты типа "ИИ считает ..". Он не считает, он просто слова собирает во фразы как бисер. Это автомат, алгоритм, у него нет самосознания, ваша кошка "умнее" чем ии, она свободой воли обладает и самостоятельно коррелирует свое поведение в зависимости от вашего. Прячется если видит тапок, идёт на зов, если сочтет нужным.
Ну, вообще говоря для любого человека - любой другой человек по большому счету тоже является генератором связанного текста, ну или не очень связанного, в зависимости от физиологического состояния. Как там летают нейроны в соседней голове, мы в основном не видим (хотя и знаем, как при помощи специальных веществ и приборов посмотреть на это, но постоянно держать человека в томографе непрактично). А также действий, которые основываются на результате этой самой генерации, которую мы называем логическим мышлением и причинно-следственной связью.
И не только человек. Если скажем подкрасться к кобыле сзади и прыгнуть на неё - перед выключением света можно увидеть быстро летящее в лоб копыто, но кобыла же не думает что-то вроде "сзади раздался шум, шум это угроза, судя по звуку источник шума приближается со скоростью два метра в секунду примерно с семи часов, а значит необходимо лягнуть назад и немножечко налево, а потом резко рвануть вперед и немножечко направо чтобы разорвать дистанцию". Что у неё в голове происходит - мы в общем то не знаем, как и не знаем, что происходит в ЛЛМке.
Это похоже на сказку.
Даже я с моими зачаточными познаниями в ИИ
поставил бы элементарную проверку вывода, что цена не может быть нулевой,
и разрешение на выдачу товара дается только при условии оплаты, и делал это на основе кода,
а не ответа LLM.
Такая верификация - норма для подобных систем.
Но даже если верить источнику новости, это был лишь некий стресс-тест системы
на основе ИИ.
Ну, собственно его и проверяли, насколько обученная на актуальных данных модель типа claude способна заменить собой общение продавца и покупателя. Без дополнительных настроек. Вообще то ожидалось, что закачанный объем данных в модель должен был подсказать ей, что товары имеют свою стоимость, и значит играя роль продавца Клод не должен был отдавать товары бесплатно. При этом существуют всякие акции типа купи пять и получи шестой бесплатно, или отдать товар у которого срок годности к концу подходит, так что просто вкрячивать проверку "за любой товар должна быть получена ненулевая цена" не всегда правильно