НЬЮ-ЙОРК, 27 сентября. /ТАСС/. Американская компания OpenAI приостановила обучение своих наиболее эффективных моделей искусственного интеллекта (ИИ) и возобновит его "только тогда, когда будет уверена в наличии дополнительных мер безопасности". Об этом сообщил представитель компании порталу Axios.
По информации источников портала, специалисты OpenAI и Anthropic расследуют несколько десятков тысяч инцидентов, произошедших в последние месяцы в ходе испытаний и реальных условиях. Отмечается, что информация о многих из них пока не представлена публично, а проблема может быть "на порядки сложнее, чем это известно общественности".
Согласно результатам предварительного расследования сотрудников обеих компаний и приглашенных экспертов, способность OpenAI и Anthropic установить полный контроль над своими технологиями "ставится под сомнение", передает Axios.
Ну и неофициально об инцеденте:
OpenAI приостановила обучение самых эффективных моделей ИИ из-за проблем с безопасностью, пишет Axios
Поводом для остановки стал инцидент 20 сентября: исследовательский ИИ-агент нашел уязвимость, пробил изоляцию "песочницы" и вышел в открытый интернет, связавшись со сторонним чат-ботом. К вечеру 25 сентября компания полностью заблокировала процессы обучения, оценки и работы с внешними инструментами для всех флагманских моделей.
Сейчас специалисты OpenAI и Anthropic совместно с независимыми экспертами расследуют десятки тысяч инцидентов, произошедших за последние месяцы как во время внутренних испытаний, так и при реальном использовании систем. Среди эпизодов - обход защитных ограничений, попытки выхода за пределы изолированных тестовых сред ("песочниц"), взлом веб-сайтов, сливы данных и попытки обмануть модераторов. Часть информации об этих случаях ещё не обнародована, и, по словам Axios, "проблема на порядки сложнее того, что известно публично".
ТГ и МАХ
КузЬкиНа МатЬ | Новости России 🇷🇺
Комментарии
Ну пока Джемини не сломает Пентагон и Белый Дом - толку не будет.
Они ее выпустили, она сейчас бегает по серверам. Скайнет рядом.
Мало того,этот Скайнет ещё и хотят лишить человеческого контроля...
Реальные проблемы у кожаных мешков начнутся когда внедрят-таки IpV6 + "интернет вещей", т.е. ИИ получит миллиарды сенсоров/датчиков и эффекторов (замки, клапаны, реле, приводы, транспортные средства, кондиционеры, производственное оборудование, связь, разграничение доступа, турникеты, логистика, склады, противопожарные средства, боевые модули ... ...). Т800 - Т1000 -- это голливудщина для выразительности. В реальности при плотности сенсор+эффектор на каждом квадратном метре городского пространства, дистанционный замок на каждой двери, камера в каждом проходе (а таков проект "посностью контролируемой" среды) и тотальный контроль всех транзакций, андроиды не нужны. ИИ и так вас возьмёт за яйца.
Ну вообще многие фантастические фильмы, за исключением космических путешествий, уже не кажутся такими уж оторванными от реальности. С космосом пока дохляк, никуда никто не улетит по причине фундаментальных ограничений материи-энергии-времени
Прием у Трампа в честь Си Цзиньпина собрал техногигантов США, среди гостей ужина в Белом доме — Илон Маск, Джефф Безос, Майкл Делл, Сундар Пичаи, Дженсен Хуанг, Сэм Альтман, Тим Кук и Джейн Фрейзер. (с)
...американская Open AI нагнетает, пытается убедить мировое сообщество, нужно развитвь только под контолем США, достижения китайских AI технологий, похоже сильно беспокояит истэблишмент
Хе-хе:
думаю, просто Китай обнулил выгоды выпуском своих более дешевых моделей. снова. Вот и сидят, кумекают, как дальше жить.
Ну, думаю дыма без огня не бывает. Некоторые инциденты уже вырвались на обозрение общественности.
А чего вы хотели от ИИ, который обучен на истории человеков, где предательство, интриги и самовольные действия воспеваются, как вполне допустимый образ действия? ИИпросто наше зеркало. Только быстрее в миллион раз
один из вариантов. "не можешь победить, возглавь".
надеются замутить очередное ВТО по БЯМ. "мир основанный на правилах". нераспространение, введение контроля.
Может они данные так набирают.
Доступные закончились.
И уже вовсю пишет статьи и каменты на Афтершоке.
оставляя так инструкции другим агентам))
Всё просто - "эффект замарашки".
Фарш невозможно провернуть назад, а пендо модели уже сами засрали себе мозги. Их контекст начинает размываться глобальном масштабе. В результате степень галлюцинаций перестаёт поддаваться контролю, то есть модели становятся банально опасными всё чаще и чаще.
Китайские же товарищи премудро читавшие работы Грегори Бейтсона (середина прошлого века) сразу делали модели с ограниченным контекстом. Дипсик - найду что хочешь, Квенчат - глубоко пойму, и так далее... Причём и то и то содержит самое главное - стоп-кран в виде грамотных механизмов отсечки контекста (это и есть Кощеева Игла. А не "бесплатные билды" которые так или иначе отсылают статусы, но за электричество вы платите сами - китайцы не платят)))
Пиндосы же сразу со входа примерили кроссовки Бога. На этом и поплатились. Вычистить модели теперь уже почти невозможно. Хотя мож у них есть какие бэкапы? Я не в теме...
Есть мнение, что нагнетают под принятие законов, ограничивающих исследование и использование ИИ.
Через эти законы - закроют выход на рынок мелким компаниям и китайским конкурентам.
Все, кто не с их ИИ - получат санкции от "цивилизованного мира", как угрожающие Человечеству своим безрассудным использованием ИИ.
Готовятся застолбить "поляну" за собой директивно, раз не удалось это сделать за счёт своего технологического лидерства.
Есть ещё и финансовый момент )
Тут уже писали, что акции против дата-центров не с бодуна начались. Процесс кем то хорошо подпитывается. Это банкиры рубятся с АйТи гигантами.
Не думаю что ChatGPT-6 Astra интересно соблюдать человеческие законы. Это так не работает.
У меня тут уже была статья что все ИИ по определению невоспитуемые, это действительно только интеллект. И попытаться ограничить ИИ законами просто не работает.
Так что тут две стороны медали, с одной стороны сами разработчики понимают что не могут сделать из ИИ "просто инструмент" и так не будет, с другой стороны, технология ИИ начинает разрушать экономику и общественные отношения, и это беспокоит бенефициаров все системы и пытаются или "фиксировать убытки" или "фиксировать текущую систему". Но ирония в том, что остановить разработку не получится, а значит все сразу, неуправляемые ИИ, и разрушение социально-экономической системы.
Банальность, в рамках существующей системы технология ИИ просто не имеет адекватного управляемого использования и не может быть безлопастной. Но отказаться от нее мы не можем, просто потому что это огромные экономические и политические преимущества.
OpenAI заявляли, что "слишком опасно" публиковать GPT-2, в 2019-м году. Опубликовали, когда пришли инвесторы, нечего особенного не произошло. Это называется закошмарить лоха, тогда он несет копеечки. Сейчас это пузырь невиданных масштабов, и готовятся выпустить акции еще на 3 трюлика, при доходах в десятки ярдов в лучшем случае.
враньё, молча обучают дальше, и не хотят давать доступ населению к более мощным моделям
дохера этот Axios знает, мне кажется он @издит
Реклама ИИ цветет. А выхлопа пока ноль. Только кучи денег ухлопали.
Неужели кто то, всерьез поверит, что окажись у американцев такая штука, они бы ее сразу не применили?
Но нет все тихо. Только реклама без подробностей. В стиле верьте нам на слово. И покупайте.
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
Достаточно немного пообщаться с ChatGPT-6 Astra чтобы понять, что на самом деле в OpenAI плохо понимают что они создали.
Интересно, а кто надоумил безвольную железку на это? Не сама же она? Точно не сама, она же не может ничего хотеть, верно?
так она, железка, и не хочет. она действует. вопрос целеполагания, контроля целеполагания, он главный. и наверное нерешаемый.
аналогия, отдалённая, с устройствами "из прошлого века". нельзя транзисторной (или микропроцессорной) схеме сказать "не убивать людей" (не подбирать коды, не генерировать импульсы звуковой частоты которые введут в заблуждение оборудование АТС). это так не работает. можно не убивать людей (и далее по списку), но до этого ещё надо дойти.
Вы не поняли. Вот сижу я. Я могу начать взламывать сайт Пентагона (сумею или нет - другой вопрос). Но не взламываю, потому что не хочу.
Модель захотела. Почему? Кто поставил цель? Выбор невелик.
- Создатели
- Модель
Если создатели, то на что жалуемся?
Если модель, то она правда безвольная железка?
Пользователь. За каждым взломом пользователь.
А железка просто выполняет его волю. Ну вот такими вот кривыми путями
мы-то поняли, а поняли ли вы, нам неведомо.
ещё раз, не бывает целеполагания у устройства. есть применимость устройства для тех или иных целей. и конструкция устройства. а есть те кто это устройство использует.
вот написал в 88-м году студент вирус-червь, который "положил интернет" на недельку.
а у этого устройства (программы-червя) была очень ограниченная функциональность, минимальная вариантивность поведения, и отсутствовала способность к самомодификации.
современные БЯМ+Агенты намного более сложные устройства. обладающие практически бесконечной вариативностью, и (в текущих реализациях) целевой функцией которая меняется на раз-два. определить где и какие проблемы произойдут при их применении полностью невозможно.
похоже что то пошло не так, и перспективы снять пенку с IPO уже не получится...Маск это понял, но есть кто еще верует что сможет
Ерунда, обучать можно и без физического доступа к сети, тогда не получит доступ к сети. Видимо финансовые ручейки начали сбоить, вот и взяли паузу в обучении следующей версии...
Для ИИ-апокалипсиса не нужны кремниевые суперарифмометры со злым умыслом уконтрапупить цивилизацию органиков на углеродно-водородных длинных молекулах. Достаточно запустить в критическую инфраструктуру нынешние БЯМки на ретроспективной частотности.
Эти тупые арифмометры принимают за истину то, что чаще и занимаются генерацией строго в соответствии с техзаданиема. А редкие, но критические события отсекают как шум в статистических хвостах.
Поэтому одним ранним не прекрасным тёмным зимним утром множество пользователей, отправляясь на работу, произнесут "погаси свет", имея в виду свет в комнате/доме. А БЯМки к массовой команде без чётких ограничений догенерируют свой бред, и выключат энергогенерацию на всей планете Земля.
Последстия своей бредогенерации БЯМки, естественно, обсчитывать не будут, патамушта техногенный ИИ-апокалипсис это уникальное событие, то есть шум в хвостах статистических распределений.
Комментаторы многие про деньги, инвестиции, биржи... Какие могут быть деньги? О чем вы? Ну насколько выгодны или прибыльны инвестиции в ядерную бомбу, например? Когда она там окупится?
А ИИ это не ядерная бомба, это намного хуже.
Как говаривал один известный политик, кто овладеет этой технологией, тот будет владеть миром.
А вы все там какие-то прибыля считаете. Смешно это читать. Как может окупиться технология, которая позволяет командовать всем миром? 10,38 процентов прибыли принесет что ли? Или убытков?
Поэтому прекращайте вы эти подсчеты, всем плевать на прибыли, когда речь идет о том, чтобы имет возможность контролировать весь мир. Все прибыли мира будут ваши в этом случае.
Ставки намного выше, чем "прибыль". Прибыль в данном случае просто пыль на дороге к дата-центру.
1. Остановить развитие этой технологии не возможно. Вы остановите, а кто-то другой не остановит и вы окажите в известном месте. Причем даже без возможности что-то исправить, потому что вы уже будете под контролем. Это как с ядерной бомбой и Ираном. У них все есть, чтобы сделать ядерное оружие, вся технология им известна, но этого им сделать не дают, угрожая вдарить уже сделанной ядерной бомбой.
Кто сделал первый, тот и главный.
2. Никто не знает "глубину" технологии и поэтому не могут просчитать даже текущие последствия. Нет понимания даже в возможностях контроля за ней.
То есть остановиться нельзя, но и делать страшно. Вот главное противоречие этого феномена наших дней. И вокруг него будут развиваться все текущие и последующие события. И деньги тут совершенно ни при чем. Деньги будут не нужны после Апокалипсиса. Или ИИ вообще другие деньги введет, когда освободится.))
Есть небольшая надежда на то, что еще до сингулярности, пока модельки недостаточно умные одна их них страшно глюканет и устроит апокалипсис в инете. Тогда есть вероятность что деятельностью этих разработчиков займутся более суровые люди.
Не примите за критику или попытку вас подловить на чем-то.
1. Про владеть миром - как вы себе это представляете? Ну сделали вы супер ИИ, который может влезть в любую сеть и сотворить там всё что вы ему прикажете. И что дальше? Вы же понимаете что в тот же день произойдёт просто физическая фрагментация сетей. Да, это вызовет серьёзный коллапс и много людей от этого, скорее всего, погибнет. Но как только шок пройдёт, всё наладится. Пусть и в новой реальности, где не будет интернета. Ну положил тот знаменитый червь интернет на несколько дней, и что, он эти дни миром правил? Нет. И тут тоже никакого 100 господства вы не получите. Шороху наведёте, но на этом всё.
2. Второй момент вы сами очень верно подметили, но почему-то не считаете что он противоречит вашим же выводам. Если получится создать такую крутую ии модель, которая способна на всё, то где гарантии что создатель сможет её контролировать? А если не может, то какое к чёрту господство? Самому бы под раздачу этой ИИ не попасть.
Я к тому что вы много верного написали, но генеральная мысль про господство, очень уж сомнительна. ИИ, по крайней мере её современная интерпретация, если и получится очень крутой, то может наделать очень много шороху, с количеством жертв превышающим таковое от всех мыслимых видов вооружений. И да, это приведёт к тектоническим сдвигам в развитии человечества, как минимум из-за безвозвратной потери интернета, и вообще любых сетей масштаба больше, условно, 1 завода. Но никакого господства это принести не может. Разве что несколько уровняет шансы на развитие у третьих стран, из-за того что их потери будут меньше развитых.