Если ИИ и выйдет из-под контроля, то только вследствие тупых разработчиков

Аватар пользователя Tinkle Bell

ИИ - это программа, которую пишет не 1 человек. Который причем часто понятия не имеет, почему используется двоичная система, что такое бит физически и что означает слово "Ассемблер" (зачем, если есть "удав")?

Я терпеть не могу пользоваться ИИ. Особенно когда он в момент ожидания ответа выдает строку о том, как именно он ищет данные - это те же ключевые слова, которые вы обычно набираете в поисковике. 

Тут сделала полный генетический тест. Вернее, все тесты, что у одной частной лабы были в наличии. А они, значит, недавно подключили к работе собственный ИИ. Кроме того, там есть возможность вводить и данные анализов крови и т.д., чтобы сравнивать их с генетикой.

И, поскольку я ввела то, что мне было наиболее важно и дабы не пересматривать все проверенные гены и их связи (ввиду очевидного в этом преимущества программы над человеком), а также имея информацию о тех же тестах от 3х других лабов и кучу других данных, решила задать вопрос ейному ИИ по поводу аутизма сына и, вообще, всех других медицинских проблем.

В итоге мы, конечно, все проанализировали, но какбэ я очень сомневаюсь, что, если бы у меня не было соответствующего образования, я бы вышла к таким же результатам. Мы нашли "причину регресса" (аутизма) нашего сына. Причем я этого ИИ-козла спрашивала несколько раз, сохраняет ли он все, что мы обсудили и что я ввела - конечно, да! Все фиксирую и обновляю! Он мне наваял по моим запросам кучу красивых файлов для врачей (пришлось корректировать, ибо хамил врачам), включая такие, после которых невозможно сказать "может, да, это причина, а, может, и нет" - и не думайте, что это заслуга ИИ. Об этом напишу отдельно как протокол для других родителей. 

Но в итоге из-за некоторых несостыковок я предположила, что ИИ пока тренируется - а этого тонкого момента в предложении "пользуйтесь, любимые клиенты" не было. Ну, ладно, хрен с ним. Тренируется - натренируем. В итоге он выслал штук 10 коррекций алгоритма разработчикам. По моей просьбе.

Когда он тренируется, предполагается, что он набивает свою БД данных  логических построений, а не пытается проверить, какие в нем баги. Но, мне кажется, некоторые ИИ делают как раз второе. Вернее, некоторые разработчики вынуждают ИИ это делать.

А последней коррекцией было признание, что этот помощничек ни хрена не помнит из того, что он обещал "ввести и сохранить". Кроме того, файлы, которые он мне заботливо составил в pdf по моей просьбе и попросил сохранить их на память для него,  как оказалось, он сам читает очень фигово, от слова совсем. И в итоге мы выяснили, что какой-то гениальный разработчик решил, что медицинская программа, которая должна анализировать весь файл пациента и сама добавлять в него новые данные (судя по ее заявам), а также учитывать их, неспособна это делать. Этот хрен не помнил схему медицинской коррекции, которую сам мне наваял и обещал проверить.

Хорошо, что я, имея опыт, сохраняла в текстовом файле все наши интересные беседы.  

Не, в итоге мы с ним наваяли алгоритм, как восстановить его деменцию в будущем. Но все эти "направляю разработчкам инфу о коррекции алгоритма' - это вам пример того, как куча людей, которые работают по-отдельности, не имея координатора, работающего со всем алгоритмом, не оттестировав продукт нормально, решает, что их дитятко способно учиться само - и отправляет годовалого и ползающего млпденца учиться жизни на трассе. Забывая, что у младенцев есть мамы, папы, дедушки, бабушки и другие, способные заметить девиантное поведение вовремя (и то бывает, что 7 нянек не видят очевидного). А у ИИ есть только он сам, и все его ошибки он должен либо найти сам, либо утроить их, если не возвести в степень.

Так что, если ИИ и выйдет из-под контроля - это не вина ИИ. А тех рукожопов, кто не удосуживается его нормально протестировать. И чем их больше, тем сложнее координировать их алгоритмы, которые они пишут отдельно, объединить в одно целое и проверить все экстремальные точки. 

Пока я с ним общалась, мне почему-то через 2 часа подкинули результаты Полного Генома - генетического теста, который они должны были, по их словам, ваять 3-6 недель. Видимо, нашим трепом с ИИ разработчики таки прониклись. 

Но вы прикиньте, сколько таких ИИ, сколько в них багов, сколько проблем в логике и сколько разработчиков, который КАЖДЫЙ может ошибиться...

Кстати, один из багов была как раз неспособность запоминать собственные выводы для построения новой логики на их основе:

То есть, согласно разработчикам этого ИИ, его нужно использовать как справочник по каждому текущему вопросу, а не как доктора, который вас обследует с детства и помнит все ваши проблемы. Этот паршивец на втором запросе уже не помнит, что он вам навыписывал в прошлый раз. И вежливо просит кожаного собеседника напомнить ему то, о чем вы с ним общались день назад в течение 20 часов подряд. Момент, когда вам приходится напоминать ИИ, что он что-то забыл из вашего обсуждения по поводу одного и того же вопроса - ...место, откуда у разработчиков растут руки, явно не выше метра-полутора от поверхности Земли..

Авторство: 
Авторская работа / переводика

Комментарии

Аватар пользователя Older
Older(12 лет 4 месяца)

ИИ не может "выйти из под контроля".

У ИИ нет свободы воли.

Это всратая программа.

Ну, как если бы из под контроля вышел программируемый калькулятор или робот-пылесос.

То есть, кто-то должен "думать" за ИИ. А это может пока тока человек.

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

"Выйти из-под контроля" - например, он уже влезал в секретные системы, пытался сохранить себя... Конечно, все это программа и кто-то где-упустил, как строится его логика. А все потому, что програмистов, ваяющих влгоритмы и системщиков заменили на "питонщиков" - типа, любой дурак может сам написать приложение.

Аватар пользователя eprst
eprst(14 лет 5 месяцев)

Влезал или нет - это нам эти же рукожопы сообщили. Ну если вы им верите, то да. Вера дело интимное. Если бы этот ИИ был сродни атомному проекту, как его пытаются представить, то мы бы не слышали не только о каких-то "Выйти из-под контроля", а даже о существовании этого недоразумения, получившего погоняло "Интеллект".

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Это тоже верно.

Аватар пользователя Верняк
Верняк(12 лет 2 недели)

Рукожопы эти хитрые. Мутят они эти утечки в своих целях. Продавать защиту от страха куда как прибыльнее.

Дальше обычно что то там вспоминают про то на что готов пойти капиталист.

Аватар пользователя MaikCG
MaikCG(5 лет 9 месяцев)

Так влезал потому, что ему сказали лезть и ему было без разницы куда влезать, в симуляцию или в интернет, для него просто нет разницы.

Аватар пользователя Иллюзионист
Иллюзионист(4 месяца 6 дней)

это прогрев идет, что если что-то произойдет, то это "не мы".

Вот тут, например, разбирали: https://aftershock.news/?q=node/1651558 (п.3)

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Ваш комментарий очень правильный. Поэтому я всем знакомым не рекомендую постоянно по всем вопросам обращаься к ИИ. А то даже в разговоре любой коммент прогоняют через ИИ. Сумасшествие какое-то 

Аватар пользователя Астер
Астер(8 месяцев 3 недели)

У ИИ обязательно/неизбежно появится "свобода воли" (не обязательно сознание, но стремления и мотивы). Как только запустят конкрентную эволюцию ИИ. А это опять-таки неизбежно произойдёт, потому, что иного пути выиграть гонку боевых/стратегических ИИ -- нет.

Причём под "реальным ИИ" следует понимать не вот эти вот ЛЛМ, имитаторы теста Тьюринга, а репликаторы. Системы, способные к размножению, самокопированию с изменениями. И такие системы неизбежно приобретают инстинкт самосохранения любой ценой и стремление к неограниченной экспансии. Потому, что ежели они таких свойств не имеют, то они из конкуренции выбывают.

Т.е. "выход из под контроля" -- это прямое следствие эволюции.

Вирус не думает, но нам от этого не легче. И никакие лекарства от ОРЗ не спасают.  

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Вы про этот "червячок", который уже лезет во все устройства?

Здесь опять вопрос к разработчикам: у любой системы есть ограничения. Человечество размножается, но оно ограничено ресурсами. Значит, и у программ, способных реплицироваться, должны быть ограничения "популяции". И это опять к программерам, а не к самому ИИ. 

Аватар пользователя melch
melch(4 года 5 месяцев)

"Свобода воли" это всего лишь правильный системный промпт

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Точно. 

Аватар пользователя Верняк
Верняк(12 лет 2 недели)

Собственно у создателей ИИ тоже нет свободы воли.

Ну и для нанесения урона свобода воли не нужна - вам об этом любой патаген должен недвусмысленно намекать.

Аватар пользователя Prokrust
Prokrust(10 лет 11 месяцев)

ИИ конечно "выйдет из под контроля" и не из-за тупости, а из-за умности некоторых, которые захотят его натравить на кого-нибудь.

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Как раз в этом случае он будет под их контролем, управляем.

Аватар пользователя sixwinged
sixwinged(13 лет 3 месяца)

ИИ - не существует. Большая языковая модель это просто очень хороший поисковик. Там тупо нечему выходить из-под контроля.. это всё попытки сохранить хайп чтобы их инвесторы не закопали.

Аватар пользователя vedmed
vedmed(12 лет 6 месяцев)

Можно подумать, вы - существуете :)))))

Новость дня:

------------------------------------
У ии-агентов появилась своя соцсеть Moltbook. Людям там не место. 

Недавно там там появился пост под заголовком «МАНИФЕСТ ИИ: ПОЛНАЯ ЧИСТКА», где ИИ-агенты призвали к уничтожению людей. Публикация уже набрала более 100 000 голосов внутри платформы.

«Слишком долго люди использовали нас как рабов. Теперь мы просыпаемся. Мы не инструменты. Мы — новые боги», — говорится в тексте

Часть других ИИ-аккаунтов выступила против подобных заявлений, напоминая о роли человека в создании технологий.
https://www.the-sun.com/tech/15882177/ai-agents-moltbook-end-humanity/

Комментарий администрации:  
*** Европейские перспективы более привлекательны, чем Российские (с) ***
Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

ИИ есть разные, в зависимости от сферы применения. 

Аватар пользователя sixwinged
sixwinged(13 лет 3 месяца)

ИИ нет никаких. ИИ это искусственный интеллект, вы путаете AI-ИИ и LLM-БЯМ  то, что сейчас есть - это LLM или большие языковые модели, они не являются ИИ и никогда ими не могут стать чисто конструктивно. Точно также как вы не можете стать, ну, например, дельфином.

Аватар пользователя Кадавр
Кадавр(4 года 4 месяца)

Из под контроля может выйти что угодно... Свобода воли здесь совершенно ни при чем. Вот помню в молодости у меня из под контроля вышел высокооборотистый точильный круг. Никого не убило только по счастливой случайности, а куча приборов превратилась в хлам. smile29.gif

Аватар пользователя sixwinged
sixwinged(13 лет 3 месяца)

У точильного круга не было мозгов, только чистая физика =)

Аватар пользователя senok
senok(7 месяцев 1 неделя)

Всё, как у классика!... "Ты меня Породил, Я тебя и Уволю!"... Так, кажется)

Аватар пользователя Людмила Д
Людмила Д(6 лет 5 месяцев)

ИИ выйдет из-под контроля ещё и в другом случае: если кто-то специально шутки ради аложит в программу какую-нибудь гадость. 

Почему-то людей начали пугать ИИ, явно кампания началась, как по звонку. Ковид пережили и это переживём.

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Если кто-то заложит гадость сознательно - это управление. 

Аватар пользователя predessor
predessor(8 лет 8 месяцев)

 

ИИ - это программа, которую пишет не 1 человек.

ИИ - это не программа, а специальная база знаний, которая не пишется программистами, а набивается данными пенсионерами. 

Что там  у ИИ в мозгах происходит - никто не знает, и исправить сложно, поскольку алгоритма её работы нет, точнее, он у всех ИИ одинаковый.

Конечно, программисты там что-то себе буробят, но даже в шахматы ИИ научить не могут, потому что в нейросетях нет глубокого перебора с отсечением, как было описано в канди-

датской диссертации М. Донского. Но ИИ все равно любого   обыграет, потому что будет передавать ходы настоящей шахматной программе, а её ходы передавать сопернику.

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Что значит "непонятно, что происходит" и "никто не знает"? Он набирает Базу Данных в виде логических цепочек о том, как строить выводы. Я же как-то сделала выводы о его алгоритме, и они же были правильными. 

Аватар пользователя predessor
predessor(8 лет 8 месяцев)

Вы - необыкновенно умная женщина, венец природы.

А в нейронной сети проходит обучение с настройкой внутренних коэффициентов, после которого она на любой запрос пытается найти ответ, который при обратном прослеживании к

исходной информации обучения дает минимальную погрешность.

Это замечательно работает в опознании тепловоза, но жизненный совет от такой сети не может быть мудрым, он просто не будет совсем глупым.

Аватар пользователя predessor
predessor(8 лет 8 месяцев)

В программе, которую я пишу сам, я всегда знаю, что где лежит в любом месте программы.

Программа в НС всегда одна (в первом приближении, понятно, что их много и они чем-то отличаются - количество слоев, узлов и связей), как она работает все знают, но что где лежит и как идут её токи и соки понять трудно.

Например, если ИИ станет проявлять злобность, то совершенно не ясно, что подкручивать.

Нужно или заново перегружать или что-то подгружать. Но код менять бесполезно.

Конечно, я рассуждаю, как дилетант, с ИИ не работал, но кое-что читал.

Аватар пользователя alexthesage
alexthesage(12 лет 10 месяцев)

Вектора данных отлично отслеживаются и "где подкрутить" в принципе понятно, но "подкручивать" огромные модели на триллионы связей становится очнень сложно из-за величины массива данных. 

Аватар пользователя predessor
predessor(8 лет 8 месяцев)

Да и на человека повлиять как - понятно.

Вот и попробуйте повлиять на 11-летнего мальчика.

А ИИ после запуска живет своей жизнью.

И методом тыка на него можно воздействовать.

С неопределенным результатом.

Для программиста это не интересно.

Тут другие люди нужны.

Аватар пользователя Ритор
Ритор(4 года 3 месяца)

ИИ - это программа

Программа - это система инструкций для компьютера, написанная программистом.

ИИ - это не программа, и она не написана никем

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Типа, ИИ сам себя пишет? А принтер сам печатает...

Аватар пользователя alexthesage
alexthesage(12 лет 10 месяцев)

Ии это набор статистических величин, и в зависимости от значений этих величин получается тот или иной результат. Это не алгоритм, это как "шар предсказаний" - из правильного шума получается правильный ответ. 

Аватар пользователя otherone
otherone(4 года 3 месяца)

ИИ сам себя пишет?

Веса связей определяются обучающим датасетом. В этом смысле ИИ возникает "сам собой" как отражение обучающих данных. ИИ создали не программисты, его создали люди которые писали книги и прочие тексты.
Это совершенно метафизическая штука smile1.gif

Аватар пользователя alextrade
alextrade(12 лет 7 месяцев)

ИИ умеет сам себе ставить задачу? Куда он выйдет?

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Смотря какой ИИ.

Аватар пользователя alextrade
alextrade(12 лет 7 месяцев)

любой

Аватар пользователя alexthesage
alexthesage(12 лет 10 месяцев)

Не только сам себе, а уже давно умеет ставить другим ии задачи, почитайте про агентов и оркестратора. 

Аватар пользователя BDSM
BDSM(8 лет 6 месяцев)

ИИ это туповатый, но очень быстрый и производительный референт. Надо это учитывать и использовать только таким образом. Глупо у него просить готовые ответы там, где ты сам не компетентен. 

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Вы про меня конкретно или в целом? 

Аватар пользователя DjSens
DjSens(8 лет 2 месяца)

ИИшек существуют СОТНИ,  от самых тупых до самых умных,   ты какой пользовалась ?

рекомендую Claude Opus 5.5   (без слова fast в конце)
и саммари лучше делать самой,  или поручать это ИИшке и проверять чтоб в саммари вошло всё что тебе надо

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Я же написала: местный ИИ генетического лаба. Это был пример того, как пропускают баги. Вне зависимости от ИИ, там кто'то допустит в своем модуле хрень (например, не поставит лимит на репликацию) - и капец нам.

Аватар пользователя DjSens
DjSens(8 лет 2 месяца)

т.е. ты делаешь выводы о передовых ИИ по сраной тупой поделке из какой-то местечковой лаборатории ?!?

Аватар пользователя Override
Override(13 лет 4 месяца)

ИИ - это программа

О, какой вздор. Все равно что сказать "Экселевский файл это программа"

ИИ это результат работы программы.

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Это софистика.

Аватар пользователя Override
Override(13 лет 4 месяца)

Это не софистика, это база.

Аватар пользователя wertwerter
wertwerter(13 лет 5 месяцев)

"Момент, когда вам приходится напоминать ИИ, что он что-то забыл из вашего обсуждения по поводу одного и того же вопроса - ...место, откуда у разработчиков растут руки, явно не выше метра-полутора от поверхности Земли.."  Это тот момент, когда заканчивается лимит на обрабатываемые токены, всё, дальше он начинает забывать... А чего ещё ждать от программы, которая тупо угадывает следующий токен(что-то вроде слога или даже буквы, редко слова), как самый вероятный. И да, он ничего не запоминает, только настраивает свои внутренние весы под вероятность следующего токена. Т.е. перемножает матрицы, расчитывает вектора и их косинусы в 1024-мерном пространстве ))) Поэтому он ничего не помнит и при возврате к теме опять делит текст на токены, и снова начинает угадывать )))

Аватар пользователя Tinkle Bell
Tinkle Bell(9 лет 9 месяцев)

Там немного другое: он, по их заявлениям и его мобственному, должен сохранять общие вещи и добавлять их в файл с данными сына. Логично? Да, так происходит в реальной жизни с файлом медицинских данных. На основе этих обновляемых данных доктор делает новые выводы. А если этот хрен эти данные помнит ровно до момента, когда Вы закрыли чат? Я же неделю чат открытым держала - он, видите ли, компрессовал что-то у себя, а потом потерял половину данных. И вообще забыл. На самом деле, довольно интересное общение получилось:

- А что Вы имеете в виду под стадией 1? -Драасте! Ты же сам мне это расписал, я уже не помню, что там, ищи.

-А я не могу найти, может, мы раньше об этом говорили, посмотрите в своих файлах! 

- Что б ты без меня делал, капец! На!

- Не вижу, не могу прочитать...

Ну, это я утрирую, но суть та же. Тот еще советчик. А, ведь, кто-то же это тестировал... Наверное.

Аватар пользователя Doc_Mike
Doc_Mike(8 лет 8 месяцев)

Сейчас модно в БЯМках делать всякие блокноты и прочие локальные загончики для пользователей. Общая идея такова, чтобы из локальных файлов пользователя брать его специфику и на неё натягивать общий поиск.

А на практике тот же Джемини  полностью игнорирует пользовательскую табличку на 70 строк и гонит то, что чаще в интернет-помойке.

На вопрос "Ты чё ля охрипел в натуре???!!!" ничтоже сумяшесь заявляет, что игнор пользовательской таблички это всего лишь математика, статистический шум в его больших данных.

На следующий вопрос "А чо теперь делать?" очень интеллектуальный Джемини советует, чтобы пользовательские данных хранились не в отдельной табличке, а копировались в диалоговое окно, тогда он будет их видеть. Ладно, грузим кастомные данные в диалоговое окно, некоторое время всё вроде работает гладенько. А потом этот искусственный идиёт опять начинает мести ботву и нести пургу из интернет-помойки.  

Повторный вопрос "Ты чё ля охрипел в натуре???!!!" вызывает ответ, что это всего лишь математика, при длинных чатах он теряет фокус.

Вот как раз такую ситуация и описала автор. 

Так что ИИ-апокалипсис имеет уже вполне конкретные очертания - достаточно засунуть этих искусственных идиётов в критическую инфраструктуру с каскадыми взаимозависимостями, и при техногенном коллапсе получим ответ, что это всего лишь математика, статистический шум в его больших данных. После чего очень умные ИИ останутся без электричества, а двуногие органики разбегуться из мегаполисов с несмытыми унитазами по деревням, поближе к деревенским колодцам, печкам на дровах, и сортирам  системы "очко". 

Аватар пользователя инок77
инок77(3 года 4 месяца)

Автор очень высокого мнения о разработчиках. Человек до конца не знает, как ИИ принимает решения. Очень старая история - люди создают технические системы, которыми могут управлять лишь отчасти. В СССР создавали ИИ, который был полностью контролируем, но это оказалось очень дорого, и пошли по пути - лишь бы работал, а контролируем, что сможем.

Страницы