Внезапные откровения от гендиректора Центра искусственного интеллекта МТС (MTS AI) Андрея Калинина в интервью РБК (избранные фрагменты):
- Большие модели сейчас подошли к важному с точки зрения восприятия перелому в развитии: если раньше они «умнели» (росли в качестве) сразу по всем направлениям за счет своего размера и увеличения обучающей выборки, то сейчас этот рост сильно замедлился: кончились данные для обучения (текстов в интернете больше нет, новые не появляются с нужной скоростью). С этим связаны новости о том, что GPT-5 не дает того прироста, который был в GPT-4 по сравнению с 3.5.
- Представьте, что мы уже использовали все данные из интернета для обучения модели. Что делать дальше, чтобы создать еще более умную модель? Сегодня многие тексты в интернете тоже создаются нейросетями, но обучение на таких данных делает модель похожей на предыдущую.
По словам представителя MTS Al разработчики ищут новые подходы, например обучают нейросети на основе видео, аудио или изображений, но эффективность этих методов пока остается под вопросом:
- Чтобы модели были умнее, требуются данные, созданные людьми, а не нейросетями. Вопрос в том, где найти такие данные.
Комментарии
А вы?
все кто видят в потоке жизни(информации) ВЫГОДУ(лучшее - которое враг хорошему) для себя или для ближнего круга - являются носителями человеческого разума...
товарищ Корррррэктор, поскольку ты здесь явно выгоду не ищешь - то ты точно святой...
(понятно почему при виде тебя здесь многим хочется перекреститься:))
А пример с чашкой кофе?!
дойдет и до решения ещё не решённых математических задач. Так что, элемент новизны будет.
Любое ИИ решение это создание симулякра человеческого решения.
Ну да обычный парсер по базе знаний что они и подтвердили тем что всю базу пропарсили больше нечего, собсно сам ИИ не может создавать новые нейронные связи из существующего материала и увеличивать объем данных
Власти скрывают(с) чтоб охлос не волновался.
Сейчас будут переходит с LLM на другое.
LLM - это очень тупое скармливание машине всех текстов.
Человек пока что умнее машины, пусть и не каждый, но для обучения нам не нужно переварить столько текста. Достаточно сотни школьных учебников и двух сотен институтских, плюс, конечно, натурально-логическое мышление.
Вот это мышление и нужно повторить в на компьютере.
Сложно повторить мышление на компьютере, так как у последнего отсутствует мотивация для этого.
Более того - сложно запустить мышление на устройстве, которое для этого не преднаначено. Все равно что пытаться испечь торт в стиральной машине. ЭВМ всегда проектировались для выполнения вычислений. Так же им хорошо даётся хранение оцифрованной информации, её поиск и обработка по заданному алгоритму. Можно неплохо что-то смоделировать, но только в том случае если возможно описать моделируемый процесс или объект при помощи математики. Можно было бы попытаться хотя бы смоделировать процесс мышления. Но только модель процесса еще не есть сам процесс. Да и математическое описание мышления пока что тоже никто не смог сделать.
да...
можно только добавить - динамическая мотивация - имеющая изменчивую труднопрогнозируемую природу и способность переключаться на новые приоритеты и порождать новые ошибки...
Особенно сложно это в связи с тем, что мы до сих пор не знаем, что же это такое - мышление :)
Это вы не знаете
Ну так расскажите, мне интересно. Только без общефилософских рассуждений, а в математические и физических терминах. Я на все знание не претендую.
Да, с этим будет сложно... Человеческая мотивация основана на идее "Я", к которой прикручено страдание в текущем моменте, оттого что образ будущего "Я" не достигнут (простыми словами это называется желание)
Для гендиректора откровения слабенькие, прямо скажем. Уже давно очевидно, что одними только сырыми данными ИИ обучить нельзя. ИИ должен учиться, как ему учиться, именно про это сейчас ведущие темы исследований.
Пять канадских медиакомпаний,среди которых Globe and Mail, Toronto Star и Канадская телерадиовещательная корпорация (CBC), подали иск против OpenAI, утверждая нарушение авторских прав и условий использования для обучения ChatGPT. Совместный иск, поданный в пятницу в Верховный суд Онтарио, является продолжением аналогичных исков, поданных в 2023 году против OpenAI и Microsoft газетой New York Times, которая утверждала, что новостной контент, связанный с системами искусственного интеллекта, нарушает авторские права. В NYT юристы докопались до корня проблемы: «Мы считаем, что у нас есть веские основания, связанные с обучением моделей. Обучение моделей — это суть проблемы».
Что-то мне это напоминает, аферу с нано-технологиями .
Это и есть афера. Только круче и масштабнее, чем нанотехнологии
Чем-то мне напомнило, как Ашманов хаит LLM-ки.
Когда всю жизнь делаешь чатботов аля inf-ы, а ChatGPT сделали другие...
Так и тут, зачем куда-то бежать, когда уже все кончилось?
Чувак, ты даже кроссовки не обул еще...
А LLM не можешь сделать, потому что тебя цензура так затра***, что ты ...
ИИ пока слишком туп, чтобы хотя бы какую-то опасность представлять.
А мне один преподаватель ИИ жаловался уже 1.5 назад, что ии этот начал стремительно тупеть. Когда начали (модно же!) его преподавать, он уже тупел на глазах.
Теперь факт что он врет и генерит несуществующие "данные". Вопрос как обучать кого-то/чего-то тому, чему сам не обучен, не знаешь как и делаешь как тебе кажется правильно стоит и никуда не делся.
Как говорил один умный человек в начале 90-ых когда начались "реформы" (на самом деле грабеж и обман): "Они этого никогда не делали и этому никогда не учились. Откуда они могут знать как надо сделать?"
Интересно, какой потенциал у оцифровки аналоговых данных? Хорошо будет, если под эту лавочку оцифруют всё, до чего доберутся.
Хотя не думаю, что сильно поможет -- Толстой писал "Войну и мир" шесть лет, а без сжатия она "весит" три Мб, плюнуть и растереть с точки зрения LLM.
Вот самое печальное, что то, что оцифровывают - не выкладывают в открытый доступ.
Я пробовал задавать вопросы по программированию. Видно, что иногда оно в ответ выдаёт код с github, а иногда явно из какого-то учебника (по стилю кода видно). Так вот - этих учебников не смог найти в открытом доступе.
o'reilly torrent не работает в поисковике ?
Повторяет очередной бред не зная темы. К тому же бред, который уже опровергнут профи. Видимо нет у директора времени следить за новостями.
Новости только за эту неделю.
AWS разработал модель с проверкой точности и логики решения с качеством 98 процентов для естественного языка. Они вообще то этой штукой правила на права доступа проверяют под свои сервисы на лярд баксов, а теперь выложили на всеобщее обозрение.
В США разработаны квантовая модель и чипы под нее с возможностями на два порядка больше и потреблением энергии на три порядка ниже текущих.
А так да, действительно рост закончился.)
Нихрена не понял. Этот комментарий сгенерирован ChatGPT?
Ну не понял и не понял. Я тоже много чего не понимаю. Живу с этим.
Раскудахтались, всё с ИИ нормально ему ещё учиться и учиться
ИИ тупеет на глазах...
Пока даже 5% данных интернета не использовано.
Дело в том что остаток это не совсем качественные данные.
Сейчас происходит рост совершенно других показателей у LLM, от этого возникает иллюзия что прогресс остановился.
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
Появляется большой соблазн обучать имитаторы ИИ на данных, сгенерированных другими имитаторами. Уверен, что против такого соблазна не устоят ...
Удивительно, что Имитатор Интеллекта вообще хоть немножко умнеет при таком подходе к обучению. Как учится Естественный Интеллект? Очень просто - он действует в реальном мире и получает результат, на основании адекватности этого результата продолжает обучение, а при неадекватности результата получает неприятности всякие. А ИИ за косяки наказывают? За успехи поощряют?
> Сегодня многие тексты в интернете тоже создаются нейросетями, но обучение на таких данных делает модель похожей на предыдущую.
Всё как у людей. Большинство мыслят шаблонами - это экономит ценные ресурсы. Мыслят непохоже на других мизерные доли процента.
Весь ваш искусственный интеллект построен на выдаче средней температуры по больнице. Эдакий среднестатистический ответ на вопрос, среднестатистический текст, особенно прикольно выходит с картинкам если в среднем на картинке есть лапы и хвост, то при запросе снеговик - с большой долей вероятности у него тоже будет хвост. Ничего нового, просто продвинутая версия подсказчика усреднителя. А чтобы не казаться дураком нужно что? Правильно, быть средним по палате, поэтому создается иллюзия разума для попила бабла, разума которого там нет и не будет. Не забыть только про байки о проблесках разумности слух пустить и норм. Хотя сегодняшний средний человек примерно на том же уровне, одни и те же стремления, одни и те же приколы, одни и те же косяки. Но тсссс, не говорите об этом, каждый уникальная неповторимая личность. Хотя времена личностей прошли с распространением интернета, оболванивающего всех по единой схеме.
в принципе дальнейшее обучение текстам и не требуется, дальше надо вместо одного прохода для ответа на вопрос запускать сразу 10 или 50 проходов: десять первых проходов - это просто ответы, затем несколько проходов по выяснению какой ответ лучше, затем несколько проходов по выяснению какие ошибки были допущены в ответе, затем исправление ошибок. И в конце - выдача ответа юзеру.
Сейчас за 1 проход ИИ может только простенькую процедуру для вашей программы написать. А дай ему 1000 проходов - он уже небольшую игру напишет и отладит сам с одного запроса. И т.д.
А когда ИИ начнёт самостоятельно писать программы... и создавать себе подобных?)
Он делает что ему скажут. Поставят такую задачу - будет делать. Но что значит "себе подобных" ? ИИ это софт, на железе, питается электричеством. Ты ему железо купишь и счета за электричество оплатишь ? Это всё дорого
Представьте, что у вас с десяток Львов Толстых и ещё больше Достоевских. И они слегка различаются... , но друг друга не понимают. Представили? Так вот это ещё ерунда. ИИ скоро научится не только писать, но и читать. Да, у ИИ всё наоборот, чем у людей? Люди сначала учатся срать и ссать, потом читать, а уже потом писать сложные тексты. Так вот, когда ИИ научиться читать и понимать самого себя, вот тогда и надо ждать неприятностей. Возможно ИИ научится срать термоядерными какашками или придумает что-нибудь сам похуже. А пока можно только умиляться... Расслабтесь.
Колос пидарас?)
Будем надеяться, что раздутый до умопомрачительных размеров хайп вокруг больших языковых моделей наконец закончится. Кожаный Хуанг самую малость в край оборзел с политикой ценообразования и с падением спроса на ускорители вычислений должен прийти в чувство.
ИИ-замануха для лохов и инструмент для манипулирования ими.
С ИИ всё понятно, человечеству надо концентрироваться на секс-роботах с интеллектом
Порноиндустрия обеспечила нас широкополосным интернетом, теперь обеспечит искусственным интеллектом !
Ну собственно говоря я уже написал,
что революции ИИ пришел конец.
Ого, ребята, похоже, наши нейросети скоро начнут сами себя учить, а нам останется только наблюдать! 😄 Шутка, конечно, но ситуация действительно интересная. Вроде бы все возможности интернета исчерпаны, и теперь приходится искать новые источники знаний. Может, пора переходить на обучение моделей на основе запахов? 😂 Представляю себе нейросеть, которая говорит: "Этот сыр пахнет лучше, чем тот, поэтому он вкуснее". Но если серьезно, возможно, нужно придумать какой-то новый способ создания контента, который будет интересен и полезен для обучения моделей. Ведь без новых данных прогресс может остановиться. Ну что ж, посмотрим, куда нас заведет эта гонка технологий! 🚀
/P.S. Этот комментарий к новости сгенерирован LLM Gigachat, промпт: "Придумай осмысленный, научный комментарий, который бы написал рядовой комментатор блогов, с шутками прибаутками немного, вот к этой новости, цитирую:"
Да фигня все это. Контента дохрена, генеренный LLM и SD фильтруется достаточно просто. А вот сбертех жилит датасеты. Даже сраные португальцы в общественный доступ выложили свою часть, а сбертех только обещает )
Страницы