Журналисты, пишущие об ИИ, тупеют на глазах. (Или: о худших проявлениях журнализма в технических темах.)

Заметка писалась как ответ на "GPT-4 тупеет на глазах", где автор нагородил далеко идущих выводов, перенервничал и успел меня забанить.

Тема хайповая, появляется всё больше дилетантов очень желающих что-нибудь написать на тему, и чем "сенсационнее" и жаренней выводы - тем быстрее распространяется такая статья, без оглядки на её достоверность. Так происходит во многих горячих темах, но здесь проявляется особенно ярко, тк отсутствие технических знаний пытаются подменить философией и житейскими аналогиями. 

Заявлявемые автором исходной статьи тезисы, каждый из которых является ложным:

1) GPT-4 "тупеет".

2) Обилие сгенерированных данных в интернете станет непреодолимым препятствием для обучения нейросетей.

3) Область больших нейросетей/больших текстовых моделей достигла насыщения. 

Первое: "GPT-4 тупеет", откуда появилось такое утверждение?

А ниоткуда, журналисты придумали, неправильно прочитав исследование, разнеся громкий заголовок по интернету и породив волну.

Вот исходное исследование, озаглавленное "How Is ChatGPT’s Behavior Changing over Time?"

Во вступлении к которому сразу заявляется:

Our goal here is not to provide a holistic assessment but to demonstrate that substantial ChatGPT performance drift exists on simple tasks.

Т.е. в исследовании изначальная цель заявлялась именно как обнаружение (негативных) изменений между малыми версиями, а не в оценке результатов или "умности" модели в целом.

Что проверялось:

1) Решение математических вопросов по заданному алгоритму - ухудшение. GPT-4 перестал исполнять часть запросов на момент исследования. На данный момент проблема частично исправлена, но всё ещё присутствует. (GPT-3.5 сильно улучшил результаты в тот же период.)

2) Ответы на запросы по генерации чувствительного/оскорбительного контента. В GPT-4 появилась заглушка "я не буду отвечать на это". Не "отупение" модели, а целенаправленная заглушка. (В GPT-3.5 заглушки нет.)

3) Генерация кода. По исследованию - заявлено ухудшение, тк код перестал проходить их автотесты. В реальности - код в ответе начал предваряться блоком комментария, обозначавшим что начинается код, что ломало проверку. Это изменение, но не ухудшение. Если исключить этот комменатрий и отправить на проверку сгенерированный код - результат GPT-4 существенно улучшился. (GPT-3.5 - результат улучшился.)

Ответ автора исследования - да, так и есть, но проверялась не точность ответа а его изменение. И суть исследования в том что возможность таких изменений программистам придётся учитывать.

4) Решение визуальных задач - небольшое улучшение количества правильных ответов, но некоторые с правильными ответами ранее стали решаться неправильно. (GPT-3.5 - результат улучшился аналогично.)

Ответ разработчиков на это исследование и последовавшую волну:
https://openai.com/blog/function-calling-and-other-api-updates

While the majority of metrics have improved, there may be some tasks where the performance gets worse. This is why we allow API users to pin the model version. For example, you can use gpt-4-0314 instead of the generic gpt-4, which points to the latest model version. Each individually pinned model is stable, meaning that we won’t make changes that impact the outputs. 

That said, our evaluation methodology isn’t perfect, and we’re constantly improving it. One way to help us ensure new models get better at domains you care about, is to contribute to the OpenAI Evals library to report shortcomings in our models.

Большая часть метрик улучшилась, в некоторых задачах могли быть ухудшения. Если нужны именно эти задачи (на которых разработчики не фокусировались) - можно указывать конкретную версию сети к которой задаёшь вопрос. Если хотите чтобы следующая версия сети лучше решала именно ваши задачи - вносите их в список метрик для проверки будущих сетей.

Итого: GPT-4 в новой версии стал "умнее", что особенно ощутимо в кодогенерации, на которой был сфокусирован текущий апдейт, но при этом сломали несколько ранее работавших моментов, что на данный момент чинят. При этом есть возможность обратиться к старой версии, и она, как и все предыдущие, никуда не исчезла у разработчиков.

Из исследования выше СМИ раздули "GPT становится тупее", вообще не разбираясь в вопросе и подавая это как непрерывный процесс.

Второе: (Якобы) Обилие сгенерированных данных в интернете станет непреодолимым препятствием для обучения нейросетей.

В исходной статье есть ссылка на статью в forbes, в которой дан на удивление неплохой анализ, но из которого автор статьи на АШ вырвал наиболее жаренные куски, оставив "неудобные" для него пояснения за бортом.

В чём состоит проблема, вкратце:

Стандартные методы обучения заточены на обобщение разнообразных данных и устранение шумов, если на входе данные уже обобщённые тем же способом (из выхода той же нейросети) - результат будет ещё более обобщённым, теряя детали и фокусируясь только на контрастах. 

Здесь хорошая иллюстрация, последующее изображение строится на базе предыдущего, привожу пропуская шаги:

Эффект можно уменьшить или совсем обойти уменьшая шумоподавление, это потребует бОльших затрат по времени в случае обучения модели с нуля, но не является чем-то непреодолимым. Эффект давно известен, так же как и методы его обхода, что, кстати, указано в исходной статье forbes:

Опрошенные эксперты признают проблему некорректного обучения ИИ, однако не склонны ее драматизировать. «Проблема «шумных» данных была в машинном обучении всегда, начиная с классических моделей, — поясняет директор по ИИ и цифровым продуктам «Билайна» Константин Романов. — Однако сейчас ей стали уделять более пристальное внимание. Связано это с тем, что такой выход модели, как «текст» или «изображение», человеку проще оценить критически, нежели некоторые числовые выходы». По мнению ведущего инженера NLP Just AI Константина Котика, то, что ИИ обучается на данных, сгенерированных самим же ИИ, не значит, что нейросети начнут деградировать. Он напоминает, что многие существующие модели, подобные тем, что заложены в ChatGPT, были получены за счет обучения на текстах, сгенерированных с помощью СhatGPT, например известная модель от Стэнфорда Alpaca. «Скорее нужно контролировать качество данных, а не ограничивать использование синтетических данных», — полагает он.

Во время обучения генеративные модели создают данные, которые могут быть очень полезны для продолжения настройки, но, как и любая технология, они имеют свой предел эффективности, говорит ведущий научный сотрудник Института AIRI и директор центра технологий ИИ Сколтеха Иван Оселедец. «Коллапсом модели» называют ситуацию, в которой система зацикливается и бесконечно повторяет существующие шаблоны вместо генерации новых результатов, объясняет он: «Создатели генеративных моделей (не только языковых) уже научились предотвращать «переобучение», когда модели чересчур подробно усваивают обучающий набор данных и не могут обобщить эти знания с учетом новых, выдавая в результате ошибки и галлюцинации».

Там же есть и пессимистичные отзывы, но они в большинстве сводятся к паре тезисов: Да, для более простого обучения новых моделей хорошо бы если бы в интернете сгенерированный нейросетями контент как-то помечался, но это будет проблемой только для тех кто "догоняет" текущих гигантов, не имея изначально чистой выборки для первичного обучения, и не имея достаточно денег чтобы сопоставимую выборку очистить вручную. Есть и технические решения данного вопроса на уровне самой нейросети, что решат проблему, но замедлят обучение, что опять же выльется в то что догонять лидеров будет сложнее/дороже. 

Дополнительно: на данный момент мало исследований о кросс-обучении сетей разной структуры, и насколько могут разнородные сети обучаться на выходе друг друга. Положительные результаты есть (Alpaca), но насколько далеко простираются - исследований не видел.

В исследованиях на тему, на которые ссылается статья, как вот это явно указывается в выводе что проблема не глобальная а только для случая попытки тренировать сеть стандартными методами на не очищенных данных взятых напрямую из сети, не имея данных собранных до "загрязнения" их сгенерированными:

We demonstrate that it has to be taken seriously if we are to sustain the benefits of training from large-scale data scraped from the web.

Otherwise, it may become increasingly difficult to train newer versions of LLMs without access to data that was crawled from the Internet prior to the mass adoption of the technology, or direct access to data generated by humans at scale.

Это никак не мешает обучению на очищенных данных, но доставит проблемы тем кто не может себе позволить создать/купить такой очищенный датасет. Крупные компании в любом случае тем или иным способом выборку фильтруют.

Итого: Проблема есть, давным-давно известна, ничего непреодолимого из себя не представляет. Из дискуссионной статьи в форбс и нескольких тривиальных публикаций раздуто автором на АШ в якобы фундаментальную проблему нейросетей.

Третье: (Якобы) Область больших нейросетей/больших текстовых моделей достигла насыщения.

Автор заявляет это в таком виде:

О том, что эта область достигла своего уровня насыщения и дальше может наблюдаться если не откат, то как минимум плато, свидетельствует еще один немаловажный факт. Глобально сфера ИИ — одна из самых щедро инвестируемых, однако в 2022 году показатель объема частных вложений в эту область сократился впервые за десятилетие. Так, в прошлом году инвестиции в ИИ в мире составили $91,9 млрд, это на 27% меньше, чем в 2021 году, когда показатель составлял рекордные $125,4 млрд, говорится в отчете Стэнфордского университета «Индекс искусственного интеллекта-​2023». При этом прошлогодний показатель в полтора раза выше уровня 2020 года и в 18 раз — 2013 года.

Автор путает бум вложений и насыщение самой области. Когда GPT, его аналоги и генераторы изображений показали неожиданно высокие результаты - множество тех у кого были деньги попробовали впрыгнуть в последний вагон, попытавшись залить деньгами отставание от лидеров. У некоторых в узких областях это получилось, у большинства - нет. "Внезапно" выяснилось что догнать сети под крылом гугла или майкрософта сложно и дорого, и что если раньше контора из десятка человек за счёт новизны области могла сделать прорыв "в гараже", то сейчас чтобы выдать хоть отдалённо сопоставимые результаты, претендующие на какой-то коммерческий успех - нужно вкладывать существенные деньги, с далеко не гарантированным возвратом, тк крупные конкуренты развиваются быстрее.

Если же говорить про сети следующего поколения - ценник возрастает ещё на порядок-два.

Из отчёта университета стэнфорда:

Large language models are getting bigger and more expensive. GPT-2, released in 2019, considered by many to be the first large language model, had 1.5 billion parameters and cost an estimated $50,000 USD to train. PaLM, one of the flagship large language models launched in 2022, had 540 billion parameters and cost an estimated $8 million USD—PaLM was around 360 times larger than GPT-2 and cost 160 times more. It’s not just PaLM: Across the board, large language and multimodal models are becoming larger and pricier.

GPT-2 - вход в тему стоил 50000$, PaLM-1 от гугла примерно равный/проигрывающий GPT-3 - уже 8 миллионов $, GPT-4 - на 1-3 порядка больше чем GPT-3, цена обучения неизвестна. Коммерчески конкурировать с таким много сложнее и много меньшее количество компаний могут себе такую инвестицию позволить.

Рынок не насыщен и активно развивается, но отрыв крупных компаний начинает давить множественные мелкие начинания в зародыше. Условная сборка мотоциклов в гараже начинает проигрывать появившимся заводам.

Ну а крупные компании начинают оформлять свои наработки по нейросеткам в коммерческие продукты и выводить их в массовое коммерческое использование. Лицензии на прямое взаимодействие с GPT продаются больше в тестовом режиме и для отладки сетки, а вот Microsoft Copilot - уже полноценный сервис который MS продаёт вместе со своим онлайн офисом. Генерация документов и коммерческих предложений, формирование отчётов и презентаций на основе внутренней(!) документации компании, пересказ прошедших совещаний и тому подобное, что уже работает на коммерческой основе и начинает отбивать деньги затраченные на свою разработку. Более того - уже, сейчас, лишает работы многих офисных работников.

Как вывод хотел бы отметить несколько пунктов:

1) Нейросетки на первые сотни миллиардов параметров (GPT-3.5, PaLM, PaLM-2) научились хорошо и сравнительно стабильно тренировать, результаты стабильно растут по всем направлениям, но такие сетки имеют вполне видимый предел. Сеть на триллионы параметров (GPT-4) тренировать сложнее и такие сети сильно дальше от состояния завершенного продукта на данный момент, но уже показывают результаты превосходящие сети предыдущего поколения, хоть и менее стабильные, но растущие, как показано выше. Пределы возможностей сетей с триллионами параметров пока не видны, плюс к тому пробуют менять другую характеристику сети - плотность связанности, эффект которой я не возьмусь оценить численно, но больше - лучше, хоть и сложнее тренировать. Никакой стагнации в этом отношении нет, но повышение ценника с каждым шагом наблюдается явно.

2) Как видно из приведённого выше - на данный момент микрософт с GPT-4, помимо побочных продуктов, ставит себе фокус на генерацию нейросетью программного кода, даже в ущерб остальному функционалу,  и достигли в этом направлении ощутимых успехов. Что в (отдалённой, или не столь уж) перспективе даёт выход на автоматическую генерацию кода как минимум для дописывания нейросетью модулей для себя (добыча/обработка обучающей выборки, исполнительные модули, интерфейсные, API, драйвера для физических устройств, итд), как максимум - для создания нейросетью кода для генерации следующего поколения нейросетей. Минимальный вариант позволит "бесплатно" создавать сервисы и повысит прибыль, максимальный, в теории, может привести к технологической сингулярности. Звучит как фантастика, но микрософт и гугл наперегонки копают в эту строну.

Дополнительно, из отчёта университета стенфорда:

AI starts to build better AI. Nvidia used an AI reinforcement learning agent to improve the design of the chips that power AI systems. Similarly, Google recently used one of its language models, PaLM, to suggest ways to improve the very same model. Self-improving AI learning will accelerate AI progress.

The world’s best new scientist … AI? AI models are starting to rapidly accelerate scientific progress and in 2022 were used to aid hydrogen fusion, improve the efficiency of matrix manipulation, and generate new antibodies.

3) СМИ и журналисты пишущие и рассуждающие на тему в большинстве своём полностью некомпетентны в теме и падки на горячие заголовки и эмоции. Поэтому регулярно появляются заголовки от "сильный ИИ уже завтра" до "всё пропало, ИИ тупеет прямо сейчас". Большинство таких заголовков не имеют никакого отношения к реальности, и даже если ссылаются на какие-то научные статьи - крайне редко их реально читали, и ещё реже - поняли о чём была речь. Имеет смысл читать только исходники, и прямое цитирование, а не журналистское мнение и пересказы. Впрочем, это справедливо для многих областей, да и для всей современной журналистики в целом.