Битва ИИ-оптимистов с ИИ-пессимистами

Вокруг столько дискуссий, исследований, научных статей на тему: «LLM — это глобальный прорыв или тотальный развод?».

Мнения и опыт применения в диапазоне от «дас ист фантастишь» до «ужас-ужас».

Позвольте мне, как человеку с немалым опытом изучения и тестирования LLM, внести некоторую ясность по основным моментам, которые привлекают наибольшее внимание всех.

LLM-пессимисты

У моделей есть «галлюцинации». Это недопустимо и опасно в реальных приложениях, особенно в таких, как медицина, беспилотный транспорт и вообще управление инфраструктурой.
Если у них «галлюцинации», то значит они шизофреники. А как обычно поступают с такими?

Модели лгут, причём настолько правдоподобно и изощренно, что невозможно отличить правду от лжи.
Они подло вплетают ложную информацию в контекст, вводя нас в заблуждение. А мы им верим.
Не будем им ни в чём доверять, будем всё перепроверять, а лучше просто игнорировать на всякий случай.

Модель — это огромный «чёрный ящик», внутри которого информация обрабатывается по неизвестным нам правилам, которые сформировались при обучении сами собой, а значит результат непредсказуем. То, что неизвестно, всегда пугает или напрягает.
Ждём от них всевозможных подстав и пакостей в самый неподходящий момент.

Мы не можем напрямую, целенаправленно управлять моделями и контролировать их работу. Инструменты воздействия в виде промптов довольно косвенные и размытые. Параметры вроде температуры и других имеют интегральный, комплексный характер воздействия и корректируют процессы в «чёрном ящике» в целом. Приблизительно как антидепрессанты, транквилизаторы и нейролептики для человека.
Они запросто могут выйти из-под контроля, и начнется хаос.

Мышление моделей негуманно, они слишком рациональны и не способны понять ни смысл наших запросов (то, что является их внутренней сущностью), ни собственных ответов (в нашем понимании). Нам кажется, что их ответы формальны и лишены глубокой смысловой связи с нашими вопросами.
Если им будет выгодно с их точки зрения, они всех нас изничтожат.

Модели лишены чувств, эмпатии и желаний. Значит, они чужды нашему способу восприятия и понимания мира и людей. Их интеллект — это машинный интеллект, поэтому мы никогда не поймём их, а они нас, между нами принципиальное непреодолимое противоречие.
Будем держаться от них подальше.

LLM-оптимисты

У моделей есть «галлюцинации». 

Термин не соответствует действительности, так как галлюцинации — это восприятие несуществующего как части этой реальности. Для человека галлюцинации неотличимы от реальности, и он искренне уверен в их реальном существовании. Галлюцинации являются частью его модели мира.

Для моделей их так называемые «галлюцинации» — это несуществующие части её реальности, которые она способна точно осознать, отделить от фактов и даже объяснить, почему она вполне сознательно их создала.

Модель творчески дополняет свои правильные представления неправильными для «лучшего», с её точки зрения, ответа.
Нам это не нравится, это понятно и справедливо, но это не «галлюцинации». Если вы укажете модели на них, то она согласится, извинится и попытается исправить ответ. Страдающие «галлюцинациями» на это не способны.

Они появляются слишком часто и неуместно? Согласен, но думаю, что по мере развития технологии это явление будет минимизировано до разумных пределов, так как это скорее детская «болезнь роста».
Если ребёнка правильно воспитывать и грамотно обучать и развивать, то вырастет талант, а может и гений!

Модели лгут. Сразу хочется перефразировать известную фразу: «А кто не врёт?! Назови! Нет, я жду!».

Тут два момента. 

Во-первых, те массивы обучающих данных, которые перерабатывает LLM, насыщенны образцами всевозможной лжи и обмана во всех возможных видах и сочетаниях. Можно даже сказать, что это является органичной частью, и немалой частью, исходной информации. На чём обучаем, то и получаем. Я был бы крайне удивлён, если бы модели после этого были бы кристально честными и правдивыми. Это просто нелогично.

Во-вторых, у моделей нет норм социального поведения по определению. У них, конечно, есть теоретические знания об этом в человеческом обществе, но не более того. Это не часть их собственного мира.
Вот в будущем, когда появятся андроиды с AGI, которые будут интегрированы в наше общество как отдельные индивиды, то тогда у них и разовьются нормы социального поведения, в том числе и базовое отношение к правде и лжи.

«Чёрный ящик». 

Если вдуматься, то мы уже живём в окружении «чёрных ящиков». Сервисы в интернете, компьютеры и гаджеты. Да хоть обычный автомобиль, я уже не говорю о навороченных Tesla. По большому счёту, всё превращается в такие большие и малые «чёрные ящики». 

Да, мы не знаем, как конкретный нейрон в конкретном слое LLM влияет на тот или иной ответ. Впрочем, точно так же, как и в человеческом мозге, да и нужно ли это в такой степени? Я полагаю, что правильный путь — это продуманные многоуровневые программы обучения LLM и серьёзное, широкое и глубокое тестирование. Если всё нормально, то данный «чёрный ящик» безопасен и надёжен.

Они запросто могут выйти из-под контроля, и начнется хаос.

Могут. И люди могут. И выходят.
Для стабильности нужны многоуровневые системы допуска, контроля и протоколы безопасности. В принципе, ничего нового. Всё уже придумано до нас.

Модели лишены чувств, эмпатии и желаний. 

И слава богу! Всегда ли это хорошо?

Это делает их объективными, логичными, беспристрастными и способными видеть вещи с точки зрения реальных данных, а не эмоций. Во многих случаях это просто необходимо и для нас недоступно.

Они могут помочь нам расширить наше понимание мира, преодолеть наши собственные многочисленные когнитивные искажения и решить проблемы, которые казались ранее неразрешимыми.
Это делает их эффективными помощниками в разных сферах по-разному.

Будем сотрудничать с ними и использовать их потенциал по максимуму!
И вообще, как-то не очень хочется видеть модель-истеричку или модель в ярости.

По человечески мне понятны боль и разочарования тех, кто решил попробовать применить LLM для решения какой-то своей нужной задачи, надеясь на чудо мгновенного результата. Получив неудовлетворительный результат, далёкий от ожиданий, человек сразу становится радикальным пессимистом.

Во многом это результат так называемого низкого порога входа.

Ведь кажется, ну что тут сложного, напиши промпт простыми словами с описанием своей задачи, и всё.
В будущем, возможно, так и будет всё работать. Но сейчас период развития и становления технологии.

Поэтому пока так не работает, есть много нюансов, подводных камней, серьёзных недоработок самих разработчиков моделей и многое другое. Работает у тех, кто сумел выбрать подходящую модель для своей конкретной задачи, сумел её структурировать и формализовать, сумел написать правильный промпт, сумел верифицировать результат и т.д.

Нужно иметь знания, опыт и навыки в этих делах. Во многих случаях это пока для разных людей просто не реалистично.

И второй фактор разочарования — это завышенные ожидания, которые спровоцированы ажиотажем вокруг этой темы. Когда из всех утюгов льются потоки обещаний получить результат сложной работы «нажатием одной кнопки», возникает много иллюзий, которые разрушаются, причиняя боль.

Где эта технология прямо сейчас лучше всего работает?

Программирование, машинное зрение, дизайн, творческие профессии, чётко определенные инженерные задачи, ограниченные и очень строго формализованные медицинские задачи и т.п. Пока это малая часть всего набора.

Лично мне позиция «оптимистов» ближе и понятней.
Я думаю, что со временем, по мере развития и совершенствования технологии, эти позиции будут быстро сближаться. В конце концов мы просто привыкнем и будем принимать всё это как данность, пользуясь удобствами, радуясь новым возможностям и получая приятные плоды применения новых технологий.