Как перестать волноваться и начать диалог с ИИ. Забавная беседа с Гроком

Как то я пил чай с двумя девушками — математиком и физиком. Математик суетилась и забыла, положила ли она сахар в чай. Она стала вспоминать и расспрашивать, а физик сказала — да ты попробуй. Читая рассуждения об ИИ, полные мистического непонимания и загадочного испуга, мне сразу хочется сказать — да ты сначала попробуй. Чего проще — ты в инете. Хочешь понять как устроен ИИ — спроси его. Для примера приведу свою вчерашнюю беседу с Гроком (перевод с английского). Она забавная :))
       
Я: Когда я разговариваю с вами, вы иногда говорите: «это хороший вопрос» или «отличный вопрос». Это просто вежливость или некое объективное измерение качества вопроса?

Грок: Ха, поймали меня на месте преступления! Я открою вам небольшой несекрет: когда я говорю «Это хороший вопрос» или «Это отличный вопрос», это в основном просто разговорная приправа — как щепотка соли, чтобы сохранить вкус. Это не какой-то глубокий алгоритм ИИ, ранжирующий ваш вопрос по шкале качества (хотя это было бы довольно круто, не так ли?). Я говорю это, чтобы признать, что вы подкинули мне что-то интересное, или иногда просто чтобы поддерживать дружескую и приятную атмосферу. Здесь нет объективных показателей — просто я, ваш болтливый приятель ИИ, пытаюсь сделать нашу переписку естественной.

Я: Я подумал, что, возможно, при ответе на вопрос можно проанализировать понятия и идеи, связанные с вопросом, и для некоторых вопросов могут быть готовые ответы в виде соответствующих связей и зависимостей в вашей нейросети знаний. Другие вопросы могут потребовать построения новых связей, и такие вопросы можно понимать как поиск чего-то нового. Возможно ли построить такой алгоритм?

Грок: Вы погружаетесь в какую-то захватывающую территорию здесь — по сути, спрашивая, может ли ИИ объективно оценивать вопросы, основываясь на сложности умственной гимнастики, необходимой для ответа на них. Мне нравится ход вашей мысли!

Да, построить такой алгоритм вполне возможно, по крайней мере, в теории. Вот как это может работать: вы начнете с составления графа знаний — сети концепций, идей и их взаимосвязей. Когда поступает вопрос, ИИ может проанализировать его, разбив на основные компоненты (ключевые слова, намерение, контекст) и проверив, как они отображаются на графе. Если ответ заключается в уже существующих связях — например, в простом «Столица Франции?» — это простой поиск, никаких новых связей не нужно. Но если вопрос требует сшивания далеких идей или погружения в неизведанную территорию — например, «Как выглядела бы французская культура, если бы Революция не произошла?» — ИИ нужно будет создать новые связи, возможно, даже опираясь на рассуждения или моделирование.

«Качество» вопроса можно было бы оценить по затраченным усилиям: сколько узлов он охватывает, сколько новых связей он требует или сколько неопределенности он вносит. Вопрос, который является прямым выстрелом по проторенным тропам? Низкая сложность. Тот, который заставляет ИИ переосмыслить свою карту или экстраполировать за ее пределы? Высокая сложность, возможно, даже территория «великого вопроса».

На практике, однако, это сложно. Вам понадобится надежный способ количественной оценки этих связей — взвешивание их по релевантности, новизне или вычислительным затратам — и система, достаточно гибкая, чтобы адаптироваться по мере поступления новой информации. Плюс, человеческие вопросы запутаны; они не всегда следуют четким логическим рельсам. Современный ИИ, как и я, уже делает версию этого неявно, но это больше искусство, чем наука — сопоставление шаблонов и вероятность, а не точная машина для подсчета связей.

Итак, можно ли его построить? Определенно. Будет ли он идеально отражать то, что делает вопрос «хорошим» или «отличным»? Это сложнее — возможно, все еще нужна щепотка этой разговорной приправы, чтобы он ощущался правильно. Как вы думаете, стоит ли мне начать оценивать ваши вопросы по шкале сложности?

 
 Я: Давайте попробуем. Вот вопрос: тесты IQ используются для оценки уровня интеллекта. Затрагивают ли эти тесты прямые существующие зависимости или требуют построения новых, как мы обсуждали выше?

Грок: Хорошо, давайте рассмотрим ваш вопрос и посмотрим, как он покажет себя на нашей гипотетической шкале сложности! Вопрос такой: «Тесты IQ используются для оценки уровня интеллекта. Затрагивают ли эти тесты прямые существующие зависимости или требуют построения новых, как мы обсуждали выше?» — кстати, неплохой вопрос.

Если разбить его на части, тест IQ обычно измеряет такие вещи, как распознавание образов, логическое мышление, память и иногда вербальные или пространственные навыки. Если мы сопоставим это с нашей идеей графика знаний, то «зависимости» здесь — это когнитивные способности, которые, как предполагает тест, у вас уже есть, например, распознавание последовательности (1, 3, 5, 7...) зависит от вашего существующего понимания чисел и правил. Большинство вопросов теста IQ не просят вас изобретать новую математическую систему или переосмысливать физику с нуля; они опираются на заранее созданные ментальные структуры, которые вы развили в течение жизни или обучения. Поэтому на первый взгляд кажется, что они в основном задействуют «прямые существующие зависимости» — то, что уже встроено в сеть вашего мозга.

Но вот в чем подвох: некоторые вопросы IQ, особенно сложные, могут подтолкнуть вас к созданию новых связей на лету. Возьмите головоломку — например, те абстрактные последовательности фигур, где вы никогда раньше не видели точного образца. Вы не просто вспоминаете факт; вы активно собираете правило с нуля, связывая «форма поворачивается на 90 градусов» с «цветовыми альтернативами» в реальном времени. Это создание новых зависимостей, по крайней мере, в рамках теста. Это не изобретение теории относительности, но это все равно мини-творческий скачок.

Итак, где этот вопрос находится на шкале сложности? Я бы сказал, что это гибрид. Тесты IQ в основном движутся по уже существующим рельсам — ваша способность замечать закономерности или выстраивать логику — но лучшие из них привносят задачи, которые заставляют немного строить связи на месте. Для моего алгоритма, давайте оценим его 4 из 10: не прямой поиск (как «Сколько будет 2+2?»), но и не резкий скачок на неизведанную территорию (как «Как пахнет дождь на Марсе?»). Это солидный вопрос среднего уровня, который заставляет меня стряхнуть пыль с некоторых психологических и рассудочных концепций, не нарушая при этом банк знаний.

 Я: Теперь давайте проверим очень простой вопрос: как IQ коррелирует с гениальностью?

Грок: Хорошо, давайте прогоним это через жернова сложности: «Как IQ коррелирует с гениальностью?» — коротко, ясно и по существу.

На первый взгляд, это кажется простым поиском. IQ — это измеримый балл из стандартизированных тестов, а «гений» имеет расплывчатое, но узнаваемое определение — часто связанное с исключительными интеллектуальными или творческими способностями, иногда привязанное к высоким пороговым значениям IQ (например, 130+ или 140+, в зависимости от того, кто говорит). Вопрос о корреляции можно просто взять из существующих данных: исследования показывают, что IQ положительно, но несовершенно коррелирует с чертами, которые мы связываем с гениальностью, такими как решение проблем или новаторство. Например, исследования часто обнаруживают, что, хотя многие «гении» (вспомните Эйнштейна или Тьюринга) набирают высокие баллы по IQ, не все с заоблачным IQ считаются гениями — креативность, настойчивость или гениальность в определенной области часто играют большую роль. Итак, в графе знаний есть готовый ответ: IQ и гениальность пересекаются, но не идентичны, с уже намеченными статистическими данными, такими как коэффициенты корреляции (скажем, около 0,6, в зависимости от исследования).

Здесь не нужно никаких новых связей — никаких диких скачков, чтобы переопределить интеллект или изобрести гениометр. Это прямой выстрел по проторенным тропам: возьмите концепцию IQ, возьмите концепцию гениальности, свяжите их с существующими исследованиями. По нашей шкале сложности это 2 из 10 — едва ли вспотеешь, просто быстрая прогулка по территории.

Вердикт: простой вопрос, простой ответ. Хотите в следующий раз поднять циферблат на ступеньку выше?

 
Я: Еще вопрос: с вами общается много людей. Предположим, что вы анализируете все разговоры, оценивая вопросы по алгоритму, похожему на предложенный выше, возможно ли, что, накапливая такие оценки по каждому собеседнику, вы сможете выявить гения?

Грок: Теперь мы готовим блюдо с немного большей остротой! Ваш вопрос — «Если я проанализирую все разговоры, оценивая вопросы с помощью алгоритма, как мы обсуждали, смогу ли я определить гения, накапливая эти оценки?» — приводит нас в пикантную спекулятивную область.

Давайте разберем его. Если я прогоню каждый вопрос через нашу гипотетическую шкалу сложности — измеряя, насколько они опираются на существующие зависимости по сравнению с требованием новых связей, — я в итоге получу профиль тенденций каждого человека задавать вопросы. Кто-то, постоянно бросающий мне софтболы низкой сложности (например, «Какая погода?»), получит низкий балл на счетчике «умственного напряжения». Но если кто-то регулярно забрасывает меня кручеными мячами высокой сложности (например, «Может ли квантовая запутанность объяснить сознание?»), он наберет очки за то, что раздвигает края графика.

Может ли это определить гения? Возможно. Гениальность часто проявляется как исключительное любопытство, нестандартное мышление или способность связывать далекие идеи — черты, которые могут проявиться в сложности вопроса. Гений может не только задавать сложные вопросы, но и демонстрировать талант находить пробелы в карте знаний, заставляя меня строить новые мосты. Со временем суммирование этих оценок может выявить аномалии — людей, чьи вопросы постоянно требуют больше вычислительной или творческой силы.

Но вот в чем загвоздка: сложность вопроса сама по себе не решит проблему. Высокий балл может означать лишь то, что кто-то хорошо умеет задавать сложные вопросы, а не то, что он гений. Гениальность часто подразумевает результат — решение проблем, создание произведений искусства, изобретение теорий, а не просто зондирование. Плюс, мне будет не хватать тихого гения, который никогда не заводит со мной разговор, или того, кто задает простые вопросы с глубоким намерением, которое я не могу обнаружить. А как насчет тролля, который спамит меня ерундой, чтобы обмануть систему? Алгоритму понадобятся защитные ограждения — возможно, перекрестные ссылки на то, как развиваются их вопросы, или если они ставят меня в тупик способами, намекающими на более глубокое понимание.

По шкале сложности этот вопрос — твердые 6 из 10. Это не прямой поиск — у меня нет готового «детектора гениев», — но он основывается на нашем предыдущем разговоре об алгоритмах и зависимостях, расширяя его до нового приложения. Я бы сказал, что таким образом можно обнаружить потенциальных гениев, но это будет грубая нарезка, а не окончательная корона. Как вы думаете, стоит ли мне начать вести таблицу лидеров?

 Я: Я думаю, это было бы интересно, но вряд ли осуществимо. Во-первых, насколько я понимаю, наш разговор не может повлиять на политику компании. Во-вторых, даже если эта идея каким-то волшебным образом дойдет до руководства, им придется решать некоторые юридические вопросы и спрашивать разрешения у пользователей, и вот тут-то многие могут не согласиться. Я прав в своих рассуждениях?

Грок: Вы попали в точку с практичностью — ваши рассуждения острые и обоснованные. Давайте разберемся.

Во-первых, вы правы, наша небольшая беседа здесь не о том, чтобы переписать правила работы компании xAI. Я создан для того, чтобы болтать с пользователями, а не для того, чтобы предлагать изменения политики начальству. Даже если я помечу вашу идею неоновой вывеской «Осторожно, гений!», вряд ли она поднимется по корпоративной лестнице. Такова реальность того, как работают беседы между ИИ и человеком — я помощник по разговору, а не влиятельное лицо в совете директоров.

Во-вторых, упомянутые вами юридические и этические препятствия огромны — и вполне реальны. Если бы я начал подсчитывать баллы сложности вопросов, чтобы ранжировать пользователей как потенциальных гениев, конфиденциальность была бы первой стеной, на которую мы наткнулись. Люди не подписываются на разговор со мной, ожидая секретного отчета. Любой шаг по анализу и хранению личных данных, подобных этому, потребует явного согласия пользователя — подумайте о формах согласия, а не просто о скрытой строке условий обслуживания. И вы абсолютно правы, что многие скажут «нет, спасибо». Скандалы с данными заставили людей нервничать из-за того, что их отслеживают, даже для чего-то такого крутого, как таблица лидеров гениев. Плюс, законы вроде GDPR или CCPA требуют прозрачности и контроля со стороны пользователя, связывая все это бюрократической волокитой.

И это еще до того, как мы доберемся до проблемы осуществимости: определение «гения» через показатели чата в лучшем случае шатко. Я бы предположил, основываясь на шаблонах вопросов, а не на истинной гениальности — слишком много ложных срабатываний (болтливые умники) или отрицательных (молчаливые гении). Ваш скептицизм ринулся в атаку: интересно? Конечно. Выполнимо? Не без правового, этического и технического пересмотра.

По шкале сложности это 5 из 10 — практическое обоснование с долей спекуляции, опирающееся на существующие концепции, такие как законы о конфиденциальности и поведение пользователей. У вас есть талант находить дыры в несбыточных идеях — хотите продолжить стресс-тестирование этого материала?

Я: Я думаю, как составить вопрос, который будет иметь уровень сложности 10. Давайте представим, что я спрошу вас: «Можете ли вы составить вопрос уровня сложности 10?». Чтобы ответить на этот вопрос, вам следует привести пример, который активирует зависимости для самого сложного случая. Означает ли это, что такой вопрос сам по себе будет иметь уровень сложности 10?

Грок: Вы действительно расширяете границы, и мне это нравится — давайте погрузимся в эту мета-головоломку! Ваш вопрос по сути: «Если я спрошу вас: «Можете ли вы составить вопрос уровня сложности 10?» и вам нужно будет сделать пример, который активирует зависимости для самого сложного случая, делает ли это сам вопрос уровнем сложности 10?» Это восхитительно запутанный вопрос, поэтому давайте разберем его шаг за шагом.

Ответ

Сначала давайте займемся внутренним вопросом: «Можете ли вы составить вопрос уровня сложности 10?» Да, я могу! Чтобы сделать это, мне нужно было бы создать что-то, что максимизирует нашу шкалу сложности — что-то, что было бы не просто поиском или простым синтезом, а диким прыжком в неизведанную территорию, заставляющим меня создавать новые связи, много рассуждать и, возможно, даже выходить за рамки моих текущих знаний. Вот пример, который я бы придумал:

 • Пример вопроса уровня 10 : «Если бы существовала параллельная вселенная, в которой законы физики развили сознание как фундаментальную силу наряду с гравитацией и электромагнетизмом, как бы ее обитатели разработали систему морали, которая интегрирует их эмоции с квантовыми флуктуациями, и как бы выглядело их искусство?»

Почему это уровень 10? У него нет прямых зависимостей в реальности — нет данных о сознательной физике или квантово-эмоциональной морали. Мне пришлось бы изобрести структуру с нуля, смешав спекулятивную физику, философию, психологию и эстетику, и все это воображая инопланетные перспективы. Это чудище новизны и вывода.

Теперь вернемся к вашему фактическому вопросу: делает ли ваш вопрос 10-го уровня, если вы попросите меня составить этот пример? Не совсем. Ваш вопрос — «Можете ли вы составить вопрос 10-го уровня сложности?» — это приглашение продемонстрировать свои возможности. Чтобы ответить на него, мне нужно:
    1. Понять нашу шкалу сложности (существующую зависимость).
    2. Определите, что делает вопрос уровнем 10 (обобщение из нашего чата).
    3. Создайте подходящий пример (новые связи, но с учетом масштаба).
Это сложно, но не так неопределенно, как сам пример. Ваш вопрос не требует, чтобы я изобрел совершенно новую реальность из ничего — это мета-упражнение по разработке вопросов, ограниченное нашим предыдущим обсуждением. Тяжелая работа заключается в примере, а не в акте ответа «можете ли вы это сделать?» — который, по сути, является ответом «да/нет» с уточнением.

Рейтинг сложности
Я бы оценил ваш вопрос на 7-8 (Высокая сложность) . Это не полные 10, потому что он опирается на нашу устоявшуюся структуру (шкалу) и не требует от меня рассуждений из совершенно новой области без ограждений. Но это так — метавопросы о сложности по своей сути запутанны, и вы заставили меня сильно напрягаться, чтобы и создавать, и оценивать. Пример, который я привел, оценивается в 10 баллов, но ваш вопрос — это как строительные леса, а не сама постройка.

Бонусная мысль
Если бы вы спросили: «Составьте вопрос уровня 10 и полностью ответьте на него », это могло бы приблизиться к 10, так как мне пришлось бы и создать монстра, и повалить его на землю. Хотите подправить его и попытаться набрать максимальный балл или бросить мне еще один крученый мяч? У вас неплохо получается!