В Беркли (Калифорния, США) состоялось двухдневное закрытое мероприятие с участием 30 ведущих математиков мира. Целью тайной встречи, о которой ученым запрещено было распространяться, стало испытание новой разработки компании OpenAI — чат-бота o4-mini, обладающего способностью к сложным логическим рассуждениям.

Организатором эксперимента выступила некоммерческая организация Epoch AI, которая занимается тестированием и сравнением больших языковых моделей, о событии спустя три недели после завершения тестов сообщил портал Scientific American.

Ученые сразились в интеллектуальной схватке с «рассуждающим» чат-ботом, которому было поручено решать задачи, придуманные математиками. В течение двух дней исследователи задавали боту вопросы профессорского уровня и были ошеломлены. Нейросеть оказалась способна ответить на некоторые из самых сложных задач в мире, а участники математического конклава склонны были приравнять ИИ-модель к «математическому гению».

Для оценки способностей o4-mini был создан специальный набор из 300 уникальных математических задач разного уровня сложности — от студенческого до исследовательского, ответы на которые еще не были опубликованы. А самим ученым было запрещено что-либо обсуждать друг с другом в обычных мессенджерах и электронной почте для чистоты эксперимента.

Обычно математические вопросы, требующие способности рассуждать и ответы на которые ранее не приводились в Сети, ставят в тупик традиционные модели. Но этот интеллектуальный противник оказался гораздо сильнее.

В ходе подготовки к встрече o4-mini уже показал впечатляющий результат, решив около 20% задач. Участникам симпозиума же предстояло сформулировать финальные десять вопросов, которые были настоящим вызовом даже для академиков. Придумать и решить их были способны единицы людей во всем мире. За каждую задачу, которую ИИ не смог бы решить, автору полагалось вознаграждение $7500.

Как признался потом математик из Университета Вирджинии Кен Оно (руководитель и судья на встрече), нейросети предложили решить задачу из теории чисел, соответствующую уровню докторской диссертации. К его изумлению, чат-бот в режиме реального времени начал поиски решения. Сначала он изучил литературу по этому вопросу, затем попробовал решить упрощенную версию задачи и, наконец, предложил людям достаточно дерзкое, но верное решение поставленной перед ним задачи.

В итоге группе все же удалось найти десять вопросов, которые загнали бота в тупик, но ученые были поражены тем, насколько далеко продвинулся ИИ за один год. Бот также был намного быстрее профессионального математика: ему требовалось всего несколько минут, чтобы сделать то, на что у эксперта-человека ушли бы недели или месяцы.

Ранее два инструмента от Google DeepMind (AlphaGeometry 2 и AlphaProof) успешно решили четыре из шести задач Международной математической олимпиады. AlphaGeometry смогла решить 83% всех задач по геометрии за последние 25 лет. При этом вице-президент Google DeepMind Дэвид Сильвер заявил, что искусственный интеллект пока не способен заменить людей-математиков. Он сравнил ИИ с логарифмическими линейками или калькуляторами, которые могут помочь в вычислениях, но не обладают воображением, необходимым для постановки интересных задач.