Энтузиаст скормил в ChatGPT условия задач профильного экзамена по математике. Так как я учитель математики, мне было очень интересно...
Результаты следующие:
Он прекрасно решает все, что связано с текстом. Найти же координаты точки на координатной плоскости для него проблема. В общем, распознавание геометрических объектов не на высоте.
Он иногда ошибается в арифметике, что совсем удивительно.
Несложную задачу по стереометрии он решает, как будто он хирург и решил вырезать гланды автогеном. Причем через задницу. С применением инструментария первого курса мех-мата МГУ.
С логикой иногда беда.
Н, тем не менее, он набрал 86 вторичных баллов ЕГЭ. Этого маловато, чтобы поступить в приличный вуз, где серьезная математика, но в любом техническом ВУЗе найдутся специальности, куда он сможет поступить. Средний ьалл по математике - 55 примерно, думаю, он вошел в лучшие 5-7% сдающих. Вот почему запрещают носить с собой телефон )
Ну а подробности - может они интересны кому-то:
1-я часть экзамена (легкая, т.н. "тестовая") https://dzen.ru/a/ZmnVT4ayRxq4R3wG
2-я часть экзамена, сложная, с развернутым ответом https://dzen.ru/a/Zm7A5IZ-oAAJycgP
Ну и как видел 60 лет назад использование искусственного интеллекта в образовании один из моих любимых советских фантастов, Илья Варшавский, по ссылке про автора и его рассказ "Поединок"
https://dzen.ru/a/Zm1u8gX44RSLkKGg
Неплохой пример с оценкой реальных возможностей.
Там, где "надо просто болтать" - результаты присутствуют. Там, где надо уметь складывать - уже намного хуже.
Какие еще требуются доказательства, что это - всего лишь "про поговорить"? У него даже в названии с большой буквы указано - "Болталка (Chat)".
Однако народ всё про "замену интеллекту" рассуждает. Ну-ну...
Продолжаем наблюдать.
Комментарии
спасибо за рассказик)
Да, порадовал!! УПСОС!
То, что большие языковые модели (LLM, к коим относится ChatGPT) не особо дружат с математикой - это как раз таки не странно, а совершенно нормально и ожидаемо. Ведь это вероятностные модели. Для них 2+2=3.9 - вполне нормальный ответ, ведь он примерно верный, значит ок (3.9 вероятно наилучшим образом подходит как ответ по сравнению с большинством других, 3, 7, 115 и т.п., рандом попал сюда и - ок). Почему рандом? Почитайте, как устроены нейросети и как работают. Как их обучают, какие есть краеугольные моменты, сложности.
Важно понимать этот нюанс. В будущем, конечно, это исправят. Сейчас технология в ооочень зачатночном состоянии, как бипланы в авиастроении. Ждите лет 5, потом можно будет пользовать, будут лайнеры дальнего следования, а не кряхтящие аеропланы
Нет. Это не так. Это нельзя исправить то, что зашито в "геноме".
Вы или не понимаете, как это работает или понимаете и сознательно вводите в заблуждение. Вероятность или «температура» ответа специально введена в модель для того чтобы не получать каждый раз самый вероятный ответ, а, с некой долей случая, второй или даже третий по распределению. Зачем? Чтобы выходной текст варьировался от запуска к запуску. Им, разработчикам, показалось, что это «более естественное поведение».
Что же мы ожидаем в будущем? Поиск координат вектора не в 12 тысячи мерном пространстве, а в 120 тысячи мерном? Ну и? Это всего лишь означает, что машина будет симулировать понимание контекста текста не на 12000 токенов, а на порядок больше. При этом, число вычислений растет совсем не линейно, а как бы не в степени мерности матрицы.
Кроме того, не забывайте, что текстовая обучающая база LLM сейчас относительно чистая – без примеси текстов сгенерированных «ИИ». После их добавления в базу, мы получим еще один положительный обратный контур, который еще и усилится в «ИИ».
"Не так" - что именно? Что появятся более совершенные модели? Я к тому, что технология совершенствуется, появляются новые, принципиально иные по структуре модели. И есть более совершенные, чем ChatGPT, LLM-модели. С иной структурой слоёв и принципами работы. Конечно, есть уязвимые вещи, которые собственно выше и озвучены. Всё это вполне решаемо файн-тюнингом и прочим. Всё зависит от того, что Вы хотите получить на выходе. Конечно, до AGI (т.н. "сильного искусственного интеллекта) ещё оооочень далеко. И весьма странно, что именно его свойств ожидают от ChatGPT. Ну ооочень странно.
Не так именно это:
Не 5 лет и не исправят. Вариативность "температуры" выборки варианта токена основа модели LLM. Это не баг, это фича. Никто фичу исправлять не будет.
Вы понимаете, куда они совершенствуются? В чем состоит цель совершенствования? Иначе это:
Просто перестановка мебели в борделе.
Глядя на Ваши утверждения, хочется спросить у Вас: лично Вы тонкой настройкой когда либо решили глобальную проблему софта? Так, что нет. Я в чудеса не верю.
Вы даже не представляете насколько. Как я уже говорил – без понимания того как работает естественный интеллект, искусственный создан не будет.
Собственно нет. Ничего от «ИИ» в нынешнем виде я не ожидаю. «Машина состояний» работает примерно так, как и было запроектировано. Никто, буквально никто, не понимает, почему ответы именно такие и что надо подкрутить, чтобы они были другими. Ну не миллионы коэффициентов крутить в ручную, в самом деле. При этом цели размыты, если они вообще есть, а решаемые задачи абстрактны.
Было очень странно, но понятно, устами маркетологов назвать это поделие «искусственным интеллектом», а вот требовать пользователям от «ИИ» интеллекта совсем не странно. Вы же эту яхту так назвали – плывите. Нет, начинается виление хвостом. "Есть слабый «ИИ», есть сильный «ИИ», надо понимать". И вообще, «этодругое» и «подождите 5 лет».
Занятный опыт.
Продвинутый редактор текста решает математику.
Не решает, а подбирает решения из сети и компилирует их. И делает это плохо.
Так и школьник решения не изобретает, а повторяет.
Повторят с осознанием того, что он повторяет и на сколько это уместно в данной конкретной ситуации. При этом базу знаний он таскает с собой.
Имитатор критически зависит от доступа к Сети и бигдате. Без этих библиотек этот софт превращается в бредогенератор.
плохо?
Вообще-то на уровне выше 37 из 40 современных выпускников школы.
Дайте современным выпускникам школы доступ в интернетик и, уверен, они с блеском победят ИИ.
Я работал с современными выпускниками школы в качестве преподавателя ВУЗа лет десять.
Вы их переоцениваете.
Сужу по студентам старших курсов профильных институтов. Если им дать интернетик, то справятся лучше "ИИ". Особенно если провести двойное слепое тестирование.
Нынешний ИИ вообще-то и не заявлен как нечто, превосходящее по интеллекту человека :) а предлагается именно как помощник. И да, см.мой комментарий выше - сейчас большие языковые модели в ну ооочень зачаточном состоянии. Подождите лет 5.
Срепыш 2.0?
Да ладно. Зачатие произошло значительно ранее 1969 года. Вот Вам не первая книга о нейронках: Minsky M, Papert S (1969). Perceptrons: An Introduction to Computational Geometry. MIT Press. ISBN 978-0-262-63022-1
Обратите внимания, никаких «нейронов», «искусственного интеллекта», «больших лингвистических моделей»: перцептроны. «Потому, что
перцептронгренка не может стоить 8 долларов, анейронкрутон – может».Вы же не Лунтик, чтобы вчера родится? За 55 лет уже может что-то адекватное родится? Пока выходят только Скрепыши - гибрид интеллекта и скрепки. Судя по всему Вы вряд ли помните PR от MS этого «уникального интеллектуального помощника в форматировании текста».
Так что, глядя на таймлайн ждать надо не 5, а 555.
Да ладно вам: какое ПК в каждый дом? Знаете, сколько лет уже вашим компутерам?
Любой луддит до развала СССР.
Еще один Лунтик?
Что вы несете? Первый компьютер у меня был в 1988 году ценой 650 р., у друга ДВК с дисководом у одноклассника – самосборный ZX Spectrum.
Но речь вообще не об этом. Технологии больше полувека, и камрад предлагает подождать еще всего 5 лет. Так оно не работает, и наработало никогда. И я даже знаю почему. Причина такая же, как и с элоктроповозками - первая из которых была построена более ста лет назад.
Если сравнивать с электроповозками, то скорость их выросла на порядок. Но сравнение с информационными технологиями здесь не уместно - они развиваются на порядки быстрее. Приводить в качестве аргумента появление теоретической базы, что появилась в прошлом веке, совершенно неуместно. Да, информационные технологии тоже упираются в физические законы и не только (техпроцессы изготовления чипов и т.п.), однако вполне поддаются масштабированию. Проблемы есть, безусловно. Но многие сильно упускают из внимания общую динамику, и информацию, доступную специалистам. Взять буквально на днях появившийся Runway GEN-3 или GPT-4o 340B. Они на голову выше своих предшественников, а последний уделал "короля" Llama3 70B. И это лишь то, что появилось буквально на днях, о них пока ещё мало кто слышал, но тот же ChatGPT по возможностям плетётся у них в хвосте.
Циолковский когда свою формулу вывел? А первая многоступенчатая ракета когда была? Полвека прошло? От открытия распада урана до манхэттенского проекта тоже полвека? «Этодругое»?
Мы видим - 55 лет. <sarcasm>Значительно быстрее.</sarcasm>
И что? Это перевернуло мир «ИИ»? «ИИ» наконец узнал сколько пальцев на руке человека и сколько рук всего? Стр.85 этого документа https://www.unfpa.org/sites/default/files/swop23/SWOP2023-RUSSIAN-v230413b-web.pdf
Многим насилование мозга маркетологами застилает глаза и туманит ум.
Я нигде не заявлял, что что-то там перевернуло мир. Я указал на динамику. Которая ощутимо бодрее, чем с теми же электроповозками. И да, проблему с числом пальцев решили в последних моделях ещё год назад (российские наработки типа Kandinski и пр. в этом, увы, отстают). Повторюсь, прямо сейчас крайне наивно ожидать чего-то революционного, Вы один из тех кто под ИИ предполагает AGI - т.н. сильный искусственный интеллект, эти ожидания невероятно ошибочны. ИИ - лишь термин и не более, а не название некого всезнающего сверх-разума. Предлагаю вернуться к этому диалогу через 5 лет ;)
И да, Вы сравниваете динамику событий прошлого века с нынешней. Она неприемлема, сейчас всё радикально иначе. Особенно что касается информационных технологий, а не железок.
В смысле бодрее? Уже в журнале «Знание - Сила» за 1937 год элктроповозки бодро ездили по дорогам общего пользования или это был «Огонек»? Надо будет скачать архив, проверить… Даты появления трамваев, троллейбусов и метро на электротяге не о чем не говорят? А вот с электроповозками была проблема. Почему?
Сообщите эту, безусловно полезную, информацию по адресу: «Фонд Организации Объединенных Наций в области народонаселения, 605 Third AvenueNew York, NY 10158, Тел: +1 212-297-500». Пацаны-то не знают.
Повторюсь. Люди, в большинстве своем, простые существа и следуют 431 ГК РФ понимают все буквально.
Разговоры в голосами в своей голове до добра не доведут. Это кто сказал?
А это кто сказал?
Но это не термин, а ярлык-ловушка маркетолухов для выманивания бабла из доверчивых человеков. Как «зеленая энергетика». Как «девушка-программист» и «морская свинка» из того анекдота.
Так динамика событий прошлого века динамичнее динамики века нынешнего в области «ИИ» в разы. А должно быть наоборот.
Уж не знаю как устроены языковые модели, но графические устроены так что при одних и тех же условиях вы получаете ровно одинаковый результат, а вариативность - ну сиди крути сид.
Кандинского 3.1 Вам в карму. (https://www.sberbank.com/promo/kandinsky/)
Попробуте получить по одному запросу две одинаковые картинки.
Мы тут больше про генеративные вещи, но что касается распознавания образов: качество выхода всегда зависело от качества входа.
То зачатие было по большей части именно в теории. Тогда мощности - как вычислительные, так и по объёму памяти, попросту не позволяли даже близко реализовать то, что мы имеем сейчас. И Вы прекрасно это знаете и понимаете. Поэтому данный аргумент абсолютно неуместен.
Даже сейчас, если сравнить качество ответов LLM всего пару лет назад - и сейчас, отличается радикально. Я смотрю на эти вещи не как обыватель, ожидающий от ИИ свободного разговора на любые темы, а как практик и предприниматель. Для моих задач LLM (и другие ИИ-структуры) реализуют задачи, которые я ставлю, прекрасно. В моих ТЗ нет требований на абсолютно идеальное исполнение, в этих задачах качество ответов более чем приемлемо и позволяет зарабатывать ОЧЕНЬ хорошие деньги, ускорять и упрощать рабочие процессы. Массово, быстро и превосходя человека в первую очередь по быстродействию и по стоимости. Если качество по сравнению с человеком, скажем, ниже на 20-30% (в задачах, которые стоят перед моим бизнесом) - причем качество приемлемое, но при этом скорость выше в СОТНИ раз, а стоимость ниже в ТЫСЯЧИ раз - совершенно очевидно, что даже те модели что есть сейчас для меня просто идеальны.
Т.е. хайп «распределенных вычислений» прошел мимо Вас? Хайп "поисковые машины" тоже прошел мимо? Так и что принципиально поменялось с той поры? Денег стало некуда девать или пришло осознание, что майнинг битка это перевод хлеба на говно?
Ну и какой R2? В естественных науках, качество это не абстрактная, а вполне конкретная величина.
"Ну и славно, трам-пам-пам". Компания АОЛ тоже думала, что клиентская база – «наше все», а получилось вон оно как. Задумайтесь о том, что сейчас услуги «ИИ» демпингуется, а когда придет время стричь овец...
В задачах распознавания образов FineReader и CuneiForm делал кожаные мешки еще четверть века назад. Яндекс научился распознавать рукописные тексты. Делаеть он это плохо и нет никаких причин ожидать, что они его натренируют… Ворд уничтожил профессию наборщика… Ашманов убил корректоров. Каждому овощу свой фрукт.
Вопрос в том, что сейчас, на войне хайпа, подстраивают задачу под инструмент, потому, что «стильно, модно, молодёжно», а не выбирают инструмент под задачу. Когда пена спадет, года за три, настанет время удивительных открытий. Запомните этот твит.
Да-да, и действительно. Ужас. Все плохо. Пичаль. Кошмар :)
Мне хорошо, а Вы, видно, пропустили удар в печень.
Увы и ах :) если Вы воспринимаете это как битву - сочувствую. Я лишь показал, как вижу картину для себя, и не более.
Когда собеседник в серьезной дискуссии вместо аргументов переходит на дурацкий тон – приято осознавать свою победу и его, собеседника, слив.
Так я вам и ответил "Вот и славно. Трам-пам-пам".
Кто-то рабов продавал, кто-то опиум, кто-то на дорвеях зарабатывал, кто-то на "ИИ". Каждый сам творец своей судьбы.
Господи, "фыр" насколько вы мутный.
Считайте, что вы, правы, успокойтесь.
Просто не отнимайте время, у людей, которые заняты реальным делом, а не болтологией.
Я не Соловьев, что бы всем нравится.
"Не говори мне, что делать и я не скажу тебе куда пойти." (с)
На АШе? Делом? Каким? Пиаром "ИИ"? Помнится на АШе был камрад рассказывающий нам, что «Дураки вы, биток стронг. Скоро всех порвет. Айда майнить». Пропал куда-то…
Дорогой друг, проходи мимо. Не мучай себя.
Каким пиаром? Смешно :) я наоборот отметил, что сейчас от ИИ ожидать то, что ожидаете Вы - наивно, т.к. сама технология (а не теоретическая база) находится в зачаточном состоянии. То есть, безусловно, всё весьма и весьма сыро. Но, даже в таких условиях, конкретно на личном опыте, извлекать из этого выгоду и немалую можно, чем в своём бизнесе и занимаюсь. И вовсе не предлагаю делать это Вам.
Я не пытаюсь Вам что-то впаривать и т.п., это опять же не биток а-ля "бегите сюда, делайте деньги из воздуха". Вас ни к чему не призывают, и уж тем более не просят никуда вкладываться т.к. вкладываться здесь не во что (и да, имеют место и мыльные пузыри типа неадекватно раздутых акций nVidia и т.п., про преувеличение значимости в лице инвесторов все прекрасно знают).
Вы делаете из этого картину, будто все кругом зазывают в ИИ нести деньги. Бред полнейший. Куда нести? За что? Кому нужен конкретный функционал - его оплачивают. Кому функционал этот не нужен - проходят мимо. Обычный рынок. У нас клиенты, например, все довольны, с функционалом софт справляется на ура, и быстрее и точнее всех конкурентов.
Какая битва, какая война, что за бред, прости Господи :))
И отметили неправильно. Что же от ИИ я ожидаю сейчас?
Мне вообще не интересно, какую прибыль лично Вы извлекаете из, по Вашим словам, сырой технологии. Как уже отмечалось капитал не устоит даже против работорговли и контрабанды ради прибыли. Это вообще не аргумент. Но, вообще говоря, Ваш поинт был в том, что подождите 5 лет и все будет. Нет. Не будет.
Мда, а это что, не призыв?
Нет, я считаю, что Вы раздуваете хайп в использовании технологии сути и ограничений, которой Вы не понимаете, делая на этом деньги прямо сейчас.
А вы видили капитализацию nVidia, Google и Microsoft?
Второй раз предупреждаю, разговоры с голосами в своей голове до добра не доведут. Какая битва? Какая война? Что Вы несете? Сам придумал, сам поверил, сам возмутился? Нет никакой войны и битвы, разве что между «нанайскими мальчиками». Это Вы сами придумали.
Вы явно не шахматист. Следующий шаг какой? Вы снизили издержки и уменьшили себестоимость. Хотите или нет, но придется подвинуться и по цене – не один Вы такой умный. И, в какой-то прекрасный момент, доступ к «ИИ» Вам закрывают или плату за использование поднимают в те же тысячи раз, а плана Б нет. Кожаных мешков с необходимыми скилами просто нет и Вы вылетаете со своим удачным бизнесом в трубу.
Битвы оптимизаторов с поисковиками Вам в пример.
У нас узконишевой бизнес, куда корпораты не сунутся никогда, т.к. это граничит с законом :) И в своей нише мы уверенно занимаем 1е место вот уж почти 20 лет. А с применением ИИ только упрочили позицию и продолжаем это делать. И да, я не шахматист, я просто разработчик с динамично развивающимся бизнесом. Прекрасно понимаю риски. Поэтому и занимаюсь тем, где конкуренция минимальна, а доходность очень высока.
У нас узконишевой бизнес, куда корпораты не сунутся никогда, т.к. это граничит с законом :)
Как там говорил другой классик:
Боятся надо не корпоратов, а своего брата капиталиста.
Бояться надо? Вам надо - бойтесь :) у нас проще: глаза боятся, а руки делают.
Есть стандартная практика просчёта рисков и превентивная работа над их минимизацией. Что, безусловно, без внимания не остаётся.
Да что Вы так переживаете? Мне судьба Вашего бизнеса вообще не интересна. Ну, кроме ехидного: «Я Вас предупреждал!». Вы используете «ИИ» в работе – славно. Мне официально запретили его использовать – тоже неплохо.
Да да. Мне один человек говорил лет 20 назад, страшилки тоже в Вашем духе навешивал - "вот кончится твой интернет, и чем тогда заниматься будешь?". Абсолютно тот же характер алармистский. "Все будет хреново, а коли так, то лучше ничем не заниматься и сидеть на попе ровно" - блестящая философия! :)))
Человек с руками и головой всегда найдёт чем занять себя. Тем более что и с радиотехникой, механикой, спортом и прочим тоже на "ты". И всегда имеются запасные варианты. Это к просчёту рисков - о чём говорил выше.
Так и он был прав или кризис доткомов мимо прошел? Будет так же. Хайп сойдет, пена отстоится. Ждем. Наблюдаем. Использовать «ИИ» будем по назначению.
Вы, случайно, не девочка? Характер утверждения в женском стиле: «Ах, если не прикручивать ИИ ко всему что движется, то все остальное ерунда – этим не стоит заниматься». Я привык подбирать инструмент под задачу, а не наоборот. Забивать гвозди перфоратором, ловить рыбу трактором или пытаться пристроить ИИ в стиральную машину – не самое оптимальный выбор.
Судя по тому, как Вы эту тему все время педалируете, червячок сомнения Вас все же грызет. Ну и хорошо. Как прочитал в одной методике:
Неплохо,только он жульничает: подсматривает решения в интернете и использует калькулятор.
Точно! Если разрешить всем участникам ползоваться
интернетомчем угодно, то "звёзда" гопоты сразу попритухнет.Не использует он калькулятор, написано же было что ошибается в арифметике. Это лингвистический ИИ, а не математический.
калькуляторы разные бывают)) не только инженерные)
Вот вот.
- для меня удивительно одно - как эта тема может быть подогретой столь длительное время? Ну Вы же математик - посмотрите алгоритмы по которым все эти ИИ действуют, и на аш их разбирали - это примитивная штука. Она и рисует уродливые картины, она и ответы даёт "угадал/не угадал". Но люди вцепились как в мечту какую-то, как в панацею - "вот сейчас уже изобрели, осталось отладить, и будет интеллект, покруче нашего, и он нас научит как правильно жить". И продолжают видеть шедевры в уродливых картинках ИИ, хотя давным-давно пора протрезветь. И пугают друг-друга тем, что ИИ скоро всех заменит. На самом деле он нормально может заменить только переводчиков.
86 баллов - прекрасный результат. В обычной школе таких пара детей на класс)
Скорее на школу.
Значит, у меня хорошая школа )
Страницы