Как готовить нейросети

Опишу мое понимание современного положения нейросетей на основе LLM. Потому как на афтершоке иногда всплывают не совсем корректные, с моей точки зрения, формулировки и понимания. И некоторые хотят от нейросетей то, что они пока дать не могут. Я буду использовать вполне антропоморфные отсылки, т.к., опять-таки, с моей точки зрения, LLM-нейросети уже вполне обладают особенностями, позволяющими сопоставить их с человеком.

Выводы в конце. Для тех, кто всё читать не хочет.

1. БАЗА. Основа нейросети. Т.е. тот самый триллион параметров (весов, нейронов), который «думает».

Первое, что возникает в голове – возраст нейросети. Из-за молодости технологии (это 5, максимум 7 лет) LLM-нейросети воспринимаются как достаточно молодыми человеками. Но это не так. Любой LLM-нейросети 50+ лет. Это взрослый устоявшийся мужик, образование 11 классов школы, несколько высших образований, большой опыт работы. И возраст 50+ лет. Он уже практически не обучаем. И решает задачи на наработанной базе и опыте (если ты молоток, всё вокруг гвозди).

ChatGPT-4 это не дообученный ChatGPT-3.5, это другой мужик, возможно обученный уже на большем объеме данных, т.к. определенное время с момента обучения ChatGPT-3.5 уже прошло. Основной проблемой LLM-сетей как раз и выступает неДОобучаемость в принципе. При попытке их дообучить, LLM-сети ломаются и начинают нести больше чуши, чем до этого. В теории есть такое понятие, как «катастрофическое забывание» при дообучении.

Как же они мыслят?

2. КОНТЕКСТНОЕ ОКНО. А мыслят они только в рамках контекстного окна. Контекстное окно образуется, когда вы начинаете чат с нейросетью, пишете первый вопрос. И чем больше потенциальное контекстное окно – тем больше может мыслить нейросеть. У современных сетей контекстное окно достаточно большое, например ChatGPT-4 – 128 килобайт токенов. Есть и побольше – до нижних единиц мегабайт. Для понимания размеров – что такое мегабайт. Знакомый вам всем «Война и мир» - 3,5 мегабайт. Т.е фактически продвинутая нейросеть может осознать почти треть «войны и мира». Хотя нет особого смысла вписывать именно «войну и мир» в контекстное окно, роман уже в БАЗЕ осознан (обработан и переведен в веса нейросети).

Там еще есть свои нюансы с понятием «токен». Токен – это кусочек текста, который несет какой-то смысл для нейросети. Когда нейросеть видит в контекстном окне «наташа ростова» она не воспринимает это как 13 букв и пробел, она воспринимает это как два, а возможно даже как один токен. И прочитав в контекстном окне эту фразу в БАЗЕ у нее возникают ассоциации. Антроморфный принцип. Примерно как у вас возникают, в меру пола, возраста и степени испорченности.

При большом контекстном окне нейросеть начинает бредить и ошибаться, т.е. нейросети становится сложно сохранять связность смыслов на большом контексте, она не помнит точно даже свои выводы, которые были несколько десятков килобайт ранее. Тут можно опять применить антропоморфные отсылки. Представьте, вы прочитали «войну и мир», и попробуйте ответить на вопросы «на каком балу Наташа Ростова дала поручику Ржевскому», «почему Ржевский выстрелил в спину Болконскому», «о чем думал Андрей Болконский, глядя в небо Сталинграда». Вы тоже бредить начнете после мегабайта прочитанного в одно лицо текста.

Что думает нейросеть, получив на вход «наташа ростова». Согласен, что она не думает. У неё активируется определенный набор «нейронов», статистически связанный с «наташей ростовой», этот набор активирует «литературу» и «войну и мир», немного щекочет статистически связанный раздел «анекдоты», «приколы» и т.д. И на выходе выдает вам справку. Сеть потупее вам скажет только о «войне и мире», поумнее дополнительно расскажет анекдот. А с чего вы взяли, что на «наташу ростову» вы думаете по-другому? Порефлексируйте незаметно от других.

Но может быть и посложнее задача. Попробуйте спросить, что будет если 2+2 будет равно 5. А дальше вы нейросетью можете себе на этой базе свою математику накрутить. Если ваши знания позволяют и контекстного окна хватит, то до какой-нибудь теории групп доболтаетесь. Только не просите нейросеть сразу выдать теорию групп на базе 2+2=5, вот тут точно будет чушь. Нейросеть не думает за вас, она думает с вами.

Да, нюанс. Если «наташу ростову» нейросеть просто нашла в памяти, то 2+2=5 с продолжением уже будет новое знание. Сомневаюсь, что в интернете есть готовая теория групп на базе 2+2=5.

И еще по последнему. Не надо говорить, что 2+2=5 – чушь. У нас в российской математике был естественный интеллект, который решил плоский треугольник натянуть на глобус, тоже вроде чушь. А потом просто работали нейросети, медленно и неуклюже. Прошло 200 лет, и половина современной космологии лежит на этой черепахе с выпуклым панцирем и треугольником на нем. А была бы у Лобачевского нейросеть, с которой он мог бы поболтать – может мы бы уже в другую галактику летали.

Выводы:

1. Не болтайте с нейросетью об абстрактных понятиях и всяких философиях. Вы просто получите в ответ историческую справку по теме. Ну или болтайте, если вас именно историческая справка интересует, а собственного интеллекта или просто времени глубоко гуглить не хватает.

2. В технических задачах не просите нейросеть сразу дать решение. Ставьте вначале задачу - составить план решения, перечитайте и скорректируйте, потом ешьте слона по кусочкам. Локальные задачи нейросетям решать проще, они еще тупенькие.

3. В технических задачах просите подтверждения и отсылки к нормативке, если сама нейросеть не указала. Deepseek кстати необходимость снипов-хрипов понимает, в отличии от одного естественного интеллекта, и часто сам по своей инициативе их указывает. ПЕРЕПРОВЕРЯЙТЕ наличие этой информации в нормативке, вдруг бредить начала.

4. Не болтайте в рамках одного чата на разные темы. Предыдущий контекст нейросеть помнит и будет пытаться связать новые вопросы со старыми, будет мешать. Закройте чат (поверьте, нейросети на такое пока не обижаются и мстить не будут) и начните новый.

5. Не пытайтесь решать с нейросетью задачи, о которых вы ничего не знаете. Антропоморфный подход с живым строителем - а  «как построить беседку 3*3 метра». И возьмете в руки молоток – много вы сделаете? А потом виновата будет нейросеть, которая думать не умеет.