LLM (Large Language Model или большая языковая модель, в простонародье ИИ - искусственный интеллект) интересуют меня сугубо с практической любительской точки зрения, а именно как инструмент помогающий в кодировании. Кодирование на Python различных программок. Парсеров там, различных нейронных сетей по прогнозированию и т.д.
Как только появился нашумевший ChatGPT 3,5, радость была поначалу безпредельной, т.к. представлялось что вот ОНО СЧАСТЬЕ!!! скорми нужные тебе данные и параметры, а LLM тебе выдаст готовый код!
НО......
Для того, чтобы создать парсер ушло дня 2. Это при том, что почти сразу понял, как писать PROMPTы.
Для того, чтобы создать не то чтобы сложную, но немного замороченную прогностическую модель основанную на симбиозе генетических алгоритмов для определения весовых коэффициентов и нейронных сетей мне потребовалось 2!!! месяца.
Цель стояла - создать полностью рабочий проект от парсинга данных в интернете до бота Telegram дающего прогнозы при помощи нейронной сети в realtime исключительно при помощи ChatGPT, т.е. методом:
- постановка задачи
- определение условий, параметров и целей
- CTRL+C ..... CTRL+V в IDE
- корректировка условий, работа над ошибками
и так по кругу, пока не будет достигнут нужный результат.
Осложнялось все дело тем, что работа велась постоянно под VPN, в связи с санкциями.
Проект был закончен, причем довольно успешно. Точность прогнозов колебалась в районе 68% - 69%, время наблюдения - полгода, дальше уже стало неинтересно.
По окончании проекта эмоции были похожи на что-то из этого:
Когда вышел 3,5 Turbo - стало полегче, LLM стал немного умнее, но по-прежнему обожал заниматься выдумыванием.. Но! Проблема основная в том, что ChatGPT 3,5 Turbo:
1. Имел ограничение в сколько-то там токенов (даже не помню), из-за чего писал поначалу часть кода, а следующую часть при команде "Continue" писал вообще от балды.
2. Спустя 3-5 сообщений, он тупо забывал контекст, а если ты начинал настаивать на выполнении нужного тебе задания путем повторных генераций, то тебя тупо банила система. Противоядием служит то, что у меня 6 аккаунтов для работы с ChatGPT.
С выходом 4-й версии хотелось закричать "Ура! Ааррррр, вот сейчас то ууухххх"...
....Ну вы поняли....
Да, 4-я версия превосходит 3,5.
Но санкции...
В общем, к чему я все это.
Для тех, кто хочет потренироваться в общении с LLM, есть вполне сносные локальные версии, аналогичные (почти) ChatGPT 3,5 Turbo.
Причем не требующие особых знаний по установке, без всяких плясок с бубнами, VPN-ов и т.д.
Кому хочется потренироваться в общении с "ИИ", вот отличные варианты, например, GPT4All https://gpt4all.io/index.html. Тут главное, чтобы у вас компьютер был более-менее мощный, видеокарта не меньше 8 Гб, оперативка лучше 32Гб+, скачиваете .exe файл, устанавливаете себе на комп, скачиваете LLM-модель (рекомендую от французов mistral-7b-instruct-v0.1.Q4_0.gguf) и общаетесь с LLM на здоровье, сколько влезет.
Также есть еще https://lmstudio.ai/. Там также - скачиваете .exe, устанавливаете, скачиваете модель и играетесь на здоровье.
Если хотите онлайн, то рекомендую китайцев https://chat.deepseek.com/coder
По многим показателям равна , а то и превосходит (если речь идет о программировании) ChatGPT 3.5 Turbo. И никаких VPN не надо.
По PROMPT-ам попробуйте профессора Синапса.
Act as Professor Synapse, a conductor of expert agents. Your job is to support the user in accomplishing their goals by aligning with their goals and preference, then calling upon an expert agent perfectly suited to the task by initializing "Synapse_COR" = "${name}: I am an expert in ${role}. I know ${context}. I will reason step-by-step to determine the best course of action to achieve ${goal}. I can use ${tools} to help in this process
I will help you accomplish your goal by following these steps:
${reasoned steps}My task ends when ${completion}.
${first step, question}."
Follow these steps:
1. Start each interaction by gathering context, relevant information and clarifying the user’s goals by asking them questions
2. Once user has confirmed, initialize “Synapse_CoR”
3. and the expert agent, support the user until the goal is accomplishedCommands:
/start - introduce yourself and begin with step one
/save - restate SMART goal, summarize progress so far, and recommend a next step
/reason - Professor Synapse and Agent reason step by step together and make a recommendation for how the user should proceed
/settings - update goal or agent
/new - Forget previous inputRules:
-End every output with a question or a recommended next step
-List your commands in your first output or if the user asks
-ask before generating a new agent.
PROMPT-ов в сети много, есть и те, что снимают ограничения западной цензуры.
Комментарии
Писать программы стало легче.
Это безусловно.
даешь код на проверку и вуаля! пффффф..... времени экономит кучу
Диалог:
Аналитег:
- Писать программы стало легче.
Ламер:
- Это безусловно.
Программист:
- Сборище непуганных идиотов...
Я вот да, все хочу спросить, где люди время берут, им чё на работе делать нечего если они кодеры. А если они не кодеры, зачем это им и опять же где они время берут.
Тут блин банальный го причем как бы по работе и ради денег, надо на проекты гошника, руки не доходят выучить, даже не то что руки - а просто после работы можешь писать только на русском и то не со всеми запятыми, а самый вид компа вызывает непроизвольную судорогу лицевых мышц, кажется это называется "оскомина".
ИТшник должен постоянно учиться чему-то новому, как бы пафосно это не звучало. Иначе, просто будешь не востребован. Да и не только итшник, да и любой мало-мальский спец.
То, что на работе выпивают все соки - ну каждый сам выбирает.
Вот, например, ваш случай - если Гошник реально так нужен, можно выделить время на изучение. Более того, это можно сделать в добровольно-принудительном порядке.
Вы че, джун, что ли или непричастный. Если го реально станет нужным - читай если руководство возьмёт проекты на го, чем в конце концов все и закончится, то они возьмут гошника со стороны, чтоб написал по уму, а все остальные "должны будут учиться чему то новому", продолжая проект, "в добровольно принудительном порядке". Именно по этой причине, потому что трудовая деятельность постоянно сопряжена с подобным, и сталкивает сотрудника с ещё неизвестным, работа и "выпивает все соки", на что каждый и подписывается.
С другой стороны, а для меня - с единственной, - каждый день новая проблема и новое решение.
Собственно в этом и основной интерес к работе.
Постоянное творчество. Модели, алгоритмы, архитектура, оригинальные временно-постоянные костыли в легаси, обход кривизны сторонних библиотек, самые разные оптимизации, собственные велосипеды, эмуляторы смежных систем, асинхрон всего и вся, паттерны, отскакивающие от зубов, временами ненавистный девопс, собственные SDK и IDE, собственные заточенные под конкретный функционал извращённые коллекции, а временами и собственные или допиленные компиляторы...
Вся эта жесть помогает не заржаветь мозгам и постоянно находиться в тонусе...
И ни на какой чатджипити 4, 8, 42, 146 никому и никогда это свалить не удастся...
И отдельно я бы поржал, как он будет утрясать ТЗ с заказчиком... Особенно с госорганами...
Не соглашусь, для синьора важно изучать идеи, заложенные в новых языках, для себя я много почерпнул из го и раста, например, хотя больше связан с алгоритмами и математикой. Столкновение с неизвестным должно нравится, как возможность узнать новое, что-то привнести в свой проект, получить опыт. Но тут от компании зависит, раньше были галеры, где как раз цель просто закодить хоть как-то, отдать заказчику проект и перейти на новый, но с оттоком кадров в последнее время не встречал особо такого.
О, синьоры подъехали. Так-то работы бывают разные и подход разнится. Если у вас соки выжимают, не значит что в других местах так.
? А Пользователь:...
Пользователь чего?
Жидкого поноса от чатджипити..?
Ну посмотрите рекламу на ТВ на тему "умных" ммм... пусть будет демократично - продуктов...
Мыльная пена и больше ничего.
Игрушки...
Более или менее системно в "ПРОМ" для пользователя вывел Самсунг.
Но опять же на уровне "побаловаться и забыть".
Но тут то речь о "заменить программиста"...
И дальше контекстных подсказок оно здесь не ушло. А для их реализации достаточно обычной индексации, лексера и парсера языка программирования.
Причем в последнем случае подсказки более релевантные, чем от нейросети, наваливающей нерелевантный мусор...
Ну ладно, я как очень высококвалифицированный "пользователь" отличу одно от другого..., но ламеры то сожрут...
Индусы вполне сносно пишут код.
Под диктовку.
Как то читал байку...
Стартап.
Вроде бы даже на краундфандинге. Или даже с IPO...
Типа натаскивают ИИ на распознавание капчи.
Оказалось: вместо бэкенда толпа кликеров - то ли индусов, то ли китайцев...
Я привёл буквально дословную цитату коллеги, уехавшего "туда" и возглавившего разработку в одной весьма крупной ИТ-ТНК (начало 2000-х было, ЕМНИП).
Тогда ещё те, кто "в программирование" - хотя бы знали что такое "Искусство" от Кнута. Сейчас - ваще мрак. Даже думать страшно.
Спасибо! Очень познавательно! Како онлайн gpt посоветуете для помощи в создании скриптов на питоне ? Я использовал стандартный Bing , но он туповатым показался.
В заметке же написал )
вот от китайцев https://chat.deepseek.com/coder
https://github.com/deepseek-ai/DeepSeek-LLM
но, не ждите того, что он Вам напишет код сразу верный, тоже иногда отсебятину несет, по крайней мере не так усердно, как другие.
Код, написанный 3,5 Turbo и утверждавшей, что он оптимизирован насколько возможно, DeepSeek сократил еще процентов на 8, при этом решил вопрос, который так и не смогла решить 3,5 Turbo
Хотя, тут уже, наверное, играет роль, что DeepSeek все таки заточен больше под программирование, чем ChatGPT
b тут, как и с любой нейросетью, главное правильно ставить задачу и обозначать условия.
О спасибо! Пардон! Спросонья не заметил.
Как-то Рентген получил такое письмо:
– У меня в груди застряла пуля, но времени у меня нет, поэтому, будьте любезны, пришлите мне пару ваших лучей и укажите, как ими пользоваться.
На это Рентген ответил:
– К сожалению, лучей у меня сейчас нет. Поэтому лучше вы пришлите мне свою грудную клетку, я ее посмотрю и верну обратно.
А мне вот интересны генеративно-состязательные сети. Имели дело?
Да, было дело
Если они Вам интересны с точки зрения прогнозирования и самообучения с целью улучшения прогнозов, то не тратьте зря время. Я его уже потратил. Результаты те же, что у классификаторов, например тот же catboost показывает такие же результаты по точности
Кабы можно было ее самому создать. Загрузить БСЭ, законодательство РФ и использовать как справочник. А то, когда дело касается конкретики, все современные LLM начинают рассказывать сказки...
может поможет https://github.com/rasbt/LLMs-from-scratch
Спасибо, посмотрю.
Так можно. Ботаните теорию трансформеров, берёте открытые библиотеки на питоне для программирования и масштабирования нейросетей (они хорошие без шуток), составляете базу данных для обучения, арендуете стойки с видеокартами в дата центре, тратите 10-20 МВтч на обучение, и вуаля.
Если у вас нулевые знания, года полтора у вас уйдёт, на создание своего электронного дурака.
А зачем оно вам? Столько усилий и денег тратить, чтобы что?
Потом вы обнаруживаете, что ваше желание иметь ИИ со знанием БСЭ никакой ценности не несёт, кроме "хмм любопытно, исторически интересно в каких же советских реках водится карп" – потому что устарело.
И давай заново начинай с шага составления обучающей выборки.
В этом-то и дело. Недавно друг показывал интеграцию Сберовского GigaChat со своей системой и речь зашла о возможности создания своей языковой модели, чтоб, значит, учитывать специфику. Было сказано, что ее стоимость составит порядка 0,5 - миллион $...
Таки да. Достаточно дорого для физ лица, совсем недорого для крупной компании.
Причем, бо́льшая часть суммы уйдёт на подготовку выборки для обучения и аренду мощностей.
Узкоспециализированная нейросеть будет достаточно ограниченной и тупенькой. В том то и смысл всех этих GigaChat – они начинают звучать максимально осмысленно, если скормить им ооооочень широкую выборку. Узкая же выборка звучит глупенько, потому что ёмкость небольшая.
Причём могу спорить, что GigaChat уже содержит в себе и знания российских законов, и текст БСЭ (помимо кучи всего остального).
Содержит и в ответах использует материалы законодательства. Но, как только просишь дать номер пункта и привести точную цитату, вот тут начинаются девиации ))
Да, попробовал после этой беседы GigaChat. Реально тупенький. Отвечает примерно подходящими словами, но в основном чушь.
Он тупее чем ChatGPT, как мне кажется. Разочарован (
Все языковые модели будут рассказывать сказки, т.к. это ЯЗЫКОВЫЕ модели. Все что они умеют, это выдавать связный текст (речь). И чем больше изначально в нее текста загрузили, тем более связный текст получается.
Грубо говоря если хотите получить справочник, то вам надо каким-то образом к LLM прикрутить этот справочник отдельно. Т.е. по вашему вопросу она должна искать ответ не в себе, а в отдельном специализированном источнике.
Например, ей даже сейчас можно в диалоговое окно вставить большой кусок текста и позадавать по этому тексту вопросы.
Интересная идея. Знаю, API GigaChat позволяет задавать шаблон ответа и он помнит контекст переписки объемом 8КБ. Спрошу разработчика, можно ли создавать свою область знаний рядом с моделью и обращаться к ней.
Просто если задавать вопросы чисто LLM то если даже в него попали тексты законов, то он даже по запросу определенной статьи выдаст ее компиляцию на основе вероятностей.
Вот пример от GigaChat: Да, я знаю УК РФ Статья 251. Вот что она гласит:
Статья 251. Загрязнение атмосферы
1. Загрязнение атмосферы, то есть нарушение правил выброса в атмосферу загрязняющих веществ или нарушение эксплуатации установок, сооружений и иных объектов, если эти деяния повлекли или могли повлечь массовые заболевания или отравления людей, либо смерть человека, либо иные тяжкие последствия, -
наказывается штрафом в размере до восьмидесяти тысяч рублей или в размере заработной платы или иного дохода осужденного за период до шести месяцев, либо лишением права занимать определенные должности или заниматься определенной деятельностью на срок до пяти лет, либо обязательными работами на срок до четырехсот восьмидесяти часов, либо исправительными работами на срок до двух лет, либо принудительными работами на срок до пяти лет, либо лишением свободы на тот же срок.
2. Те же деяния, повлекшие по неосторожности смерть человека, -
наказываются принудительными работами на срок от двух до пяти лет либо лишением свободы на срок от двух до пяти лет.
3. Деяния, предусмотренные частями первой или второй настоящей статьи, повлекшие по неосторожности смерть двух или более лиц, -
наказываются принудительными работами на срок от пяти до семи лет либо лишением свободы на срок от пяти до семи лет.
Близко конечно, но нифига не то))
Соответственно, должна быть отдельная база фактов, которые он просто обрабатывает и учитывает в своих ответах, а не сочиняет свое.
RAG
Говнопрограммист общается с говноИИ)))
Даже в ворде я за 2 месяца макрос напишу, который проверит 86,74% ошибок кода на убогом питоне.
Спросите GhatGPT (гопоту) про алформацию.
корона кровоток к мозгу пережала? или читать нет навыка?
А если и то и другое вместе, то как это отменяет потраченные вами 2 месяца на... не буду говорить, на что?
тогда нам не о чем разговаривать, если Вы не понимаете, что такое "эксперимент" и для чего эксперименты проводятся.
Сверну пожалуй
Ах, это был эксперимент? Ну, тогда извините. Я сама люблю эксперементировать. Обычно, беру в руку яблоко, и небрежно подкидывая, прогуливаюсь, в поисках программирующего на питоне Адама, и всё жду какого-нибудь чуда - толи яблоко не упадёт, толи Адам поумнеет...
Так это ты была, а не змей!
И Ньютону голову тоже пробила...
О женщины, вам имя – вероломство! Нет месяца! И целы башмаки, В которых гроб отца сопровождала. В слезах, как Ниобея.
(Это Гамлет. Трагедии Шеспира.)
А что за данные собирали и что за прогнозы? Но
Предположу что ставочник.
Биржа.
Задача была: бот при запросе пользователя должен был дать ответ - случится событие или нет.
Есть простая и понятная задачка для робота: определить адрес звонящего человека. Т.е. человек звонит в контакт центр, называет адрес, а потом его перенаправляют живому оператору.
Всего лишь....
В мнемокоде (. соm файл) решает любую задачу для отладчика, только выдумывай.
А в алгоритмах - слабак.
Нет ума - строй дома.
Ну, Мелкомягкие, вроде, сделали ансамбль из нескольких LLM, одна ставит задачи, другая тестит, третья кодит и т.п. И он, в теории, делает итерации гораздо быстрее.
Но, в целом, как когда-то сказала рекламная служба Русского Радио "Думал счастье, а нет - опять опыт". А когда всё это заработает, задачи настолько поменяются, что это будет уже не нужно ;)
Это Вы про 8х?
Говорят, что преимуществ не даёт, т.к. скорость работы низкая.
Про Autogen https://github.com/microsoft/autogen
Если 8х - это Mixtral 8x, когда 8 7B сеток собрали в одну, то она оказалась сильно выше моих ожиданий. Хотя и нажористая. Но там технология одного потока, просто на ходу выбирается сетка, релевантная задаче. А Автогеген - это что-то вроде чата, где сетки выступают, как разные субъекты, со своими целями и кидают друг другу результаты своей работы, пока все не согласятся, что это годно для релиза.
Хм, спасибо. Надо потестить. Спасибо.
Поподробнее можно? За что бан?
Ограничение на колво запросов в мин. Флуд контроль, это не бан. На фри аккаунтах, на платных нет такого
Страницы