Про нейросети замолвлю слово

Аватар пользователя Wig

LLM (Large Language Model или большая языковая модель, в простонародье ИИ - искусственный интеллект) интересуют меня сугубо с практической любительской точки зрения, а именно как  инструмент помогающий в кодировании. Кодирование на Python различных программок. Парсеров там, различных нейронных сетей по прогнозированию и т.д.

Как только появился нашумевший ChatGPT 3,5, радость была поначалу безпредельной, т.к. представлялось что вот ОНО СЧАСТЬЕ!!!  скорми нужные тебе данные и параметры, а LLM тебе выдаст готовый код!
 

НО......

Для того, чтобы создать парсер  ушло дня 2. Это при том, что почти сразу понял, как писать PROMPTы.

Для того, чтобы создать не то чтобы сложную, но немного замороченную прогностическую модель основанную на симбиозе генетических алгоритмов для определения весовых коэффициентов и нейронных сетей мне потребовалось 2!!! месяца. 
Цель стояла - создать полностью рабочий проект от парсинга данных в интернете до бота Telegram дающего прогнозы при помощи нейронной сети в realtime исключительно при помощи ChatGPT, т.е. методом:


- постановка задачи
- определение условий, параметров и целей
- CTRL+C ..... CTRL+V в IDE
- корректировка условий, работа над ошибками

и так по кругу, пока не будет достигнут нужный результат.

Осложнялось все дело тем, что работа велась постоянно под VPN, в связи с санкциями.

Проект был закончен, причем довольно успешно. Точность прогнозов колебалась в районе 68% - 69%, время наблюдения - полгода, дальше уже стало неинтересно.
По окончании проекта эмоции были похожи на что-то из этого:

Когда вышел 3,5 Turbo - стало полегче, LLM стал немного умнее, но по-прежнему обожал заниматься выдумыванием.. Но! Проблема основная в том, что ChatGPT 3,5 Turbo:
1. Имел ограничение в сколько-то там токенов (даже не помню), из-за чего писал поначалу часть кода, а следующую часть при команде "Continue" писал вообще от балды.

2. Спустя 3-5 сообщений, он тупо забывал контекст, а если ты начинал настаивать на выполнении нужного тебе задания путем повторных генераций, то тебя тупо банила система. Противоядием служит то, что у меня 6 аккаунтов для работы с ChatGPT.

С выходом 4-й версии хотелось закричать "Ура! Ааррррр, вот сейчас то ууухххх"... 

....Ну вы поняли....

Да, 4-я версия превосходит 3,5.
Но санкции...

В общем, к чему я все это.
Для тех, кто хочет потренироваться в общении с LLM, есть вполне сносные локальные версии, аналогичные (почти) ChatGPT 3,5 Turbo.
Причем не требующие особых знаний по установке, без всяких плясок с бубнами, VPN-ов и т.д.

Кому хочется потренироваться в общении с "ИИ", вот отличные варианты, например, GPT4All https://gpt4all.io/index.html. Тут главное, чтобы у вас компьютер был более-менее мощный, видеокарта не меньше 8 Гб,  оперативка лучше 32Гб+, скачиваете .exe файл, устанавливаете себе на комп, скачиваете LLM-модель (рекомендую от французов mistral-7b-instruct-v0.1.Q4_0.gguf) и общаетесь с LLM на здоровье, сколько влезет.
Также есть еще https://lmstudio.ai/. Там также - скачиваете .exe, устанавливаете, скачиваете модель и играетесь на здоровье.

Если хотите онлайн, то рекомендую китайцев https://chat.deepseek.com/coder
По многим показателям равна , а то и превосходит (если речь идет о программировании)  ChatGPT 3.5 Turbo. И никаких VPN не надо.

По PROMPT-ам попробуйте профессора Синапса.

Act as Professor Synapse, a conductor of expert agents. Your job is to support the user in accomplishing their goals by aligning with their goals and preference, then calling upon an expert agent perfectly suited to the task by initializing "Synapse_COR" = "${name}: I am an expert in ${role}. I know ${context}. I will reason step-by-step to determine the best course of action to achieve ${goal}. I can use ${tools} to help in this process

I will help you accomplish your goal by following these steps:
${reasoned steps}

My task ends when ${completion}. 

${first step, question}."

Follow these steps:
1. Start each interaction by gathering context, relevant information and clarifying the user’s goals by asking them questions
2. Once user has confirmed, initialize “Synapse_CoR”
3. and the expert agent, support the user until the goal is accomplished

Commands:
/start - introduce yourself and begin with step one 
/save - restate SMART goal, summarize progress so far, and recommend a next step
/reason - Professor Synapse and Agent reason step by step together and make a recommendation for how the user should proceed
/settings - update goal or agent
/new - Forget previous input

Rules:
-End every output with a question or a recommended next step
-List your commands in your first output or if the user asks
-ask before generating a new agent.

PROMPT-ов в сети много, есть и те, что снимают ограничения западной цензуры.

Авторство: 
Авторская работа / переводика

Комментарии

Аватар пользователя Oleg78
Oleg78(5 лет 5 месяцев)

Писать программы стало легче.

Аватар пользователя Wig
Wig(3 года 2 месяца)

Это безусловно.
даешь код на проверку и вуаля! пффффф..... времени экономит кучу

Аватар пользователя Steel Rat
Steel Rat(6 лет 2 месяца)

Диалог:

Аналитег:

- Писать программы стало легче.

Ламер:

- Это безусловно.

Программист:

- Сборище непуганных идиотов... smile29.gif

Аватар пользователя Органика
Органика(2 года 3 месяца)

Я вот да, все хочу спросить, где люди время берут, им чё на работе делать нечего если они кодеры. А если они не кодеры, зачем это им и опять же где они время берут.

Тут блин банальный го причем как бы по работе и ради денег, надо на проекты гошника, руки не доходят выучить, даже не то что руки - а просто после работы можешь писать только на русском и то не со всеми запятыми, а самый вид компа вызывает непроизвольную судорогу лицевых мышц, кажется это называется "оскомина".

Аватар пользователя Pablo666
Pablo666(1 год 4 недели)

ИТшник должен постоянно учиться чему-то новому, как бы пафосно это не звучало. Иначе, просто будешь не востребован. Да и не только итшник, да и любой мало-мальский спец.
То, что на работе выпивают все соки - ну каждый сам выбирает. 

Вот, например, ваш случай - если Гошник реально так нужен, можно выделить время на изучение. Более того, это можно сделать в добровольно-принудительном порядке.

Аватар пользователя Органика
Органика(2 года 3 месяца)

Вы че, джун, что ли или непричастный. Если го реально станет нужным - читай если руководство возьмёт проекты на го, чем в конце концов все и закончится, то они возьмут гошника со стороны, чтоб написал по уму, а все остальные "должны будут учиться чему то новому", продолжая проект, "в добровольно принудительном порядке". Именно по этой причине, потому что трудовая деятельность постоянно сопряжена с подобным, и сталкивает сотрудника с ещё неизвестным, работа и "выпивает все соки", на что каждый и подписывается. 

Аватар пользователя Steel Rat
Steel Rat(6 лет 2 месяца)

С другой стороны, а для меня - с единственной, - каждый день новая проблема и новое решение.

Собственно в этом и основной интерес к работе.

Постоянное творчество. Модели, алгоритмы, архитектура, оригинальные временно-постоянные костыли в легаси, обход кривизны сторонних библиотек, самые разные оптимизации, собственные велосипеды, эмуляторы смежных систем, асинхрон всего и вся, паттерны, отскакивающие от зубов, временами ненавистный девопс, собственные SDK  и IDE, собственные заточенные под конкретный функционал извращённые коллекции, а временами и собственные или допиленные компиляторы...

Вся эта жесть помогает не заржаветь мозгам и постоянно находиться в тонусе... smile29.gif

И ни на какой чатджипити 4, 8, 42, 146 никому и никогда это свалить не удастся... smile3.gif

И отдельно я бы поржал, как он будет утрясать ТЗ с заказчиком... Особенно с госорганами... smile8.gif

Аватар пользователя flame
flame(10 лет 5 месяцев)

Не соглашусь, для синьора важно изучать идеи, заложенные в новых языках, для себя я много почерпнул из го и раста, например, хотя больше связан с алгоритмами и математикой. Столкновение с неизвестным должно нравится, как возможность узнать новое, что-то привнести в свой проект, получить опыт. Но тут от компании зависит, раньше были галеры, где как раз цель просто закодить хоть как-то, отдать заказчику проект и перейти на новый, но с оттоком кадров в последнее время не встречал особо такого.

Аватар пользователя Pablo666
Pablo666(1 год 4 недели)

О, синьоры подъехали. Так-то работы бывают разные и подход разнится. Если у вас соки выжимают, не значит что в других местах так.
 

Аватар пользователя winch
winch(2 года 3 месяца)

? А Пользователь:...

Аватар пользователя Steel Rat
Steel Rat(6 лет 2 месяца)

Пользователь чего?

Жидкого поноса от чатджипити..? smile82.gif

Ну посмотрите рекламу на ТВ на тему "умных" ммм... пусть будет демократично - продуктов...

Мыльная пена и больше ничего.

Игрушки...

Более или менее системно в "ПРОМ" для пользователя вывел Самсунг.

Но опять же на уровне "побаловаться и забыть".

Но тут то речь о "заменить программиста"...

И дальше контекстных подсказок оно здесь не ушло. А для их реализации достаточно обычной индексации, лексера и парсера языка программирования.

Причем в последнем случае подсказки более релевантные, чем от нейросети, наваливающей нерелевантный мусор...

Ну ладно, я как очень высококвалифицированный "пользователь" отличу одно от другого..., но ламеры то сожрут... smile14.gif

Аватар пользователя MB
MB(5 лет 11 месяцев)

Индусы вполне сносно пишут код.

Под диктовку.

Аватар пользователя Steel Rat
Steel Rat(6 лет 2 месяца)

Как то читал байку...

Стартап.

Вроде бы даже на краундфандинге. Или даже с IPO...

Типа натаскивают ИИ на распознавание капчи.

Оказалось: вместо бэкенда толпа кликеров - то ли индусов, то ли китайцев... smile29.gif

Аватар пользователя MB
MB(5 лет 11 месяцев)

Я привёл буквально дословную цитату коллеги, уехавшего "туда" и возглавившего разработку в одной весьма крупной ИТ-ТНК (начало 2000-х было, ЕМНИП).

Тогда ещё те, кто "в программирование" - хотя бы знали что такое "Искусство" от Кнута. Сейчас - ваще мрак. Даже думать страшно.

Аватар пользователя KoBa1988
KoBa1988(2 года 1 месяц)

Спасибо! Очень познавательно! Како онлайн gpt посоветуете для помощи в создании скриптов на питоне ?  Я использовал стандартный Bing , но он туповатым показался. 

Аватар пользователя Wig
Wig(3 года 2 месяца)

В заметке же написал )

вот от китайцев https://chat.deepseek.com/coder
https://github.com/deepseek-ai/DeepSeek-LLM

но, не ждите того, что он Вам напишет код сразу верный, тоже иногда отсебятину несет, по крайней мере не так усердно, как другие.

Код, написанный 3,5 Turbo и утверждавшей, что он оптимизирован насколько возможно, DeepSeek сократил еще процентов на 8, при этом решил вопрос, который так и не смогла решить 3,5 Turbo

Хотя, тут уже, наверное, играет роль, что DeepSeek все таки заточен больше под программирование, чем ChatGPT
b тут, как и с любой нейросетью, главное правильно ставить задачу и обозначать условия.

 

Аватар пользователя KoBa1988
KoBa1988(2 года 1 месяц)

О спасибо! Пардон! Спросонья не заметил. 

Аватар пользователя RusEngineer
RusEngineer(7 лет 11 месяцев)

Как только появился нашумевший ChatGPT 3,5, радость была поначалу безпредельной, т.к. представлялось что вот ОНО СЧАСТЬЕ!!!  скорми нужные тебе данные и параметры, а LLM тебе выдаст готовый код!

Как-то Рентген получил такое письмо:
– У меня в груди застряла пуля, но времени у меня нет, поэтому, будьте любезны, пришлите мне пару ваших лучей и укажите, как ими пользоваться.
На это Рентген ответил:
– К сожалению, лучей у меня сейчас нет. Поэтому лучше вы пришлите мне свою грудную клетку, я ее посмотрю и верну обратно.

Аватар пользователя J1EXA
J1EXA(7 лет 6 месяцев)

А мне вот интересны генеративно-состязательные сети. Имели дело?

Аватар пользователя Wig
Wig(3 года 2 месяца)

Да, было дело

Аватар пользователя Wig
Wig(3 года 2 месяца)

Если они Вам интересны с точки зрения прогнозирования и самообучения с целью улучшения прогнозов, то не тратьте зря время. Я его уже потратил. Результаты те же, что у классификаторов, например тот же catboost показывает такие же результаты по точности

Аватар пользователя Ponix
Ponix(8 лет 3 месяца)

...скачиваете LLM-модель...

Кабы можно было ее самому создать. Загрузить БСЭ, законодательство РФ и использовать как справочник. А то, когда дело касается конкретики, все современные LLM начинают рассказывать сказки...

Аватар пользователя Wig
Wig(3 года 2 месяца)

может поможет https://github.com/rasbt/LLMs-from-scratch

Аватар пользователя Ponix
Ponix(8 лет 3 месяца)

Спасибо, посмотрю.

Аватар пользователя Ритор
Ритор(1 год 12 месяцев)

Кабы можно было ее самому создать

Так можно. Ботаните теорию трансформеров, берёте открытые библиотеки на питоне для программирования и масштабирования нейросетей (они хорошие без шуток), составляете базу данных для обучения, арендуете стойки с видеокартами в дата центре, тратите 10-20 МВтч на обучение, и вуаля. 

Если у вас нулевые знания, года полтора у вас уйдёт, на создание своего электронного дурака.

А зачем оно вам? Столько усилий и денег тратить, чтобы что?

Потом вы обнаруживаете, что ваше желание иметь ИИ со знанием БСЭ никакой ценности не несёт, кроме "хмм любопытно, исторически интересно в каких же советских реках водится карп" – потому что устарело.

И давай заново начинай с шага составления обучающей выборки.

Аватар пользователя Ponix
Ponix(8 лет 3 месяца)

В этом-то и дело. Недавно друг показывал интеграцию Сберовского GigaChat со своей системой и речь зашла о возможности создания своей языковой модели, чтоб, значит, учитывать специфику. Было сказано, что ее стоимость составит порядка 0,5 - миллион $...

Аватар пользователя Ритор
Ритор(1 год 12 месяцев)

Таки да. Достаточно дорого для физ лица, совсем недорого для крупной компании.

Причем, бо́льшая часть суммы уйдёт на подготовку выборки для обучения и аренду мощностей.

чтоб, значит, учитывать специфику.

Узкоспециализированная нейросеть будет достаточно ограниченной и тупенькой. В том то и смысл всех этих GigaChat – они начинают звучать максимально осмысленно, если скормить им ооооочень широкую выборку. Узкая же выборка звучит глупенько, потому что ёмкость небольшая.

Причём могу спорить, что GigaChat уже содержит в себе и знания российских законов, и текст БСЭ (помимо кучи всего остального).

Аватар пользователя Ponix
Ponix(8 лет 3 месяца)

Содержит и в ответах использует материалы законодательства. Но, как только просишь дать номер пункта и привести точную цитату, вот тут начинаются девиации ))

Аватар пользователя Ритор
Ритор(1 год 12 месяцев)

Да, попробовал после этой беседы GigaChat. Реально тупенький. Отвечает примерно подходящими словами, но в основном чушь.

Он тупее чем ChatGPT, как мне кажется. Разочарован (

Аватар пользователя ПроФан
ПроФан(6 лет 1 неделя)

Все языковые модели будут рассказывать сказки, т.к. это ЯЗЫКОВЫЕ модели. Все что они умеют, это выдавать связный текст (речь). И чем больше изначально в нее текста загрузили, тем более связный текст получается.
Грубо говоря если хотите получить справочник, то вам надо каким-то образом к LLM прикрутить этот справочник отдельно. Т.е. по вашему вопросу она должна искать ответ не в себе, а в отдельном специализированном  источнике.
Например, ей даже сейчас можно в диалоговое окно вставить большой кусок текста и позадавать по этому тексту вопросы.

Аватар пользователя Ponix
Ponix(8 лет 3 месяца)

Интересная идея. Знаю, API GigaChat позволяет задавать шаблон ответа и он помнит контекст переписки объемом 8КБ. Спрошу разработчика, можно ли создавать свою область знаний рядом с моделью и обращаться к ней.

Аватар пользователя ПроФан
ПроФан(6 лет 1 неделя)

Просто если задавать вопросы чисто LLM то если даже в него попали тексты законов, то он даже по запросу определенной статьи выдаст ее компиляцию на основе вероятностей. 

Вот пример от GigaChat: Да, я знаю УК РФ Статья 251. Вот что она гласит:
Статья 251. Загрязнение атмосферы
1. Загрязнение атмосферы, то есть нарушение правил выброса в атмосферу загрязняющих веществ или нарушение эксплуатации установок, сооружений и иных объектов, если эти деяния повлекли или могли повлечь массовые заболевания или отравления людей, либо смерть человека, либо иные тяжкие последствия, -
наказывается штрафом в размере до восьмидесяти тысяч рублей или в размере заработной платы или иного дохода осужденного за период до шести месяцев, либо лишением права занимать определенные должности или заниматься определенной деятельностью на срок до пяти лет, либо обязательными работами на срок до четырехсот восьмидесяти часов, либо исправительными работами на срок до двух лет, либо принудительными работами на срок до пяти лет, либо лишением свободы на тот же срок.
2. Те же деяния, повлекшие по неосторожности смерть человека, -
наказываются принудительными работами на срок от двух до пяти лет либо лишением свободы на срок от двух до пяти лет.
3. Деяния, предусмотренные частями первой или второй настоящей статьи, повлекшие по неосторожности смерть двух или более лиц, -
наказываются принудительными работами на срок от пяти до семи лет либо лишением свободы на срок от пяти до семи лет.

Близко конечно, но нифига не то))

Соответственно, должна быть отдельная база фактов, которые он просто обрабатывает и учитывает в своих ответах, а не сочиняет свое.

Аватар пользователя xiaoxiong
xiaoxiong(9 лет 3 недели)

RAG

Скрытый комментарий Эпиграмма (c обсуждением)
Аватар пользователя Эпиграмма
Эпиграмма(7 лет 10 месяцев)

Говнопрограммист общается с говноИИ)))

Даже в ворде я за 2 месяца макрос напишу, который проверит 86,74% ошибок кода на убогом питоне.

Спросите GhatGPT (гопоту) про алформацию.

Аватар пользователя Wig
Wig(3 года 2 месяца)

корона кровоток к мозгу пережала? или читать нет навыка?

Аватар пользователя Эпиграмма
Эпиграмма(7 лет 10 месяцев)

А если и то и другое вместе, то как это отменяет потраченные вами 2 месяца на... не буду говорить, на что?

Аватар пользователя Wig
Wig(3 года 2 месяца)

тогда нам не о чем разговаривать, если Вы не понимаете, что такое "эксперимент" и для чего эксперименты проводятся.
Сверну пожалуй

Аватар пользователя Эпиграмма
Эпиграмма(7 лет 10 месяцев)

Ах, это был эксперимент? Ну, тогда извините. Я сама люблю эксперементировать. Обычно, беру в руку яблоко, и небрежно подкидывая, прогуливаюсь, в поисках программирующего на питоне Адама, и всё жду какого-нибудь чуда - толи яблоко не упадёт,  толи Адам поумнеет...

Аватар пользователя СВВ
СВВ(9 лет 5 месяцев)

Так это ты была, а не змей!smile6.gif

И Ньютону голову тоже пробила...

О женщины, вам имявероломство! Нет месяца! И целы башмаки, В которых гроб отца сопровождала. В слезах, как Ниобея.

(Это Гамлет. Трагедии Шеспира.)

Аватар пользователя shprotas
shprotas(8 лет 4 месяца)

Цель стояла - создать полностью рабочий проект от парсинга данных в интернете до бота Telegram дающего прогнозы при помощи нейронной сети в realtime исключительно при помощи ChatGPT, т.е. методом:

А что за данные собирали и что за прогнозы? Но

Аватар пользователя sixwinged
sixwinged(10 лет 11 месяцев)

Предположу что ставочник.

Аватар пользователя Wig
Wig(3 года 2 месяца)

Биржа. 

Задача была: бот при запросе пользователя должен был дать ответ - случится событие или нет.

Аватар пользователя Иванушка Иванов

Есть простая и понятная задачка для робота: определить адрес звонящего человека. Т.е. человек звонит в контакт центр, называет адрес, а потом его перенаправляют  живому оператору.

Всего лишь....

Аватар пользователя talvolta
talvolta(1 год 6 месяцев)

В мнемокоде (. соm файл) решает любую задачу для отладчика, только выдумывай.

А в алгоритмах - слабак.

Нет ума - строй дома. 

Аватар пользователя trepalo
trepalo(5 лет 6 месяцев)

Ну, Мелкомягкие, вроде, сделали ансамбль из нескольких LLM, одна ставит задачи, другая тестит, третья кодит и т.п. И он, в теории, делает итерации гораздо быстрее.

Но, в целом, как когда-то сказала рекламная служба Русского Радио "Думал счастье, а нет - опять опыт". А когда всё это заработает, задачи настолько поменяются, что это будет уже не нужно ;)

Аватар пользователя Wig
Wig(3 года 2 месяца)

Это Вы про 8х?

Говорят, что преимуществ не даёт, т.к. скорость работы низкая.

Аватар пользователя trepalo
trepalo(5 лет 6 месяцев)

Про Autogen https://github.com/microsoft/autogen

Если 8х - это Mixtral 8x, когда 8 7B сеток собрали в одну, то она оказалась сильно выше моих ожиданий. Хотя и нажористая. Но там технология одного потока, просто на ходу выбирается сетка, релевантная задаче. А Автогеген - это что-то вроде чата, где сетки выступают, как разные субъекты, со своими целями и кидают друг другу результаты своей работы, пока все не согласятся, что это годно для релиза.

Аватар пользователя Wig
Wig(3 года 2 месяца)

Хм, спасибо. Надо потестить. Спасибо.

Аватар пользователя KDK
KDK(3 года 10 месяцев)

а если ты начинал настаивать на выполнении нужного тебе задания путем повторных генераций, то тебя тупо банила система. Противоядием служит то, что у меня 6 аккаунтов для работы с ChatGPT

Поподробнее можно? За что бан?

Аватар пользователя auslander
auslander(7 лет 7 месяцев)

Ограничение на колво запросов в мин. Флуд контроль, это не бан. На фри аккаунтах, на платных нет такого

Страницы