В мире сейчас десятки компаний пытаются повторить успех языковой модели ChatGPT. Однако разработчики из Университета Стэнфорда смогли это сделать по-своему. Там создали Alpaca 7B, которая работает подобно ChatGPT, но построена на языковой модели с открытым кодом. А на обучение ушло всего лишь 600 долларов, тогда как обучение ChatGPT оценивается в миллионы долларов.
Источник: Depositphotos
В основе лежит модель Meta LLaMA 7B, которую обучили определённым образом. Важно отметить, что это самая маленькая модель серии LLaMA. В базовом варианте она отставала от ChatGPT в большинстве задач, однако после необходимого обучения даже превзошла.
Тесты в задачах, связанных с электронной почтой, социальных сетях и инструментах производительности, Alpaca победила в 90 из этих тестов, а GPT – в 89.
«Мы были удивлены результатом, учитывая небольшой размер модели и скромный объем данных для выполнения инструкций. Кроме использования этого набора статических оценок, мы также тестировали Alpaca в интерактивном режиме и обнаружили, что она часто ведет себя подобно GPT-3.5 на различных входных данных. Мы признаем, что наша оценка может быть ограничена в масштабе и разнообразии», – сообщили разработчики.
При этом отметим, что такие нейросети можно запускать на обычных ПК или даже на одноплатных системах, подобных Raspberry Pi.
Комментарии
Скоро ChatGPT будет создавать себе подобных за подписку в 20$.
По моему скачать дороже. Значит скапитализдили вместе с диском.
А может весь этот Искусственный Идиот такой же пузырь по отмывке бабла?
С чего бы? Работающий результат есть
Разговор не за результат, а за его цену. Похоже, что у микрософта чересчур много гудвила.
Таки им надо было наработать нейросеть с 170 млн параметров...это для суперкомпьютера задача, который работал несколько лет
Вообще не выглядит как деньги вникуда
А вы уверены, что это так? Или нам впаривают про 170 млн и суперкомпьютер?
Тема качества программирования очень зависит от качества постановки задач. Если посавили задачу работать через реляционные СУБД - то 170 млн и суперкомпьютер - может быть реальностью.
Если поставить более кнкретную задачу и оптимизировать не постановку задач, а ТТ - ну без СУБД реляционных например (или наоборот) - результат можно будет получить быстрее, короче и дешевле.
Так что - ну цели мелкософта известны - бабло вперед всего. И освоение гигабайт и гигагерц.
Мне в работе помогает в реальных задачах. Проработка тупой рутины которая может занять часы и быстрое руководство в смежных областях с разбором конкретных вводных.
Пользуюсь бесплатно.
Пример задачи можете привести?
Последний пример такой рутины:
есть список цветов записанных словами "Green, brown, ЗЕЛЕНЫЙ, светло-зеленый, черн бел, фуксия, шоколад" и т.п. на более сотни записей. Понадобилось из них составить php массив где названиям сопоставлены RGB hex коды. Составил, явно двойным цветам самостоятельно сделал запись через слеш "000/FFF".
Помог с составлением команд bash и настройкой gulp. По ходу дела объясняет что за что отвечает, разъясняет сообщения системы об ошибках, предлагает решения. Показывает неочевидные зависимости. Например в файле настройки gulp не было стандартного указания на минификацию результирующих файлов, подсказал в каких еще файлах могут быть возможности и в листинге одного из них указал что вот в этой строке подключен webpack, а вот он уже может.
Это все экономит время.
Есть несколько вариантов:
1. Путь по проторенной дороге требует меньше ресурсов и затрат. Живой пример: вы видели что по дорогам ездят Яндексовские автопилотные машины с водителями внутри - они производят базу для обучения - пишут как в зависимости от ситуации на дороге которая виится датчиками машины, реагировал живой водитель. Представляете во что обходится создание этой базы? Зарплата водителей, нажег топлива и масла, аммортизация машин в конце концов.
А сколько будет стоить потом обучение новой нейросети на уже имеющейся базе данных?
2. Вариант что создатели нашли какой-то способ создать базу обучения на основе уже имеющихся баз, без участия персонала.
Товарищи взяли модель готовую 7B те 7 миллиардов параметров и чуть дообучили. А так для понимания, GPT-3 это 175B параметров, обучение занимает 350 GPU-лет. Те для модели, что использовалась в этой статье было потрачено 14 GPU-лет или 1000 GPU посчитают эту модель за 5 дней. Из этих цифр и складываются дикие деньги за эти модели.
У нас тут есть Oracle - свой аналог чатЖПТ. Бесплатен ибо категорически необучаем, но тексты генерит феерические. На улицах Филадельфии такие приходы только у считанных торчков случаются.
"Чат гопоты" это все-таки не про генерацию текста (хоть и про нее тоже). Штука ведь в основном действительно разбирается в том что ее спросили, и способна дать развернутый ответ на базе того, чем ее кормили последние годы.
https://habr.com/ru/company/ods/blog/716918/
https://habr.com/ru/company/ods/blog/722644/
А кто сказал, что для обучения нужны большие данные?
Для обучения нужные уникальные признаки. Которые можно вбить на ноуте. Естественно, если их знать.
Вон, в качестве хобби сбацали медицинский ИИ www.marrint.ru на знании ключевых признаков, без Германа Графа с его 30+ тысяч программистов и миллионов записей от участковых тёток.
www.martint.ru
Очередной симулякр.
Это ж надо так лохануться!
Цену чуток сбивать надо!
так-то ожидаемо
Конкретная задача. Есть ссылки на телегу, ВК или типа того, где размещен видеоролик с watermark. Мне нужно найти его чистый оригинал, размещенный автором в каком-нибудь местечковом паблике. Сам пытался, но успеха 1% даже если известно место и время действия. Есть ИИ, который справится?
Нет, конечно. ну может сделают со временем, но зачем. Проще новый сгенерировать.
Ну с Ламой насколько я знаю вопрос, в частных случаях да, т.к. это утечка "Метавского" типа ИИ который они форсили в свободном лицензии, опубликовали где-то на каком-то трекере и расфоркали потом)
Они взяли уже натренированную модель от Меты и потратили 600 баксов на тонкую подгонку весов с использованием LoRA. Новость из серии ученый покусал журналиста ) Суть данного действия доказать, что LoRA работает. А не в том, что можно 6-138B модели можно на raspberry pi генерить.
> работает подобно ChatGPT
ну о**ть теперь
Странно что ссылок нет на новый ИИ. Если говорите, что как чатЖПТ работает, то одно из двух: 1) сделайте копию и дайте всем доступ поиграть, или 2) не трындите
Да на морде эта модель давно лежит.
https://huggingface.co/decapoda-research/llama-7b-hf, https://huggingface.co/spaces/tloen/alpaca-lora
можно было уложиться в 100$:
новая прога запрос пользователя копирует в ГПТ-чат, а ответ чата отправляет пользователю. PROFIT!!!
Эх... Опередили)))
Ссылка на Хобот фуу, хохлопидоры
У меня забанили 20-летний акк за спор-опуск хохлов нагнетающих против России после 2014. Больше туда ни ногой, пусть опустятся вместе с ними на Дно и исчезнут как и 3dnews, такой же желто-синий десант, несколько раз забанили за ответы хохлам на неудобные темы в 2014..не знаю как сейчас, но тогда они мне все открыли - в бан.
Новые технологии стоят на месте, из-за торможения Китая, максимум модифицируют старые экраны и немного ускоряют скорость без революций, не как это было раньше каждый год реальные новинки типа в этом году смартфон, в следующем часы, в следующем очки и тд, по-этому все эти ресурсы сгниют. Ничего нового не придумывают уже лет 10.. для примера запустил на 3080 atomic heart может и красиво, но 20 лет назад у всех был шок от NFS Underground..
Про ИИ везде пишут в новостях, где только можно, АШ не исключение..по-этому эти «железные» сайты давно никому не нужны.
Так любая технология имеет ограничения среды. Новые тепловозы уже 70 лет не придумывают, например. Или новые авиалайнеры. Моя бабка в 60-х летала в Анапу практически на таком же лайнере, на котором сейчас летает мой сын, а скоро и мои внуки полетят.
Любая технология имеет потолок. И ни одна не развивается вечно.
ИИ это может вообще сейчас единственное, что хоть как-то развивается. Остальное уже под потолком. Поэтому ИИ и привлекает внимание.
Интересно где там предел возможностей. Должен же там быть предел.)) А то как-то сыкотно становится.
С ума посходили со своими ИИ да GPT, жаль, у некоторых своего И, не искусственного, нет, порой.