Неужели (китайское) программное обеспечение внезапно пожирает Мир ?

Аватар пользователя Mike1975

Автор: Чарльз Хью Смит

Я не уверен, что «программное обеспечение поглотит мир», но оно может одним махом поглотить пузырь на фондовом рынке.

Является ли DeepSeek «моментом Спутника» ? Давайте разберёмся. Запуск Советским Союзом в октябре 1957 года первого в мире искусственного спутника «Спутник-1» ошеломил США, которые считали, что лидируют в «космической гонке». (Как оказалось, у США была возможность запустить спутник до «Спутника», но они не сделали этого по разным причинам.)

То, что геополитический соперник переработал достижения и обогнал США, шокировало Америку и побудило её к многолетней ответной реакции, которая завершилась, по крайней мере в общественном сознании, победой Америки в «гонке за Луной» и высадкой первых людей на Луну в июле 1969 года в рамках миссии «Аполлон-11».

Шок, вызванный выпуском китайской компанией на прошлой неделе набора инструментов ИИ под названием DeepSeek, вполне может сравниться с шоком от запуска «Спутника», поскольку инструменты ИИ DeepSeek, по-видимому, соответствуют тем же критериям, что и инструменты ИИ, выпущенные OpenAI и другими компаниями, но требуют гораздо меньше вычислительных ресурсов.

DeepSeek достигает своих возможностей не за счёт дорогостоящего оборудования (процессоров), а за счёт достижений в программном обеспечении, которое можно использовать на смартфонах. Программные инновации, внедрённые в DeepSeek, имеют серьёзные финансовые последствия для компаний, производящих дорогостоящие процессоры, необходимые для обычных центров обработки данных с искусственным интеллектом - Nvidia является доминирующим производителем микросхем на этом рынке, - и крупных технологических компаний, тратящих миллиарды долларов (в финансовой сфере это называется capex, сокращение от капитальных затрат) на создание инструментов искусственного интеллекта, которые они в конечном итоге могут продавать по модели подписки.

Программное обеспечение DeepSeek устраняет:

1) Потребность в сверхэнергозатратных и сверхдорогих процессорах,

2) Необходимость в огромном количестве электроэнергии и

3) Рынок платных инструментов ИИ с подпиской, поскольку программное обеспечение DeepSeek работает на стандартных процессорах и выпущено как программное обеспечение с открытым исходным кодом, которое можно загрузить и запустить в автономном режиме на локальных ресурсах, таких как ПК или смартфоны.

По сути, монополия на аппаратное обеспечение ИИ и квазимонополия на программное обеспечение ИИ были разрушены, и, как Шалтай-Болтай, их уже не собрать заново. Я скептически относился к DeepSeek, но моя корреспондентка Шерил А. прислала мне эту статью, которая изменила моё мнение. Автор подробно описывает свои достижения в области ИИ и инвестирования, и отвергать это как необоснованное утверждение, скорее всего, будет ошибкой.

Краткий обзор для акций Nvidia

Я внимательно прочитал раздел «Теоретические риски» и пришёл к выводу, что разработчики DeepSeek взяли потерю точности, возникающую в конце работы обычного ИИ из-за сжатия, и перенесли её в процесс обучения/вознаграждения, где она выполнялась с меньшей точностью, но с 45-кратной экономией ресурсов процессора/памяти/затрат.

Необходимость - мать изобретения: не имея возможности массово закупать чипы NVDA, китайские программисты были вынуждены внедрять инновации в программное обеспечение, как и программисты, участвовавшие в миссиях дальнего космоса, таких как «Вояджер-1», у которых на борту были крайне ограниченные ресурсы процессора и памяти. Разработчики DeepSeek умело использовали программное обеспечение, чтобы избежать необходимости в сверхмощных вычислительных ресурсах.

«Вояджер-1», запущенный в 1977 году с трёмя крошечными компьютерами, вмещающими в общей сложности 69 килобит памяти (одна фотография в формате JPEG с низким разрешением) и способными обрабатывать 8 килобит в секунду, до сих пор работает спустя 47 лет после запуска. Программисты устранили неисправность компонента с помощью умного программного обеспечения.

Некоторые из хитроумных программных приёмов, используемых DeepSeek, напомнили мне обходные пути, использованные командой "Вояджера" в прошлом году, когда космический корабль перестал отвечать на запросы. Стоит прочитать этот краткий отчёт об их обходном пути:

«Вояджер-1» НАСА возобновляет отправку технических обновлений на Землю:

Команда обнаружила, что один из чипов, отвечающих за хранение части памяти FDS, в том числе части программного кода компьютера FDS, не работает. Из-за потери этого кода научные и технические данные стали непригодными для использования. Не имея возможности починить чип, команда решила разместить повреждённый код в другом месте памяти FDS. Но ни одно место не было достаточно большим, чтобы вместить весь код целиком.

Поэтому они разработали план, согласно которому нужно было разделить затронутый код на части и хранить эти части в разных местах в FDS. Чтобы этот план сработал, нужно было также изменить эти части кода, чтобы, например, они продолжали работать как единое целое. Также нужно было обновить все ссылки на расположение этого кода в других частях памяти FDS.

Команда начала с выделения кода, отвечающего за упаковку инженерных данных космического аппарата. 18 апреля они отправили его на новое место в памяти FDS. Радиосигналу требуется около 22 с половиной часов, чтобы достичь «Вояджера-1», который находится на расстоянии более 15 миллиардов миль (24 миллиарда километров) от Земли, и ещё 22 с половиной часа, чтобы сигнал вернулся на Землю. Когда 20 апреля команда, управлявшая полётом, получила ответ от космического аппарата, они увидели, что модификация сработала: впервые за пять месяцев они смогли проверить работоспособность и состояние космического аппарата.

Я также скептически относился к возможности, которую мне предложил Адам Таггарт, ведущий Thoughtful Money, что DeepSeek может оказаться тем самым «чёрным лебедем», который схлопнет пузырь ИИ. Теперь мне кажется, что это не просто возможность, а неизбежность. Просто больше нет преимуществ, которые дают сверхэнергозатратные и дорогостоящие чипы, с точки зрения создания продукта, за который стоит платить, когда уже доступны бесплатные эквивалентные инструменты, которые могут работать в автономном режиме на автономных устройствах. Это означает, что у программного обеспечения не может быть скрытого «обратного вызова».

А учитывая, что акции Mag 7, в которые вложено много средств в ИИ, составляют почти 40% от общей рыночной капитализации фондового рынка США, а также глобальную концентрацию акционерного капитала на рынке США, то лопнувший пузырь ИИ схлопнет и весь мировой фондовый рынок, а вместе с ним и весь мировой пузырь всего в рискованных активах.

Многозначительная фраза «программное обеспечение пожирает мир» может проявиться так, как инвесторы в ИИ и представить себе не могли, когда они прогнозировали миллиарды долларов прибыли с высокой маржой от чипов и инструментов ИИ. Что бы мы ни думали о подходе DeepSeek, другие быстро воспользуются его набором инструментов с открытым исходным кодом и разработают собственные инновации на основе его основных структур.

Мы можем быть уверены, что умные люди уже слышали разговор Дэйва и HAL 9000 о необходимости энергозатратных чипов и высоких ежемесячных платежах за инструменты ИИ:

Дэйв: "Увеличьте количество заказов на чипы NVIDIA".

ХЭЛ: "Извини, Дэйв. Боюсь, я не могу этого сделать. Нам больше не нужны чипы NVIDIA".

Дэйв: "Увеличьте ежемесячную плату за все инструменты".

ХЭЛ: "Извини, Дэйв. Боюсь, я не могу этого сделать. Программное обеспечение доступно бесплатно для всех, у кого есть смартфон".

Я не уверен, что программное обеспечение поглотит мир, но оно может одним махом уничтожить пузырь на фондовом рынке.

Авторство: 
Авторская работа / переводика
Комментарий автора: 

Киборги - они заполонили всю планету...

Если не энергетический кризис, который местами уже имеет место быть, а благодаря безумной трате электричества на функционирование мощных "карточных ИИ" усилится, то кризис интернета, когда благодаря блокчейну и распределённым вычислениям его возможности поглотят всевозможные альтернативные ИИ.

А вы говорите, Ютуб замедлился... 

Комментарии

Аватар пользователя fzr1000
fzr1000(4 года 8 месяцев)

Любопытно - чем все это кончится 

Аватар пользователя m.kozh
m.kozh(5 лет 9 месяцев)

тем же чем закончилось внедрение станков с ЧПУ. Некоторые вещи будут производиться при меньшем участии человека. учитывая что человеков становится меньше, это даже полезно. Через некоторое время система вновь придет к равновесию. Пока не придумают что-нибудь еще, типа прямого преобразования энергии в вещество.

Аватар пользователя Надоело
Надоело(4 года 3 месяца)

учитывая что человеков становится меньше

Это в какой вселенной?

Аватар пользователя m.kozh
m.kozh(5 лет 9 месяцев)

а вы посмотрите не на текущую рождаемость, а на её изменение.

Аватар пользователя Надоело
Надоело(4 года 3 месяца)

Посмотрел - человеков на земле всё больше

Аватар пользователя Андрей Не Очень

читается хорошо

Аватар пользователя Тарелкин
Тарелкин(9 лет 2 месяца)

Интересно. А если завтра/чуток попозже китайцы вбросят нечто, что снесет систему майнинга на криптовалюту?

Аватар пользователя Mike1975
Mike1975(7 лет 1 месяц)

Ух-х-х !

Аватар пользователя serguchcho
serguchcho(9 лет 5 месяцев)

"Впервые я пережил ужас – подлинный ужас, а не встречу с демонами или призраками, живущими в моем воображении, – в один октябрьский день 1957 года. Мне только что исполнилось десять. И, как полагается, я находился в кинотеатре – в театре “Стратфорд” в центре города Стратфорд, штат Коннектикут.

И вот как раз в тот момент, когда в последней части фильма пришельцы готовятся к атаке на Капитолий, лента остановилась. Экран погас. Кинотеатр был битком набит детьми, но, как ни странно, все вели себя тихо. Если вы обратитесь к дням своей молодости, то вспомните, что толпа детишек умеет множеством способов выразить свое раздражение, если фильм прерывается или начинается с опозданием: ритмичное хлопанье; великий клич детского племени “Мы хотим кино! Мы хотим кино! Мы хотим кино!”; коробки от конфет, летящие в экран; трубы из пачек от попкорна, да мало ли еще что. Если у кого–то с четвертого июля сохранилась в кармане хлопушка, он непременно вынет ее, покажет приятелям, чтобы те одобрили и восхитились, а потом зажжет и швырнет к потолку.

Но в тот октябрьский день ничего похожего не произошло. И пленка не порвалась – просто выключили проектор. А дальше случилось нечто неслыханное: в зале зажгли свет. Мы сидели, оглядываясь и мигая от яркого света, как кроты.

На сцену вышел управляющий и поднял руку, прося тишины, – совершенно излишний жест. Я вспомнил этот момент шесть лет спустя, в 1963 году, в ноябрьскую пятницу, когда парень, который вез нас домой из школы, сказал, что в Далласе застрелили президента.

Мы сидели на стульях, как манекены, и смотрели на управляющего. Вид у него был встревоженный и болезненный – а может, это было виновато освещение. Мы гадали, что за катастрофа заставила его остановить фильм в самый напряженный момент, но тут управляющий заговорил, и дрожь в его голосе еще больше смутила нас.

– Я хочу сообщить вам, – начал он, – что русские вывели на орбиту вокруг Земли космический сателлит. Они назвали его… “спутник”.

Сообщение было встречено абсолютным, гробовым молчанием. Полный кинотеатр детишек с ежиками и хвостиками, в джинсах и юбках, с кольцами Капитана Полночь, детишек, которые только что узнали Чака Берри и Литтла Ричардса и слушали по вечерам нью–йоркские радиостанции с таким замиранием сердца, словно это были сигналы с другой планеты. Мы выросли на Капитане Видео и “Терри и пиратах”. Мы любовались в комиксах, как герой Кейси разбрасывает, как кегли, целую кучу азиатов. Мы видели, как Ричард Карлсон в “Я вел тройную жизнь” (I Led Three Lives) тысячами ловит грязных коммунистических шпионов. Мы заплатили по четверть доллара за право увидеть Хью Марлоу в “Земле против летающих тарелок” и в качестве бесплатного приложения получили эту убийственную новость.

Помню очень отчетливо: страшное мертвое молчание кинозала вдруг было нарушено одиноким выкриком; не знаю, был это мальчик или девочка, голос был полон слез и испуганной злости: “Давай показывай кино, врун!»

Управляющий даже не посмотрел в ту сторону, откуда донесся голос, и почему–то это было хуже всего. Это было доказательство. Русские опередили нас в космосе. Где–то над нашими головами, триумфально попискивая, несется электронный мяч, сконструированный и запущенный за железным занавесом. Ни Капитан Полночь, ни Ричард Карлсон (который играл в “Звездных всадниках” (Riders to the Stars), боже, какая горькая ирония) не смогли его остановить. Он летел там, вверху.., и они назвали его “спутником”. Управляющий еще немного постоял, глядя на нас; казалось, он ищет, что бы еще добавить, но не находит. Потом он ушел, и вскоре фильм возобновился."

Из автобографической книги Стивена Кинга "Пляска смерти" (1981 г.)

Аватар пользователя Mike1975
Mike1975(7 лет 1 месяц)

Теперь они просто не смотрят вверх.

Аватар пользователя Podvoh
Podvoh(10 лет 5 месяцев)

Интересно что случится на фондовом рынке если китайцы зажгут токамак на непрерывной основе.

Аватар пользователя Тигр Шрёдингера

Ничего, они его не зажгут (ну только если бамбуком)

Аватар пользователя Podvoh
Podvoh(10 лет 5 месяцев)

Месяц назад примерно так же говорили про пацанов из дипсик.

А бамбук то у них оказался забористый. Не хуже советских лаптей в пять тонн весом.

Аватар пользователя Тигр Шрёдингера

Про алгоритмы для ИИ не скажу, а Физика точно пошлет в пешее непристойное

Аватар пользователя АЧТ
АЧТ(9 лет 1 месяц)

Токамак может зажечь каждый.

Проблема, как снять энергию с быстрых нейтронов.

Аватар пользователя Podvoh
Podvoh(10 лет 5 месяцев)

Токамак может зажечь каждый.

Зажечь каждый, удерживать горение никто. Ну то есть пока это напоминает сцену из кино "будь проклят день, когда я сел за баранку этого пылесоса".

как снять энергию с быстрых нейтронов.

Пока старым дедовским, преобразования тепла в электроэнергию. Только теплоносителем с токамака, если не ошибаюсь, можно и дома отапливать напрямую.

Плюс я очень за, что цены на гелий упадут, можно будет даже на сварку использовать. Мож и гелиевые течеискатели станут более массовым продуктом. Много интересного будет.

Аватар пользователя АЧТ
АЧТ(9 лет 1 месяц)

Быстрые нейтроны ещё надо перевести в тепло. При этом куча всякой радиоактивной фигни образуется. Наши не зря возятся с гибридными реакторами. 

Аватар пользователя grizzly
grizzly(3 года 5 месяцев)

Как только начинаешь вникать в физику процесса, выясняется, что "чистая" энергия на самом деле не чище грязной.

Аватар пользователя гело 61
гело 61(3 года 6 месяцев)

ТоКаМак это тупиковый путь.Даже если чудом и "зажгут".Выхлоп почти ноль будет.

А вот полный ядерный цикл это реальность.

Аватар пользователя Podvoh
Podvoh(10 лет 5 месяцев)

Это чудо в божьем исполнении уже миллиарды лет горит по всей вселенной.

Рано или поздно мы тоже зажжем. Божьи птицы машут крыльями, человеческие аэропланы существенно иначе. Но те и иные летают, физика одна и та же.

Когда пацаны из электродипсика токамак запустят, я бы предпочел малогабаритную установку токамака на деревню, чем сети замкнутого ядерного цикла под управлением очередного чубайса на полпланеты.

Аватар пользователя АЧТ
АЧТ(9 лет 1 месяц)

Это чудо в божьем исполнении уже миллиарды лет горит по всей вселенной.

Нет ничего проще. Берешь гугл килограмм водорода и сгущаешь в одной точке. Дальше через миллионы лет гравитация и температура зажгут новое солнце.

Аватар пользователя Nansen
Nansen(3 года 9 месяцев)

Это чудо в божьем исполнении уже миллиарды лет горит по всей вселенной.

Принципиальный вопрос масштабов, а если коротко - массы. Горят по вселенной массы звёздные, даже Юпитеру той самой массы не хватило на зажигание.

Когда (если) смогут изогнуть пространство для имитации массы величиной со звезду, тогда без всякого токамака заработает.

Аватар пользователя Podvoh
Podvoh(10 лет 5 месяцев)

Аминь.

Аватар пользователя crackjack
crackjack(5 лет 11 месяцев)

А почему? Гравитация запускает горение?

Аватар пользователя Podvoh
Podvoh(10 лет 5 месяцев)

Строго говоря гравитация создает давление.

В звездах макропараметр давление запускает синтез (горение)

Человек такое давление в таком объеме создать не может, принципы создания и управления гравитацией он пока не понимает. Поэтому в токамаке создает высокую температуру.

Аватар пользователя aminin
aminin(13 лет 10 месяцев)

Не только давление, но и плотность энергии и размер  – к примеру, тот же объем Солнца производит меньше тепла чем человеческое тело. Деление происходит по квантовым законам (не физик, пардон), с низкой вероятностью, поэтому горит миллиарды лет топливо, просто его очень много.

Что толку в работающем термоядерном генераторе если он будет греть как навозная куча?

Аватар пользователя Podvoh
Podvoh(10 лет 5 месяцев)

Давление и создает необходимую плотность.

Что толку в работающем термоядерном генераторе если он будет греть как навозная куча?

Основное эксплутационное преимущество токамака будет заключаться в управляемости. У этого процесса будет кнопка вкл и выкл. Следствия невозможности за короткое время остановить реакции на обычных АЭС мы видим на чернобыльских и фукусимских примерах.

Ну это если не говорить про неисчерпаемый источник топлива, если получится, то ведра воды по идее хватит вам на всю жизнь на бытовые нужды.

Аватар пользователя Kozel de Baran
Kozel de Baran(6 лет 11 месяцев)

В солнце встроена автоматика. Горит слишком ярко, в ядре растёт давление, диаметр растёт, плотность падает, начинает гореть менее ярко. И той плотности энергии, что находится снаружи солнца, нам бы хватило, нас бы она устроила. Но до нас долетает немного меньшая плотность и хорошо, иначе волосы на голове слишком быстро свернутся колечками.

Аватар пользователя Понтийский предпенсионер

Если принципы пока не понятны, можно пока использовать центрифугу.

Но это сильно просто и дёшево)) Токамак это много богаче .

Аватар пользователя buzuk
buzuk(7 лет 8 месяцев)

Вообще-то, это только гипотеза. Никто не знает, как точно устроено солнце.

Аватар пользователя mw
mw(5 лет 12 месяцев)

Собственно о горении токамака в какой-тот точке вселенной информации нету))
А все, что китайские пацаны когда-то запускали, обычно против них же оборачивается. 
Начиная с "порохового дипсика", который Чингизхан у них отобралsmile3.gif

Аватар пользователя Upgrade
Upgrade(3 года 10 месяцев)

Есть хороший шанс, что энергию будут добывать более простым и эффективным способом.
Хотя термояд, так или иначе появится в ближайшие пять лет.

Ну а что будет. Издержки на добычу и производство сократятся кардинально. Вплоть до двух порядков. Хорошо будет. И дешево. По факту это коммунизм.

Аватар пользователя grizzly
grizzly(3 года 5 месяцев)

термояд, так или иначе появится в ближайшие пять лет.

А Вы оптимист. Такие прогнозы были в начале 60-х. Уже лет сорок эксперты прогнозируют, что ТЯЭС появятся лет через 30-40.

Аватар пользователя АндрейМ
АндрейМ(11 лет 2 месяца)

Если энергозатратные чипы от Инвидиа больше не нужны, то потребление электроэнергии уменьшится и цены на энергоносители упадут! Посмотрим!

Аватар пользователя m.kozh
m.kozh(5 лет 9 месяцев)

А если новая приблуда работает на чипах Нвидии еде быстрее чем без них?

Аватар пользователя Upgrade
Upgrade(3 года 10 месяцев)

Там другие должны пойти чипы. Они жрут на два порядка меньше при работе. Но пока потребление будет расти. До насыщения рынка. Это произойдет за пару-тройку лет. Дальше задачи в основном закончатся и начнется конкуренция по энерго эффективности. Начнется сокращение потребления энергии.

А моделькам есть куда оптимизироваться. На порядок точно могут. А может и больше.

Аватар пользователя Pepenez
Pepenez(10 лет 3 месяца)

вполне возможно что это даже не китайцы сделали, а те же амеры из глубинного государства. Игра в две руки. Рынок обрушивать надо, он давно сам по себе уже на грани, но надо чтобы те кто его создал, не были привлечены к ответственности за неисчислимые беды которые его падение принесет. Китай - тоже не очень хочет чтобы обвинили его, хотя Авантюрист в свое время писал что в мировой истории будет записана его вина. А теперь вроде никто не виноват - просто создалась ИИ модель которая оказалась лучше, и опрокинула рынок. то есть строго говоря виновата компания которая этот DeepSeek выпустила. Но в настолько глубинную оптимизацию кода я не очень верю, тем более что это сделали якобы китайцы. Просто от их имени вброшена новость примерно так же как 11 сентября башни близнецы атаковали якобы арабы. А виновны - совсем другие люди. Которые претендуют на то что они пишут мировую историю.

Аватар пользователя Корректор
Корректор(8 лет 9 месяцев)

Что говорит Джек Кларк - соучредителя Anthropic, а ранее директор по политике внедрения в OpenAI:

•  Прорыв Deepseek – это уже не прорыв Deepseek. 
Будучи объявленным в открытый доступ, это улучшение модели (алгоритмы и методы обучения) становится прорывом всей мировой ИИ-индустрии.
•  Это улучшение доступно всем. И потому его невозможно «откатить назад». Никому уже не придется изобретать это заново. Это улучшение быстро распространится, и станет вторым скачком прогресса ИИ. Первый скачок был связан с возможностями масштабирования. Теперь пришло время второго – оптимизация алгоритмов и методов обучения.
•  2й скачок, как и 1й, принесет наибольшую пользу тем компаниям, у кого больше денег и высокопроизводительного «железа» для вычислений. Таковы законы рынка и масштабирования. Так будет и теперь. 

Все становится еще интересней. smile3.gif

Аватар пользователя grizzly
grizzly(3 года 5 месяцев)

А ещё интереснее то, что в пиндостане разрабатывается закон о запрете использования китайских чатботов с наказанием до 20 лет тюремного заключения.

Аватар пользователя pn
pn(4 года 10 месяцев)

1) Потребность в сверхэнергозатратных и сверхдорогих процессорах,

2) Необходимость в огромном количестве электроэнергии и

3) Рынок платных инструментов ИИ с подпиской

ничего из вышеперечисленного не соответствует действительности

1. нужны производительные чипы, хоть асики, хоть какие. операции с тензорами никуда не делись. более того требования указаны на офф сайте: размер модели пол терабайта, соответственно столько же нужно и оперативной памяти (ага, любой домашний комп имеет под тер ОЗУ), для ускорения вычислений необходимо 8 GPU типа h100 (стоимость штуки около 5 миллионов рубликов). то что можно запустить на домашнем коспе это distilled модели да ещё и с сильно пониженной точностью весов. Да что-то работает, но до оригинала далеко.

2. всё так же нужно. deepseek схитрили о затратах. так по факту внутри r1 находятся несколько уже предобученных сетей включая тот же китайский qwen.

3. все модели начинают бесплатно, так разработчикам нужно собрать данные о работе модели, а как только модели начнёт работать хорошо, то появятся и сервисы, хотя уже есть платная подписка.

Аватар пользователя Mike1975
Mike1975(7 лет 1 месяц)

Я поэтому и написал комментарий, что распределённые вычисления ИИ и создание сетевых ИИ может обрушить интернет, забив весь траффик.

Аватар пользователя pn
pn(4 года 10 месяцев)

не может. трафика они генерируют мизер, поисковики генерируют гораздо больше

Аватар пользователя Hover
Hover(9 лет 8 месяцев)

1. нужны производительные чипы 

Я поставил его (DeepSeek-R1-671b-1.58) на свой комп. Без GPU, только 2 Xeon’а. Ему надо 130 гб памяти (у меня есть). Работает со скоростью 1-3 токена в секунду, но работает. И это я еще не все ядра процессоров выделил на него. Так что вполне может применяться даже в домашних условиях)).
 

Ps. А модели попроще, типа 14b и 20b - вообще летают, можно сказать. Кстати я пробовал запускать 14b на GPU (3080), работает шустрее, но не в разы. А памяти меньше в GPU - в разы, чем можно воткнуть в сервер, и дублировать их сложновато. И ценник сильно кусается. Так что если  бы я делал для себя, по принципу «дешево и сердито», то лучше бы делал на 4х процессором серваке с 512 Гб памяти - было бы вообще шикарно и не дорого. И кстати в этих моделях некоторые слои можно в GPU считать, а остальное - на процах. Можно парочку 4090 воткнуть в сервер и будет еще лучше)

Аватар пользователя pn
pn(4 года 10 месяцев)

mmap? или модель квантованная до q8?

у меня на gpu 30-35 т\с, разница ощутимая. а цена gpu меньше цены одного xeon

А на домашнем xeon 2696v3 при задействовании всех 36 потоков, хорошо если 1 т\с. без avx512 всё очень печально

Аватар пользователя Hover
Hover(9 лет 8 месяцев)

Это которая новая, dynamic q1.5, в ней какие-то слои сильно квантованные, какие-то нет, но по сравнению с оригинальной не сильно вроде как проигрывает в качестве. 

Я пользуюсь максимум q4, они сильно быстрее q8, качество хуже не сильно, мне кажется лучше пусть в сети будет больше параметров, и она будет меньше в объеме, чем если мало параметров и минимум квантования, но зато огромная. Или я ошибаюсь?

30-50 т/с это видимо на 4090 или чем-то более крутом?

Ну, Ваш ксеон покруче моего будет, у меня 2683 v4, но правда их 2 шт. 

Аватар пользователя pn
pn(4 года 10 месяцев)

deepseek в отличии от gpt подобных не задействует все параметры, вместо этого, он в зависимости от контекста, выбирает несколько "экспертных" нейронок, которые работаю со своим набором параметров. но вот точность очень сильно влияет, так модель может потерять 10% или даже более качества метрик по сравнению с FP8. связано с тем, что модель не сможет корректно представить некоторые значения из-за ограничений диапазона и точности. а теперь представьте падение в 10% на каждой "экспертной" модели, а их может быть и 8 в зависимости от контекста.

p.S. gpu 7900xtx OC. в задачах с нейронками не сильно хуже 4090, а вот стоит значительно дешевле.

Аватар пользователя Hover
Hover(9 лет 8 месяцев)


модель может потерять 10% или даже более качества метрик по сравнению с FP8

Разве не лучше иметь на 10% менее точных нейронок с 8b параметров, чем на 10% более точных, но с 3b?

gpu 7900xtx

Вроде и не сильно быстрее 3080, но 24 Гб VRAM решают)

Аватар пользователя pn
pn(4 года 10 месяцев)

нет не лучше, так как в случае 8 нейронок, накопленная неточность уже ((100 - 10)/100)^8=0.43 или 43%. да это близко к наихудшему сценарию

Аватар пользователя Hover
Hover(9 лет 8 месяцев)

Кстати, если еще не пробовали, попробуйте модель Llama 3.30-70B, показывает качество, сравнимое с дипсиком, при этом сравнительно небольшая и быстрая.

Аватар пользователя Kozel de Baran
Kozel de Baran(6 лет 11 месяцев)

Интересно, линейный прогресс в производительности и в развитии моделей сохранится хотя бы ещё лет десять? Ведь тогда нейросети очень прилично поумнеют. А они уже и сейчас поумнее многих будут.

Страницы