Во вторник акции немного восстановились, так как некоторые трейдеры начали покупать их на следующий день после того, как появление более дешевой модели искусственного интеллекта с открытым исходным кодом из Китая привело к крупнейшей потере рыночной стоимости в истории фондового рынка.
Но отскок был не столь динамичным, и акции выросли всего на 2%. Ранее на предпродажной сессии они были выше, а к официальному открытию рынка рост ослаб.
В понедельник акции упали на 17%, а оценка компании сократилась более чем на 595 миллиардов долларов, что стало самым крупным падением рыночной капитализации за один день в истории.
NVIDIA Corp
RT Quote | Последний NASDAQ LS, VOL от CTA | USD
117.10-1.32( -1,49% )
Резкая распродажа в понедельник, которая вызвала шок во всей технологической отрасли (Nasdaq Composite упал на 3%), произошла на фоне опасений трейдеров, что пузырь акций ИИ может лопнуть из-за китайского стартапа DeepSeek.
На прошлой неделе DeepSeek выпустила модель с открытым исходным кодом, которая, как сообщается, превзошла OpenAI в различных тестах. Компания также заявила, что первоначальная версия этой модели обошлась менее чем в 6 миллионов долларов — это лишь малая часть миллиардов долларов, которые крупные американские технологические компании тратят на ИИ.
Конечно, компания Nvidia, которая является символом американской индустрии искусственного интеллекта благодаря своим мощным чипам, назвала модель R1 от DeepSeek « превосходным достижением в области искусственного интеллекта ».
«Работа DeepSeek иллюстрирует, как можно создавать новые модели с помощью этой технологии, используя широко доступные модели и вычисления, которые полностью соответствуют экспортному контролю», — заявил представитель Nvidia в интервью CNBC в понедельник.
Кроме того, большинство аналитиков Уолл-стрит поддержали Nvidia после распродажи, и никто из них пока не понизил рейтинг акций. Некоторые также рассматривают разработки DeepSeek как долгосрочный позитив для ИИ.
«Мы считаем, что инвесторам необходимо различать влияние потенциальных преимуществ и недостатков DeepSeek на индустрию программного обеспечения. Более мощные модели LLM, которые могут работать за малую долю от первоначальных оценок затрат (если подтвердятся), будут означать, что принятие genAI должно произойти легче… и, следовательно, быстрее и шире во вселенной программного обеспечения», — написал аналитик Barclays Раймо Леншоу.
Конечно, хотя Джозеф Мур из Morgan Stanley сохранил свой рейтинг акций как «выше среднего», во вторник он снизил целевую цену с 166 до 152 долларов.
«В релизе DeepSeek освещаются эволюционные инновации в области ИИ, некоторые из которых могут быть дефляционными. При этом реакция фондового рынка, вероятно, важнее причины и может привести к дальнейшему контролю экспорта или снижению энтузиазма в отношении расходов; но оставаясь позитивными», — сказал он.
Комментарии
Да, слышал про этот эффект )) Будет значит писать мне скрипты на баше с пояснением на китайском )))
Там еще всякие проблемы и тормоза будут из-за NUMA и т д.
Да ну, фигня! Кто-то наварится, кто-то разорится. Вся эта биржевая движуха яйца выеденного не стоит.
Железо топ качества по цене/производительности (если будет доступно для Китая...).
https://habr.com/ru/companies/bothub/news/872002/
Насколько понял заточен под DeepSeek-R1 (Либо если FP8 FP16 то производительность будет пропорционально меньше?)
GPU System Requirements for Running DeepSeek-R1
https://apxml.com/posts/gpu-requirements-deepseek-r1
GPU Requirements Guide for DeepSeek Models (V3, All Variants)
https://apxml.com/posts/system-requirements-deepseek-models
GPU / VRAM Requirements for Llama 3.1 405B
что будет работать на Dual Project Digits, а значит и DeepSeek-R1 671B с высокой вероятностью будет работать на Dual Project Digits
https://www.notebookcheck-ru.com/Meta-predstavljaet-samyi-bolshoi-samyi-umnyi-bezvozmezdnyi-II-Llama-3-1-405B.867800.0.html
***
Это значит что Nvidia по сути спилили сук на котором сидели.
Ждем (ближе к апрелю) на маркетплейсах условные Dual Project Digits (и Single Project Digits для нищебродов) с предустановленным DeepSeek-R1. За условные ~7к и 3,5к соответственно(хотя вероятно и больше, тогда лучше бу оборудование купить).
ИМХО должно взлететь через агрегаторов (ИИ пулы) лучше чем майнинг.
Но если общая производительность по энергии и затратам будет хуже чем у ТНК инвесторов что инвестируют в специализированное топ оборудование, то данный подход не взлетит. В данном случае будет просто наименьшая цена с набольшей конфиденциальностью при (опциональной) офлайн работе.
Размер DeepSeek-R1 671B 404 гигабайта Llama 3.1 405B 200 с копейками гигов
DeepSeek-R1
1.5B - 1.1GB
7B - 4.7GB
8B - 4.9GB
14B - 9GB
32B - 20GB
70B - 43GB
671B - 404GB
https://ollama.com/library/deepseek-r1 Оно в свободном доступе все, как и другие модели.
Требования к VRAM после распаковки модели смотрится в документации. Вы приводите размер упакованной модели, насколько понял, и только путаете людей(занижаете). Пройдитесь по ссылкам выше. Специально для совсем ленивых разместил.
Там конкретные размеры (выше что вы указали примерно в 2 и более раза (после распаковки и индексации если надо)) и де факто это требования к VRAM (к "SSD", если переводить на ИИ мини комп от Nvidia).
Черным по белому:
VRAM Requirement (GB) (4-bit)
***
***
Llama 3.1 405B
Для запуска полной модели потребуется восемь Графических процессоров Nvidia A100 или аналогичных, обеспечивающих два узла MP16 и 810 ГБ VRAM GPU для выводов, в системе с 1 ТБ ОЗУ.
***
Все зависит от размере SSD (что на мини компе заменяет VRAM) просто пишут что если размер модели большой, а производительность ИИ чипа маленькая то нейросеть будет работать нестандартно медленно. И не получится с ней комфортно работать онлайн скорее всего.
Реальные тесты скорости работы (как в версии для нищебродов так и в дуал премиум версии) будут ближе к марту, если НВИДЕА позволит опционально ставить DeepSeek-R1 и другие фри модели которые обещают выпустить на свой чудо мини комп.
Нахрена мне куда-то ходить Если она у меня сейчас запущена ))? Это вы путаете людей занижая требования, по вашей ссылке ей надо 336GB.
Ps выбы названия табличек почитали, там полная и квантованая модели приведены. Я дал ссылку на скачивание квантованой.
Это не соответствует действительности Llama 3.1 405B надо 810 гигов(добавил в комент выше).
Нашел требования ко всем существующим версиям R1. Выше не полный список версий. См. 1:11 :
https://www.youtube.com/watch?v=_-rESC_aufM
R1 есть еще круче версии чем четырехбитная. Q4 Q6 Q8 соответственно надо 404, 550 и 713 гиг vram если не ошибаюсь.
Ох уж эти теоретики https://ollama.com/library/llama3.1/tags квантованая в q4 занимает 243 гига. Вы нашли требования, только читать таблички не умете. И да для работы модели ей недостаточно развернутся в VRAM ей еще и работать надо но это уже другой вопрос, сколько там памяти понадобится под конкретную задачу.
PS 800 ей надо в fp16 режиме.
Я вам по большому секрету скажу, у нас сейчас в стойке два самоспаяных ящика стоит из FPGA и NVME дисков. И все что вы описываете я знаю так сказать из первых рук )
И вот это вот тоже решается через параллелизм и LLVM. Ну и тут упирается все не в размер чипа, а медленный флеш. Нужно соблюдать баланс. Пока железка от нвидии выглядит как заточенная на работу с ОЗУ и редкий своп на ssd, либо как похожие проекты на расчет локальных данных лежащих на ssd.
Есть у нвидиа хорошая технология когда ГПУ в обход процессора сразу к ОЗУ обращается но она только для игр предусмотрена на сколько я знаю
Из cuda можно лазить как в память системы так и на хост обращаться. Но там проблемы с фрагментацией, скоростью самой памяти, замарочками в мультипроцессорный системах с numa и т д. Ну и по факту получается максимальная скорость внешней памяти ограничена pcie интерфейсом, а если в системе еще и pcie switch то и скоростью коммутации. Зато можно pcie запихнуть в инфабанд и сделать мегакластер )
Одна боль - нейросети не покушаешь .
Виртуальное остаётся виртуальным .
Прикладное значение тоже впечатляет. Вкупе с китайским 5G, попрëт и заколосится в сх и производстве.
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
ИИ используют и в проработке экономических, политических решений. Дураки теперь не имеют шансов там, где есть ИИ.
Страницы