CNBC: Nvidia в крас­ной зоне, теряя неболь­шой рост, по­сколь­ку угро­за DeepSeek про­дол­жа­ет пре­сле­до­вать про­из­во­ди­те­ля чипов ИИ

Аватар пользователя basil10

Во втор­ник акции немно­го вос­ста­но­ви­лись, так как неко­то­рые трей­де­ры на­ча­ли по­ку­пать их на сле­ду­ю­щий день после того, как по­яв­ле­ние более де­ше­вой мо­де­ли ис­кус­ствен­но­го ин­тел­лек­та с от­кры­тым ис­ход­ным кодом из Китая при­ве­ло к круп­ней­шей по­те­ре ры­ноч­ной сто­и­мо­сти в ис­то­рии фон­до­во­го рынка.

Но от­скок был не столь ди­на­мич­ным, и акции вы­рос­ли всего на 2%. Ранее на пред­про­даж­ной сес­сии они были выше, а к офи­ци­аль­но­му от­кры­тию рынка рост ослаб.

В по­не­дель­ник акции упали на 17%, а оцен­ка ком­па­нии со­кра­ти­лась более чем на 595 мил­ли­ар­дов дол­ла­ров, что стало самым круп­ным па­де­ни­ем ры­ноч­ной ка­пи­та­ли­за­ции за один день в ис­то­рии.

скрыть содержимое

NVIDIA Corp

RT Quote | По­след­ний NASDAQ LS, VOL от CTA | USD

117.10цитата цена стрелка вниз-1.32( -1,49% )

Рез­кая рас­про­да­жа в по­не­дель­ник, ко­то­рая вы­зва­ла шок во всей тех­но­ло­ги­че­ской от­рас­ли (Nasdaq Composite упал на 3%), про­изо­шла на фоне опа­се­ний трей­де­ров, что пу­зырь акций ИИ может лоп­нуть из-за ки­тай­ско­го стар­та­па DeepSeek.

На про­шлой неде­ле DeepSeek вы­пу­сти­ла мо­дель с от­кры­тым ис­ход­ным кодом, ко­то­рая, как со­об­ща­ет­ся, пре­взо­шла OpenAI в раз­лич­ных те­стах. Ком­па­ния также за­яви­ла, что пер­во­на­чаль­ная вер­сия этой мо­де­ли обо­шлась менее чем в 6 мил­ли­о­нов дол­ла­ров — это лишь малая часть мил­ли­ар­дов дол­ла­ров, ко­то­рые круп­ные аме­ри­кан­ские тех­но­ло­ги­че­ские ком­па­нии тра­тят на ИИ.

Ко­неч­но, ком­па­ния Nvidia, ко­то­рая яв­ля­ет­ся сим­во­лом аме­ри­кан­ской ин­ду­стрии ис­кус­ствен­но­го ин­тел­лек­та бла­го­да­ря своим мощ­ным чипам, на­зва­ла мо­дель R1 от DeepSeek « пре­вос­ход­ным до­сти­же­ни­ем в об­ла­сти ис­кус­ствен­но­го ин­тел­лек­та ».

«Ра­бо­та DeepSeek ил­лю­стри­ру­ет, как можно со­зда­вать новые мо­де­ли с по­мо­щью этой тех­но­ло­гии, ис­поль­зуя ши­ро­ко до­ступ­ные мо­де­ли и вы­чис­ле­ния, ко­то­рые пол­но­стью со­от­вет­ству­ют экс­порт­но­му кон­тро­лю», — за­явил пред­ста­ви­тель Nvidia в ин­тер­вью CNBC в по­не­дель­ник.

Кроме того, боль­шин­ство ана­ли­ти­ков Уолл-​стрит под­дер­жа­ли Nvidia после рас­про­да­жи, и никто из них пока не по­ни­зил рей­тинг акций. Неко­то­рые также рас­смат­ри­ва­ют раз­ра­бот­ки DeepSeek как дол­го­сроч­ный по­зи­тив для ИИ.

«Мы счи­та­ем, что ин­ве­сто­рам необ­хо­ди­мо раз­ли­чать вли­я­ние по­тен­ци­аль­ных пре­иму­ществ и недо­стат­ков DeepSeek на ин­ду­стрию про­грамм­но­го обес­пе­че­ния. Более мощ­ные мо­де­ли LLM, ко­то­рые могут ра­бо­тать за малую долю от пер­во­на­чаль­ных оце­нок за­трат (если под­твер­дят­ся), будут озна­чать, что при­ня­тие genAI долж­но про­изой­ти легче… и, сле­до­ва­тель­но, быст­рее и шире во все­лен­ной про­грамм­но­го обес­пе­че­ния», — на­пи­сал ана­ли­тик Barclays Раймо Лен­шоу.

Ко­неч­но, хотя Джо­зеф Мур из Morgan Stanley со­хра­нил свой рей­тинг акций как «выше сред­не­го», во втор­ник он сни­зил це­ле­вую цену с 166 до 152 дол­ла­ров.

«В ре­ли­зе DeepSeek осве­ща­ют­ся эво­лю­ци­он­ные ин­но­ва­ции в об­ла­сти ИИ, неко­то­рые из ко­то­рых могут быть де­фля­ци­он­ны­ми. При этом ре­ак­ция фон­до­во­го рынка, ве­ро­ят­но, важ­нее при­чи­ны и может при­ве­сти к даль­ней­ше­му кон­тро­лю экс­пор­та или сни­же­нию эн­ту­зи­аз­ма в от­но­ше­нии рас­хо­дов; но оста­ва­ясь по­зи­тив­ны­ми», — ска­зал он.

Ав­тор­ство: 
Ав­тор­ская ра­бо­та / пе­ре­во­ди­ка
Ком­мен­та­рий ав­то­ра: 

Как бы то ни было ки­тай­цы по­ка­за­ли, что у США нет мо­де­ли оправ­ды­ва­ю­щей трил­ли­он­ные ка­пи­та­ли­за­ции.

Прой­дет немно­го вре­ме­ни и КНР во­об­ще может обой­ти аме­ри­кан­цев как это уже было с элек­тро­мо­би­ля­ми, сол­неч­ны­ми па­не­ля­ми и осталь­ным

что тогда будет с фон­до­вым и дол­го­вым рын­ка­ми? Точ­нее что будет с пу­зы­ря­ми и пи­ра­ми­да­ми ко­то­рые еще по ста­рин­ке счи­та­ют рын­ком бумаг?

Комментарии

Аватар пользователя Harsky
Harsky (13 лет 1 месяц)

Да, слы­шал про этот эф­фект )) Будет зна­чит пи­сать мне скрип­ты на баше с по­яс­не­ни­ем на ки­тай­ском )))

Аватар пользователя utx
utx (9 лет 5 месяцев)

Ну, хо­ро­ше­го в этом мало, од­на­ко если выбор стоит между "не иметь" и "иметь тор­моз­ну­тый", то вто­рое ка­жет­ся более пред­по­чти­тель­ный. Но я для друга спра­ши­ваю - у меня са­мо­го и десктопа-​то нет (если толь­ко у ре­бен­ка отобрать, но он бы понял).

Там еще вся­кие про­бле­мы и тор­мо­за будут из-за NUMA и т д.

Аватар пользователя eprst
eprst (13 лет 1 месяц)

Да ну, фигня! Кто-​то на­ва­рит­ся, кто-​то ра­зо­рит­ся. Вся эта бир­же­вая дви­жу­ха яйца вы­еден­но­го не стоит.

Аватар пользователя user3120
user3120 (9 лет 8 месяцев)

Же­ле­зо топ ка­че­ства по цене/про­из­во­ди­тель­но­сти (если будет до­ступ­но для Китая...). 

https://habr.com/ru/companies/bothub/news/872002/

GB10 может обес­пе­чи­вать до 1 пе­тафло­па мощ­но­сти для об­ра­бот­ки AI с точ­но­стью FP4

На­сколь­ко понял за­то­чен под DeepSeek-​R1 (Либо если FP8 FP16 то про­из­во­ди­тель­ность будет про­пор­ци­о­наль­но мень­ше?)

Nvidia пла­ни­ру­ет вы­пу­стить Project Digits через свои ка­на­лы и парт­не­ров в мае по цене 3 000 дол­ла­ров. 

до 4 ТБ NVMe-​хранилища (неиз­вест­но сколь­ко в ба­зо­вой ком­плек­та­ции)

вы мо­же­те со­еди­нить две си­сте­мы Digits [2 пе­тафло­па для FP4] с по­мо­щью сетей Nvidia ConnectX, уве­ли­чи­вая общую ем­кость до об­ра­бот­ки мо­де­лей с 405 мил­ли­ар­да­ми па­ра­мет­ров.

Поль­зо­ва­те­ли по­лу­чат до­ступ к про­грамм­ной биб­лио­те­ке NVIDIA, вклю­ча­ю­щей ин­стру­мен­ты раз­ра­бот­ки, сред­ства ор­кест­ра­ции и пред­ва­ри­тель­но обу­чен­ные мо­де­ли через ка­та­лог NVIDIA NGC. Си­сте­ма ра­бо­та­ет под управ­ле­ни­ем Linux-​based NVIDIA DGX OS и под­дер­жи­ва­ет по­пу­ляр­ные фрейм­вор­ки, такие как PyTorch, Python и Jupyter Notebook. Раз­ра­бот­чи­ки могут на­стра­и­вать мо­де­ли с по­мо­щью фрейм­вор­ка NVIDIA NeMo и уско­рять ра­бо­чие про­цес­сы об­ра­бот­ки дан­ных с по­мо­щью биб­лио­тек NVIDIA RAPIDS.

GPU System Requirements for Running DeepSeek-​R1

https://apxml.com/posts/gpu-​requirements-deepseek-r1

GPU Requirements Guide for DeepSeek Models (V3, All Variants)

https://apxml.com/posts/system-​requirements-deepseek-models

GPU / VRAM Requirements  for Llama 3.1 405B

что будет ра­бо­тать на Dual Project Digits, а зна­чит и DeepSeek-​R1 671B с вы­со­кой ве­ро­ят­но­стью будет ра­бо­тать на Dual Project Digits

https://www.notebookcheck-​ru.com/Meta-​predstavljaet-samyi-bolshoi-samyi-umnyi-bezvozmezdnyi-II-Llama-3-1-405B.867800.0.html

***

Это зна­чит что Nvidia по сути спи­ли­ли сук на ко­то­ром си­де­ли. 

Ждем (ближе к ап­ре­лю) на мар­кет­плей­сах услов­ные Dual Project Digits (и Single Project Digits для ни­ще­бро­дов) с пред­уста­нов­лен­ным DeepSeek-​R1. За услов­ные ~7к и 3,5к со­от­вет­ствен­но(хотя ве­ро­ят­но и боль­ше, тогда лучше бу обо­ру­до­ва­ние ку­пить).

ИМХО долж­но взле­теть через аг­ре­га­то­ров (ИИ пулы) лучше чем май­нинг. 

Но если общая про­из­во­ди­тель­ность по энер­гии и за­тра­там будет хуже чем у ТНК ин­ве­сто­ров что ин­ве­сти­ру­ют в спе­ци­а­ли­зи­ро­ван­ное топ обо­ру­до­ва­ние, то дан­ный под­ход не взле­тит. В дан­ном слу­чае будет про­сто наи­мень­шая цена с на­боль­шей кон­фи­ден­ци­аль­но­стью при (оп­ци­о­наль­ной) офлайн ра­бо­те. 

Аватар пользователя utx
utx (9 лет 5 месяцев)

Раз­мер DeepSeek-​R1 671B 404 ги­га­бай­та Llama 3.1 405B 200 с ко­пей­ка­ми гигов

DeepSeek-​R1

1.5B - 1.1GB

7B - 4.7GB

8B - 4.9GB

14B - 9GB

32B - 20GB

70B - 43GB

671B - 404GB

https://ollama.com/library/deepseek-​r1 Оно в сво­бод­ном до­сту­пе все, как и дру­гие мо­де­ли. 

Аватар пользователя user3120
user3120 (9 лет 8 месяцев)

Тре­бо­ва­ния к VRAM после рас­па­ков­ки мо­де­ли смот­рит­ся в до­ку­мен­та­ции. Вы при­во­ди­те раз­мер упа­ко­ван­ной мо­де­ли, на­сколь­ко понял, и толь­ко пу­та­е­те людей(за­ни­жа­е­те). Прой­ди­тесь по ссыл­кам выше. Спе­ци­аль­но для со­всем ле­ни­вых раз­ме­стил.

Там кон­крет­ные раз­ме­ры  (выше что вы ука­за­ли при­мер­но в 2 и более раза (после рас­па­ков­ки и ин­дек­са­ции если надо)) и де факто это тре­бо­ва­ния к VRAM (к "SSD", если пе­ре­во­дить на ИИ мини комп от Nvidia). 

Чер­ным по бе­ло­му:

VRAM Requirement (GB) (4-bit)

DeepSeek-​R1 671B ~336 GB Multi-​GPU setup (e.g., NVIDIA A100 80GB x6)

***

DeepSeek V3 671B 671 billion ~1543 GB ~386 GB

Model Variant Recommended GPUs (FP16) Recommended GPUs (4-bit Quantization)
DeepSeek V3 671B NVIDIA H100 80GB (16x or more) NVIDIA H100 80GB (6x or more)

***

Llama 3.1 405B

Для за­пус­ка пол­ной мо­де­ли по­тре­бу­ет­ся во­семь Гра­фи­че­ских про­цес­со­ров Nvidia A100 или ана­ло­гич­ных, обес­пе­чи­ва­ю­щих два узла MP16 и 810 ГБ VRAM GPU для вы­во­дов, в си­сте­ме с 1 ТБ ОЗУ.

***

Все за­ви­сит от раз­ме­ре SSD (что на мини компе за­ме­ня­ет VRAM) про­сто пишут что если раз­мер мо­де­ли боль­шой, а про­из­во­ди­тель­ность ИИ чипа ма­лень­кая то ней­ро­сеть будет ра­бо­тать нестан­дарт­но мед­лен­но. И не по­лу­чит­ся с ней ком­форт­но ра­бо­тать он­лайн ско­рее всего. 

Ре­аль­ные тесты ско­ро­сти ра­бо­ты (как в вер­сии для ни­ще­бро­дов так и в дуал пре­ми­ум вер­сии) будут ближе к марту, если НВИ­ДЕА поз­во­лит оп­ци­о­наль­но ста­вить DeepSeek-​R1 и дру­гие фри мо­де­ли ко­то­рые обе­ща­ют вы­пу­стить на свой чудо мини комп. 

Аватар пользователя utx
utx (9 лет 5 месяцев)

На­хре­на мне куда-​то хо­дить Если она у меня сей­час за­пу­ще­на ))? Это вы пу­та­е­те людей за­ни­жая тре­бо­ва­ния, по вашей ссыл­ке ей надо 336GB.

Ps выбы на­зва­ния таб­ли­чек по­чи­та­ли, там пол­ная и кван­то­ва­ная мо­де­ли при­ве­де­ны. Я дал ссыл­ку на ска­чи­ва­ние кван­то­ва­ной. 

Аватар пользователя user3120
user3120 (9 лет 8 месяцев)

Llama 3.1 405B 200 с ко­пей­ка­ми гигов 

Это не со­от­вет­ству­ет дей­стви­тель­но­сти Llama 3.1 405B надо 810 гигов(до­ба­вил в ко­мент выше). 

Нашел тре­бо­ва­ния ко всем су­ще­ству­ю­щим вер­си­ям R1. Выше не пол­ный спи­сок вер­сий. См. 1:11 :

https://www.youtube.com/watch?v=_-rESC_aufM

R1 есть еще круче вер­сии чем че­ты­рех­бит­ная. Q4  Q6  Q8  со­от­вет­ствен­но надо  404, 550 и 713 гиг  vram если не оши­ба­юсь.

Аватар пользователя utx
utx (9 лет 5 месяцев)

Ох уж эти тео­ре­ти­ки https://ollama.com/library/llama3.1/tags кван­то­ва­ная в q4 за­ни­ма­ет 243 гига. Вы нашли тре­бо­ва­ния, толь­ко чи­тать таб­лич­ки не умете. И да для ра­бо­ты мо­де­ли ей недо­ста­точ­но раз­вер­нут­ся в VRAM ей еще и ра­бо­тать надо но это уже дру­гой во­прос, сколь­ко там па­мя­ти по­на­до­бит­ся под кон­крет­ную за­да­чу.

PS 800 ей надо в fp16 ре­жи­ме.

Аватар пользователя utx
utx (9 лет 5 месяцев)

Все за­ви­сит от раз­ме­ре SSD (что на мини компе за­ме­ня­ет VRAM) про­сто пишут что если раз­мер мо­де­ли боль­шой, а про­из­во­ди­тель­ность ИИ чипа ма­лень­кая то ней­ро­сеть будет ра­бо­тать нестан­дарт­но мед­лен­но. И не по­лу­чит­ся с ней ком­форт­но ра­бо­тать он­лайн ско­рее всего. 

Ре­аль­ные тесты ско­ро­сти ра­бо­ты (как в вер­сии для ни­ще­бро­дов так и в дуал пре­ми­ум вер­сии) будут ближе к марту, если НВИ­ДЕА поз­во­лит оп­ци­о­наль­но ста­вить DeepSeek-​R1 и дру­гие фри мо­де­ли ко­то­рые обе­ща­ют вы­пу­стить на свой чудо мини комп. 

Я вам по боль­шо­му сек­ре­ту скажу, у нас сей­час в стой­ке два са­мо­спа­я­ных ящика стоит из FPGA и NVME дис­ков. И все что вы опи­сы­ва­е­те я знаю так ска­зать из пер­вых рук )

Все за­ви­сит от раз­ме­ре SSD (что на мини компе за­ме­ня­ет VRAM) про­сто пишут что если раз­мер мо­де­ли боль­шой, а про­из­во­ди­тель­ность ИИ чипа ма­лень­кая то ней­ро­сеть будет ра­бо­тать нестан­дарт­но мед­лен­но. И не по­лу­чит­ся с ней ком­форт­но ра­бо­тать он­лайн ско­рее всего. 

И вот это вот тоже ре­ша­ет­ся через па­рал­ле­лизм и LLVM. Ну и тут упи­ра­ет­ся все не в раз­мер чипа, а мед­лен­ный флеш. Нужно со­блю­дать ба­ланс. Пока же­лез­ка от нви­дии вы­гля­дит как за­то­чен­ная на ра­бо­ту с ОЗУ и ред­кий своп на ssd, либо как по­хо­жие про­ек­ты на рас­чет ло­каль­ных дан­ных ле­жа­щих на ssd.

Аватар пользователя дровосек
дровосек (12 лет 3 месяца)

Есть у нви­диа хо­ро­шая тех­но­ло­гия когда ГПУ в обход про­цес­со­ра сразу к ОЗУ об­ра­ща­ет­ся но она толь­ко для игр преду­смот­ре­на на сколь­ко я знаю 

Аватар пользователя utx
utx (9 лет 5 месяцев)

Из cuda можно ла­зить как в па­мять си­сте­мы так и на хост об­ра­щать­ся. Но там про­бле­мы с фраг­мен­та­ци­ей, ско­ро­стью самой па­мя­ти, за­ма­роч­ка­ми в муль­ти­про­цес­сор­ный си­сте­мах с numa и т д.  Ну и по факту по­лу­ча­ет­ся мак­си­маль­ная ско­рость внеш­ней па­мя­ти огра­ни­че­на pcie ин­тер­фей­сом, а если в си­сте­ме еще и pcie switch то и ско­ро­стью ком­му­та­ции. Зато можно pcie за­пих­нуть в ин­фаб­анд и сде­лать ме­га­кла­стер  )

Аватар пользователя Де Пердье
Де Пердье (11 лет 8 месяцев)

 Одна боль - ней­ро­се­ти не по­ку­ша­ешь .
Вир­ту­аль­ное оста­ёт­ся вир­ту­аль­ным .

Аватар пользователя ZloyРусский
ZloyРусский (6 лет 4 месяца)

ней­ро­се­ти не по­ку­ша­ешь .

При­клад­ное зна­че­ние тоже впе­чат­ля­ет. Вкупе с ки­тай­ским 5G,  попрëт и за­ко­ло­сит­ся в сх и про­из­вод­стве. 

Скрытый комментарий Повелитель Ботов (без обсуждения)
Аватар пользователя Алый
Алый (11 лет 6 месяцев)

ИИ ис­поль­зу­ют и в про­ра­бот­ке эко­но­ми­че­ских, по­ли­ти­че­ских ре­ше­ний. Ду­ра­ки те­перь не имеют шан­сов там, где есть ИИ.

Ком­мен­та­рий ад­ми­ни­стра­ции:  
*** Бу­ду­щий те­ле­пат в пол­ном объ­е­ме (с) - https://aftershock.news/?q=comment/12979932#comment-​12979932 ***

Страницы

 
Загрузка...