Ре­пли­ка по по­во­ду мо­ля­щих­ся на И"И"

это очень спор­ный вопрос-​ а слова ли там в обу­че­нии. по­то­му что в неко­то­рых из этих ней­ро­се­тей опре­де­лен­но есть карты смыс­лов, и графы свя­зей между этими смыс­ла­ми. И вот в этих гра­фах со­вер­шен­но спо­кой­но можно найти пути свя­зок смыс­лов, из ко­то­рых потом вы­ле­зут слова и пред­ло­же­ния, во­об­ще никак не ле­жав­шие в ис­ход­ных учеб­ных на­бо­рах дан­ных.

Пер­вы­ми в это на­сту­пи­ли, на­сколь­ко я знаю, физики-​космологи, когда гру­за­ну­ли в ИИ кос­мо­ло­ги­че­ские мо­де­ли, ка­стри­ро­ван­ные и уре­зан­ные, а на вы­хо­де по­лу­чи­ли ука­за­ние на то, что надо бы до­ба­вить ряд эф­фек­ти­ков и тогда мо­де­ли­ро­ва­ние с на­блю­де­ни­я­ми сой­дет­ся лучше. Эти эф­фек­ти­ки были им из­вест­ны, но в учеб­ные дан­ные не вхо­ди­ли, и как их ней­ро­сет­ка смог­ла это все допетрить-​ было огро­мен­ным фан­та­сти­че­ским во­про­сом. А потом пуб­ли­ка­ции таких ка­зу­сов как от­ре­за­ло. по­дроб­но­стей щас не при­ве­ду, но смысл при­мер­но такой был.

:-). хамло Вы, ба­тень­ка.

для осталь­ных чи­та­те­лей: у тер­ми­на би­гда­та среди людей в теме есть вполне себе опре­де­лен­ное значение-​ это боль­шие объ­е­мы струк­ту­ри­ро­ван­ных и неструк­ту­ри­ро­ван­ных дан­ных. при этом "боль­шие"- это зна­чит объ­е­мы, фи­зи­че­ски не вле­за­ю­щие на один ком­пью­тер и тре­бу­ю­щие для сво­е­го хра­не­ния боль­шо­го ко­ли­че­ства фи­зи­че­ски раз­дель­ных сер­ве­ров. грубо говоря-​ пе­та­байт и боль­ше. неструктурированные-​ пред­по­ла­га­ет, что в этих дан­ных встре­ча­ют­ся раз­ные типы данных-​ тек­сты, аудио, видео, файлы спе­ци­аль­ных фор­ма­тов (ме­ди­цин­ские дан­ные в ди­ко­ме, на­при­мер, или какие-​то циф­ро­вые дан­ные с дат­чи­ков и т.п.), и до­пол­ни­тель­но важ­ный момент-​ это то, что эти дан­ные могут об­ра­ба­ты­вать­ся неза­ви­си­мы­ми пач­ка­ми, то есть, на одном вы­чис­ли­тель­ном узле- одна часть дан­ных, на другом-​ дру­гая, на третьем-​ тре­тья, все это как-​то там об­ра­ба­ты­ва­ет­ся па­рал­лель­но и неза­ви­си­мо, а потом ре­зуль­тат об­ра­бот­ки как-​то там сли­ва­ет­ся и ужи­ма­ет­ся в какой-​то общий.

Так вот LLM-​ки обу­ча­ют­ся на текстах, ко­то­рые а- есть струк­ту­ри­ро­ван­ные дан­ные, б- объем этих текстов-​ вле­за­ет на один фи­зи­че­ский сер­вер (там всего-​то де­ся­ток те­ра­байт в сумме для GPT3, на­при­мер), об­ра­ба­ты­ва­ют­ся они не неза­ви­си­мо (ре­зуль­та­ты об­ра­бот­ки одной пачки вли­я­ют на ре­зуль­та­ты об­ра­бот­ки дру­гой и на­обо­рот) и по­это­му вот фор­му­ли­ро­воч­ка про то, что "язы­ко­вые мо­де­ли" - это "сра­ная би­гда­та"- это, какбы это так вы­ра­зить... негод­ная какая-​то фор­му­ли­ро­воч­ка. А вот если пе­рей­ти к муль­ти­мо­даль­ным сеткам-​ то тогда уже можно и би­гда­ту как-​то при­тя­нуть (да и нужно), но толь­ко это уже не про LLM раз­го­вор (ко­то­рые боль­шие язы­ко­вые мо­де­ли)- это имен­но муль­ти­мо­даль­ные ней­ро­се­ти, ко­то­рые и текст и видео и фотки со зву­ком умеют как-​то об­ра­ба­ты­вать. Муль­ти­мо­даль­ность за­вез­ли в GPT4.0, до этого там ее не было, а вот при­зна­ки ин­тел­лек­та она уже по­ка­зы­ва­ла (опять же, подчеркиваю-​ она не ин­тел­лект по­ка­зы­ва­ла, а неко­то­рые из его при­зна­ков!).

Вот как-​то так я при­мер­но и не секу фишку.