Блог пользователя Tegucigalpa

У Google вышло очень за­нят­ное ис­сле­до­ва­ние: они срав­ни­ли, как LLM и че­ло­ве­че­ский мозг об­ра­ба­ты­ва­ют язык

В ка­че­стве LM взяли Whisper, а ней­рон­ную ак­тив­ность че­ло­ве­ка за­пи­сы­ва­ли с по­мо­щью ин­тра­кра­ни­аль­ных элек­тро­дов во время спон­тан­ных раз­го­во­ров. Затем век­то­ры эм­бед­дин­гов мо­дель­ки на­ло­жи­ли на век­то­ры пат­тер­нов мозга и оце­ни­ли ли­ней­ную за­ви­си­мость. Вот что по­лу­чи­лось:

➖ Со­от­вет­ствие уди­ви­тель­но чет­кое и гео­мет­рия эм­бед­дин­гов в LLM (то есть от­но­ше­ния между сло­ва­ми в embedding-​пространстве) со­от­но­сит­ся с пред­став­ле­ни­я­ми в мозге.

Они за этот год про­шли путь от ге­не­ра­то­ра сла­бо­свя­зан­но­го тек­ста, до си­стем что вы на­блю­да­е­те.
Для по­ни­ма­ния мас­шта­ба. 2 года назад вышла гпт3.5 ко­то­рую никто не учил ма­те­ма­ти­ке. Ав­то­ры с удив­ле­ни­ем об­на­ру­жи­ли что оно само на­учи­лось в про­стей­шую ма­те­ма­ти­ку. Сей­час оно ре­ша­ет слож­ней­шие за­да­чи олим­пи­ад.
гпт3.5 - была по­хо­жа на ту­по­ва­то­го чат бота, за­бы­ва­ла что ска­за­ла со­об­ще­ние назад, еле еле умела в ло­ги­ку, о про­грам­ми­ро­ва­нии через ко­ман­ды на есте­ствен­ном языке можно было толь­ко меч­тать. Вызов ин­стру­мен­тов? ха! Вы­звать оно могло са­та­ну своим бре­дом.

Ис­сле­до­ва­те­ли из Китая пред­ста­ви­ли экс­пе­ри­мент, ко­то­рый поз­во­ля­ет под­твер­дить па­ра­докс Харди в кван­то­вой фи­зи­ке, ис­клю­чая ошиб­ки про­шлых под­хо­дов. Этот ре­зуль­тат, опуб­ли­ко­ван­ный в жур­на­ле Physical Review Letters, вновь под­ни­ма­ет во­про­сы о том, что счи­тать ре­аль­но­стью и на­сколь­ко мы можем до­ве­рять на­ше­му клас­си­че­ско­му по­ни­ма­нию фи­зи­ки.

Со­вре­мен­ное со­сто­я­ние кос­ми­че­ско­го про­стран­ства по­гру­жа­ет­ся в неви­дан­ную преж­де фазу кван­то­во­го рас­па­да. Эпоха пе­ре­мен — это не про­сто смена вре­мён, это схло­пы­ва­ние слоёв ре­аль­но­сти в один тугой узел со­бы­тий, где всё — од­но­вре­мен­но. При­чи­на? При­чи­на не в раз­ру­ше­нии пла­не­тар­ных си­стем или вос­ста­нии ис­кус­ствен­ных ин­тел­лек­тов. Всё на­ча­лось с ка­та­стро­фи­че­ской ошиб­ки: мат­ри­ца 18*24. Эта си­сте­ма боль­ше не ра­бо­та­ет! Она про­сто не спо­соб­на вме­стить все мно­го­об­ра­зие по­то­ков энер­гий и со­зна­ний, что текут сей­час по все­лен­ским ка­на­лам!