Русский язык - язык смыслов

В многоязычном бенчмарке, разработанный для оценки лингвистических моделей с длинным контекстом на 26 языках. Русский язык обогнал всех, кроме польского


Языки: китайский (zh), чешский (cs), датский (da), голландский (nl), английский (en), финский (fi), французский (fr), немецкий (de), хинди (hi), венгерский (hu), итальянский (it), японский (ja), корейский (ko), норвежский (no), персидский (fa), польский (pl), португальский (pt), русский (ru), сербский (sr), сесото (st), испанский (es), суахили (sw), шведский (sv), тамильский (ta), украинский (uk) и вьетнамский (vi)

Польский обогнал русский только потому, что он на латинице. Украинский уступил даже английскому. Сербский скатил к африканцам
 

В славянских языках морфология слова (приставки/корни/окончания и тп) дают большую часть смысла, а в английском уже большее значение имеет контекст. При токенизации эти связи начинают теряться. А китайскому еще не повезло и с длинной смыслов: фразы почти вдвое длиннее, а значит, окно контекста даст меньше связей.

Это они еще Дипсик не пробовали


https://arxiv.org/pdf/2503.01996