LLM (Large Language Model) и автонабор T9 (Text on 9 keys) решают внешне похожую задачу — предсказание следующего слова или символа, — но устроены принципиально по-разному. Ключевая статья «Attention Is All You Need» (Vaswani et al., 2017) как раз и описала архитектуру, которая легла в основу современных LLM, и показала, почему старые подходы к моделированию языка безнадёжно уступают Трансформеру. Ниже развёрнутое сравнение, привязанное к идеям из статьи.

## 1. Архитектурная пропасть: конечный автомат против Трансформера

**T9** — это по сути классический предиктивный ввод на кнопочном телефоне. Когда вы нажимаете клавиши (например, «2» — «ABC», «6» — «MNO»), система смотрит в словарь и предлагает варианты слов, соответствующих этой цифровой последовательности. Для упорядочивания вариантов и предсказания следующего слова T9 использует простую статистическую модель, чаще всего **n-граммную** (биграммы или триграммы частот слов) или конечный автомат, работающий локально. Никакого глубокого обучения, никакого учёта смысла — только подсчёт совместной встречаемости слов в коротких окнах (например, 1–2 предыдущих слова).

**LLM** на базе Трансформера (GPT, BERT и др.) — это глубокая нейросеть с десятками слоёв, в которой основным вычислительным блоком является **механизм внимания**. Согласно статье «Attention Is All You Need», модель полностью отказывается от рекуррентных и свёрточных слоёв и строится исключительно на self-attention и position-wise feed-forward сетях. Архитектура представляет собой стопку идентичных блоков, в каждом из которых сначала вычисляется многоголовое самовнимание (Multi-Head Attention), затем применяется нормализация и полносвязный слой.

## 2. Работа с контекстом: короткая история против глобальной сцены

Это самое важное отличие, напрямую демонстрирующее преимущество механизма внимания.

- **T9** видит лишь несколько ближайших слов. Даже в продвинутых реализациях контекст ограничен 2–3 токенами. Если вы написали длинное предложение о погоде, а потом начали новое о кулинарии, T9 не уловит смену темы; он предложит вероятные слова на основе локальной статистики, не имея никакой модели «понимания».

- **LLM** благодаря **self-attention** (формула `Attention(Q,K,V) = softmax(QK^T/√d_k)V`) может одновременно «смотреть» на все позиции в последовательности, а не только на соседние. Каждый токен взаимодействует с каждым другим токеном напрямую, независимо от расстояния между ними. Это даёт модели способность улавливать зависимости длиной в тысячи токенов. В статье подчёркивается, что максимальная длина пути между любыми двумя позициями в self-attention равна O(1), тогда как в рекуррентных сетях — O(n). По сравнению же с n-граммными моделями типа T9, которые обрезают историю до константного окна, Трансформер покрывает всю историю диалога или текста.

Именно это позволяет LLM поддерживать связность повествования, возвращаться к сущностям, упомянутым несколькими абзацами ранее, и корректно разрешать анафоры — вещи, для T9 принципиально недоступные.

## 3. Масштаб и обучение: словарь-считалка против глубокого обучения

- **Модель T9** строит вероятности на основе подсчёта частот n-грамм в корпусе и хранит их в сжатом виде. Её «обучение» — это просто составление частотных таблиц. Никакого представления о синонимии, семантике или грамматических правилах у неё нет, кроме того, что закодировано в поверхностных n-граммах.

- **LLM** тренируется с использованием алгоритма обратного распространения ошибки на колоссальных объёмах текста (сотни миллиардов токенов). В ходе обучения формируются **векторные представления** слов и подслов (embeddings), а затем многослойный Трансформер преобразует их с учётом полного контекста. Это даёт не просто знание совместной встречаемости, а распределённое представление смысла, стиля, фактов и даже элементов рассуждения.

## 4. Механизм внимания как сердце отличия

В статье «Attention Is All You Need» вводится **многоголовое внимание** (Multi-Head Attention), которое позволяет модели параллельно фокусироваться на разных аспектах связей между словами — синтаксисе, семантике, кореферентности и т.д. T9 в принципе лишён такого механизма: его «внимание» — это жёстко заданные биграммные/триграммные переходы, которые не меняются от контекста (кроме выбора окна).

Например, во фразе «Кошка, которая съела рыбу, была голодна» LLM через внимание свяжет «была голодна» с «кошка» через согласование по роду и числу, несмотря на разделяющее придаточное предложение. T9 же, видя последние слова «рыбу, была», может выдать несуразный вариант типа «рыбу, была вкусной», потому что локально слово «рыбу» часто сочетается с «вкусной».

## 5. Позиционное кодирование и понятие порядка

Трансформер, в отличие от рекуррентных сетей, не обрабатывает текст последовательно, а получает все токены сразу. Чтобы учесть порядок слов, в статье используется **позиционное кодирование** (синусоидальные функции или обучаемые векторы), которые добавляются к эмбеддингам. Это позволяет модели различать позиции. В T9 порядок слов учитывается только в том смысле, что n-грамма «A потом B» отличается от «B потом A»; но сложные дистантные закономерности порядка (например, структура подлежащее – сказуемое после длинной вставки) остаются незамеченными.

## 6. Обобщение и генерация нового

T9 может предложить только те слова, которые встречались в его жёстко ограниченном контексте в обучающих данных. Он неспособен породить новую комбинацию, не встреченную ранее. LLM, благодаря распределённым представлениям и вниманию, способен генерировать осмысленные фразы, никогда не встречавшиеся в обучении. Он может перефразировать, дополнять предложения по смыслу, переводить, решать логические задачи — всё это принципиально за пределами возможностей n-граммной модели.

## 7. Что говорится об этом в статье «Attention Is All You Need» напрямую

Хотя авторы напрямую не сравнивают Трансформер с T9 (статья про машинный перевод и языковое моделирование), они демонстрируют, что замена рекуррентных архитектур на механизм self-attention даёт качественный скачок именно за счёт:

- полной связности всех позиций входа и выхода,
- параллельного вычисления внимания,
- способности улавливать зависимости любой длины с постоянной сложностью.

Всё это объясняет, почему LLM — это не просто «очень большой T9». T9 эксплуатирует локальные регулярности языка, а LLM строит многоуровневое представление смысла, используя динамически вычисляемые веса внимания, которые зависят от всего предшествующего контекста. Модель, основанная на Трансформере, буквально «думает» над каждым новым словом, просматривая всю предыдущую историю через призму обученных голов внимания — именно это заложено в названии «Attention Is All You Need».

Таким образом, разница между LLM и T9 — это разница между подсчётом поверхностных совпадений и построением глубокого, контекстно-зависимого понимания текста, возможного благодаря механизму самовнимания, представленному в указанной статье.

Если совсем просто: T9 — это узкий механизм ввода текста на кнопочной клавиатуре, а LLM — это большая языковая модель, которая учится на огромных массивах текста и умеет не только подсказывать слово, но и генерировать связный текст, отвечать на вопросы, переводить и обобщать. LLM обычно строятся на Transformer-архитектуре. (IBM)

Статья Attention Is All You Need важна потому, что в ней предложен Transformer: архитектура, основанная только на attention-механизмах, без рекуррентных сетей и без свёрток. Авторы подчёркивают, что это делает модель более параллелизуемой и сильно сокращает время обучения. В декодере предсказание делается авторегрессивно: на каждом шаге модель использует уже сгенерированные предыдущие символы, а self-attention позволяет каждой позиции смотреть на другие позиции в последовательности. (arXiv)

LLM в современном смысле — это уже не просто «подсказчик следующего слова», а большой нейросетевой предсказатель, обученный на гигантских корпусах данных. IBM описывает LLM как deep learning-модели, обычно построенные на Transformer, которые работают как статистические машины предсказания следующего слова/токена, а при инференсе генерируют текст по одному токену за раз и могут использовать очень большие контекстные окна. (IBM)

T9 устроен гораздо проще и уже по самой задаче: это предиктивный ввод для телефонов с цифровой клавиатурой. По описанию в руководствах Nokia, он опирается на встроенный словарь, может дополняться новыми словами и позволяет вводить букву или слово через последовательность нажатий клавиш; в одном из руководств прямо сказано, что текст вводится, используя клавиши 2–9, причём каждая клавиша нажимается один раз на букву. (download-support.webapps.microsoft.com)

Отсюда ключевая разница по статье Васвани и соавторов такая:

• T9 сопоставляет последовательность нажатий клавиш словарю и предлагает кандидаты; это интерфейс ввода для ограниченной клавиатуры. (download-support.webapps.microsoft.com)

• Transformer/LLM строит представление всей последовательности через self-attention, где каждая позиция может учитывать другие позиции, и затем генерирует следующий токен в более богатом контексте.

• T9 работает в узком домене набора текста; LLM — это универсальная языковая модель общего назначения, которую можно дообучать и применять к множеству задач. (IBM)

• T9 не «понимает язык» в том смысле, в каком это обычно обсуждают для LLM: он скорее выбирает наиболее вероятное слово из ограниченного набора, тогда как LLM учится на массивах текста и использует более глубокие статистические зависимости в длинном контексте. Это вывод из описанных механизмов. (IBM)

Если совсем в одном предложении: T9 — это умный словарь для кнопочного ввода, а LLM — это большой Transformer, который моделирует язык как последовательность токенов и умеет работать с гораздо более богатым контекстом. (download-support.webapps.microsoft.com)