Токены: вместо того, чтобы обрабатывать весь текст целиком, модель разбивает его на более мелкие части, которые называются токенами. Токен может быть словом, частью слова или даже символом.

Токенизация: это процесс, с помощью которого текст преобразуется в токены. Алгоритмы токенизации определяют, как именно текст будет разбит на эти части.

Таким образом, токены — это строительные блоки для понимания текста моделью. Благодаря токенизации модели могут эффективно анализировать и генерировать текст.

Наш сервис использует оригинальные токенайзеры при подсчёте количества токенов в запросах и ответах, что гарантирует прозрачность и точность тарификации.