[ что такое токены ]

Токены - рабочая единица LLM

Модель читает не слова, а токены: части слов, числа, пунктуацию, emoji и структурные символы.

Открыть калькулятор

Почему это важно

Стоимость запроса, лимит контекстного окна и скорость ответа обычно зависят от количества input и output tokens.

Почему слова не равны токенам

Русские и английские слова, код, JSON, Markdown и emoji дробятся по-разному. Поэтому две строки одинаковой длины могут иметь разную цену.

Как пользоваться калькулятором

Вставьте текст, выберите провайдера и модель, задайте expected output tokens и проверьте стоимость, контекст и предупреждения.