Уровни обслуживания

Anthropic предлагает три уровня обслуживания:

• Priority Tier: Доступен только организациям с существующим обязательством по ёмкости
• Standard: Уровень по умолчанию как для пилотирования, так и для масштабирования повседневных сценариев использования
• Batch: Лучше всего подходит для асинхронных рабочих процессов, которые могут подождать или выиграть от выполнения вне вашей обычной ёмкости



Уровень Standard

Уровень standard является уровнем обслуживания по умолчанию для всех запросов API. API приоритизирует эти запросы наряду со всеми другими запросами с доступностью по мере возможности.



Priority Tier

API приоритизирует запросы этого уровня над всеми другими запросами. Такая приоритизация помогает минимизировать ошибки «server overloaded» даже в пиковые периоды.

Для получения дополнительной информации см. Существующие обязательства Priority Tier.



Как запросам назначаются уровни

При обработке запроса Anthropic решает назначить запрос на Priority Tier в следующих сценариях:

• У вашей организации достаточно ёмкости Priority Tier по входным токенам в минуту
• У вашей организации достаточно ёмкости Priority Tier по выходным токенам в минуту

Anthropic учитывает использование в счёт ёмкости Priority Tier следующим образом:

Входные токены

• Чтения из кэша как 0,1 токена за каждый токен, прочитанный из кэша
• Записи в кэш как 1,25 токена за каждый токен, записанный в кэш с TTL 5 минут
• Записи в кэш как 2,00 токена за каждый токен, записанный в кэш с TTL 1 час
• Для запросов с инференсом только в США (inference_geo: "us") на моделях Claude 4.6 и более поздних входные токены считаются как 1,1 токена за токен
• Все остальные входные токены — 1 токен за токен

Выходные токены

• Для запросов с инференсом только в США (inference_geo: "us") на моделях Claude 4.6 и более поздних выходные токены считаются как 1,1 токена за токен
• Все остальные выходные токены — 1 токен за токен

В противном случае запросы выполняются на уровне standard.



Использование уровней обслуживания

Вы можете контролировать, какие уровни обслуживания могут использоваться для запроса, установив параметр service_tier:

client = anthropic.Anthropic()

message = client.messages.create(
    model="claude-opus-4-8",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello, Claude!"}],
    service_tier="auto",  # Automatically use Priority Tier when available, fallback to standard
)
print(message.usage.service_tier)

Параметр service_tier принимает следующие значения:

• "auto" (по умолчанию) — использует ёмкость Priority Tier, если она доступна, с переключением на вашу другую ёмкость в противном случае
• "standard_only" — использовать только ёмкость уровня standard; полезно, если вы не хотите использовать вашу ёмкость Priority Tier

Объект usage в ответе также включает уровень обслуживания, назначенный запросу:

{
  "usage": {
    "input_tokens": 410,
    "cache_creation_input_tokens": 0,
    "cache_read_input_tokens": 0,
    "output_tokens": 585,
    "service_tier": "priority"
  }
}

Это позволяет вам определить, какой уровень обслуживания был назначен запросу.

При запросе service_tier="auto" с моделью, имеющей обязательство Priority Tier, эти заголовки ответа предоставляют полезную информацию:

anthropic-priority-input-tokens-limit: 10000
anthropic-priority-input-tokens-remaining: 9618
anthropic-priority-input-tokens-reset: 2025-01-12T23:11:59Z
anthropic-priority-output-tokens-limit: 10000
anthropic-priority-output-tokens-remaining: 6000
anthropic-priority-output-tokens-reset: 2025-01-12T23:12:21Z

Вы можете использовать наличие этих заголовков, чтобы определить, был ли ваш запрос пригоден для Priority Tier, даже если он превысил лимит.



Существующие обязательства Priority Tier

Обязательство Priority Tier состоит из:

• Количества входных токенов в минуту
• Количества выходных токенов в минуту
• Срока обязательства (1, 3, 6 или 12 месяцев)
• Конкретной версии модели

Priority Tier нацелен на 99,5% времени безотказной работы с приоритетными вычислительными ресурсами. Запросы сверх вашей зафиксированной ёмкости автоматически переключаются на уровень standard.



Поддерживаемые модели

Priority Tier поддерживается на всех доступных моделях Claude, кроме Claude Mythos 5, Claude Mythos Preview, Claude Opus 5 и Claude Sonnet 5.

Ознакомьтесь с обзором моделей для получения дополнительной информации о доступных моделях.