Маршрутизация, тарификация и ошибки

LLMoxy направляет ваш запрос к доступному поставщику и автоматически повторяет попытку при временном сбое. Как пользователь, вам нужно только указать модель; шлюз обработает всё остальное.

Маршрутизация

При отправке запроса укажите model, который хотите вызвать, и LLMoxy:

1. Выберет здорового провайдера из поддерживающих модель и отправит запрос.
2. Автоматически переключится на другого провайдера и повторит попытку при временных ошибках (например, 5xx, некоторые 429 или таймауты).
3. Если все провайдеры откажут, вернёт последнюю ошибку в стиле OpenAI.

Вам не нужно настраивать правила маршрутизации и знать, на какого провайдера попал текущий запрос.

Форматы запросов

Один и тот же ключ может вызывать модели через разные форматы эндпоинтов. Выберите тот, который уже использует ваше приложение:

Тарификация

После завершения запроса LLMoxy списывает средства на основе использования токенов, возвращённого провайдером, включая prompt, completion, кэш, аудио, изображения и reasoning-токены. Списание производится за запрос; минимальной ежемесячной подписки нет.

Текущий баланс и цены за единицу берутся из консоли:

• Кошелёк: остаток баланса и история пополнений.
• Цены: текущая цена за единицу для каждой модели.
• Логи: фактическое списание и количество токенов для каждого запроса.

Ответы об ошибках

Все ошибки используют единую структуру в стиле OpenAI:

{
  "error": {
    "message": "error message",
    "type": "invalid_request_error",
    "param": null,
    "code": "invalid_request"
  }
}

Распространённые коды состояния:

Для любых отображений сумм или использования читайте данные прямо из консоли или ответа последнего запроса. Не используйте кэшированные значения.