Совместимые форматы

LLMoxy поддерживает несколько форматов запросов. Для миграции существующим приложениям обычно достаточно заменить базовый URL и ключ API.

Совместимость с OpenAI

Конфигурация SDK OpenAI:

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.LLMOXY_API_KEY,
  baseURL: "https://llmoxy.com/v1",
});

Основные маршруты:

Маршрут	Назначение
`POST /v1/chat/completions`	Chat Completions.
`POST /v1/completions`	Устаревшие текстовые дополнения.
`POST /v1/responses`	Responses API.
`POST /v1/embeddings`	Embeddings.
`POST /v1/images/generations`	Генерация изображений.
`POST /v1/audio/transcriptions`	Аудиотранскрипция.
`POST /v1/audio/translations`	Аудиоперевод.
`POST /v1/audio/speech`	Преобразование текста в речь.
`GET /v1/realtime`	WebSocket Realtime.

Anthropic Messages

curl https://llmoxy.com/v1/messages \
  -H "x-api-key: <LLMOXY_API_KEY>" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-3-5-sonnet-latest",
    "max_tokens": 256,
    "messages": [
      { "role": "user", "content": "Hello" }
    ]
  }'

Маршруты Anthropic принимают system, max_tokens, temperature, top_p, top_k, stop_sequences, tools, tool_choice, thinking, metadata.user_id и другие поля.

Gemini

curl "https://llmoxy.com/v1beta/models/gpt-5.4:generateContent" \
  -H "x-goog-api-key: <LLMOXY_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [
      {
        "role": "user",
        "parts": [{ "text": "Explain LLMoxy in one sentence." }]
      }
    ]
  }'

Списки моделей в стиле Gemini можно получить через GET /v1beta/models.

Ещё не реализованные маршруты

В настоящее время Relay возвращает «не реализовано» для следующих маршрутов, совместимых с OpenAI:

POST /v1/images/variations
/v1/files
/v1/fine-tunes
DELETE /v1/models/{model}