兼容格式 | LLMoxy 文档

LLMoxy 支持多种请求格式，已有应用通常只需要替换 Base URL 和 API Key 即可迁移。

OpenAI 兼容

OpenAI SDK 配置：

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.LLMOXY_API_KEY,
  baseURL: "https://llmoxy.com/v1",
});

主要路由：

路由	用途
`POST /v1/chat/completions`	Chat Completions。
`POST /v1/completions`	旧文本补全。
`POST /v1/responses`	Responses API。
`POST /v1/embeddings`	Embeddings。
`POST /v1/images/generations`	图像生成。
`POST /v1/audio/transcriptions`	音频转录。
`POST /v1/audio/translations`	音频翻译。
`POST /v1/audio/speech`	文本转语音。
`GET /v1/realtime`	Realtime WebSocket。

Anthropic Messages

curl https://llmoxy.com/v1/messages \
  -H "x-api-key: <LLMOXY_API_KEY>" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-3-5-sonnet-latest",
    "max_tokens": 256,
    "messages": [
      { "role": "user", "content": "Hello" }
    ]
  }'

Anthropic 路由接受 system、max_tokens、temperature、top_p、top_k、stop_sequences、tools、tool_choice、thinking、metadata.user_id 等字段。

Gemini

curl "https://llmoxy.com/v1beta/models/gpt-5.4:generateContent" \
  -H "x-goog-api-key: <LLMOXY_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [
      {
        "role": "user",
        "parts": [{ "text": "Explain LLMoxy in one sentence." }]
      }
    ]
  }'

Gemini 风格模型列表可使用 GET /v1beta/models。

尚未实现的兼容路由

当前 Relay 对以下 OpenAI 兼容路由返回未实现：

POST /v1/images/variations
/v1/files
/v1/fine-tunes
DELETE /v1/models/{model}