路由、計費與錯誤

LLMoxy 幫你把一個請求路由到一家可用的上游供應商，並在上游臨時故障時自動重試。作為使用者你只需要指定模型，剩下的由閘道處理。

路由

提交請求時指定你想調用的 model，LLMoxy 會：

1. 從支援該模型的上游供應商裡挑選一個健康的發起請求。
2. 遇到臨時錯誤（例如 5xx、部分 429 或超時）時自動切換到下一家重試。
3. 若所有供應商都失敗，把最後一次錯誤以 OpenAI 風格返回給你。

你不需要配置任何路由規則，也不需要知道當前請求落在哪一家供應商。

請求格式

同一個 Key 可以透過不同格式的介面調用模型。選擇你的應用已經在用的那一套即可：

計費

請求結束後，LLMoxy 會按上游返回的 token 用量扣費，涵蓋 prompt、completion、快取、音訊、圖像和推理 token。扣費按請求結算，不存在月度訂閱最低消費。

即時額度和單價以控制台為準：

• 錢包：剩餘額度和充值記錄。
• 價格：每個模型的當前單價。
• 日誌：每次請求的實際扣費和 token 數。

錯誤響應

所有錯誤統一使用 OpenAI 風格結構：

{
  "error": {
    "message": "error message",
    "type": "invalid_request_error",
    "param": null,
    "code": "invalid_request"
  }
}

常見狀態碼：

涉及金額或用量的展示，請直接讀控制台或最近一次請求的響應，不要使用快取值。