Định tuyến, tính phí và lỗi

LLMoxy định tuyến yêu cầu của bạn đến nhà cung cấp phía trên khả dụng và tự động thử lại khi nhà cung cấp tạm thời gặp sự cố. Là người dùng, bạn chỉ cần chỉ định mô hình; cổng sẽ xử lý phần còn lại.

Định tuyến

Khi gửi yêu cầu, hãy chỉ định model bạn muốn gọi, và LLMoxy sẽ：

Chọn một nhà cung cấp khỏe mạnh trong số những nhà cung cấp hỗ trợ mô hình và gửi yêu cầu.
Tự động chuyển sang nhà cung cấp khác và thử lại khi gặp lỗi tạm thời (ví dụ: 5xx, một số 429, hoặc hết thời gian chờ).
Nếu tất cả nhà cung cấp đều thất bại, trả về lỗi cuối cùng cho bạn theo kiểu OpenAI.

Bạn không cần cấu hình bất kỳ quy tắc định tuyến nào, cũng không cần biết yêu cầu hiện tại rơi vào nhà cung cấp nào.

Định dạng yêu cầu

Cùng một khóa có thể gọi mô hình qua các điểm cuối định dạng khác nhau. Chọn cái mà ứng dụng của bạn đã sử dụng：

Định dạng	Tuyến
OpenAI Chat	`POST /v1/chat/completions`
OpenAI Responses	`POST /v1/responses`
Anthropic Messages	`POST /v1/messages`
Gemini	`POST /v1beta/models/{model}:generateContent`
Embeddings	`POST /v1/embeddings`
Rerank	`POST /v1/rerank`
OpenAI Video	`POST /v1/videos`

Tính phí

Sau khi yêu cầu hoàn tất, LLMoxy tính phí dựa trên lượng token sử dụng do nhà cung cấp phía trên trả về, bao gồm prompt, completion, bộ nhớ đệm, âm thanh, hình ảnh và token suy luận. Tính phí theo từng yêu cầu; không có mức tối thiểu đăng ký hàng tháng.

Số dư thời gian thực và đơn giá dựa trên bảng điều khiển：

Ví：số dư còn lại và lịch sử nạp tiền.
Giá：đơn giá hiện tại của từng mô hình.
Nhật ký：phí thực tế và số lượng token cho từng yêu cầu.

Phản hồi lỗi

Tất cả lỗi sử dụng cấu trúc thống nhất kiểu OpenAI：

{
  "error": {
    "message": "error message",
    "type": "invalid_request_error",
    "param": null,
    "code": "invalid_request"
  }
}

Mã trạng thái thường gặp：

Mã trạng thái	Nguyên nhân thường gặp
`400`	Thân yêu cầu không hợp lệ hoặc chứa tham số không được hỗ trợ.
`401`	Khóa bị thiếu, sai chính tả hoặc đã bị vô hiệu hóa.
`403`	Tài khoản bị vô hiệu hóa, IP không trong danh sách cho phép, số dư đã hết hoặc đăng ký không khả dụng.
`404`	Mô hình hoặc tuyến không khả dụng.
`429`	Kích hoạt giới hạn tốc độ khóa của bạn, hoặc tất cả nhà cung cấp phía trên đồng thời đạt giới hạn dung lượng.
`5xx`	Tất cả nhà cung cấp phía trên đều trả về lỗi, hoặc lỗi nội bộ cổng.

Đối với bất kỳ hiển thị nào liên quan đến số tiền hoặc lượng sử dụng, hãy đọc trực tiếp bảng điều khiển hoặc phản hồi yêu cầu gần nhất. Đừng sử dụng giá trị đã lưu trong bộ nhớ đệm.