Routage, facturation et erreurs

LLMoxy route votre requête vers un fournisseur en amont disponible et réessaie automatiquement lorsque le fournisseur tombe en panne temporairement. En tant qu'utilisateur, vous n'avez qu'à spécifier le modèle ; la passerelle s'occupe du reste.

Routage

Lors de la soumission d'une requête, spécifiez le model que vous souhaitez appeler, et LLMoxy va :

1. Choisir un fournisseur sain parmi ceux qui prennent en charge le modèle et envoyer la requête.
2. Basculer automatiquement vers un autre fournisseur et réessayer en cas d'erreurs temporaires (par ex. 5xx, certains 429, ou délais d'attente).
3. Si tous les fournisseurs échouent, renvoyer la dernière erreur dans le style OpenAI.

Vous n'avez pas besoin de configurer de règles de routage, ni de savoir sur quel fournisseur la requête actuelle atterrit.

Formats de requête

La même clé peut appeler des modèles via différents points de terminaison de format. Choisissez celui que votre application utilise déjà :

Facturation

Une fois la requête terminée, LLMoxy facture en fonction de l'utilisation de tokens renvoyée par le fournisseur en amont, couvrant les tokens de prompt, de completion, de cache, d'audio, d'image et de raisonnement. La facturation est à la requête ; il n'y a pas de minimum d'abonnement mensuel.

Le solde en temps réel et les prix unitaires sont basés sur la console :

• Portefeuille : solde restant et historique de rechargement.
• Tarification : prix unitaire actuel pour chaque modèle.
• Journaux : frais réels et nombre de tokens pour chaque requête.

Réponses d'erreur

Toutes les erreurs utilisent une structure unifiée de style OpenAI :

{
  "error": {
    "message": "error message",
    "type": "invalid_request_error",
    "param": null,
    "code": "invalid_request"
  }
}

Codes d'état courants :

Pour tout affichage impliquant des montants ou de l'utilisation, lisez directement la console ou la réponse de la requête la plus récente. N'utilisez pas de valeurs mises en cache.