Embeddings и Rerank | LLMoxy 文档

Embeddings

Запросы эмбеддингов, совместимые с OpenAI, используют POST /v1/embeddings.

curl https://llmoxy.com/v1/embeddings \
  -H "Authorization: Bearer <LLMOXY_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "text-embedding-3-small",
    "input": ["first document", "second document"],
    "encoding_format": "float"
  }'

Основные поля:

Поле	Описание
`model`	Обязательно. ID модели эмбеддингов.
`input`	Строка или массив строк.
`encoding_format`	Может быть `float` или `base64`, если провайдер поддерживает.
`dimensions`	Для поддерживаемых моделей можно задать размерность выхода.
`user`	Необязательный идентификатор отслеживания.

Запросы эмбеддингов в стиле Gemini можно отправлять на:

POST /v1/engines/{model}/embeddings

Rerank

Используйте POST /v1/rerank для вызова моделей реранкинга Jina, Cohere и др.

curl https://llmoxy.com/v1/rerank \
  -H "Authorization: Bearer <LLMOXY_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "jina-reranker-v2-base-multilingual",
    "query": "What is LLMoxy?",
    "documents": [
      "LLMoxy is an LLM gateway.",
      "A database stores rows."
    ],
    "top_n": 1,
    "return_documents": true
  }'

Основные поля:

Поле	Описание
`model`	Обязательно. ID модели реранкинга.
`query`	Текст запроса.
`documents`	Массив строк или объектов документов.
`top_n`	Максимальное количество возвращаемых ранжированных результатов.
`return_documents`	Включать ли исходные документы в ответ.