Gateway e SDK de código aberto que unificam mais de 100 provedores de LLM no formato da API da OpenAI

por BerriAI

Usa inteligência artificial
Nota dos leitores
Sem avaliaçõesAvaliar
Downloads pelo Flipters
0
Estrelas no GitHub
63,7 mil

Última versão: v1.110.2, de 20 de novembro de 2026

Sobre o LiteLLM

LiteLLM é um gateway de IA de código aberto mantido pela BerriAI, com um SDK em Python e um servidor proxy que expõe mais de 100 provedores de modelos no formato da API da OpenAI. É o gateway que muitas equipes rodam na própria infraestrutura para centralizar chaves e gastos.

O proxy cria chaves virtuais com orçamento por chave, equipe e organização, faz balanceamento de carga, fallback e cache, registra o gasto e aplica guardrails, e sobe com Docker em poucos minutos. A licença é MIT, exceto a pasta de recursos enterprise, vendidos à parte com SSO, logs de auditoria e suporte. Em março de 2026, duas versões publicadas no PyPI (1.82.7 e 1.82.8) foram adulteradas e ficaram cerca de três horas no ar; vale fixar a versão usada.

Principais recursos

  • Mais de 100 provedores no formato da API da OpenAI
  • Chaves virtuais com orçamento por chave, equipe e organização
  • Balanceamento de carga, fallback e cache de respostas
  • Registro de gastos por chave, usuário, equipe e modelo
  • Guardrails para dados pessoais, injeção de prompt e segredos
  • Painel de administração e integração com servidores MCP

Novidades

Novidades da versão v1.110.2Publicada em 20 de novembro de 2026. Notas do GitHub, em inglês.Mostrar

Verify this release

``bash cosign verify \ --certificate-identity https://github.com/BerriAI/project-releaser/.github/workflows/release.yml@refs/heads/main \ --certificate-oidc-issuer https://token.actions.githubusercontent.com \ ghcr.io/berriai/litellm:v1.110.2 ``

Same command for litellm-database, litellm-non_root and the docker.io/litellm/* images

What's new in 1.110.2

11 PRs. 8 fixed. No action needed to upgrade

Changes

  • Anthropic: Fixed temperature=1 returning 400 on Claude models that removed sampling params on Anthropic, Vertex AI and Azure AI, broken since v1.110.0-rc.2 (#52341)
  • Responses API: Fixed streams retrying after output reached the client, which sent duplicate events and billed extra calls (#52461)
  • Responses API: Fixed streams that fail after reasoning output restarting on a fallback group and sending a second response (#52616)
  • Caching: Fixed GPT-6.2 system prompts missing the prompt cache on /v1/chat/completions and /v1/messages unless store: false (#52906) Also in 1.106.12, 1.108.13, 1.109.3
  • Cost tracking and pricing: Fixed forwarded Anthropic credentials on /v1/messages ignoring the deployment's custom prices, broken since v1.109.0 (#52313)
  • Keys, teams and auth: Fixed JWT key mappings without jwt_issuer taking 5 minutes to apply when litellm_jwtauth.issuers is set, broken since v1.103.0 (#52350) Also in 1.108.13, 1.109.3
  • Keys, teams and auth: Fixed /key/info letting a key with no user read other userless keys by hash or alias (#52838, #52925) Also in 1.106.12, 1.108.13, 1.109.3
  • Performance: Fixed memory growth from every finished request staying in memory until a full GC pass, broken since v1.110.0-rc.1 (#51888)

---

Backport #52463 · Backport #52469 · Backport #52690 · Backport #52751 · Backport #52920 · Backport #52938 · Full changelog

Ver a versão no GitHub

Avaliações de quem usa

Ainda sem avaliações

Usou o LiteLLM? Conte para quem está escolhendo.

Avalie o LiteLLM

Sua nota (obrigatória)

De 20 a 3.000 caracteres.0/3.000

Alternativas ao LiteLLM

  • Portkey

    Portkey (Palo Alto Networks) · Gateways e roteadores de LLM

    Gateway de IA de código aberto com guardrails e observabilidade, hoje parte da Palo Alto Networks

    • 13,4 mil no GitHub
  • Bifrost

    Maxim AI · Gateways e roteadores de LLM

    Gateway de IA de código aberto da Maxim AI, feito para baixa latência e alto volume de requisições

    • 9.945 no GitHub
  • OpenRouter

    OpenRouter · Gateways e roteadores de LLM

    API única para centenas de modelos de dezenas de provedores, com fallback automático e cobrança por créditos

  • Helicone

    Helicone (Mintlify) · Gateways e roteadores de LLM

    Observabilidade de LLM e gateway de IA de código aberto, em modo de manutenção desde a compra pela Mintlify

    • 6.292 no GitHub
Ver todos em Gateways e roteadores de LLM

Fontes

Ficha escrita pela redação do Flipters a partir das fontes acima, revisada em 21 de novembro de 2026. Preços e versões mudam: confira no site oficial antes de comprar. Como trabalhamos.