Motor em C/C++ para rodar LLMs localmente, com CLI e servidor compatível com a OpenAI

por ggml-org (ggml.ai / Hugging Face)

Usa inteligência artificial
Nota dos leitores
Sem avaliaçõesAvaliar
No ranking
4ºIA local
Downloads pelo Flipters
0
Estrelas no GitHub
136 mil

Última versão: v1.0.0, de 13 de novembro de 2026

Sobre o llama.cpp

O llama.cpp é um motor de inferência em C/C++ para rodar modelos de linguagem no formato GGUF, mantido pela comunidade ggml-org com apoio da ggml.ai, empresa comprada pela Hugging Face em 2026. É a base de vários apps de IA local.

O comando llama cli conversa com modelos baixados do Hugging Face, e o llama serve sobe uma API compatível com a OpenAI e uma interface web. O site llama.app instala a CLI e oferece o app Llama para macOS e Windows 11.

Principais recursos

  • Baixa e roda modelos GGUF direto do Hugging Face
  • Servidor llama serve compatível com a API da OpenAI
  • Interface web embutida para conversar com o modelo
  • Quantização de 1,5 a 8 bits para reduzir o uso de memória
  • Backends CUDA, Metal, Vulkan, HIP e SYCL, além de CPU

Novidades

Novidades da versão v1.0.0Publicada em 13 de novembro de 2026. Notas do GitHub, em inglês.Mostrar

Blog post: https://huggingface.co/blog/ggml-org/llama-cpp-v1

Overview

llama.cpp v1.0.0 removes the deprecated public API and promotes the NextN/speculative API to llama.h, adds OCP FP8 KV caches, a host-memory MoE expert cache with a configurable CPU share, and loading of external PLE shards. It adds three text architectures (Kimi-K3.1-Pro, Ripple and xing4_0), drama-3 TTS, and MageVL-Cowork and Kimi-K3.1 vision, hardens llama-server (SSRF, CORS, DNS rebinding, MCP tool cancellation) and adds a /v1/audio/speech endpoint, ships a redesigned web UI with chat groups and a markdown editor, and updates ggml to v1.0.0.

API changes

  • llama.h: remove llama_set_warmup, 35 deprecated functions, defrag_thold and --defrag-thold (#30565)
  • llama.h: promote the NextN API from llama-ext.h and rename llama_set_embd_state_src to llama_set_ctx_state_src (#30565)
  • llama.h: add moe_cache_size and moe_cache_cpu_share to llama_context_params (#30966)
  • mtmd.h: add MTMD_GEN_AUDIO_TYPE_DRAMA3 and temp in mtmd_helper_gen_audio_inp (#31613, #31655)
  • mtmd-helper.h: add mtmd_helper_resampler for streaming raw PCM at the model sample rate (#31964)
  • server: add the OpenAI-compatible /v1/audio/speech endpoint and a temperature option for /tts (#31763, #31655)

New models

  • Kimi-K3.1-Pro: K3 with the full-attention MLA layers replaced by DSA (#31779)
  • Ripple-65B-Preview (ricursive): new dense 65B architecture, no new ops (#31692)
  • xing4_0: mHC, MLA, MoE and MTP (#31589)
  • drama-3 TTS (fishaudio) (#31613)

Core changes

  • FP8 KV caches (-ctk/-ctv f8_e4m3) with optional static per-tensor scales (#28392)
  • MoE cache: CPU share for misses, LRFU/ClassLRU replacement, no CPU wait on cached experts (#30966, #31233, #31888)
  • external PLE/engram loading from separate GGUF shards via --shard/--ple (#31185)
  • Windows unbuffered model load, mirroring the Linux DirectIO path (#26014)
  • reuse the backend scheduler and graph results across reserves, and skip unused graph metadata pages (#32009, #32089, #32043)
  • mark every sampling chain as a graph output to prevent output aliasing (#32015)
  • remove the non-fused GDN paths and the ubatch-dependent graph node budget (#32078)
  • store the MTP conv snapshots of every recurrent model in one set_rows (#31660)
  • per-model build_rope with a KV-shifting fix and tests (#31683); the model is a member of llm_graph_context (#31733)
  • fix on-device state copy s
Ver a versão no GitHub

Avaliações de quem usa

Ainda sem avaliações

Usou o llama.cpp? Conte para quem está escolhendo.

Avalie o llama.cpp

Sua nota (obrigatória)

De 20 a 3.000 caracteres.0/3.000

Alternativas ao llama.cpp

  • Ollama

    Ollama Inc. · Rodar IA no seu computador

    Baixa e roda modelos de linguagem abertos no computador, por app, terminal ou API local

    • 187,8 mil no GitHub
  • LocalAI

    Ettore Di Giacinto e equipe LocalAI · Rodar IA no seu computador

    Servidor de IA local com API compatível com a OpenAI para texto, voz, imagem e vídeo

    • 50,5 mil no GitHub
  • LM Studio

    Element Labs, Inc. · Rodar IA no seu computador

    App de desktop para baixar e rodar modelos de linguagem no PC, com chat e API local

Ver todos em Rodar IA no seu computador

Fontes

Ficha escrita pela redação do Flipters a partir das fontes acima, revisada em 21 de novembro de 2026. Preços e versões mudam: confira no site oficial antes de comprar. Como trabalhamos.