LLAMA.CPP

KI & Infrastruktur
llama.cpp — schlanke C/C++-Inferenz für GGUF-Modelle, auch auf CPU und gemischter Hardware.

Typisch für lokale APIs, Labor-Setups und ressourcenschonende Deployments ohne schweren Serving-Stack.
Netzwerk

Verwandte Tags

LLM ROCM CUDA VLLM OLLAMA
Praxis

Anwendungsbeispiele

  • CPU-/GPU-Hybrid Modelle auch ohne volle GPU-Auslastung fahren
  • Edge-nahe API schlanker Server neben anderen Diensten
  • Quantisierte Modelle Speicherbedarf und Qualität abwägen
Stack

Werkzeuge

  • GGUF-Modelle
  • Server-Modus (OpenAI-kompatibel)
  • Quantisierung Q4/Q5/Q8
Projekte

Passende Projekte

Alle Projekte
LLM RAG
Lokaler Inferenz-Server für Sprachmodelle

Lokaler Inferenz-Stack: zwei MI50, llama.cpp, Open WebUI, RAG mit MariaDB-Vektorsuche und ClickHouse.
Alle Leistungen Alle Projekte