In dieser Folge sprechen Matúš, Alwine und Sebastian Holter darüber, wie sich große Sprachmodelle mit überschaubarem Budget lokal betreiben lassen... und warum eine kluge Architektur oft wichtiger ist als maximale Rechenleistung.

Ausgangspunkt ist Sebastians Homelab: eine gebrauchte Lenovo-Workstation, 512 Gigabyte Arbeitsspeicher und ein großes Mixture-of-Experts-Modell mit 397 Milliarden Parametern. Durch systematische Messreihen, BIOS-Einstellungen, Quantisierung, eine CPU-optimierte Laufzeitumgebung und Multi-Token Prediction steigert er den Durchsatz nach eigener Messung von knapp sechs auf bis zu zwölf Token pro Sekunde.

Im Gespräch wird konkret, welche Stellschrauben bei lokaler KI zählen: Speicherbandbreite, NPS- und SMT-Konfiguration, Quantisierungsstufen, CPU-Inferenz, KV-Cache und reproduzierbare Frage-Antwort-Kataloge. Sebastian zeigt auch, wie KI-Coding-Assistenten beim Einrichten, Testen und Debuggen helfen können - vorausgesetzt, man versteht und überprüft ihre Vorschläge.

Doch Hardware ist nur die halbe Geschichte. Sebastian entwickelt eine zwölfstufige RAG-Pipeline für Fragen zum bayerischen Kommunalrecht. Sie soll die Arbeitsweise eines Rechtsanwalts abbilden, Laiensprache in Fachbegriffe übersetzen und passende Rechtsnormen bereitstellen. So untersucht er, wie ein lokales 27B-Modell durch gute Prozesse und gezielten Kontext an die Antwortqualität deutlich größerer Modelle herankommen kann.

Abschließend geht es um digitale Souveränität, sensible Unternehmensdaten, realistische Einsatzfelder in kleinen und mittleren Unternehmen sowie die Frage, wann lokale KI wirtschaftlich und ökologisch sinnvoll ist. Die wichtigste Erkenntnis: Für klar begrenzte Aufgaben braucht es nicht automatisch das größte Frontier-Modell – sondern passende Hardware, saubere Messungen und eine durchdachte Architektur.

Eine Folge über lokale KI, Homelabs, CPU-Inferenz, Quantisierung, RAG-Pipelines und digitale Souveränität.

🔗 Weiterführende Links zur Folge:

LinkedIn: https://www.linkedin.com/company/klartext-ki-der-podcast