Want to create an interactive transcript for this episode?
Podcast: Chaos Computer Club - recent audio-only feed
Episode: Zero to Vibe – Using local AI for Development (clt26)
Description: Dieser Vortrag beschreibt meine Erfahrungen bei der Konzeption und dem Betrieb eines vollständig lokalen KI‑Stacks. Der Fokus liegt dabei auf der Kombination aus Hardware, LLM‑Servern, quantisierten Modellen, UI‑Clients sowie der Agenten‑Architektur. Ziel ist es, praxisorientierte Erkenntnisse zu geben, um KI‑Modelle ohne Cloud‑Abhängigkeiten einzusetzen.
Der Trend zu KI‑gestützter Softwareentwicklung wächst, und dabei spielt die Möglichkeit, Modelle lokal auszuführen, eine wichtige Rolle spielt die Datensicherheit. In diesem Beitrag schildere ich meinen eigenen Aufbau und die daraus gewonnenen Erkenntnisse. Dabei gehe ich auf Hardware, Server, Modelle, Parameter, Clients, Agenten und konkrete Anwendungsb...