Want to create an interactive transcript for this episode?
Podcast: Chaos Computer Club - recent events feed
Episode: Benchmarking von selbst gehosteten LLMs (clt26)
Description: Large Language Models (LLMs) revolutionieren derzeit Arbeitsprozesse in der Dokumentenverarbeitung, der Softwareentwicklung und dem Wissensmanagement. Doch die Bequemlichkeit der Nutzung großer Cloud-Anbieter hat einen hohen Preis: Den Verlust der digitalen Souveränität. Wer weder Datenschutz noch volle Kontrolle über die zugrunde liegenden Prozesse garantieren kann, begibt sich in eine riskante Abhängigkeit.
Die Lösung ist der Betrieb eigener Modelle auf kontrollierter Infrastruktur. Da High-End-Enterprise-GPUs (wie die H100) oft das Budget sprengen, haben wir am Rechenzentrum der Universität Leipzig untersucht, wie sich LLMs auf „erschwinglicher“ Hardware im Rechenzentrums-Maßstab realisieren lassen.
In diesem Vortrag präsentieren wir die Ergebniss...