#147 - Eure Antwort: lokale KI-Modelle, die euch keiner verbieten kann (Teil 2)

Title: #148 - Eure Antwort: lokale KI-Modelle, die euch keiner verbieten kann (Teil 2)

Teil 1 war das Drama: Fable 5 nach drei Tagen abgeschaltet, dasselbe Spiel jetzt mit GPT-5.6, und wir in Europa stehen da ohne Lösung. Teil 2 ist die Antwort. Und die ist nicht „warten, bis die Amerikaner uns wieder ein Modell geben" — sondern „fahrt eure eigenen Modelle, in eurem Serverraum, auf eurem Laptop, und keiner kann sie euch wegnehmen". Action, let's go.

📍 Worum es heute geht: Open-Weight-Modelle wie Gemma 4, Qwen, DeepSeek V3/V4 und Mistral Nemo laufen heute lokal — ohne Internet, ohne dass eure Daten das Gebäude verlassen. Ein bisschen schlechter als die Frontier-Modelle, ja. Aber „ein bisschen schlechter" heißt in der KI-Welt 10-20 % schlechter — und das reicht vollkommen für das, was ihr wirklich macht. Diese Folge zeigt euch die Hardware, den Ein-Zeilen-Setup, den DSGVO-Vorteil und was ihr am Montag früh als CTO, CFO und Vorstand konkret tut.

📊 Erst mal vergleichen. Es gibt ein Paper, das zeigt, wie man die Modelle gegeneinander aufstellt: unten die Kosten, um das Modell laufen zu lassen, links die Evaluierung über mehrere Benchmarks — Mathematik, Coding, Reasoning. Da seht ihr Gemma 4, Qwen 3.7 und Co. Klar, auf der Coding-Benchmark liegt ein Qwen 2.5 bei 30 % und ein Fable 5 bei 80 %. Aber für eure Workflows — Angebote durchlesen, E-Mails schreiben, beim Coden helfen, in mehreren Sprachen arbeiten — braucht ihr kein Frontier-Modell. Das können die Offenen alle.

🛠️ Der Ein-Zeilen-Trick. Wisst ihr, wie ihr so ein Modell aufsetzt? Ihr macht Claude Code oder Codex auf und tippt: „Ich möchte Gemma 4 hier auf meinem PC ohne Internet nutzen. Mach mal." Das war der ganze Prompt. Dann läuft das Ding circa 10 Minuten, lädt sich Ollama runter, zieht das Modell, deployt es — fertig. So leicht ist es geworden, Open-Weight-Modelle zu nutzen. Datenschutz-Dinosaurier dürfen in der Garage bleiben.

🏦 Der JP-Morgan-Tresor-Vergleich. DSGVO verbietet die Übermittlung personenbezogener Daten in Drittländer ohne angemessenes Schutzniveau — das große Problem der US-Cloud-Anbieter. Wenn ihr aber Qwen 2.5 oder Gemma 4 in eurem Serverraum in Stuttgart oder Wien fahrt, verlassen die Daten nicht mal den Rechner. Kein Transfer, kein Artikel 44. Sogar Privacy by Design — Artikel 25. Stellt's euch so vor: Euer Geld bei JP Morgan in der Schweizer Filiale ist immer noch JP Morgan. Aber wenn das Geld im eigenen Tresor zu Hause liegt, ist das das Sicherste. Eure Head of Compliance