JEV Moment

Mark steigt mit einer Warnung ein: Heute werde es langweilig, es gehe um Ja oder Nein, Rechnung oder Mahnung. Gemeint ist Klassifizierung, und die kennt er aus seinen ersten Programmierversuchen zu Zeiten von Turbo Pascal, als eine IF-Abfrage. Man hat Schirmchen, und man legt Dinge hinein, wenn sie bestimmten Kriterien entsprechen. Genau dieses alte Thema hat Mitte September ein Beben ausgelöst.

Am 15. September hat die Firma TypeSafe AI ein Modell namens Jev vorgestellt. Es kann keine Texte schreiben, es trifft Entscheidungen. Mark hat das zuerst abgetan. Er stand auf dem Rückweg aus dem Büro in der Straßenbahn, dachte sich, ein Modell, das nicht reden kann, was soll das, und scrollte weiter durch TikTok. Dort ließ ihn das Thema nicht mehr los, weil immer mehr Leute darüber berichteten.

Eine Anfrage an Jev besteht aus zwei Teilen: einem State und einer Question. Der State ist ein Satz, ein Absatz oder ein ganzer Text. Die Question zwingt das System zu einer eindeutigen Antwort. Drei Formen gibt es: die klassische Ja-Nein-Aussage, einen Score für Zustände wie Dringlichkeit oder Qualität, und eine Wahrscheinlichkeitsverteilung. Prompten kann man das Ding nicht.

Jens fragt dazwischen, was der Vorteil sein soll, wo ein Sprachmodell die Mail doch gleich beantworten könnte. Marks Antwort läuft über die Beispiele. Eine Mail lässt sich einsortieren: Beschwerde, Reklamation, Mahnung. Ein Vertrag lässt sich nach Passagen durchsuchen statt nach Wörtern, etwa nach allem, was mit Konventionalstrafe zu tun hat, ohne jede Schreibvariante vorher zu kennen. Dazu kommen die Zahlen: TypeSafe nennt bis zu 200 Mal schnellere Verarbeitung, und bei 10.000 Support-Tickets standen 0,042 US-Dollar je Million Eingabe-Token gegen 0,2 US-Dollar beim Sprachmodell. Weil das Antwortschema feststeht, ist das System außerdem robuster gegen Halluzination. Irren kann es sich, erfinden kann es nichts.

Dann kommt Marks Wochenende. Der Zugang war erst nicht zu bekommen, also hat er sich ein offenes Modell von Hugging Face genommen und ihm mit Apples neuem Framework Core AI, dem Nachfolger von Core ML, das Verhalten beigebracht: nur diese Fragen, nur eine Klassifizierung zurück. Gegen Jev selbst konnte er nicht antreten, gegen andere quelloffene Nachbauten schon, und weil das Framework so gut auf den Mac abgestimmt ist, war seine Lösung sechs- bis zwölfmal schneller. Schnell genug, dass sie Flappy Bird gespielt hat. Drücken oder nicht drücken, auf dem Handy, sofort nach dem Start. Mark besc