Denkende Erdbeere? Was da jetzt bei OpenAI kommt

ChatGPT bietet eine neue KI: „o1-preview“, Codename: „Strawberry“, ein Sprachmodell, das erst abwägt und dann antwortet. Aber wie ist das zu bewerten?

Update, 13.9.: Es ging dann schneller als erwartet. Diese Woche hatten Reuters und der Online-Dienst „The Information“ übereinstimmend berichtet, „Strawberry“ sei in 14 Tagen zu erwarten; jetzt ist es weltweit freigeschaltet. Ob das damit zusammenhängt, dass OpenAI gerade neues Geld einsammeln geht?

Kurz, worum es geht: Dem Vernehmen nach haben einzelne Testpersonen Zugriff auf ein KI-Sprachmodell, das etwas anders funktioniert als das aktuelle GPT-4o – und diesem in einigen Aspekten überlegen ist: Das neue Sprachmodell – Codename „Strawberry“ – soll nicht nur verdammt gut in Mathe sein. (The Decoder). Es soll auch sehr komplexe Probleme lösen können, indem es sich Lösungs-Strategien und Pläne erstellt, damit eignet es sich für autonome KI-Agenten: Digitale Butler, die mit einem Auftrag im Gepäck diensteifrig im Internet recherchieren und kommunizieren, um dem Nutzenden zu Diensten zu sein.

Dass das mit den derzeitigen Modellen noch nicht gut funktioniert, kann man sich gut beim ehrgeizigen Bastelprojekt „AutoGPT„ anschauen – dort hat man als Nutzer die Möglichkeit, jeden Schritt des KI-Agenten erst zu überprüfen und dann freizugeben, und man ist sehr gut beraten, diese Möglichkeit auch zu nutzen.

Dafür ist „Strawberry“ nicht multimodal – es kann also nur mit Text umgehen, nicht mit Bildern, wie GPT-4 – und es verlangt etwas Geduld: Anders als die derzeitigen Sprachmodelle beginnt es nicht sofort zu antworten, sondern erst nach 10-20 Sekunden. Und dahinter versteckt sich das Erfolgsgeheimnis.

Was denkende Maschinen nicht gut können: denken

Schon mehrfach in diesem Blog erwähnt: Sprachmodelle können nicht denken wie Menschen. Ein Mensch entwickelt im Kopf ein abstraktes Modell des Problems, ein Sprachmodell hangelt sich von einem in Worten ausgedrückten Konzept zum nächsten; sagt das jeweils nächste Wort voraus – und diese Vorhersage hat die Bedeutungen aufgesogen, mit denen das Wort durch den bisherigen Text aufgeladen wird. (Tolle, allerdings anspruchsvolle Erklärung in der Video-Serie von 3blue1brown dazu.) 

Die menschliche Fähigkeit zu logischen Schlüssen geht deutlich weiter – und tatsächlich stellt sich heraus, dass viele der vermeintlichen Logikfähigkeiten der Sprachmodelle auf auswendig gelernten Antworten bestehen; auch darüber hatte ich hier schon geschrieben. Und wenn man die Aufgabe nur ein bisschen verändert und beispielsweise aus dem alten „Wolf, Ziege, Kohlkopf“-Rätsel einfach den Kohlkopf rausstreicht, denkt sich die KI nicht: das macht’s ja supereinfach, sondern hangelt sich an den Vorbildern entlang. Wie sie überhaupt mit Ausreißern und Sonderfällen ihre Probleme hat. (Gary Marcus)

Strawberry“, das neue Sprachmodell, soll diese Fallen umgehen können. Basis ist möglicherweise ein Forschungsprojekt, das Sprachmodelle um zwei Dinge erweitert: Zum einen eine Feedbackschleife, über die es sich selbst neue Problemlösungen als Trainingsmaterial generiert („STaR„), zum anderen ein Mechanismus, der eine stille Generierung und Bewertung von Antworten ermöglicht – so eine Art: Erst mal in Ruhe darüber nachdenken. („QuietSTaR„). Klingt vielversprechend, auch wenn ich nicht behaupten will, die Studien bis ins Letzte verstanden zu haben.

Ich stelle mir das als so eine Art fest eingebauten „Chain-of-thought“-Mechanismus vor: Wie gewiefte Prompterinnen und Prompter wissen, sollte man so prompten, dass das Modell genau diese Bewertung und Alternativen-Generierung explizit vornimmt. Auch wenn die Modelle dazu derzeit nur begrenzt in der Lage sind, wie gesagt. Wahrscheinlich macht „Strawberry“ die KI tatsächlich wieder ein ganzes Stück intelligenter – und nützlicher.

Weshalb OpenAI die „Strawberry“-Nachrichten gerade gut gebrauchen kann

Das muss man OpenAI lassen: Die Hype-Maschine haben sie sich perfekt beim neuen Business-Partner Apple abgeschaut. Und ein bisschen neuer Hype käme gerade recht für den KI-Riesen:

• Zweifel an der Finanzierbarkeit: ChatGPT ist etabliert und hat Millionen Nutzer, Tendenz weiter leicht steigend – auch wenn ein Goldman-Sachs-Report neulich das Gegenteil behauptete: die Edelbänker hatten einfach den Wechsel der Webadresse auf chatgpt.com übersehen. (Linkedin) Aber das heißt noch lang nicht, dass sich das alles rechnet: Das Training der neuen Modelle und der Betrieb der bestehenden kostet so viel Geld, dass OpenAI im Jahr 5 Milliarden Verlust machen soll – so viel Geld sorgt dann selbst in den tiefen Taschen von Microsoft irgendwann für ein Jucken, und irgendwann werden sie sich kratzen: Könnte sein, dass KI, ganz besonders bessere KI, richtig, richtig, richtig teuer wird. (Heise) Und dann wird die Hype-Machine deutlich gebremst.
• Zweifel an der technischen Machbarkeit: Von der Demo bis zum massentauglichen Produkt ist es ein weiter Weg. Und die Zeit, als man vergleichsweise einfach Trainingsdaten und Modellgrößen hochskalieren konnte, ist anscheinend vorbei – und damit auch die Zeit der großen Schritte vorwärts. 
• Zweifel am Kurs: Als OpenAI-Chef Altman vergangenen November erst gefeuert und dann gleich wieder eingestellt wurde, war nicht so klar, warum. Im Hintergrund schien es zu brodeln: Altman als der Verfechter einer Kommerzialisierung einerseits, die KI-Warner andererseits. Fest steht: rausgeekelt wurde letztlich das KI-Sicherheits-Team,und auch Mitgründer und KI-Superbrain Ilya Sutskever (Vox.com), der eben Investoren-Milliarden für ein angeblich wiederum besonders verantwortungsbewusstes KI-Startup eingesammelt hat. Und OpenAI? Verärgert die „Black Widow“. Das Image des KI-Riesen hat gelitten.

Und dann ist da, aus Nutzersicht, die einfache Tatsache, dass man all die angekündigten Wundertechnologien auch gern endlich mal selbst ausprobieren möchte. SoRA, bessere Stimmen und bessere Dialogfähigkeiten, SearchGPT – alles Dinge, die OpenAI schon angekündigt und gezeigt, aber nicht freigegeben hat, jenseits von Wartelisten für Betatester. Dabei spielen sicher all die oben angegebenen Punkte eine Rolle – aber: wir glauben’s diesmal erst, wenn wir’s sehen.

Auch lesenswert:

• Besser prompten: Gib der KI gut strukturierte ROMANE!
• Der dumme Brudi – KI ist weniger smart als du denkst
• Liebe Kollegas, baut Chatbots!