Die erste echte Sprach-KI für die Massen – warum sich wieder mal alles ändert, diesmal durch Facebooks „Llama2“

Llama2 ist da, und es ist ein Hammer: Die verbesserte Nachfolgeversion des KI-Sprachmodells von Facebook/Meta kann sich (fast) jeder herunterladen – was ein kluger Schachzug von Meta ist. Und ich denke, dass es die KI-Welt wieder einmal deutlich verändert. Leider zeigt es auch: wir sind und bleiben von den Launen der Tech-Riesen abhängig.

Beitragsbild: Midjourney – „a crowd of happy people celebrating the statue of a synthetic intelligence, stylized, socialist propaganda poster“

Nicht, dass „Llama2“ – die neue Version des Meta-Sprachmodells – so viel besser wäre als ChatGPT. Deutsch spricht es nur sehr widerwillig, und wenn, nicht gut. Es weiß auf viele Fragen keine Antwort, und tut dann, was Sprachmodelle in so einem Fall eben oft tun: es erfindet eine. („Mansplaining as a service“, hat das ein böser, kluger Mensch mal genannt.) Beispielsweise behauptet es, dass eine der fünf größten Sehenswürdigkeiten Saarbrückens der Viktoriapark sei. Irren ist künstlich.

Und doch ist „Llama2“ ein Riesenschritt nach vorn:

• Facebook/Meta hat das Llama2-Modell gründlich und transparent dokumentiert…
• …und unter eine sehr großzügige Lizenz gestellt: Das Modell ist für alle praktischen Zwecke open source und dürfte sich damit schnell verbreiten.
• Die kleineren Varianten laufen ohne allzuviel Installations-Schmerzen auf ganz normalen PCs und Laptops – die Screenshots in diesem Post habe ich auf meinem Macbook Pro gemacht, aber selbst auf meinem 2021er Macbook Air antwortet mir das kleinste Llama2 im Handumdrehen.
• Und selbst dieses kleinste Llama2 ist durchaus kein Spielzeug – Recherche-Gott Henk van Ess hat es in einen sehr amüsanten Shootout mit ChatGPT geschickt, bei dem der Sieger durchaus nicht feststeht.

Gerade den letzten Punkt kann man gar nicht genug betonen: Ein einfacher 4-Gigabyte-Download – und man hat plötzlich ein State-of-the-Art-Sprachmodell auf dem eigenen Rechner. Das antwortet, ohne ein einziges Mal etwas zu einem Meta-Server zu funken, und deshalb auch ohne Datenschutz-Sorgen. Das man kommerziell einsetzen kann und darf. Und das sich als Grundlage für Weiterentwicklungen geradezu anbietet – die Tuning-Szene glüht und bietet schon nach wenigen Stunden nachtrainierte und dadurch deutlich verbesserte Modell-Varianten an.

Eine Ein-Klick-KI – die kein einziges Wort nach draußen petzt

Und es ist so einfach! Ich würde ja gern sagen, dass sich das kleine Wunder einer KI auf meinem Laptop meinen überragenden technischen Fähigkeiten verdankt – aber mitnichten. ollama herunterladen, installieren, auf der Kommandozeile starten, Download abwarten, läuft – so einfach, dass ich zunächst gar nicht bemerkte, dass es nicht etwa mein leistungsstarkes Arbeits-Macbook war, auf dem die KI wohnt, sondern der deutlich schwächere Heimrechner. Wer mehr Einstellmöglichkeiten braucht und sie auch versteht, kann sich bei einem weiteren Open-Source-Projekt eine A1111-artige Web-Oberfläche herunterladen – wer mit der Bild-KI-Stable Diffusion bastelt, wird ihr schon mal begegnet sein.

Jenseits des „Guck mal, ich halte mir ne KI“-Angebereffekts ist das ein gewaltiger Schritt: Sie ermöglicht die Arbeit mit sensiblen und speziellen Daten, die nicht in die Hände eines nur mäßig vertrauenswürdigen US-Tech-Konzerns gelangen sollen. Daten über Personen beispielsweise, oder vertrauliche Recherche-Dokumente – da kann jetzt auch ohne Bedenken eine KI ran.Und man kann sie nachtrainieren, feintunen, anpassen.

Ich wollte es zunächst nicht glauben – es klang zu schön, um wahr zu sein. Aber die Llama2-KI antwortet auch, wenn der Laptop keinerlei Netzverbindung hat, was deutlich gegen Schummelei spricht – zusammen mit dem offen gelegten Code für die Llama-Server und -Oberflächen.

Die bittere Wahrheit: Wir bleiben von den Tech-Riesen abhängig

Vor einigen Monaten machte das Sorgenfaltenpapier eines Google-Ingenieurs Schlagzeilen, der die Open-Source-Sprachmodelle auf Augenhöhe mit kommerziellen Projekten wie Bard und ChatGPT sah. Es sagte vielen Open-Source-Fans genau das, was sie hören wollten. Das blendet allerdings aus, dass die Open-Source-Projekte weiterhin abhängig bleiben von den Basismodellen – die beim derzeitigen Stand der Technik so viel Geld und Rechenleistung verschlingen, dass nur wenige Institutionen weltweit sie herstellen können.

Die Llamas dürften auf Facebooks AI Research Supercluster entstanden sein, einem KI-Großcomputer mit über 6.000 NVIDIA-KI-Karten. Der ist etwa 10x so groß wie die KI-Superrechner in Darmstadt und Berlin, was im Umkehrschluss heißt, dass die 10x so lange rechnen müssten, um ein vergleichbares Basismodell herzustellen. Und dass Konkurrenten derzeit Milliarden einsammeln, um noch vielfach größere KI-Supercomputer zu bauen, hatte ich ja schon mal erwähnt.

Bittere Wahrheit: Forschung und Open-Source-Community sind von den strategischen Entscheidungen bei Facebook abhängig. Oder bei einem staatlichen Forschungszentrum in Abu Dhabi.

Dass Facebook Llama2 nicht aus purer Menschen- bzw. Forscherfreundlichkeit gebaut hat, ist klar. Ein Sprachmodell, das man selbst laufen lassen kann, ohne bei einem IT-Riesen vorstellig werden zu müssen: Es sieht fast so aus, als hätte sich Facebook/Meta entschlossen, der in Führung liegenden Konkurrenz von OpenAI/Microsoft und Google ein wenig in die Kniekehlen zu treten.

Ist das sicher?

Kleine Fußnote noch: Der Facebook-Konzern hat ja durchaus Erfahrungen mit schlechter PR – und dass man die Freigabe eines Sprachmodells durchaus mit jemandem vergleichen kann, der die Pläne für ein Fusionskraftwerk ins Netz stellt, ist den Facebook-Ingenieuren sonnenklar. Das technische Papier zu Llama2 (PDF) beschreibt Risiken und die Arbeit eines „Red Teams“, das Missbrauchs-Szenarien aufdecken und ausschließen sollte. Vorsicht ist die Mutter der Porzellankiste.

Die antrainierte Vorsicht des Modells wird böse Buben und Mädels vermutlich nur wenig ausbremsen – ich musste unwillkürlich grinsen, als ich das Modell um Code zur Nutzung der API bat und die Antwort bekam, die API eines Sprachmodells sei ein hochentwickeltes und mächtiges Tool, von dem ich besser die Finger lassen sollte.

Künstliche Intelligenz ist wirklich weit gekommen inzwischen.

D

Auch lesenswert:

• Besser prompten: Gib der KI gut strukturierte ROMANE!
• Rechtsrisiko Social Media – mit einem Bein im Knast?
• Die Datenkrake Pfötchen geben lassen: Erste Recherche-Schritte mit der Facebook Graph Search