Custom GPTs aus Europa für lau: Mistral kann jetzt Chatbots mit Spezialistenwissen!

Für einen Chatbot, der mit einem passenden Prompt konfiguriert ist, und zudem auf eine Wissens-Datenbank zugreifen kann, musste man bisher ein kostenpflichtiges ChatGPT-Abo haben. Jetzt gibt es zu den CustomGPTs von OpenAI endlich eine Alternative. 

Ich bin Riesenfan von Mistral, dem KI-Chatbot aus Frankreich. Warum? Weil wir Alternativen zu US-Angeboten wie ChatGPT dringend brauchen. (Mitgekriegt? Ein Gericht hat OpenAI dazu verpflichtet, alle ChatGPT-Chatverläufe aufzuheben (🌐 The Decoder) – was wohl passiert, wenn die bei denen landen, die über deine Einreise in die USA entscheiden?)

Und zum anderen finde ich, dass Mistral einfach gut ist. Okay, die KI-Sprachmodelle liegen etwas hinter den Top-KIs von OpenAI und Anthropic. Aber Mistral baut viele kluge Dinge in der Chat-Oberfläche ein:

• eine Suche, die meiner Ansicht nach durchaus mit Perplexity mithalten kann, 
• den FLUX-Bildgenerator,
• die Möglichkeit, Code gleich auszuführen und auszuprobieren – hier als Beispiel 🌐 in diesem Mistral-Chat ein schnell zusammengepromptetes „Space-Invaders“-Spiel, das man sofort ausprobieren kann.

All diese Dinge aktiviert man im Mistral-Chat, wenn man die „Tools“ anklickt, unten direkt im Chat-Eingabefenster. Die neueste Zusatz-Funktion hat dagegen einen Extra-Menüpunkt in der Seitenleiste bekommen: Angemeldete Mistral-Nutzende können sich „Agenten“ bauen, Chatbots für Spezialaufgaben mit Zusatzwissen.

ChatGPT-Plus-Bezahlkunden kennen eine ganz ähnliche Funktion schon lange: Sie können sich Chatbots mit Sonder-System-Prompt und Spezialwissen als „Custom GPT“ zusammenstellen. Bei Mistral gibt’s all das jetzt auch ohne teures Monatsabo.

Die Möglichkeit, einen Prompt als „Agenten“ abzuspeichern, gab es in Mistral schon länger — mit der Möglichkeit, Beispiele für Ein- und Ausgaben als „Few Shot“ im Prompt mit anzulegen; eine Eigenschaft, die die neuen Agenten eingebüßt haben. Die „Oldschool“-Variante findet man übrigens immer noch hinter den Kulissen versteckt auf 🌐 „La Plateforme“, dem Bereich für API-Nutzerinnen und -nutzer. 

Und wie bei den Vorläufern finde ich die Bezeichnung „Agent“ nicht glücklich, weil damit ja in der Regel etwas anderes gemeint ist. Aber genug gemeckert, fangen wir an mit der Praxis!

Rechtschreib-KI, mit Mistral nachgebaut

FAZ-KI-Kollege Marcus Schwarze hat schon vor einiger Zeit einen Chatbot mit den amtlichen Regeln der deutschen Rechtschreibung ausgerüstet und so den sehr nützlichen „Rechtschreibrat Froben“ (🌐 ChatGPT) gebastelt. Das konnte er, weil er ein ChatGPT-Plus-Konto hat – ohne das geht’s beim Marktführer nicht.

In Mistral können wir uns den Rechtschreib-Ratgeber jetzt auch ohne Abo nachbauen:

• Ruf den Mistral-🌐 “Le Chat” auf. (Kostenlose Anmeldung erforderlich)
• Klicke oben links auf das Symbol, das die Seitenleiste aufklappt. Klicke dann auf “Agenten” – hier kannst du einen neuen Chatbot anlegen. 
• Erstelle einen neuen KI-Chatbot: Oben rechts „Agent erstellen“ klicken. 
• Gib dem Agenten schon mal einen Namen – „Le Rechtschreibrat“ – dann findest du ihn wieder. 

Im unteren Teil unter „Wissen“ kann man dem Chatbot zunächst „Tools“ zu- oder anschalten — wir schalten für unseren Rechtschreibrat die Websuche ab. Wichtiger ist der Teil mit den „Bibliotheken“, so heißen bei Mistral die Dokumentsammlungen, die man der KI als Spezialwissen zur Verfügung stellen kann.

Da es die Rechtschreibregeln in unserem Mistral-Konto noch nicht gibt, müssen wir sie erst mal hochladen: auf den Pfeil rechts klicken („Bibliothek anzeigen“) und eine neue Bibliothek anlegen, in die wir die 348 Seiten des Amtlichen Regelwerks der Deutschen Rechtschreibung hochladen. (Beim 🌐 Rechtschreibrat gibt’s das PDF.)

Jetzt können wir sie im Prompt erwähnen: Aus den Bibliotheken zurück zu den Agenten, dann den neuen Agenten bearbeiten. In den „Anweisungen“-Teil klicken, Prompt schreiben („Du bist ein freundlicher Lektor…„), und mit „/“ die neu erstellte Bibliothek einfügen. Darauf achten, dass sie farbig ist und nicht ausgegraut, sonst müssen wir sie unten im „Wissen“-Teil noch einmal auswählen.

In meinen Versuchen hat es auch geholfen, wenn sich der Prompt ausdrücklich auf das Wissen bezieht: „Nutze die Informationen in (Bibliothek). Zitiere Regeln und Beispiele.„

Unter „Leitplanken“ ergänzen wir noch ein paar zusätzliche Anweisungen, etwa dass sich der Chatbot mit inhaltlichen Urteilen zurückhalten soll, und dann können wir „Le Rechtschreibrat“ auch schon ausprobieren. 

Neue Agenten mit RAG, Oldschool-Agenten mit Few-Shot-Beispielen

KI-Versteherinnen werden anerkennend bemerken, dass die neuen Mistral-Agenten Retrieval-Augented Generation eingebaut haben, kurz RAG: Zusatzwissen wird in Abschnitte zerlegt und in eine Referenz-Bibliothek umgewandelt, aus der der KI-Bot zu jeder Nutzerfrage die Abschnitte bekommt, die einen Bezug zur Frage haben.  Ich habe RAG hier ja schon öfter vorgestellt, etwa beim Chatbot für die RKI-Protokolle-Analyse, und auch bei lokaler KI, die ohne Chatbot in der Cloud auf dem eigenen Rechner laufen kann.

RAG hat etwas von einer Bastellösung und ist nicht perfekt – weil der Chatbot immer nur Schnipsel der angehängten Dokumente sieht, fehlt ihm oft der Gesamtüberblick. Aber für unseren Anwendungsfall ist die Technik ideal, und auch sonst bietet sie einige Vorteile: 

• Man kann dem Chatbot Wissen zur Verfügung stellen, dass er in den Trainingsdaten nicht findet. 
• Der Chatbot nutzt so vor allem Quellen, die wir kennen. 
• Die Antworten werden berechenbarer, er halluziniert weniger. 
• Die Kontexte, die die KI verarbeiten muss, werden nicht zu lang – dran denken: längerer Kontext bedeutet tendenziell schlechtere Antworten. (Vgl. das Preprint der 🌐 NOLIMA-Studie auf arxiv.org)

Leider bezahlen wir diese neue Fähigkeit mit einem Verlust: Die Möglichkeit, Beispiel-Eingaben und erwünschte Ergebnisse als Anwendungsfall für die KI zu hinterlegen, war in den Vorläufern der jetzigen „Agenten“ ein Highlight. Wie oben erwähnt findet man die Oldschool-Agenten immer noch im Bereich für API-Nutzer und kann dort weiter mit strukturierten Beispielen experimentieren: auch die Oldschool-Agenten sind weiter einsetzbar. Für, sagen wir, einen Kommentar-Assistenten würde ich sie den neuen Agenten vorziehen. 

Und so verwenden wir Le Rechtschreibrat:

Unser Rechtschreib-Chatbot wird automatisch gespeichert; verwenden können wir unsere „Agenten“ in jedem beliebigen Chat, indem wir ein „@“ eingeben. Dann können wir den gewünschten Agenten auswählen und benutzen.

Auch lesenswert:

• Liebe Kollegas, baut Chatbots!
• Anwendungsfall für Custom-GPTs: Die RKI-Protokolle mit KI-Hilfe durchsuchbar machen
• Wie funktionieren die Custom GPTs – die neuen KI-Assistenten?