Fallstudie: Ein Community-Management-Chatbot mit Fachwissen – und ein nützliches kleines Tool!

Ein KI-Chatbot, der bei der Moderation von kritischen Kommentaren zu einem Fachthema unterstützt – und sich in diesem Thema halbwegs auskennt: Ein Experiment mit einer erweiterten Fassung des KASI-Chatbots – und einem Tool, das hilft, Chatbots mit Spezialwissen zu bauen.

KI kann uns helfen, Facebook-, Youtube- und Instagram-Kommentare zu moderieren – und so das harte Geschäft der Community-Manager ein wenig leichter zu machen, und zwar gleich an drei Stellen:

• Sie hilft, das Gegenüber einzuschätzen
• Sie schlägt Ansätze für Antworten vor
• Sie übernimmt einen Teil der Recherche, um inhaltlich korrekt zu antworten.

Vor einem Jahr hatte ich einen Custom-Chatbot gebastelt, der als Kommentar-Assistent nach der „KASI“-Methode arbeitet und für jeden Kommentar drei mögliche Ansätze prüft: (k)ognitiv, also eher auf den Kopf gezielt; (a)ffektiv, also über die Emotionen, und (si) sozial-integrativ, also mit Betonung auf den Wert der gemeinsamen Diskussion und des Austauschs. Mit diesem Chatbot haben etliche Social-Media-Praktiker experimentiert und insgesamt gute Erfahrungen gemacht. Auf diesem Ansatz haben wir aufgebaut, als wir ein neues Custom GPT speziell für die Kommentarunterstützung rund um einen Dokumentarfilm gebaut haben.

Eins kann der KASI-Bot nicht leisten: er hat kein Wissen über den Film und die Themen, um die es in diesem Film geht. Das aber musste er haben: es ging um eine Extremistengruppe, die ihre ganz eigenen Codes und Erzählungen hat; Anspielungen darauf muss man in Kommentaren erkennen. Und man muss genug Hintergrund zur Geschichte und und zum Aufbau der Gruppe haben.

Wie man einen Chatbot schlauer macht

KI nervt manchmal hart: Chatbots haben kein Wissen über Spezialthemen, sie sind unberechenbar, und im schlimmsten Fall erfinden sie Dinge. Ein Chatbot, der über ein RAG Zusatz-Wissen nutzen kann, benimmt sich anständiger – wenn man ihn mit dem richtigen Wissen in der richtigen Form füttert. Hier war das schon Thema bei der Analyse der RKI-Krisenstabs-Protokollen und der Suche in 100+ „Verurteilt“-Podcast-Folgen.

Noch einmal die Kurzfassung: RAG – hinter dieser Abkürzung verbirgt sich die Möglichkeit, der KI gewissermaßen einen Bibliothekar zur Seite zu stellen. Wenn der Nutzer dem KI-Chatbot eine Frage stellt, durchsucht dieser Bibliothekar das Wissen und zieht die Ausschnitte aus den hochgeladenen Dokumenten heraus, die etwas mit dieser Frage zu tun haben. Und der KI-Chatbot kann sie dann für seine Antwort nutzen.

7.10.2025: Die neuen Apps, die OpenAI heute Nacht vorgestellt hat (🌐 OpenAI-Blogpost), werden demnächst Thema. 

Schritt 1: Das Wissen redigieren

Die Redaktion des Films rechnete nicht nur mit vielen kritischen Kommentaren durch Anhänger und Umfeld der Extremisten, sondern auch mit Angriffen aus anderen Richtungen, bis hin zu 💩🌪️ organisierten Social-Media-Kampagnen. Um das Community Management vorzubereiten, hatte sie Material zusammengestellt:

• das Manuskript des Films,
• Dokumente mit Hintergrundwissen von zivilgesellschaftlichen Organisationen, Wissenschaftlern und Verfassungsschützern,
• eine Materialsammlung der Pressedokumentation mit 42 aktuellen und hintergründigen Artikeln rund um die Extremisten,
• ein „Playbook“ mit verschiedenen Kritiker-Personas, einer Übersetzungshilfe für szenetypische Anspielungen und Gegenstrategien,
• eine FAQ mit Beispiel-Antworten.

Tatsächlich hat es die meiste Zeit gekostet, dieses Material zu sichten und zu redigieren. Die Versuchung ist groß, das der KI zu überlassen und alles in den Chatbot zu laden, nach dem Motto: Viel hilft viel. Aber bei RAG-Chatbots sollte das Motto sein: Reduce to the max. Der Grund ist, dass der Bibliothekar ja nie die ganzen Dokumente zurückgibt, sondern immer nur Ausschnitte – je nach Umsetzung des RAG-Systems einen oder mehrere Absätze. Je uneindeutiger und widersprüchlicher die Informationen sind, desto weniger kann das System eine klare Antwort liefern.

Also: Bewusst aussuchen, welche Informationen ich der KI gebe, Doppelungen und widersprüchliche Informationen vermeiden – und die richtige Informationstiefe wählen:

• Vieles von dem, was in den Zeitungsartikeln stand, war gedoppelt oder überflüssig.
• Die Dokumente unterhielten unterschiedliche Wissensstände, zum Beispiel über die Zahl der Mitglieder der Gruppe.
• Das Hintergrundmaterial war weit gestreut: vom anderthalbseitigen Lexikonartikel von einer Stadtregierungs-Website über den Auszug des Verfassungsschutzberichts bis zum 70-seitigen Dossier einer wissenschaftlichen Forschungsstelle.

Am Ende entschied ich mich für eine mittlere Informationstiefe: eine Info-Broschüre des Verfassungsschutzes war kompakt, klar formuliert und trotzdem umfassend. Die 42 Zeitungsartikel wurden auf 10 weitgehend aktuelle zusammengestrichen – mit übrigens immer noch rund 54.000 Tokens. FAQ und Playbook/Rollenbeschreibung mussten vereinheitlicht und ausgebaut werden.

Das alles war wie gesagt ein gutes Stück Arbeit. Parallel erfolgte ein entscheidender, zweiter Schritt.

Schritt 2: Dokumente für die KI lesbar machen

Wir denken immer, PDFs sind Dokumente, die Texte enthalten. Sind sie nicht. PDFs sind von ihren Wurzeln her Dateien, die einem Drucker sagen, wo er ein Blatt Papier bunt machen soll – und der Import von PDF-Dateien in die KI geht häufig schief; richtig wild wird es, wenn das PDF gescannte Dokumente enthält. Ein solches PDF aus der Hölle waren Ende 2023 die Krisenstabs-Protokolle des RKI (🌐 Beispieldatei): Als ich diese PDF-Datei versuchte zu analysieren, fand ich im ersten Versuch so was.

Wer die KI nicht verwirren will, sollte sicherstellen, dass sie ihre Wissens-Dokumente auch lesen kann. Deshalb ist mein Ratschlag: Alle PDF-Dateien umwandeln in ein rein textbasiertes Format – Markdown. Markdown-Dateien enthalten nur Buchstaben, Zahlen und druckbare Zeichen; Hervorhebungen werden beispielweise einfach dadurch ausgedrückt, dass man Text **zwischen Sternchen setzt**. Dass KI-Sprachmodelle Markdown gut sprechen und verstehen, ist auch Basis für den Tabellen-Trick, und es sorgt dafür, dass das RAG gut auf die Informationen zugreifen kann.

Tooltipp: docling (für Nerds und Nicht-Nerds)

Ein sehr gutes Tool dafür gibt es seit kurzem kostenlos von IBM: Docling (🌐 Projektseite) enthält alles, was man braucht, um auch hartleibige und chaotische PDFs in gut lesbare Buchstabenfolgen zu verwandeln. Ein sehr kompaktes Sprachmodell (granite-docling) schaut dabei auf das Seiten-Layout und sorgt dafür, dass der Konverter den Aufbau von Tabellen, Spalten, Grafiken versteht. Für Mac-Besitzer gibt es sogar eine Fassung, die Apples MLX-Framework zur KI-Beschleunigung nutzt und damit in Sekunden mit der Konversion eines Dokuments durch ist. Lokal und ohne Übertragung zu einem Cloud-Server.

Installation:

pip install docling mlx-vlm

Ausführen auf der Kommandozeile:

docling --to md --pipeline vlm --vlm-model granite_docling meindokument.pdf

Wer sich das nicht traut: Auf meinem frankruft.de-Server habe ich ein kleines Tool gebaut, mit dem man online PDFs in Markdown konvertieren kann.  🌐 frankruft.de/apps/pdf2md/ nutzt ein etwas größeres Granite-Modell, das über den KI-Hoster Replicate angebunden ist, weshalb man streng genommen nichts konvertieren sollte, was nicht in die Cloud gehört; mein Server löscht die temporären Dateien zwar wieder, aber auch das muss man mir glauben, weshalb für vertrauliche Dateien weiter eine lokale Installation angezeigt ist.

Docling bietet die Möglichkeit, Bilder aus dem PDF entweder durch einen Platzhalter mit Beschreibung zu ersetzen, oder sie inline in das Markdown einzubetten. Für Chatbot-Anwendungen sollte man die Bilder eher durch Platzhalter ersetzen; sie tragen in der Regel nichts bei, und ich bin ziemlich überzeugt, dass der RAG-Bibliothekar sie meist zerhackt.

Schritt 3: Der passende Prompt

Für die Moderation hat der Chatbot eine dreistufige Vorgehensweise verordnet bekommen:

1. Entschlüssele Anspielungen und Codes auf Basis deiner FAQ-Dokumente.
2. Konsultiere dein Wissen, ergänze Hintergründe und finde Beispiel-Antworten, an denen du dich orientieren kannst.
3. Erstelle Antwortvorschläge und eine Einschätzung zum besten Antwortstil.

Noch ein weiteres Element habe ich ergänzt: Ein Überblick über die Struktur des Dokumentarfilms wurde in den Prompt aufgenommen – zusätzlich zum Manuskript des Films. Die Überlegung dahinter: RAGs sind gut darin, die richtigen Teile aus dem Material zu filtern, aber einen Gesamtüberblick liefern sie nicht. Der Mehraufwand hielt sich in Grenzen: Der ursprüngliche KASI-Prompt mit Anwendungsbeispielen für jeden Moderationsstil hatte 740 Tokens, der neue mit 1500 Tokens doppelt so viel, aber immer noch so, dass die Promptlänge die Ergebnisse nicht deutlich verschlechtern sollte.

Zur Wahrheit gehört aber auch: manche Anweisungen befolgt die KI nicht, oder nicht zuverlässig. Etwas, das KI-Chatbots trotz RAG-Technologie praktisch nicht hinbekommen, ist: richtig zitieren – oder gar einen Link zur richtigen Stelle in den angegebenen Quellen liefern.

Schritt 4: Wissen für die Menschen

Generative KI gaukelt uns vor, tiefes Verständnis für Inhalte zu haben. Und da man ja schließlich vor einem Computer sitzt, liegt ein häufiger Irrtum nahe: dass die Antwort des Chatbots das Ergebnis einer gründlichen, reflektierten Analyse ist, und nicht die Erfindung eines Sprachmodells, das mal so, mal so antworten kann.

Über die häufigsten KI-Irrtümer muss man die Anwenderinnen und Anwender deshalb aufklären, und darüber, was sie vom Chatbot erwarten können und was nicht. Dafür gab es einen einseitigen Beipackzettel, der auch Links zu den verwendeten Originalquellen und -dokumenten und zum Prompt enthielt.

Lessons learned: Hat der Chatbot den Praxistest bestanden?

Unter dem Strich ist das Fazit der Praktiker:innen positiv, mit einigen Beobachtungen:

• Man kann den aufgerüsteten Community-Management-Chatbot auch nutzen, um Beispiel-Antworten zu generieren – wenn man den Chatbot bittet, Kommentare aus der Perspektive der Playbook-Personas zu erzeugen, bekommt man gutes Anschauungs- und Trainingsmaterial zur Vorbereitung der menschlichen Community-Manager.
• Vereinzelte Rückmeldung: „Der Chatbot schreibt nicht so, wie wir es tun würden“. Den Kommentar-Bearbeitern wären Antworten lieber gewesen, die Copy-and-paste-tauglich sind; da man die aber aus guten Gründen nicht haben will, würde ich dem Chatbot für eine Neufassung die gegenteilige Anweisung geben: „Antworte in Stichpunkten“. 
• Community-Manager:innen mussten trotzdem im Stoff sein; sich mit dem Film und dem Thema grundlegend auszukennen, konnte ihnen der Chatbot nicht abnehmen.

Nachteile und Grenzen eines Custom GPT

Ein weiteres Problem trat völlig unerwartet auf: Custom GPTs kann man zwar auch mit kostenlosen ChatGPT-Konten nutzen, aber nur eingeschränkt – nach einigen Fragen verweigerte die Plattform weitere Antworten: Auch die Antworten von Custom GPTs sind kontingentiert.

Muss man einen solchen  mit der Technologie von OpenAI umsetzen? Natürlich nicht. Auch die Mistral-„Agenten“ wären möglich gewesen, lassen sich aber nicht so einfach teilen; theoretisch gibt es die Möglichkeit, einen Mistral-„Agenten“ innerhalb seines Teams zu teilen, aber mir ist bislang weder das gelungen, noch überhaupt ein Team anzulegen. Außerdem ist die RAG-Umsetzung von Mistral der von OpenAI spürbar unterlegen; die Custom-GPT-Chatbots arbeiten offenbar mit einer verbesserten RAG-Technik.

Ein Ansatz für verbesserte RAGs ist in den Custom GPTs noch nicht eingebaut: Das Wissen schrittweise erweitern. Es kann ja jederzeit passieren, dass Fragen bzw. Kommentare aufkommen, auf die es keine gute Antwort gibt: ein neues Narrativ, neue Vorwürfe, eine neue Entwicklung. Wenn man Antworten auf diese offenen Fragen recherchiert und erarbeitet hat, wäre es nützlich, das Wissen im RAG einfach ergänzen zu können. In ChatGPT ist das umständlich: Ergänzte FAQ? Löschen und neu hochladen.

Auch das spricht dafür, im Community Management mit angepassten Systemen zu arbeiten. Wenn man selbst ein Tool baut, oder ein Tool speziell fürs Community Management einkauft, kann man weitere Informationsquellen berücksichtigen, etwa das Berichtsarchiv des Medienhauses – und so die menschlichen Kommentar-Bearbeiter so gut wie möglich bei ihrer harten Arbeit unterstützen.

Auch lesenswert:

• Anwendungsfall für Custom-GPTs: Die RKI-Protokolle mit KI-Hilfe durchsuchbar machen
• Liebe Kollegas, baut Chatbots!
• Wie funktionieren die Custom GPTs – die neuen KI-Assistenten?