Schap

Schlagwort: Kundenservice

  • LLMs lesen deine Kommentarspalte

    LLMs lesen deine Kommentarspalte

    Anfang des Jahres hatte ich ein Gespräch mit Leuten aus einem großen Softwareunternehmen, das mir im Kopf geblieben ist. Ihre Beobachtung: Wenn du einen KI-Assistenten nach einer Marke fragst, stützt sich die Antwort erstaunlich stark auf die öffentliche Stimmung. Forenbeiträge, Bewertungsportale, die Kommentare unter Social-Media-Posts. Nicht die sorgfältig formulierten Produktseiten. Nicht die Pressemitteilungen.

    Denk kurz darüber nach, was das bedeutet. Jahrelang war ein kritischer Kommentar unter einem Instagram-Post ein kleines Kundenservice-Thema. Jemand ist verärgert, vielleicht antwortest du, vielleicht nicht, und eine Woche später erinnert sich niemand mehr daran.

    Heute ist dieser Kommentar Trainingsmaterial dafür, wie Maschinen dich beschreiben.

    Das öffentliche Bild ist schief

    Jetzt kommt der unangenehme Teil. Die meisten Marken mit einer treuen Community haben einen ziemlich einseitigen öffentlichen Fußabdruck:

    • Die zufriedenen Kunden reden an geschlossenen Orten. Partnerportale, private Gruppen, interne Foren, direkte Gespräche mit ihrer Ansprechperson. Viel Wohlwollen, aber fast nichts davon ist für einen Crawler sichtbar.
    • Die unzufriedenen Kunden reden öffentlich. Ein Bewertungsportal, ein Kommentar unter deinem neuesten Video, ein Thread in einem offenen Forum. Dorthin gehen Leute, wenn sie das Gefühl haben, nirgendwo sonst gehört zu werden.

    Das öffentliche Bild ist also oft schlechter als die Wirklichkeit. Und genau dieses öffentliche Bild sehen KI-Assistenten.

    Mit mehr Werbung oder einer besseren Über-uns-Seite löst du das nicht. Du löst es dort, wo es passiert: in den Kommentaren.

    Aus Social Listening wird Arbeit an der eigenen Geschichte

    Social Listening war früher ein Reporting-Job. Erwähnungen zählen, Stimmung messen, ein Diagramm ins Monatsdeck. Nützlich, aber passiv.

    Im KI-Zeitalter wird daraus Arbeit an der eigenen Geschichte. Die Frage ist nicht mehr nur „Wie denken die Leute über uns?“, sondern „Welche Geschichte erzählt das Öffentliche über uns, und kommen wir darin überhaupt vor?“

    Das verändert, wie eine gute Antwort aussieht.

    Die Standardantwort macht es schlimmer. „Das tut uns leid, bitte wende dich an unser Support-Team.“ Diese Antwort hat jeder schon hundertmal gesehen. Sie sagt den Lesern, und jeder Maschine, die mitliest, dass das Problem immer noch ungelöst ist und sich die Marke nicht damit beschäftigt hat.

    Die konkrete Antwort verändert das Bild. Geh auf das eigentliche Problem ein, öffentlich, in ein paar Sätzen. Ist es ein bekanntes Problem, sag, wie es sich lösen lässt. Braucht es ein Gespräch, sag, wer anruft und wann. Die nächste Person mit demselben Problem findet die Antwort genau dort, und die KI auch.

    Dann schließ den Kreis. Wenn das Problem von jemandem wirklich gelöst ist, darfst du ruhig fragen, ob die Person ihre Bewertung aktualisiert oder einen Kommentar ergänzt. Viele machen das, weil sie nie auf die Marke wütend waren, sondern darauf, ignoriert zu werden.

    Wo KI-Agenten helfen

    Das ist viel Arbeit, wenn du es von Hand über mehrere Accounts und Plattformen machst. Und genau bei dieser Art von Arbeit glänzen Agenten, solange ein Mensch das Sagen behält.

    So sieht das Setup aus, das ich in den letzten Monaten aufgebaut habe:

    1. Eine wöchentliche Sentiment-Auswertung. Ein Agent holt Kommentare und Nachrichten von allen Marken-Accounts, bewertet die Stimmung jedes einzelnen und gruppiert sie nach Thema.
    2. Eine „Wartet noch“-Liste. Alle, die eine Frage gestellt oder sich beschwert haben und noch keine echte Antwort bekommen haben. Kein Diagramm. Eine Liste von Menschen. Eine Erkenntnis dabei: Die meisten „beantworteten“ Nachrichten in unseren Analytics waren in Wahrheit automatische Antworten innerhalb von Sekunden. Die behandeln wir jetzt als unbeantwortet.
    3. Antwortentwürfe. Für jeden offenen Punkt entwirft der Agent eine Antwort nach unseren eigenen Richtlinien: Tonalität, was wir zu bekannten Problemen sagen, wann wir an den Support übergeben. Die Entwürfe sind Ausgangspunkte, kein Autopilot.
    4. Ein Mensch prüft und postet. Immer. Der Agent hat nicht den Kontext, um zu wissen, ob dieser Kunde gestern schon mit jemandem gesprochen hat, und er soll nicht allein für die Marke sprechen.
    5. Aktiv gute Bewertungen sammeln. Jede Woche ein paar neue Bewertungen von Kunden, die ganz offensichtlich zufrieden sind, damit das öffentliche Bild nicht nur von den lautesten wenigen bestimmt wird.

    Nichts davon ist ausgefeilte Technologie. Es ist eine Routine, und der Agent macht diese Routine so günstig, dass man sie auch wirklich durchhält.

    Community-Ansicht: wer noch auf eine echte Antwort wartet, mit Antwortentwurf
    Nachgestellte Ansicht mit erfundenen Daten: So sieht das echte Tool aus, aber alle Namen und Zahlen hier sind ausgedacht.

    Was du lassen solltest

    Ein paar Dinge würde ich vermeiden:

    • Lass den Agenten nicht allein posten. Eine einzige schlecht eingeschätzte automatische Antwort an einen verärgerten Kunden, öffentlich, macht viel sorgfältige Arbeit zunichte.
    • Diskutiere nicht öffentlich. Ist eine Bewertung unfair, nenn die Fakten einmal, ruhig, und biete ein Gespräch an. Wer vernünftig wirkt, entscheiden die Leser.
    • Fälsch nichts. Gekaufte oder erfundene Bewertungen sind keine Abkürzung. Sie sind ein Risiko, für Menschen wie für Maschinen.
    • Verwechsle Menge nicht mit Abdeckung. Zehn schnelle Antworten auf einfache Fragen wiegen eine unbeantwortete Beschwerde nicht auf, die einen Monat lang dort steht.

    Die Kurzfassung

    KI-Assistenten lernen deine Marke über das kennen, was öffentlich ist. Und das Öffentliche ist oft zugunsten der wenigen Unzufriedenen verzerrt, weil die vielen Zufriedenen woanders reden.

    Behandle also jeden öffentlichen Kommentar als Teil der Geschichte deiner Marke. Geh auf das eigentliche Problem ein, öffentlich, wie ein Mensch. Nutz Agenten, um alles zu finden, was noch wartet, und um die Antworten zu entwerfen. Und lass einen Menschen auf den Senden-Button drücken.

    Jeder Kommentar ist ein Kunde. Und heutzutage ist jeder Kommentar auch eine Quelle.

  • Miss die Antwort, nicht die Frage

    Miss die Antwort, nicht die Frage

    Jedes Unternehmen sitzt auf einem riesigen Stapel ungelesener Marktforschung. Er heißt Support-Postfach. Jeder Live-Chat, jedes Ticket, jede E-Mail ist ein Kunde, der dir in eigenen Worten sagt, was er nicht versteht, was er will und wo dein Produkt oder dein Content ihn im Stich lässt.

    Marketing liest das selten. Nicht, weil es niemanden interessiert, sondern weil niemand Zeit hat, Tausende Gespräche zu lesen. Mit KI gilt diese Ausrede nicht mehr. Ein Agent kann jedes Gespräch von gestern lesen, bevor du deinen ersten Kaffee getrunken hast.

    Wir machen das jetzt seit ein paar Wochen. Das haben wir dabei gelernt.

    Der Trick: Schau, was der Support erklären musste

    Unsere erste Idee war naheliegend: die Kundenfragen nehmen, prüfen, ob unsere Wissensdatenbank sie beantwortet, und die Lücken auflisten. Das hat nicht gut funktioniert. Kunden stellen vage Fragen in ihren eigenen Worten. „Es geht nicht mehr“ passt zu keinem Artikel.

    Der Durchbruch kam, als wir es umgedreht haben. Miss nicht die Frage. Miss die Antwort. Schau dir an, was die Person im Support schreiben musste, um den Fall zu lösen. Wenn der Support etwas ausführlich und schriftlich erklären musste, ist genau diese Erklärung das, was in der Dokumentation fehlt.

    Mit dieser Änderung wurde die Lückenanalyse über Nacht brauchbar. Für jedes abgeschlossene Ticket vergleicht das Tool die Antwort aus dem Support mit unserer Wissensdatenbank. Es verwendet eine einfache Stichwortsuche über eine lokale Kopie aller Artikel, das ist schnell und braucht überhaupt keine KI. Wo es eine echte Lücke gibt, entwirft es den Text, der ergänzt werden sollte. Das Dokumentationsteam markiert jeden Fund als offen, übernommen oder verworfen.

    Eine Regel hält das Ganze ehrlich: Ein Thema gilt nur dann als „nicht dokumentiert“, wenn die Suche mit mindestens zwei unterschiedlichen Formulierungen nichts gefunden hat.

    Doku-Lücken aus Support-Antworten, mit Textvorschlag
    Nachgestellte Ansicht mit erfundenen Daten: So sieht das echte Tool aus, aber alle Namen und Zahlen hier sind ausgedacht.

    Erkenntnis 1: Das Tempo war nie das Problem

    Als wir angefangen haben, unsere Live-Chats zu bewerten, habe ich langsame Reaktionszeiten erwartet. Alle beschweren sich übers Warten im Chat.

    Falsch. Wenn jemand einen Chat angenommen hat, dann innerhalb von Sekunden. Das Problem war, dass zu viele Chats gar nicht angenommen wurden. Es ging um Abdeckung, nicht um Tempo.

    Das ist ein ganz anderes Problem mit einer ganz anderen Lösung: Schichtplanung statt Schulung. Seit es jeden Morgen sichtbar war, ist der Anteil der angenommenen Chats innerhalb weniger Wochen deutlich gestiegen. Niemandem musste man sagen, dass er sich beeilen soll. Die Zahl musste nur auf dem Tisch liegen.

    Erkenntnis 2: Die Stille nach der ersten Antwort

    Dasselbe Muster haben wir bei den Support-Tickets gesehen. Wir haben mit einer Zufallsstichprobe von hundert abgeschlossenen Tickets angefangen, um die Realität zu sehen, bevor wir irgendetwas bauen. Die ersten Antworten kamen schnell. Aber ein spürbarer Anteil der Tickets wurde geschlossen, ohne dass der Kunde eine echte Antwort bekommen hatte, und manche lagen mitten im Gespräch fast zwei Wochen still.

    Das Tempo stimmte. Die Stille danach nicht.

    Also haben wir eine kleine Beobachtungsliste gebaut: offene Tickets, bei denen die letzte Nachricht vom Kunden kommt und seit Tagen niemand geantwortet hat. Das ist keine Analyse, das ist eine To-do-Liste. Und es ist eine der meistgenutzten Seiten, die wir haben.

    Ticket-Watch: offene Tickets, in denen der Kunde zuletzt geschrieben hat
    Nachgestellte Ansicht mit erfundenen Daten: So sieht das echte Tool aus, aber alle Namen und Zahlen hier sind ausgedacht.

    Erkenntnis 3: „Beantwortet“ heißt nicht beantwortet

    In unserer Social-Media-Analyse wollten wir wissen, wie gut wir auf Kommentare und Direktnachrichten antworten. Das Analytics-Tool sagte: auf fast alle.

    Als wir genauer hingeschaut haben, waren die meisten dieser „Antworten“ automatische Nachrichten, die innerhalb einer Minute verschickt wurden. Ein Mensch hatte sie nie gesehen. Heute behandeln wir jede Antwort der Marke innerhalb von sechzig Sekunden als Auto-Reply und listen die Leute auf, die noch auf eine echte Antwort warten.

    Die Lektion lässt sich verallgemeinern: Wann immer dir ein Tool eine verdächtig gute Zahl liefert, prüf, wie sie gezählt wurde.

    Warum das Aufgabe des Marketings ist

    Man könnte sagen, das ist alles Kundenservice. Es ist aber nicht nur das. Was Kunden im Support fragen, ist das, wonach sie vor dem Kauf suchen werden. Was der Support erklären muss, ist das, was deine Website, deine Produktseiten und dein Content nicht erklären. Wo Kunden hängen bleiben, macht deine Kommunikation ein Versprechen, das das Produkterlebnis nicht hält.

    Es ist außerdem das beste Content-Briefing, das du je bekommen wirst. Jede Erklärung, die der Support immer wieder schreibt, ist ein Blogbeitrag, ein Video oder ein Hilfeartikel, der darauf wartet, geschrieben zu werden, und zwar gleich mit dem genauen Wortlaut der Kunden.

    So fängst du an

    1. Lies zuerst selbst eine Stichprobe. Nimm hundert zufällige Gespräche und lies sie. Danach weißt du, was du messen willst, und du erkennst, wenn die KI danebenliegt.
    2. Stell das vollständige Gespräch neben jedes KI-Urteil. Die Leute müssen nachprüfen können.
    3. Miss die Antwort, nicht die Frage, wenn du Lücken im Content suchst.
    4. Mach aus Erkenntnissen Listen, keine Diagramme. „Diese zwölf Kunden warten“ ist nützlicher als eine Trendlinie.
    5. Sei misstrauisch bei guten Zahlen. Prüf, wie sie gezählt werden.

    Deine Kunden sagen dir längst, was du reparieren und was du schreiben sollst. Neu ist nur, dass du es dir endlich leisten kannst, allen zuzuhören.

  • Warum Chatbots verrotten

    Warum Chatbots verrotten

    Vor ein paar Jahren hatten wir einen Support-Chatbot. Er war teuer, ein spezialisierter Anbieter hatte ihn gebaut, und am Launch-Tag hat er gut funktioniert. Ein Jahr später haben die Leute einen Bogen um ihn gemacht.

    Technisch war nichts kaputt. Der Bot hat weiterhin jede Frage beantwortet, schnell und höflich. Das Problem war, dass immer mehr Antworten falsch waren. Die Produkte hatten sich verändert, die Prozesse hatten sich verändert, die Dokumentation war weitergezogen. Der Bot nicht.

    Diese Erfahrung ist der Maßstab für jeden Chatbot, den wir seitdem gebaut haben. Und sie hat mir das Wichtigste beigebracht, was ich über Chatbots weiß: Ein Chatbot ist kein Technologieprojekt. Er ist ein Content-Pflegeproblem, das sich als Technologieprojekt verkleidet.

    Wie Bots verrotten

    Klassische Chatbots bestehen aus vorgeschriebenen Antworten. Jemand schreibt eine Liste mit Fragen und den passenden Antworten, der Anbieter trainiert ein Modell darauf, die Fragen zu erkennen, und los geht’s.

    Ab diesem Tag erzeugt jede Veränderung in deinem Unternehmen eine kleine Lücke. Eine neue Produktversion. Ein neuer Rückgabeprozess. Eine Preisänderung. Eine Funktion, die umbenannt wurde. Jede Lücke ist winzig. Niemand ist dafür zuständig, sie zu schließen, denn der Bot war ein Projekt, und das Projekt ist abgeschlossen.

    Sechs Monate später erzählt der Bot Kunden selbstbewusst Dinge, die im letzten Frühjahr gestimmt haben. Die Kunden merken es vor dir.

    Was sich mit LLMs ändert und was nicht

    Moderne Sprachmodelle verändern eine Sache grundlegend: Du musst keine Antworten mehr vorschreiben. Du kannst den Bot auf deine Dokumentation ansetzen, und er antwortet von dort. Ändert sich die Dokumentation, ändern sich auch die Antworten.

    Klingt, als wäre das Problem mit dem Verrotten gelöst. Es hat sich nur verschoben.

    Der Bot ist jetzt genau so gut wie die Dokumentation, die er liest. Ist die Doku veraltet, lückenhaft oder in Worten geschrieben, die deine Kunden nicht verwenden, ist es der Bot auch, nur eloquenter. Wie aktuell deine Wissensdatenbank ist, wird zur eigentlichen KPI deines Chatbots.

    Was wir diesmal anders machen

    Als wir dieses Jahr den alten Anbieter-Bot durch einen Assistenten auf Basis eines Sprachmodells ersetzt haben, haben wir uns ein paar Regeln gegeben.

    Mensch zuerst. Ist jemand aus dem Team online, bekommt der Kunde einen Menschen. Der Bot antwortet nur, wenn niemand verfügbar ist, etwa nachts oder am Wochenende. Er ist ein Sicherheitsnetz, kein Türsteher. Einen Support-Kanal haben wir sogar bewusst ganz ohne KI gestartet, weil die Leute, die ihn nutzen, eher einen Menschen brauchten als eine sofortige Antwort.

    Ein Bot, eine Aufgabe. Ein Bot, der Leuten hilft, das Produkt kennenzulernen, und ein Bot, der Fragen vor dem Kauf beantwortet, brauchen unterschiedliche Quellen, eine unterschiedliche Tonalität und unterschiedliche Grenzen. Wir halten sie getrennt und geben jedem einen eigenen Namen, damit Kunden und Team wissen, mit welchem sie gerade sprechen.

    Ablehnen statt raten. Vor dem Go-live haben wir den Dokumentations-Bot mit 200 echten Support-Fragen getestet. Die meisten Antworten waren teilweise richtig, ein paar waren falsch, und eine war eine echte Halluzination. Deshalb hat der Bot jetzt eine Konfidenzschwelle: Deckt die Dokumentation eine Frage nicht eindeutig ab, sagt er das und übergibt. Mehr dazu habe ich in Mach deine KI widersprechbar geschrieben.

    Der Doku-Bot antwortet mit Quelle und übergibt, wenn er unsicher ist
    Nachgestellte Ansicht mit erfundenen Daten: So sieht das echte Tool aus, aber alle Namen und Zahlen hier sind ausgedacht.

    Sprich die Sprache der Kunden. Kunden beschreiben Symptome, Dokumentation beschreibt Funktionen. Als wir jeder Suche das Vokabular der Dokumentation selbst hinzugefügt haben, hat sich die Zahl der Kundenformulierungen, die der Bot beantworten konnte, in unseren Tests ungefähr verdoppelt. Das ist keine Verbesserung am Modell. Es ist eine Verbesserung am Content.

    Jede Antwort kann bewertet werden. Daumen hoch, Daumen runter, mit Begründung. Die Bewertungen verbessern nicht nur den Bot, sie zeigen auch auf die Artikel, die Arbeit brauchen.

    Der Fehler, mit dem niemand rechnet

    Noch eine Geschichte, weil man so etwas nur lernt, wenn man einen Bot im Echtbetrieb laufen lässt.

    An einem seiner ersten Tage hat unser Bot plötzlich innerhalb von Sekunden Hunderte Anfragen an das Chat-System geschickt. Die Ursache war ein einziges Konfigurationsdetail: Die Antwort „Da kann ich nicht helfen, ich leite dich weiter“ saß an einer Stelle, an der das Chat-System sie als neue Frage behandelte. Der Bot hat auf seine eigene Weiterleitungsnachricht geantwortet, was eine weitere Weiterleitungsnachricht ausgelöst hat, und so weiter.

    Für die Kunden ist nichts Schlimmes passiert, und die Lösung war eine Zeile. Aber es ist eine gute Erinnerung: Ein Bot ist ein System, das mit anderen Systemen spricht, und diese Systeme haben ihre eigene Logik. Schau in den ersten Wochen genau hin.

    Wem gehört der Bot?

    Das ist die Frage, die entscheidet, ob ein Bot verrottet.

    Die falsche Antwort lautet: „Der Person, die ihn gebaut hat.“ Diese Person wechselt zum nächsten Projekt, und der Bot wird zum Waisenkind.

    Die richtige Antwort lautet: „Dem Team, dessen Wissen er weitergibt.“ Bei uns sind das die Leute, die die Dokumentation schreiben und pflegen, gemeinsam mit dem Support. Sie sehen die Daumen runter. Sie sehen, welche Fragen der Bot abgelehnt hat. Sie verbessern die Artikel, und der Bot wird besser, ohne dass jemand den Bot selbst anfasst.

    Eine Checkliste, bevor du einen Bot startest

    1. Wer hält das Wissen aktuell? Nenn ein Team, keine Person.
    2. Mensch zuerst oder Bot zuerst? Entscheide das bewusst, pro Kanal.
    3. Eine Aufgabe pro Bot. Getrennte Bots für getrennte Zwecke.
    4. Eine Konfidenzschwelle. Ablehnen statt raten.
    5. Bewertungen mit Begründung, weitergeleitet an die Leute, denen der Content gehört.
    6. Schau in den ersten Wochen genau hin. Bots, die mit Systemen sprechen, machen überraschende Dinge.

    Ein Chatbot verrottet nicht, weil die Technologie schlechter wird. Er verrottet, weil sich niemand dafür verantwortlich fühlt, was er weiß. Löst du das, ist die Technologie der einfache Teil.