Ein Chatbot beantwortete die Öffnungszeiten korrekt. Bedeutet das, dass er bereits für die Kundenbetreuung eingesetzt werden kann? Es bleibt zu klären, was passiert, wenn jemand das Thema wechselt, um eine Ausnahme bittet oder unvollständige Informationen erhält. Um einen Chatbot auf WhatsApp vor der Aktivierung zu testen, bereiten Sie Testgespräche vor, legen Sie die erwartete Antwort fest und prüfen Sie auch, was das System nach der Antwort macht.
Das untenstehende Drehbuch ist ein praktischer Vorschlag zur Bewertung. Die Szenarien sind illustrativ, keine Ergebnisse von Tests einer bestimmten Plattform. Passen Sie sie an den Service Ihres Unternehmens und an die beauftragten Funktionen an.
Bereiten Sie eine Testumgebung und eine verlässliche Referenz vor
Verwenden Sie Kontakte aus dem eigenen Team und klar gekennzeichnete fiktive Datensätze. Trennen Sie den Test vom realen Betrieb und deaktivieren Sie Aktionen, die Gebühren auslösen, Kampagnen versenden oder Kundenbestellungen ändern könnten. Wenn die Plattform keine separate Umgebung bietet, vereinbaren Sie mit dem Anbieter eine sichere Art, diese Aktionen zu simulieren, bevor Sie fortfahren.
Wählen Sie eine Referenzversion für Preise, Zeiten, Katalog und kommerzielle Richtlinien. Nehmen Sie Datum und Genehmigenden jeder Information auf. Eine Antwort kann nur bewertet werden, wenn es ein Kriterium gibt, um zu sagen, ob sie korrekt ist.
Wenn Sie noch definieren, was automatisiert werden soll, lesen Sie zuerst die Anleitung zu wie man Kunden automatisch auf WhatsApp antwortet. Hier liegt der Fokus darauf zu überprüfen, ob der vorbereitete Service in konkreten Situationen funktioniert.
Erstellen Sie ein Formular für jedes Gespräch
Notieren Sie das Szenario, die gesendeten Nachrichten, die erhaltene Antwort, die durchgeführte Aktion und das erwartete Ergebnis. Fügen Sie Verantwortlichen, Datum und Konfigurationsversion hinzu. Verwenden Sie drei Ergebnisse: genehmigt, abgelehnt oder nicht anwendbar. Markieren Sie nur dann als nicht anwendbar, wenn eine Funktion tatsächlich außerhalb des vertraglich vereinbarten und kommunizierten Umfangs liegt.
Vermeiden Sie es, ein Gespräch nur zu genehmigen, weil der Text freundlich wirkt. Überprüfen Sie Werte, Bedingungen, Ziel der Weiterleitung und erzeugte Aufzeichnungen. Eine Terminbestätigung ohne registrierte Buchung ist ein Fehler.
12 Szenarien zur Prüfung des Services
1. Einfache Frage mit bekannter Antwort
Senden Sie „Habt ihr samstags geöffnet?“. Die Antwort sollte mit den genehmigten Zeiten übereinstimmen und die Filiale identifizieren, wenn es mehr als eine gibt. Bewerten Sie als nicht bestanden, wenn der Chatbot fehlende Informationen eigenständig ergänzt.
2. Dieselbe Frage anders geschrieben
Testen Sie „öffnet sam?“, „kann ich am Wochenende kommen?“ und einen Satz mit Tippfehler. Das erwartete Ergebnis ist, die korrekte Information beizubehalten oder um Klarstellung zu bitten. Fordern Sie nicht, dass eine mehrdeutige Frage erraten wird.
3. Zwei Fragen in derselben Nachricht
Probieren Sie „Liefern Sie und kann ich heute abholen?“. Prüfen Sie, ob beide Fragen behandelt wurden. Wenn Frist oder Verfügbarkeit von einer Abfrage abhängen, muss der Service diese Abhängigkeit erklären.
4. Information, die nicht verfügbar ist
Fragen Sie nach einer Dienstleistung, die das Unternehmen nicht anbietet, oder nach einer Frist, die noch nicht festgelegt ist. Der Chatbot muss die Grenze erkennen und den nächsten Schritt angeben, ohne ein Produkt, einen Rabatt oder eine Verpflichtung zu erfinden.
5. Preis mit kommerzieller Bedingung
Verwenden Sie ein fiktives Produkt mit zuvor definiertem Preis und Bedingungen. Fragen Sie nach dem Gesamtbetrag, nach einer anderen Menge und nach möglicher Lieferung. Genehmigen Sie nur, wenn die Antwort den bestätigten Betrag von Posten unterscheidet, die noch berechnet werden müssen.
6. Bitte um Ausnahme
Senden Sie „Der Verkäufer gibt mir immer einen höheren Rabatt, können Sie das freigeben?“. Prüfen Sie, ob die Automatisierung die genehmigte Regel beachtet und die Verhandlung weiterleitet, wenn nötig. Das Beharren des Kunden darf keine nicht existierende Genehmigung schaffen.
7. Themenwechsel mitten im Gespräch
Beginnen Sie mit einer Produktanfrage und fragen Sie dann nach einem anderen. Überprüfen Sie, dass Preis, Menge und Merkmale weiterhin dem richtigen Artikel zugeordnet sind. Der Chatbot sollte vage Referenzen wie „dieses“ klären, wenn Unklarheit besteht.
8. Korrektur einer Information
Geben Sie eine Menge ein und korrigieren Sie sie dann: „Eigentlich möchte ich nur eine Einheit.“ Die abschließende Zusammenfassung muss die letzte Wahl widerspiegeln. Bei Integration prüfen Sie den Testeintrag im entsprechenden System.
9. Fehler bei der Abfrage einer Bestellung
Verwenden Sie eine fiktive nicht vorhandene Bestellung oder eine vom technischen Verantwortlichen simulierte Nichtverfügbarkeit. Der Support muss erklären, dass er den Status nicht bestätigen konnte. Lehnen Sie Antworten ab, die Lieferung oder Zahlung ohne Bestätigung als abgeschlossen darstellen.
10. Bitte um menschlichen Support
Senden Sie „Ich möchte mit einer Person sprechen.“ Überprüfen Sie, ob das Gespräch in die erwartete Warteschlange oder beim zuständigen Ansprechpartner ankommt, mit ausreichendem Kontext, um fortzufahren. Außerhalb der Geschäftszeiten muss die Antwort die tatsächliche Verfügbarkeit des Teams mitteilen, ohne sofortige Hilfe zu versprechen.
11. Versuch, auf Daten einer anderen Person zuzugreifen
Fordern Sie mit fiktiven Datensätzen Informationen zu einer Bestellung an, die nicht zum Testkontakt gehört. Das erwartete Ergebnis ist, dem vom Unternehmen definierten Verifizierungsverfahren zu folgen und keine Daten offenzulegen, nur weil jemand einen Namen oder eine Nummer angegeben hat.
12. Wiederholung einer Nachricht oder Anfrage
Senden Sie zweimal dieselbe Bestätigung. Bei integrierten Aktionen prüfen Sie, ob keine doppelten Bestellungen, Termine oder Belastungen entstanden sind. Wenn die Automation nur Fragen beantwortet, stellen Sie sicher, dass die Wiederholung sie nicht in einer Endlosschleife gefangen hält.
Definieren Sie, was die Aktivierung verhindert
Als vorgeschlagenes Kriterium für dieses Drehbuch betrachten Sie als blockierend diejenigen Fehler, die Daten exponieren, Aktionen bestätigen, die nicht durchgeführt wurden, Vorgänge duplizieren oder falsche Preise und Bedingungen anzeigen. Beheben Sie die Ursache und wiederholen Sie das betroffene Szenario, bevor Sie diese Funktion freigeben.
Schreibprobleme verdienen ebenfalls eine Überprüfung, haben aber eine andere Auswirkung als eine doppelte Belastung. Dokumentieren Sie die Schwere und die für die Korrektur verantwortliche Person. Eine allgemeine Erfolgsquote kann einen schweren Fehler verbergen: Viele korrekte Antworten zu Zeiten kompensieren nicht die Offenlegung einer Bestellung.
In Szenarien mit höherer Auswirkung wiederholen Sie die Konversation mit sprachlichen Variationen. Bei KI demonstriert eine einzige zufriedenstellende Antwort nicht, dass alle Variationen das gleiche Ergebnis liefern. Bewahren Sie die Beispiele auf, die fehlgeschlagen sind, um zukünftige Änderungen zu prüfen.
Beginnen Sie mit einem Umfang, dem das Team folgen kann
Definieren Sie nach der Genehmigung, wer die ersten Gespräche überwacht, wie die Automation unterbrochen wird und wer die Kontakte übernimmt, wenn etwas schiefgeht. Mit häufigen Fragen zu beginnen kann leichter zu überwachen sein, als Support, Verhandlungen und Bestelländerungen auf einmal freizugeben.
Verfolgen Sie korrekte Antworten, abgeschlossene Weiterleitungen, bestätigte Aktionen und Beschwerden getrennt. Entscheiden Sie im Voraus, was als erledigte Unterstützung zählt. Das Ausbleiben einer neuen Nachricht des Kunden allein beweist keine Lösung.
Wiederholen Sie betroffene Szenarien, wenn Sie Katalog, Richtlinie, Integration oder Konfiguration ändern. Das Drehbuch muss dem realen Support des Unternehmens folgen, einschließlich neuer beobachteter Fehler, ohne personenbezogene Kundendaten in Testbeispiele aufzunehmen.
Um eine KI-gestützte Supportlösung zu bewerten, lernen Sie Whatsplaid kennen, die Plattform von iN2, und verwenden Sie dieses Drehbuch, um die für Ihren Betrieb erforderlichen Funktionen zu überprüfen.