icon_Roboter

ChatGPT & Co.: Potenziale und Grenzen von KI-Chatbots in der Assekuranz – Eine Untersuchung zur Qualität KI-generierter Antworten im Versicherungskontext

Künstliche Intelligenz (KI) ist bereits eine transformative Kraft in der Versicherungsbranche, und Large Language Models (LLMs) spielen dabei eine zentrale Rolle. Sie sollen eine effiziente Kommunikation, Kundeninteraktion und sogar automatisierte Entscheidungsfindung ermöglichen.

Wir wollten wissen, wie gehaltvoll die KI versicherungsspezifische Fragestellungen beantwortet. Dazu haben wir verschiedene KI-Chatbots – speziell ChatGPT 3.5, ChatGPT 4.0 und Chatsonic (basiert auf dem Sprachmodell GPT 3.5 und ist ans Internet angebunden) – mit identischen Aufträgen (Prompts) konfrontiert. Dabei ging es um Themen wie Telematik, Automatisierung und Arbeitsmodelle in der Versicherungsbranche. Die Chatbots wurden gebeten, sowohl Managementpräsentationen als auch LinkedIn-Posts zu generieren. Für eine Vergleichbarkeit wurden keine Nachfragen auf das erste Ergebnis gestellt. Im Anschluss haben wir Inhalt, Qualität und Struktur der Antworten aus unserer Branchenerfahrung heraus beurteilt.

Die Untersuchungsergebnisse lieferten aufschlussreiche Erkenntnisse über die Fähigkeiten der Chatbots in Bezug auf thematische Vielfalt und Tiefe sowie sprachliche Raffinesse. Die Antworten waren informativ und gut strukturiert, aber oft fehlte es an tiefgehender Analyse und Kontext. Begriffsdefinitionen und -abgrenzungen wurden häufig vernachlässigt und länderspezifische Aspekte wurden weitgehend ignoriert. Ein Beispiel: Während die Chatbots zur Erhöhung der Verkaufszahlen von Telematiktarifen Marketingkampagnen vorschlugen, ist es in Deutschland aus unserer Erfahrung heraus sinnvoller, den Verkauf über den Vertrieb voranzutreiben.

Wie von uns erwartet, zeigten sich Unterschiede im Schreibstil der verschiedenen Chatbots. ChatGPT 4.0 beispielsweise war präzise und lieferte klarere Antworten auf den Prompt als ChatGPT 3.5, weil GPT 4.0 mit deutlich mehr Daten trainiert wurde. Eine Herausforderung bestand jedoch in der Validierbarkeit der Informationen. Die Chatbots präsentierten Aussagen ohne Quellenangaben, in unserem Beispiel eine Auflistung von Prozessen, die in Versicherungsunternehmen zu mindestens 80% automatisiert sind. Dies macht die Überprüfung der Fakten schwierig. Antworten auf Fragen zu Trends, etwa wie die KI-Chatbots eine Symbiose zwischen klassischen und agilen Arbeitsmethoden in 5 Jahren einschätzen, blieben oft vage.

Trotz der Grenzen, die unsere Untersuchung aufgezeigt hat, sehen wir viel Potenzial für die Weiterentwicklung und Integration von KI-Chatbots in der Versicherungsbranche. Mit besserer Einbettung von Kontext und Branchenwissen könnten sie zu wertvollen Werkzeugen für Fachleute und Kunden werden. Automatisierte Geschäftsvorfälle in der Kundenbetreuung sowie Unterstützung von Mitarbeitern als Co-Pilot sind mögliche Use Cases. Selbstverständlich sollte die Einbindung unter Berücksichtigung von Datenschutzbestimmungen und regulatorischen Anforderungen geprüft werden. Dass sie Spezialisten ersetzen, sehen wir aktuell allerdings nicht. Diese Experten-Rollen erfordern tiefgreifendes Branchenverständnis, emotionale Intelligenz und kritische Denkfähigkeiten, Eigenschaften, die KI-Chatbots zum aktuellen Zeitpunkt noch nicht vollständig replizieren können.

Die Forschung und Entwicklung in diesem Bereich verfolgen wir aufmerksam. Wir wollen den Versuch später wiederholen und prüfen, ob sich die Antworten geändert haben. Außerdem wollen wir einzelne Fragestellungen mit Folgeprompts tiefer legen und qualitativ bewerten. Wenn Sie an einem Austausch interessiert sind, freut sich David Feldmann über eine Kontaktaufnahme.

Tags: Keine Schlagworte

Comments are closed.