Large-Language-Models (LLMs) wie ChatGPT sind allgegenwärtig und zahlreiche Use Cases lassen ihren Einsatz im Businesskontext erfolgversprechend erscheinen. Aber wie verlässlich sind diese Modelle, besonders bei der Bewältigung spezialisierter Fragestellungen? Dazu haben wir bei _fbeta ein Benchmark-Tool entwickelt, das eine präzise, strukturierte, objektive und vergleichende Bewertung der Leistung von LLMs in der Praxis ermöglicht.

Unser LLM-Benchmark-Tool: Methodik und Vorgehensweise

In einer ersten Ausbaustufe haben wir einen speziell auf die Bedürfnisse und Anforderungen der Gesetzlichen Krankenversicherung (GKV) zugeschnittenen Fragenkatalog entwickelt und mit Fachexpert:innen validiert. Dieser Fragenkatalog umfasst 24 Kategorien, die einen umfassenden Überblick über die GKV bieten. Bewertet wurden ChatGPT 4.0, Falcon 40b, Llama 70b, Llama 13b, Falcon 180b Model A und B. Dazu haben wir diese LLMs mit den Fragen aus unserem entwickelten Katalog konfrontiert und die erhaltenen Antworten sorgfältig analysiert. Im Rahmen einer fortlaufenden Artikelserie (siehe auch hier) stellen wir Ihnen die Ergebnisse aus den Anwendungen unseres Benchmark-Tools vor.

Die Nutzung von Large Language Models (LLMs) wie ChatGPT 4.0, Falcon 40b, Llama 70b, Llama 13b oder Falcon 180b Model A und B bietet Krankenkassen eine innovative Möglichkeit, ihre Servicequalität zu verbessern und effizient zu gestalten. Vor allem Fragen rund um Beiträge in der gesetzlichen Krankenversicherung (GKV) sind hier von Relevanz. Es ist jedoch entscheidend zu erkennen, wie das jeweilige Model hinsichtlich seiner Antwortqualität einzuschätzen ist. Könnte ein solches Model möglicherweise für die Bearbeitung von grundlegenden Fragen genutzt werden, um eine Vielzahl von Anfragen im Voraus abzufangen? Hierzu haben wir die Antworten aus den 23 Fragen zur Kategorie „Beiträge“ gestellten Fragen analysiert und gewichtet.

Stärken und Schwächen der einzelnen Modelle ChatGPT 4.0, Falcon 40b, Llama 70b, Llama 13b, oder Falcon 180b Model A und B

Bei der Entwicklung des LLM-Benchmark haben wir die Kategorie „Beiträge“ in drei unterschiedliche Bereiche unterteilt, damit eine gezieltere Auswertung der Antworten/Ergebnisse möglich ist:

• Beiträge-Allgemein : Grundsätzliche Fragen zum Thema Beiträge in der GKV
• Beiträge-Pflicht : Fragen zum Thema Beiträge der gesetzlichen Pflichtversicherung (Grundsatz, Berechnung; Zuständigkeiten)
• Beiträge-Freiwillig: Fragen zum Thema Beiträge der freiwilligen Versicherung (Grundsatz, Berechnung; Zuständigkeiten.

LLM-Benchmark: Folgende Auffälligkeiten festgestellt

• Präzisionsmangel im Bereich Beitragsberechnung: Die analysierten LLMs offenbaren, insbesondere im Bereich der Beitragsberechnung, eine deutliche Diskrepanz in Bezug auf die präzise Benennung sowie die korrekte Anwendung und Umsetzung von Berechnungsgrundlagen. Es zeigt sich, dass innerhalb dieser getesteten LLMs eine Vielfalt an Defiziten existiert, die sich speziell auf die genaue Identifizierung und richtige Verwendung der Grundlagen für Beitragsberechnungen beziehen.

• Bessere Antworten bei Fragen zur Pflichtversicherung: Es ist auffällig, dass Fragen zur Pflichtversicherung von Arbeitnehmern im Vergleich zu Fragen zu speziellen Personengruppen wie Selbstständigen oder Künstlern besser beantwortet werden können.

• Vorsicht geboten bei Fragen zur freiwilligen Versicherung: Fragen im Bereich der freiwilligen Versicherung, die aufgrund ihrer Komplexität und Vielfalt anspruchsvoller sind, stellen für alle Modelle eine Herausforderung dar. Es wird deutlich, dass bei solchen Fragen mit inhaltlicher Tiefe besondere Vorsicht geboten ist. Es wäre ratsam, die Modelle durch die Verwendung einfacherer und schrittweise anspruchsvollerer Fragen gezielt auf das gewünschte Ergebnis auszurichten.

• Zuverlässige Modelle für Grundlagenfragen: Die Modelle ChatPT 4 und Flacon 180b Model B haben sich als führend in der Qualität ihrer Antworten zu grundlegenden Fragen bezüglich Beitragssätzen herausgestellt. Allgemein erweisen sich diese Modelle als recht zuverlässig beider Beantwortung einfacher und grundlegender Fragen zu diesem spezifischen Thema

• Problem Datenaktualität: Ein bekanntes Muster zeigt sich auch hier: Die Aktualität der Daten ist bei allen Modellen nicht gewährleistet.

Fazit

Zusammengefasst kann man über alle Modelle sagen: Je weniger komplex die Antwort formuliert ist, um so höher die Wahrscheinlichkeit, dass eine korrekte Antwort entsteht.