Künstliche Intelligenzen sind aktuell in aller Munde und werden auch im klinischen Setting vermehrt evaluiert. In einer aktuellen Studie wurde die Auswertung von Pathologieberichten mithilfe von Chatbots erprobt. Dabei konnte der Chatbot GPT-4 97% der eingespeisten Pathologieberichte medizinisch korrekt interpretieren.
KI in der Pathologie?
Pathologieberichte geben wichtige Informationen über Diagnose und Ausprägung einer Erkrankung und sind daher essenziell für die weitere Behandlung eines Patienten. Oft sind die Berichte jedoch in komplizierter Fachsprache verfasst und für Laien nur schwer zu verstehen, was für den Patienten eine zusätzliche psychische Belastung darstellen kann. Ferner nehmen Umfang und Komplexität von Pathologieberichten mit den Jahren immer mehr zu, z.B. aufgrund neuer diagnostischer Methoden.
Die Autoren einer kürzlich im JAMA veröffentlichen Studie haben sich zwei Chatbots zunutze gemacht und analysiert, inwiefern diese bei der Auswertung und Vereinfachung von Pathologieberichten helfen können. Dabei überraschten insbesondere die Ergebnisse, die mit dem Chatbot GPT-4 (OpenAI) erzielt wurden.
Vereinfachte Lesbarkeit, hohe Trefferquote
In der Querschnittsstudie wurden 1134 anonymisierte Pathologieberichte von Januar 2018 bis Mai 2023 aus einem Krankenhaus in Brooklyn ausgewertet. Die Berichte variierten in ihrer Länge, den verwendeten Verfahren und den resultierenden Diagnosen (darunter Lipome, Appendizitis oder invasive Mammakarzinome). Die Endpunkte der Studie waren eine verbesserte Lesbarkeit des Berichts sowie die medizinisch korrekte Interpretation durch den Chatbot. Zwei Reviewer kategorisierten die Berichte unabhängig voneinander nach folgenden Befunden: unauffällig, gutartig, atypisch und/oder verdächtig, präkanzerös oder bösartig.
Die Pathologieberichte wurden in die zwei Chatbots Bard (Google Inc; Version vom 7. Juni 2023; Chatbot 1) und GPT-4 (OpenAI; Version vom 24. Mai 2023; Chatbot 2) eingespeist. Für jeden Bericht wurde ein neuer Chat gestartet. Die Abfragen beider Chatbots führten zu einer signifikant verbesserten Lesbarkeit der Berichte (gemessen anhand des Flesch-Kincaid Grade Levels und des Flesch Reading Ease Scores). Chatbot 1 interpretierte 993 (88%) der Berichte korrekt; bei Chatbot 2 waren es 1105 (97%).
Kein Ersatz für Mediziner
Die Ergebnisse der Studie bieten ein positives Beispiel für den Einsatz von Chatbots in der Medizin. Das Fazit der Studienautoren lautete daher, dass Chatbots die Arbeit von Ärzten sinnvoll ergänzen können. Allerdings formulierten die künstlichen Intelligenzen in einigen Fällen sogenannte „Halluzinationen“ – das heißt Resultate, die nicht auf Fakten oder Trainingsdaten basierten. Zudem können ethische Aspekte, beispielsweise die Diskretion von Patientendaten beim Einspeisen in Large-Language-Models, ein Problem bei der Implementierung dieser Tools darstellen.
Die provokante Frage, ob Gesundheitsberufe zukünftig von künstlichen Intelligenzen ersetzt werden könnten, wird von Experten daher aktuell mit „Nein“ beantwortet. So lautete auch das Statement von Dr. Benedict Morath, Universitätsklinikum Heidelberg, bei einem Seminar des 49. Wissenschaftlichen ADKA-Jahreskongresses: „Die richtigen Fragen können nur die Leute stellen, die das Wissen über das Fach haben.“
Quellen
Steimetz E, et al. Use of artificial intelligence chatbots in interpretation of pathology reports. JAMA Netw Open 2024;7:e2412767.
Seminar „KI, LLM, Chatbots – Chancen und Herausforderungen für die AM-Info“, Dr. Benedict Morath, Universitätsklinikum Heidelberg und Daniel Grathwol, DTU Technical University of Denmark Applied Mathematics and Computer Science Copenhagen. 49. Wissenschaftlicher ADKA-Jahreskongress, 14. Mai 2024.
Bilquelle
Have a nice day – stock.adobe.com
