Unter medizinischem Text-Mining versteht man die automatisierte Analyse und Verarbeitung großer Mengen unstrukturierter Textdaten im Gesundheitswesen, um Muster, Zusammenhänge und nützliche Informationen zu extrahieren. Die Erkennung von Negationen übernimmt dabei eine wichtige Aufgabe. Denn: Im Rahmen der Behandlung von Patient:innen werden viele Untersuchungen durchgeführt. Dabei wird sowohl das Vorhandensein als auch das Fehlen von Symptomen und auffälligen Befundergebnissen dokumentiert. 

Ein Beispiel für negierte Befunde:

“Patient zeigt keinen Meningismus, normale Lichtreaktion, kein Hinweis auf Sklerenikterus, Mundschleimhaut und Rachenring sind reizlos und unauffällig, Schilddrüse nicht vergrößert, Übelkeit war nicht aufgetreten.”

Aufgrund der Komplexität menschlicher Sprache besteht die zusätzliche Herausforderung der doppelten Verneinungen, Pseudo-Negationen etc. In den folgenden Beispielen sind Befunde nicht negiert, obwohl deutliche Indikatorworte („unauffällig“, „nicht“, „ausgeschlossen“) im selben Satz stehen.

“Abgesehen von einem leichten Hautausschlag war die körperliche Untersuchung unauffällig. Ein Tumor kann nicht sicher ausgeschlossen werden. Milz und Leber wegen Aszites nicht tastbar.”

In regelbasierten Ansätzen werden diese komplexen Textmuster über eine Fülle von Regeln erkannt. Dafür haben wir die leistungsstarke NLP-Regelsprache entwickelt und Open-Source gestellt: Apache UIMA Ruta. Mit ihr lassen sich beliebige Text-Mining-Probleme in kürzester Zeit schnell und effizient lösen. Mit der NLP-Regelsprache lassen sich viele Verneinungsmuster zuverlässig erkennen.

Aus Erfahrung wissen wir: Die zuverlässige Erkennung von komplexen Verneinungsmustern führt zu einer enormen Komplexität in den Regeln. Darunter leidet die Wartbarkeit. Daher haben wir das regelbasierte Verfahren um einen Machine-Learning-Ansatz ergänzt. Unser Team hat dafür einen großen internen Trainingsdatensatz bestehend aus englischen und deutschen Trainingsdaten zusammengestellt und annotiert. Zusätzlich haben wir Daten aus dem öffentlich zugänglichen i2b2-2010 Datensatz ergänzt.

Das Machine-Learning-Modell bekommt für jede Diagnose Informationen mitgegeben: Welche Worte vor und nach jeder Diagnose stehen, ob die Diagnose in einer Aufzählung ist und ob ein Negations-Indikator – etwa „keine“ oder „nicht“ – vorhanden ist. Die restliche Entscheidungsfindung verläuft vollautomatisch. Einzelne Fehler des Modells hat unser Team wir durch gezielte Nachbearbeitungsregeln verbessert.

Erfreulicherweise konnten wir durch die Kombination aus regelbasierten und Machine-Learning-Verfahren die Leistungsfähigkeit der Negationserkennung auf 96 Prozent F1-Score (englisch) bzw. 95 Prozent (deutsch) steigern. Eine tiefgehende Analyse der Fehler zeigte, dass der Machine-Learning-Ansatz darüber hinaus in der Lage war, fehlerhafte Annotationen im Goldstandard zu identifizieren.