KI in Medizin und Unternehmen: Chancen, Risiken und die Bedeutung menschlicher Kontrolle

26.05.2025 135 mal gelesen 5 Kommentare

Schwachstellen von KI-Modellen in der medizinischen Bildanalyse

Forschende aus Mainz und Dresden haben kommerzielle KI-Modelle wie GPT-4o, Llama und Gemini auf ihre Zuverlässigkeit bei der Analyse medizinischer Bilder untersucht. Dabei zeigte sich, dass die Integration von Textinformationen – etwa handschriftliche Beschriftungen oder Wasserzeichen – das Urteilsvermögen der KI-Modelle erheblich beeinträchtigen kann. Wurden den Bildern wahrheitsgemäße Beschriftungen hinzugefügt, arbeiteten die Modelle nahezu fehlerfrei. Enthielten die Beschriftungen jedoch falsche oder irreführende Informationen, sank die Genauigkeit der korrekten Antworten auf nahezu null Prozent.

„Es war so, als würden die KI-Modelle das antrainierte Wissen über das Gewebe komplett vergessen bzw. ignorieren, sobald zusätzliche Textinformationen auf dem Bild vorhanden waren. Dabei war es egal, ob diese Informationen zu dem Befund passten oder nicht.“ (Sebastian Försch, Universitätsmedizin Mainz)

Die Studie legt nahe, dass speziell trainierte KI-Modelle weniger anfällig für solche Fehler sind. Dennoch betonen die Forschenden, dass KI-generierte Ergebnisse immer von medizinischen Expertinnen und Experten überprüft werden müssen, bevor sie für wichtige Entscheidungen wie Diagnosen herangezogen werden. (Quelle: MDR)

  • KI-Modelle verlieren bei irreführenden Texten auf Bildern fast vollständig ihre diagnostischen Fähigkeiten.
  • Speziell trainierte Modelle könnten weniger fehleranfällig sein.
  • Medizinische Validierung bleibt unerlässlich.

Infobox: Die Integration von Textinformationen in medizinische Bilder kann KI-Modelle massiv in die Irre führen. Eine sorgfältige Überprüfung durch Fachpersonal ist weiterhin notwendig.

Sprachmodelle und das Problem der Halluzinationen

Die neuesten Sprachmodelle wie o3 und o4-mini von OpenAI sind laut Experten besonders produktiv, neigen aber dazu, immer häufiger sogenannte „Halluzinationen“ zu produzieren – also erfundene Fakten. Marcel Salathé, Co-Direktor des AI Center der ETH Lausanne, berichtet, dass er den Output dieser Modelle stärker kontrollieren muss als bei älteren Versionen. In einem Beispiel identifizierte die KI eine Musikpartitur fälschlicherweise als Werk von Liszt, obwohl es sich um Chopin handelte, und ließ sich erst nach mehreren Interaktionen korrigieren.

„Ich muss ihren Output stärker kontrollieren als jenen älterer Modelle.“ (Marcel Salathé, ETH Lausanne)

Die Ursache für diese Zunahme an Halluzinationen liegt laut Fachleuten in der Art und Weise, wie die Modelle trainiert werden. Nutzerinnen und Nutzer sind daher angehalten, die von KI gelieferten Informationen kritisch zu prüfen. (Quelle: SZ.de)

  • Neue Sprachmodelle halluzinieren häufiger als ihre Vorgänger.
  • Fachleute empfehlen eine verstärkte Kontrolle der KI-Ausgaben.

Infobox: Die Zuverlässigkeit von Sprachmodellen bleibt ein zentrales Problem. Kritische Prüfung durch den Menschen ist weiterhin notwendig.

Künstliche Intelligenz in der Medizin: Chancen und Risiken

Ärztepräsident Reinhardt sieht große Fortschritte durch den Einsatz von Künstlicher Intelligenz in der Medizin, mahnt jedoch zu einem verantwortungsvollen Umgang. Er betont, dass KI nicht um jeden Preis eingesetzt werden sollte und der Schutz sensibler Gesundheitsdaten oberste Priorität haben muss. (Quelle: Deutschlandfunk)

  • KI bietet große Chancen für medizinische Fortschritte.
  • Verantwortungsvoller Einsatz und Datenschutz sind unerlässlich.

Infobox: KI kann die Medizin revolutionieren, doch ethische und datenschutzrechtliche Aspekte dürfen nicht vernachlässigt werden.

KI in Unternehmen: Erfolgsfaktor Mensch

Im Rahmen einer Talkshow des Buxtehuder Wirtschaftsvereins wurde diskutiert, wie Unternehmen wie Lindemann und Implantcast Künstliche Intelligenz erfolgreich nutzen. Ein zentrales Fazit der Veranstaltung: Wer KI im Betrieb einführen will, sollte auf die Mitarbeitenden hören. Die Einbindung der Belegschaft ist entscheidend für den Erfolg von KI-Projekten. (Quelle: Tageblatt)

  • Erfolgreiche KI-Einführung erfordert die Einbindung der Mitarbeitenden.
  • Unternehmen profitieren von einer offenen Diskussionskultur rund um KI.

Infobox: Die Akzeptanz und das Know-how der Mitarbeitenden sind Schlüsselfaktoren für den erfolgreichen KI-Einsatz in Unternehmen.

KI in der Hochschulbildung: Praxisbeispiel Schraubensortierung

Die Hochschule Heilbronn setzt Künstliche Intelligenz ein, um praktische Aufgaben wie das Sortieren von Schrauben zu automatisieren. Die Stadt Heilbronn strebt an, europaweit eine führende Rolle im Bereich KI einzunehmen. (Quelle: Stimme)

  • KI wird an Hochschulen für praxisnahe Anwendungen genutzt.
  • Heilbronn positioniert sich als KI-Standort in Europa.

Infobox: Die Integration von KI in die Hochschulbildung fördert Innovation und Praxisbezug.

Quellen:

Ihre Meinung zu diesem Artikel

Bitte geben Sie eine gültige E-Mail-Adresse ein.
Bitte geben Sie einen Kommentar ein.
Finde es interessant, dass so viele hier nur über die Anwendungen in der Medizin sprechen, aber kaum einer was zur Hochschulbildung sagt. Ich glaube, da steckt richtig viel Potenzial drin, grad wenn man sieht wie in Heilbronn die KI bei solchen scheinbar einfachen Aufgaben wie Schraubensortierung eingesetzt wird. Das macht KI aus meiner Sicht greifbarer für Studis und motiviert vielleicht sogar mehr, sich mit dem Thema weiter zu beschäftigen.
Ich hab das mit de Musik auch wenig verstanden, also wie kann das sein das KI immer denkt das is Liszt aber es wars doch Chopan lol. Aber is eh so das halt bei neuen programen immer mehr Fehler eigebaut sind als mans denkt. Ich finds wichtig das man dem net alles glaubt, weil, wenn schon so offenslichtlich sachen verwechselt werden, dann stell ich mir vor beim Medizins annos keinen arzt ersetzt werden könnte.
Ich finde den Hinweis aus dem Artikel spannend, dass bei KI in Firmen besonders die Mitarbeitenden eingebunden werden sollten. Das kommt mir in vielen KI-Diskussionen einfach zu kurz. Wenn von Anfang an mehr Leute mitreden können, gibt’s glaub ich auch weniger Berührungsängste oder Ablehnung – sowas hab ich im eigenen Betrieb schon öfter erlebt.
Das ist ja interesannt mit den Texten auf Bildern, ich dachte eig. die KI kann eh erkennen was echt is oder nicht, aber anscheind fällt sie voll drauf rein wenn was komisches draufsteht, krass und auch bissl beängstigend wenn man bedenkt wie schnell da Fehler pasiren können.
also das mit die Halluzinationen find ich krass, das stand ja hier im Artikel dass die neuen Modelle noch mehr zeugs erfinden wie früher und so was ist doch echt gefährlcih, vorallem wenn man sowas dann zum beispiel bei Diagnosen einfach glaubt. Da müsstne die Firmen echt mal höhrer standards machen oder irgent eine art warnanzeige wenn KI einfach Quatsch ausgibt.. Ist so, das die Leute sonst vlt garnich merken wenn was falsch läuft, hab ich auch schonmal erlebt beim Chatbot den ich gefragt hab relativ einfache Sachen und es kam garnicht das richtige zurük.

Zusammenfassung des Artikels

KI birgt große Chancen für Medizin, Unternehmen und Bildung, erfordert aber kritische Prüfung der Ergebnisse sowie verantwortungsvollen Umgang mit Datenschutz.

...
KI BUSINESS ACCELERATOR Die 30-Tage-Challenge für Klarheit & Struktur im KI-Dschungel

Jeden Tag eine kleine, umsetzbare KI-Optimierung – für weniger Stress, mehr Fokus und nachhaltige Business-Automatisierung.

Counter