Medizintechnik & Gesundheitsindustrie

Neue KI-Verordnung der EU: Was sind die Auswirkungen auf Healthcare-Innovationen in 2024?

Am 09. Dezember haben sich die Staaten der EU und das EU-Parlament nach viel hin und her auf eine neue KIVerordnung geeinigt – mit weitreichenden Auswirkungen auf KI-Systeme im gesamten EU-Raum. Doch was bedeutet die neue Gesetzgebung in einem ohnehin bereits streng regulierten Bereich wie dem Healthcare-Sektor? Und wie kann sie im Gesundheitsbereich zur Innovationsförderung beitragen?

Young Asian woman using mobile phone while standing under a pedestrian bridge glowing at night

Bereits 2021 schlug die EU-Kommission eine erste Verordnung zur Regulierung von KI in der Europäischen Union vor. Der Einsatz von künstlicher Intelligenz sollten demnach anhand des Risikoprofils für die Nutzer:innen eingestuft werden. Nachdem Stellungnahmen und Inputs aus dem Healthcare-Sektor sowie zahlreichen weiteren Branchen eingeholt wurden, dürfte die KI-Verordnung (EU AI Act) in den nächsten Monaten in Kraft treten.

9 Minuten Lesezeit
Autor

Sämtliche Branchen hoffen nun auf mehr Klarheit durch die KI-Verordnung: Klarheit darüber, was es braucht, um KI-gestützte Technologien sicher entwickeln und nutzen zu können. Im Healthcare-Sektor etwa gibt es diesbezüglich aber auch Bedenken, insbesondere bei Unternehmen aus dem Pharma- und Medizintechniksektor, die künstliche Intelligenz als Teil ihres USP betrachten. Sie befürchten durch die neue Verordnung einen innovationsbremsenden Effekt. Aber sind diese Befürchtungen auch begründet?

KI im Healthcare-Sektor – ein neuer Rechtsrahmen

Sicher ist eines: KI hat bereits zu einem Wandel im Healthcare-Bereich geführt, von der automatischen Bildanalyse und Chatbots über Remote Patient Monitoring bis hin zur Vorhersage des Patientenaufkommens in Krankenhäusern. Regierungen weltweit beschäftigen sich angesichts einer sich rasant weiterentwickelnden KI-gestützten Gesundheitsversorgung mit der Frage, wie eine Regulierung gelingen kann. Insbesondere in der EU ist man bestrebt, mit der neuen KI-Verordnung für sichere, transparente und nachvollziehbare KI-Systeme zu sorgen. Vor allem aber geht es der EU darum, unbeabsichtigte negative Folgen durch KI-gestützte Systeme zu verhindern, etwa Diskriminierung oder die Verschärfung bestehender Ungleichheiten.

Die neue KI-Verordnung wird vor allem für Unternehmen außerhalb streng regulierter Branchen wie dem Healthcare-Sektor tiefgreifende Veränderungen mit sich bringen – also für jene, die bisher mehr oder weniger uneingeschränkt KI-gestützte Produkte lancieren konnten, ohne für die Folgen einer Markteinführung verantwortlich gemacht zu werden.

Doch welche Veränderungen bringt die neue Gesetzgebung nun speziell für Healthcare-Unternehmen? Je nach Risikoprofil eines KI-Systems müssen Anbieter künftig bestimmte Auflagen erfüllen. Wenn zum Beispiel ein sicherheitsrelevantes KI-System für ein Medizinprodukt zum Einsatz kommt, das in den Anwendungsbereich der EU-Verordnung über die allgemeine Produktsicherheit fällt und dessen Risiko daher als hoch eingestuft wird, muss das verantwortliche Unternehmen eine Reihe von Kriterien erfüllen (u. a. Systemgenauigkeit, Robustheit, Cybersecurity und menschliche Aufsicht).

Wenn es sich aber um einen relativ einfachen Chatbot handelt, der nicht für medizinische Beratung, sondern zum Beispiel für Terminvergaben zum Einsatz kommt, wird das Risiko der KI-Anwendung als gering eingestuft. Der Anbieter muss dann lediglich Transparenzauflagen erfüllen.

Eu ai act risikobasierter ansatz

Diese Auflagen mögen hinsichtlich der Dokumentations- und Registrierungspflicht zwar „neu“ sein, doch im Grunde genommen übernimmt die EU-KI-Verordnung lediglich eine „Good Practice“ aus dem Machine-Learning.

Wir bei Zühlke etwa arbeiten unter anderem mit Medizintechnikherstellern zusammen und gewährleisten, dass KI standardmäßig sicher, ethisch korrekt und nachhaltig zum Einsatz kommt. Sämtliche von uns eingesetzten KI-Modelle werden gemäß unseres Framework für Responsible AI gründlich validiert und einer eingehenden Risikoanalyse und -minderung unterzogen.

Bedenken aus der Healthcare-Branche

Unternehmen im Health-Sektor reagieren auf die EU-KI-Verordnung sehr unterschiedlich. Die wohl deutlichste Rückmeldung zu einer früheren Version der Gesetzgebung kam vom Johner Institut. Das Institut und warnte davor, dass die potenziell restriktive Natur einer weiteren Verordnung für den Healthcare-Sektor die Innovations- und Wettbewerbsfähigkeit europäischer Hersteller einschränken könnte.

Besorgnis zu einzelnen Auflagen der KI-Verordnung teilte auch MedTech Europe mit. Der Branchenverband äußerte Bedenken, etwa zur Verpflichtung zu mehr menschlicher Aufsicht, und argumentiert, dass übermäßige Eingriffe durch Menschen in die KI negative Auswirkungen auf das Nutzen-Risiko-Verhältnis von Medizinprodukten haben könnten. Dadurch wiederum werde die Einführung innovativer und potenziell lebensrettender Medizinanwendungen erschwert und das Sammeln von wertvollen Erfahrungswerten begrenzt.

Die zur KI-Verordnung eingegangen Rückmeldungen haben eindeutig eines gemeinsam: Sie teilen die Sorge, dass Innovationen in Zukunft erschwert werden. Ist diese Befürchtung aber auch begründet? Zunächst ist festzuhalten, dass die EU-KI-Verordnung seit der Veröffentlichung der ersten Rückmeldungen mehrmals geändert wurde. So wurden zum Beispiel viele der in der Stellungnahme des Johner Instituts angesprochenen Inkonsistenzen und unklaren Auflagen seit letztem Oktober überarbeitet und behoben (siehe hierzu auch eine Reaktion des Johner-Instituts).

Außerdem stehen viele Branchenvertreter der neuen Verordnung durchaus optimistisch gegenüber. MedTech Europe etwa betont trotz der zuvor erwähnten Bedenken, dass die Verordnung das Potenzial hat, Einzelpersonen „eine Vertrauensbasis zu geben, KI-gestützte Lösungen, einschließlich KI-gestützter digitaler Health-Services und -Tools, anzunehmen.“ Weitere wichtige Akteur:innen der Branche teilen diese Ansicht (mehr dazu später).

Wir bei Zühlke können die Bedenken rund um die KI-Verordnung nachvollziehen, sind jedoch auch vom innovationsfördernden Potenzial der Verordnung überzeugt. Warum? Weil sie die dringend benötigte Klarheit darüber schafft, wie erstklassige Qualitätsprodukte entwickelt werden können und wie für ausreichende Transparenz gesorgt wird, damit diese Produkte letztendlich angenommen und genutzt werden.

Wir sehen vor allem drei Gründe, warum die EU-KI-Verordnung nicht der von manchen befürchtete Innovationshemmer ist:

KI-Regulierung in der Healthcare-Branche – drei Gründe für Optimismus

1. Vertrauen in KI im Healthcare-Sektor kann aufgebaut werden

Wir alle wissen, dass der Aufbau von langfristigem Vertrauen eine der großen Herausforderungen für Unternehmen im Health-Sektor ist, gerade beim Thema KI und nach öffentlichkeitswirksamen Vorfälle wie jenen rund um IBM Watson. Der Supercomputer soll oftmals falsche Behandlungsempfehlungen abgegeben und einem Patienten im Zuge einer Simulation ein Medikament verschrieben haben, das zu dessen Tod hätte führen können.

Das vorhandene Misstrauen ist teilweise auf die fehlende Transparenz von „Blackbox“-Lösungen zurückzuführen, aber auch darauf, dass KI-Technologien in vielen Bereichen bisher keiner Qualitätskontrolle unterlagen. Auch in der Healthcare-Branche gibt es beispielsweise keine Kontrollpflicht für jene KI-Lösungen, die nicht unter die Medizinprodukte-Verordnung (Medical Device Regulation, MDR) oder andere Rechtsvorschriften fallen.

Doch auch ganz abgesehen von viralen Headlines und mediengeschürten Weltuntergangsszenarien trägt der Mangel an Gesetzen und einheitlichen Normen zu Machine-Learning-Methoden nicht unbedingt zum Vertrauen gegenüber diesen Technologien bei.

Mit dem Inkrafttreten der EU-KI-Verordnung wird sich das hoffentlich ändern. Unternehmen werden sicherstellen müssen, dass ihre risikobehafteten Produkte den gesetzlichen Anforderungen entsprechen dazu angeregt werden, KI-Lösungen einer allgemeinen Qualitätskontrolle zu unterziehen. Dies wird qualitativ hochwertige KI-Lösungen ermöglichen und das Vertrauen in KI stärken, was wiederum den Grundstein legen kann für KI-gestützte Gesundheitsanwendungen, die für Verbraucher:innen und Patient:innen einen echten Mehrwert bedeuten.

Außerdem könnten die wichtigsten Branchenvertreter dadurch wieder mehr Vertrauen in den Einsatz von KI im Healthcare-Sektor gewinnen, was uns zu Grund Nr. 2 bringt …

2. Potenziell mehr Investitionen

Eines der Hauptanliegen der EU-KI-Verordnung ist die Förderung von Investitionen in KI durch die Schaffung von Rechtssicherheit für Anbieter und Hersteller. Während einige aufgrund der durch die Verordnung entstehenden Compliance-Kosten von einem investitionshemmenden Effekt in Europa ausgehen, entgegnen andere, dass dies nur für Hochrisiko-KI-Anwendungen gilt und die Auswirkungen auf das Investitionsumfeld ohnehin nicht so bedeutend sein werden wie von manchen behauptet.

Viele zeichnen aufgrund des EU-KI-Gesetzes aber auch ein positives Szenario für Investitionen, darunter Invest Europe, der weltgrößte Verband privater Kapitalgeber, der die KIVerordnung in diesem Jahr ausdrücklich begrüßte.

3. Compliance-Prozesse müssen nicht gänzlich neu gedacht werden

Wie in der Rückmeldung des Johner Instituts zur EU-KI-Verordnung betont wurde, gibt es einige Überschneidungen zwischen den „neuen“ Vorschriften und den bereits bestehenden Verordnungen für den Healthcare-Sektor, zum Beispiel der Medizinprodukte-Verordnung (MDR) und der In-vitro-Diagnostika-Verordnung (IVDR). Diese regeln unter anderem Cybersecurity, Risikomanagement und Post-Market Surveillance (Überwachung eines Medizinprodukts nach dessen Inverkehrbringen), so wie das auch in der neuen EU-KI-Verordnung gefordert wird.

Die einfache Klarstellung, dass Hersteller jene neuen Vorschriften, die sich mit der MDR und der IVDR überschneiden, nicht extra adressieren müssen, würde den entstehenden Arbeitsaufwand zur Einhaltung der KI-Verordnung auf ein Minimum reduzieren. Somit wären zahlreiche Unternehmen bereits auf dem besten Weg zur Einhaltung der neuen Verordnung.

KI-Regulierung im Healthcare-Sektor – wie Sie Ihr Unternehmen darauf vorbereiten können

231215 eu ai act 02

1. Entwickeln Sie ein „Risiko-Mindset“

Der einfachste Weg zur Einhaltung der neuen Verordnung ist ein proaktiver Ansatz hinsichtlich Risikomanagement und Compliance. Beginnen Sie damit, sich mit der neuen Rechtslage vertraut zu machen und sich zu überlegen, in welche Risikostufe Ihre Produkte und Lösungen fallen.

In erster Linie bedeutet das aber auch Folgendes: Anstatt Compliance-Vorschriften erst im Nachhinein zu erfüllen, also nachdem ein Produkt bereits entwickelt wurde, sollten alle KI-gestützten Technologien bereits im Vorhinein gemäß den festgelegten Normen konzipiert, entwickelt und getestet werden.

2. Nutzen Sie das richtige Know-how

Idealerweise verfügen Sie in Ihrem Unternehmen bereits über entsprechende Expert:innen, die Sie bei der Umsetzung der Compliance-Vorschriften unterstützt. Falls nicht, holen Sie sich das nötige Know-how von externen Partnern. Sie brauchen zum Beispiel jemanden, der Sie bei der Analyse sämtlicher potenzieller Risiken Ihres KI-Systems unterstützt – jemanden, der die Feinheiten wie etwa den Unterscheid zwischen dem tatsächlichen Risiko und dem Schweregrad potenzieller Schäden durch Ihre KI kennt. In der Folge kann Ihnen dieser Partner bei der Konzipierung eines konkreten Use Case mit möglichst geringem Risiko helfen, der Ihnen einen praktikablen Ansatzpunkt bietet.

Wir empfehlen Ihnen, firmenintern bzw. mit einer kleineren Lösung zu starten, um so einen Lernprozess zu durchlaufen und das für größere, fortschrittlichere Lösungen erforderliche Know-how aufzubauen. Mit der Zeit werden Sie bzw. Ihr Partner garantieren können, dass sämtliche von Ihnen hergestellten Produkte lange vor der eigentlichen Markteinführung die Anforderungen der EU-Verordnung erfüllen. Sobald Ihr konkreter Use Case ausgestaltet ist, können Sie mit den richtigen Systemen auch viele der nötigen Arbeitsschritte automatisieren und so den Gesamtprozess für komplexere Use Cases beschleunigen.

Die EU-KI-Verordnung – auch eine Chance für die Healthcare-Branche

Für Healthcare-Unternehmen bietet die EU-KI-Verordnung auch eine Chance: Sie kann dabei helfen, das Vertrauen der breiten Öffentlichkeit in KI zurückzugewinnen und qualitativ hochwertige Gesundheitsprodukte zu entwickeln. Diese Produkte können dann dazu eingesetzt werden, unseren Gesundheitszustand zu überwachen, Diagnosen zu stellen, Krankheitsursachen zu erforschen, neue Therapien zu entwickeln, Patient:innen zu klassifizieren und unseren Lebensstil positiv zu beeinflussen.

Ist Ihr Unternehmen bereit, diese Chance zu ergreifen? Wenn ja, dann unterstützen wir Sie gerne bei der Einführung KI-gestützter Lösungen, die Ihnen Wertschätzung, Vertrauen und neue Investitionen bringen werden.

Alles rund um die neue EU-KI-Verordnung sowie wertvolle Tipps unserer KI-Healthcare-Expert:innen finden Sie unter:

Responsible AI: Entwicklung ethischer KI-Anwendungen

EU-KI-Gesetz: Wie lässt sich Künstliche Intelligenz in Zukunft regulieren

Wie verändert der EU AI Act KI-basierte Innovation?

Die EU-KI-Verordnung im Überblick:

Am 14. Juni 2023 nahm das EU-Parlament seine Verhandlungsposition zum Gesetz über künstliche Intelligenz mit 499 zu 28 Stimmen bei 93 Enthaltungen an. Der finale Text liegt noch nicht vor, die folgenden Eckpunkte stehen jedoch fest:

Erstmals soll ein einheitlicher, horizontaler Rechtsrahmen für KI geschaffen werden.

Die Verordnung gilt für alle Anbieter, die KI-Systeme auf dem EU-Markt lancieren, KI-Systeme in der EU in Betrieb nehmen oder KI-gestützte Outputs in der EU verwenden. Und das unabhängig davon, ob es sich um innerhalb oder außerhalb der EU ansässige Anbieter handelt.

KI-Systeme in verbrauchernahen Produkten werden gemäß ihrem jeweiligen Risikoprofil für Verbraucher:innen eingestuft.

Alle KI-Systeme mit „unzulässigem Risiko“ werden verboten. Jene mit „hohem Risiko“ sind zwar erlaubt, müssen jedoch eine Reihe von Verpflichtungen und Anforderungen erfüllen, um Zugang zum EU-Markt zu erhalten. Für KI-Systeme mit „begrenztem Risiko“ gelten minimale Transparenzanforderungen.

Zwei Jahre haben Unternehmen Zeit, die neuen KI-Vorschriften umzusetzen. Bei Nichteinhaltung nach dem Ablauf dieser Frist drohen hohe Geldstrafen bzw. kann ein KI-System dann auch vom Markt genommen werden.
lisa Falco
Ansprechpartner für die Schweiz

Dr. Lisa Falco

Lead Data Consultant

Lisa Falcos Leidenschaft sind KI und Maschinelles Lernen und ihre positiven Auswirkungen auf die Gesellschaft. Sie bringt über 15 Jahre Branchenerfahrung in der Anwendung von Data Science im medizinischen Umfeld mit und hat bereits mehreren KI-gestützten MedTech-Produkten zur Marktreife verholfen. Lisa promovierte an der EPFL in der Schweiz in Biomedizinischer Bildanalyse und erwarb einen Mastertitel in Technischer Physik an der Chalmers-Universität in Schweden. 

Kontakt
Vielen Dank für Ihre Nachricht.