Einsatz künstlicher Intelligenz in kritischen Infrastrukturen

Es existieren Spezialregelungen in der KI-Verordnung für den Bereich der kritischen Infrastruktur, die jedoch häufig unklar bzw. widersprüchlich sind.
Ein KI-Systemen ist wohl nur selten deshalb ein Hochrisiko-KI-Systeme, weil es im Bereich der kritischen Infrastrukturen eingesetzt wird.
KI-Systeme zum ausschließlichen Schutz der Cybersicherheit sollen nicht erfasst sein. Auch KI-Systeme, die zum Funktionieren der kritischen Infrastruktur selbst notwendig sind fallen raus.

Das allgegenwärtige Thema künstliche Intelligenz ("KI") macht auch vor den Unternehmen im Bereich der kritischen Infrastrukturen nicht halt. Der Einsatz erfolgt in vielfältiger Weise und reicht von der Implementierung eines einfachen Chatbots auf der Webseite, über den Einsatz bei der Netzplanung bis zum Schutz von Betriebsgeländen beispielsweise mit "intelligenten" Kameras. Gerade im Bereich der Cyberbedrohungen wird bereits heute häufig künstliche Intelligenz eingesetzt, um beispielsweise Hackingangriffe zu erkennen.

Im folgenden wird zunächst ein sehr kurzer Überblick über den Aufbau der "Europäischen Verordnung über künstliche Intelligenz" (KI-Verordnung", englisch: "AI Act") gegeben. Anschließend wird untersucht, ob KI-Systeme im Bereich der kritischen Infrastrukturen sogenannte Hochrisiko-KI-Systemen sind oder nicht. Insbesondere hiervon hängt ab, welche Pflichten beim Einsatz von KI-Systemen im Bereich der kritischen Infrastrukturen bestehen.

Dieser Blogpost soll eine erste Einordnung bieten und Diskussionsgrundlage sein. Auf Grund der sehr schnellen Entwicklung in diesem Bereich wird dieser Blogpost bereits jetzt absehbar überarbeitet werden müssen.

Die KI-Verordnung im Überblick

MacBook Pro near white open book — Photo by Nick Morrison / Unsplash

Die KI-Verordnung befindet sich auf der Zielgrade im Gesetzgebungsprozess. Europäische Kommission, Europäisches Parlament und Rat haben sich bereits geeinigt und einen gemeinsamen Text beschlossen. Was noch fehlt sind letzte formelle Anpassungen und eine Veröffentlichung im Amtsblatt. Voraussichtlich wird die KI-Verordnung noch im Sommer 2024 im Amtblatt veröffentlicht und tritt kurz danach in Kraft. Da es sich um eine Verordnung handelt, ist diese in Deutschland direkt anwendbares Recht und muss nicht durch ein nationales Gesetz umgesetzt werden. Die KI-Verordnung gilt (mit Abweichungen im Detail) 24 Monate nach ihrem Inkrafttreten. Eine Übersicht zur Timeline findet sich hier.

Im folgenden wird ein sehr kurzer Überblick über die KI-Verordnung gegeben. Gestützt wird sich dabei auf den Text der KI Verordnung vom 17.4.2024 (siehe hier der Originatext in deutscher Fassung und hier der Text in einer übersichtlichen Form). Es wird sich auf die Aspekte beschränkt die notwendig sind, um die nachfolgenden Erläuterungen speziel im Bereich der kritischen Infrastrukturen zu verstehen. Allgemeine und ausführlichere Erklärungen der KI-Verordnungen sind im Internet einfach verfügbar (z.B. hier und hier).

Grundsätzlicher Aufbau der KI-Verordnung

Durch die KI-Verordnung wird insbesondere der Einsatz von sogenannten KI-Systemen reguliert.

Definition KI-Systeme (Art. 3 Nr. 1 KI-Verordnung)

"KI-System: ein maschinengestütztes System, das für einen
in wechselndem Maße autonomen Betrieb ausgelegt sind,
das nach seiner Einführung anpassungsfähig sein kann
und das aus den erhaltenen Eingaben für explizite oder
implizite Ziele ableitet, wie Ergebnisse wie etwa
Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen
hervorgebracht werden, die physische oder virtuelle
Umgebungen beeinflussen können;“

Eine Erklärung zu den technischen Hintergründen zum Einsatz von KI-Systemen bietet z.B. die Webseite der OECD. Dies ist insofern hilfreich, als das sich bei der Definition der KI-Systeme an der Definition der OECD orientiert wurde.

Für die Betreiber von kritischen Infrastrutkuren ist die entscheidende Frage, welche Pflichten sie einhalten müssen bei der Entwicklung, Anpassung, Einsatz etc. solcher Systeme. Die Antwort auf diese Frage hängt - stark verkürzt - von zwei Aspekten ab:

Welcher Akteur bin ich in der KI-Wertschöpfungskette?
Welcher Risikoklassifikation unterfällt das KI-System?

Erst wenn ich beide Fragen beantworte, kann ich meine Pflichten als Betreiber richtig einschätzen.

Betreiber eines KI-Systems

Die Akteure werden in Art. 3 Nr. 8 KI-Verordnung definiert als Anbieter, Produkthersteller, Betreiber, Bevollmächtigten, Einführer oder
Händler. Wichtig ist, dass sich die die Pflichten je nach Akteurseigenschaft unterscheiden und insbesondere auch Betreiber von KI-Systemen Pflichten unterliegen. Betreiber kritischer Infrastrukturen werden meist "nur" Betreiber von KI-Systemen sein, weshalb im Folgenden auf diesen Akteur der Focus gelegt wird.

Definition des Betreibers (Art. 3 Nr. 4 KI-Verordnung)

"Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet;"

Allerdings ist Vorsicht angezeigt. Zum einen unterliegen auch die Betreiber speziellen Pflichten aus der KI-Verordnung, selbst wenn sie KI-Lösungen "von der Stange" kaufen. Zudem besteht die Gefahr bei "wesentlichen Veränderungen" von KI-Systemen vom Betreiber zum Anbieter zu werden und dann einer Vielzahl von zusätzlichen Pflichten zu unterliegen (siehe Art. 3 Nr. 23; Art. 25 KI-Verordnung).

Definition der wesentlichen Veränderung (Art. 3 Nr. 23 KI-Verordnung)

"Eine Veränderung eines KI-Systems nach dessen Inverkehrbringen oder Inbetriebnahme, die in der vom Anbieter durchgeführten ursprünglichen Konformitätsbewertung nicht vorgesehen oder geplant war und durch
die die Konformität des KI-Systems mit den Anforderungen in Kapitel III Abschnitt 2 beeinträchtigt wird oder die zu einer Änderung der Zweckbestimmung führt, für die das KI-System bewertet wurde;"

Vier mögliche KI-Risikostufen

Im Grundsatz unterscheidet die KI-Verordnung vier verschiedene Risikostufen: Verbotene KI-Systeme; Hochrisiko-KI-Systeme; KI-Systeme mit limitierten Risiko und KI-Systeme mit minimalen Risiko.

Quelle: https://digital-strategy.ec.europa.eu/de/policies/regulatory-framework-ai

Für jede Risikostufe gelten (zusätzlich abhängig von der Akteursstellung) unterschiedliche Pflichten. Dabei gilt im Grundsatz: Je höher das Risiko des KI-Systems ist, desto höher sind die Pflichten, die die Akteure einhalten müssen (wenn das KI-System nicht sogar verboten ist). Die KI-Verordnung verfolgt also einen risikobasierten Ansatz der Regulierung.

Im folgenden wird insbesondere diskutiert, in welche Risikostufe KI-Systeme einzuordnen sind, die im Bereich der kritischen Infrastrukturen eingesetz werden. Insbesondere stellt sich die Frage, wann es sich um Hochrisiko-KI-Systeme handelt und wann nur um KI-Systemen mit limitierten Risiko bzw. minimalen Risiko. Die Antwort auf diese Frage ist entscheidend dafür, welche Pflichten die Betreiber erfüllen müssen.

Die Pflichten für Betreiber von Hochrisiko-KI-Systemen nach Art. 26, 27 KI-Verordnung

Einführung technischer und organisatorischer
Maßnahmen um Pflichten nach Art. 26 Abs. 3 – 6 /
Gebrauchsanweisung von KI-System zu erfüllen
Menschliche Überwachung des KI-Systems durch
Personen mit der entsprechenden Ausbildung und
Kompetenz
Eingabedaten müssen Zweckbestimmung des KISystems
entsprechen und ausreichend repräsentativ
sein
Überwachungspflichten und ggf. Meldepflichten
insbesondere bei schwerwiegenden Vorfällen
Aufbewahrungspflicht für automatisch erzeugte
Protokolle des KI-Systems
Beim Einsatz des KI Systems am Arbeitsplatz müssen die
Arbeitnehmer informiert werden
Datenschutzfolgeabschätzung
Teilweise Informationspflichten gegenüber natürlichen
Personen über den Einsatz von KI-Systemen
Enge Zusammenarbeit mit Überwachungsbehörden
Keine Grundrechte-Folgenabschätzung für Hochrisiko-KI-Systeme, weil gemäß Art. 27 Abs. 1 S. 1 KI-Verordnung eine Ausnahme im Bereich der kritischen Infrastruturen vorgesehen ist.

KI-Systeme in der kritischen Infrastruktur als Hochrisiko-KI-Systeme?

man on rope — Photo by Loic Leray / Unsplash

Wann ein Hochrisiko-KI-System vorliegt legt Art. 6 KI-Verordnung fest. Maßgeblich für den Bereich der kritischen Infrastruktur ist Art. 6 Abs. 2 KI-Verordnung. Danach gelten (zusätzlich zu den in Art. 6 Abs. 1 KI-Verordnung genannten Hochrisiko-KI-Systemen) die in Anhang III genannten KI-Systeme als hochriskant. Nr. 2 des Anhangs III lautet:

„Kritische Infrastruktur: KI-Systeme, die bestimmungsgemäß als Sicherheitsbauteile im Rahmen der Verwaltung und des Betriebs kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung verwendet werden sollen.“

Sind diese Voraussetzungen erfüllt, so ist ein KI-System im Bereich der kritischen Infrastruktur als ein Hochrisiko-KI-System anzusehen.

Kritische Infrastruktur

Einleitend wird der Begriff der kritischen Infrastruktur genannt. Es liegt deshalb nahe, dass die Auslegung des nachfolgenden Satzes der Definition immer im Lichte dieses Begriffs gesehen werden muss. Hierbei ist es unklar, ob dieser Begriff so verstanden werden soll wie der Begriff einer kritischen Anlage nach dem zukünftigen Kritis-DachG oder ob dieser Begriff europarechtlich autonom ausgelegt werden muss. Ganz konkret geht es um die Frage, ob die deutschen Schwellenwerte von 500.000 versorgten Kunden einschlägig sind (siehe hierzu im Grundwissen Nr. 2, 12, 25) oder ausschließlich darauf abgestellt wird, dass ein wesentlicher Dienst erbracht wird, der unabhängig von etwaigen Schwellenwerten bestimmt wird.

Ich neige dazu, dass es auch im Rahmen der KI-Verordnung auf die Schwelle ankommt, wie sie schlussendlich im Kritis-DachG (bzw. in der nach ausstehenden Kritis-Verordnung) definiert werden wird. Zudem gehe ich davon aus, dass auch hier von einem anlagenbezug auszugehen ist und nicht generell auf die gesamte Einrichtung abgestellt werden muss. Die etwas komplizierten juristischen Erwägungen, die mich zu diesem Ergebnis bringen können im folgenden nachgelesen werden.

Juristische Begründung zur Begriffsdefinition der kritischen Infrastruktur

Art. 3 Nr. 62. KI-Verordnung verweist für den Begriff der kritischen Infrastruktur auf Art. 2 Nr. 4 der CER-Richtlinie. Der Begriff der kritischen Infrastruktur wird in Art. 2 Nr. 4 CER-Richtlinie definiert als "Objekte, Anlagen, Ausrüstung, Netze oder Systeme oder Teile eines Objekts, einer Anlage, Ausrüstung, eines Netzes oder eines Systems, die für die Erbringung eines wesentlichen Dienstes erforderlich sind;"

Zunächst zeigt der Bezug zu den Objekten, Anlagen etc. das es sich um eine anlagenbezogenen Betrachtung handelt und nicht um eine einrichtungsbezogene Betrachtung (zu diesem Unterschied siehe hier). Damit sollten beispielsweise Chatbots oder ähnliches auf der Webseite von Unternehmen im Bereich der kritischen Infrastruktur ohne Bezug zu den Anlagen selbst ausgeschieden werden.

Schwieriger zu entscheiden ist, ob auch wie im deutschen Recht Schwellenwerte maßgeblich sind. Dies hängt von dem Begriff des wesentlichen Dienstes ab. Nach Art. 2 Nr. 5 CER-Richtlinie ist ein wesentlicher Dienst ein Dienst, "der für die Aufrechterhaltung wichtiger gesellschaftlicher Funktionen, wichtiger wirtschaftlicher Tätigkeiten, der öffentlichen Gesundheit und Sicherheit oder der Erhaltung der Umwelt von entscheidender Bedeutung ist."

Auf Grundlage von Art. 5 Abs. 1 iVm. Art. 23 CER-Richtlinie wurden zur näheren Bestimmung die Delegierte Verordnung (EU) 2023/2450 erlassen. Hierdurch wird eine nicht erschöpfende Liste wesentlicher Dienste im Sinne von Artikel 2 Nr. 5 der CER- Richtlinie in den im Anhang der CER-Richtlinie aufgeführten Sektoren und Teilsektoren festgelegt. In Art. 2 der Deligierten Verordnung werden in den 11 Sektoren der CER-Richtlinie eine Vielzahl von wesentlichen Diensten festgelegt. Erwägungsgrund 3 der Delegierten Verordnung macht nähere Ausführungen, wie diese Liste verstanden werden soll: "Die Liste wesentlicher Dienste sollte allgemein formuliert sein, um den Besonderheiten der Mitgliedstaaten wie Größe, Bevölkerungsdichte oder geografische Lage Rechnung zu tragen. Allerdings sollte sie die wesentlichen Dienste lediglich derjenigen Kategorien von Einrichtungen umfassen, die im Anhang der Richtlinie (EU) 2022/2557 genannt sind. Zu diesem Zweck sollten nur Dienste, die von unter diese Kategorien fallenden Einrichtungen erbracht werden, als wesentliche Dienste im Sinne von Artikel 2 Nummer 5 der Richtlinie (EU) 2022/2557 betrachtet werden." Nicht ganz klar ist, ob dies dazu führt, dass Schwellenwerte (also solche nach dem zukünftigen Kritis-DachG) angelegt werden dürfen.

Für einen entprechenden Schwellenwert spricht der Bezug auf die (kritische) Einrichtung in Erwägungsgrund 3 (siehe auch Erwägungsgrund 1 der Deligierten Verordnung). Für die Ermittlung der kritischen Einrichtungen gemäß Art. 6 CER-Richtlinie wird explizit auf den Anhang der CER-Richtlinie verwiesen. Die genaue Bestimmung der kritischen Einrichtungen wiederum wird den Mitgliedsstaaten überlassen. In Deutschland wird hierfür nach den Entwürfen des Kritis-DachG zunächst statt des Begriffs der kritischen Einrichtung der Begriff des Betreibers einer kritischen Anlage verwendet (siehe auch Hornung/Muttach/Schaller, CR 2024, 229 ff. zur Terminologie der CER-Richtlinie). Diese sollen im Grunde so bestimmt werden, wie bisher die Betreiber der kritischen Infrastrukturen im Sinne des BSIG bestimmt wurden. Insbesondere ist bisher ein Regelschwellenwert von 500.000 versorgten Einwohnern anzulegen (siehe näher die Ausführungen im Grundwissen Nr. 2, 12, 25). Zudem könnte für dieses Verständnis auch der grundsätzlich risikobasierte Ansatz der KI-Verordnung ins Feld geführt werden. Weiterhin ist die Schutzrichtung der in Bezug genommenen CER-Richtlinie nach deren Erwägungsgrund 1 die Resilienz der kritischen Einrichtung. Überdies sollen Hochrisiko-KI-Systeme nach Erwägungsgrund 131 der KI-Verordnung nur auf nationaler Ebene registriert werden. Dies spricht dafür, dass auch der europäische Gesetzgeber davon ausgeht, dass die kritischen Infrastrukturen in jedem Mitgliedsstaat anders definiert werden. Dieses Verständnis zu Grund gelegt würden die kritischen Infrastrukturen in Deutschland so verstanden werden, wie sie in der noch zu erlassenden Kritis-Verordnung auf Grundlage des Kritis-DachG verstanden werden.

Gegen einen entsprechenden Schwellenwert spicht, dass in Erwägungsgrund 3 der deligierten Verordnung nur auf die Kategorien von Einrichtungen in der Anlage abgestellt. Die Kategorien selbst enthalten aber gerade keine Schwellenwerte. Zudem muss der Begriff der kritischen Infrastruktur gerade von dem Begriff der kritischen Einrichtung im Rahmen der CER-Richtlinie unterschieden werden. Nach Art. 6 Abs. 2 lit. a CER-Richtlinie ist das Erbringen der wesentlichen Dienstleistung nur ein Kriterium zur Bestimmung der kritischen Einrichtung. Wenn schon der Begriff der wesentlichen Dienstleistung selbst einen Schwellenwert beinhaltet, wäre die weiteren Kriterien in Art. 6 Abs. 2 überflüssig. Auch Erwägungsgrund 3 zielt wohl in diese Richtung, da er gerade auf eine allgemeine Formulierung für den Begriff des wesentlichen Dienstes abzielt und Blind sein will für die Besonderheiten in den Mitgliedsstaaten. Diese Besonderheiten werden erst im Rahmen der Bestimmung einer kritischen Einrichtung berücksichtigt. Zudem würde ein jeweils unterschiedlicher Schwellenwert in den Mitgliedsstaaten zu einer zu einer weiteren Zersplitterung der Anwendbarkeit des AI Acts führen würde. Die einzelnen Mitgliedsstaaten hätten es zudem über nationale Gesetzgebung in der Hand den AI Act selbst auszuhölen. Weiter stellt sich die Frage, warum nur in Bezug auf die digitale Infrastruktur der Begriff "kritisch" verwender wird und ob ein Unterschied zu den nachfolgenden Diensten besteht (siehe auch Erwägungsgrund 55 der KI-Verordnung). Diese Argumente sprechen eher dafür, dass im Rahmen des Begriffs der kritischen Infrastruktur gerade keine Schwellenwerte angelegt werden dürfen.

Einschränkung auf bestimmte kritische Infrastrukturen

Die o.g. Definition modifiziert den allgemeinen Begriff der kritischen Infrastrukturen jedoch. So sind nicht jegliche Sektoren erfasst, sondern nur die dort genannten (so ist beispielsweise der Bereich der Siedlungsabfallentsorgung und die Fernkälte nicht erfasst). Auch wenn die KI-Verordnung lediglich für die digitale kritische digitale Infrastruktur auf den Anhang der CER-Richtlinie verweist (EW 55), so liegt es nahe auch für die restlichen Begriffe auf eben diese Anlage Bezug zu nehmen.

Einzelnen Verweise in der CER-Richtlinie

kritischen digitalen Infrastruktur: CER-Richtlinie, Anhang, Nr. 8
Straßenverkehr: CER-Richtlinie, Anhang, Nr. 2 lit.d;
Wasser: Nr. 6 (Trinkwasser); unklar, ob auch Nr. 7 (Abwasser)
Gasversorgung: Nr. 1 lit. d (Erdgas)
Wärmeversorgung: Nr. 1 lit. b (nur Fernwärme)
Stromversorgung: Nr. 1 lit. a

Ergänzend wird man wohl auch die Delegierte Verordnung (EU) 2023/2450 zum Verständnis hinzuziehen müssen. Durch diese Verordnung wird eine nicht erschöpfende Liste wesentlicher Dienste im Sinne von Artikel 2 Nummer 5 der CER- Richtlinie in den im Anhang der CER-Richtlinie aufgeführten Sektoren und Teilsektoren festgelegt.

Sicherheitsbauteil

Hochrisiko-KI-Systeme sind nicht sämtliche KI-Systeme im Bereich der kritischen Infrastrukturen, sondern nur solche, die als Sicherheitsbauteile im Bereich der kritischen Infrastrukturen eingesetzt werden sollen.

Der Begriff der Sicherheitsbauteile wird in Erwägungsgrund 55 der KI-Verordnung wie folgt definiert:

„Sicherheitsbauteile kritischer Infrastruktur, einschließlich kritischer digitaler Infrastruktur, sind Systeme, die verwendet werden, um die physische Integrität kritischer Infrastruktur oder die Gesundheit und Sicherheit von Personen und Eigentum zu schützen, die aber nicht notwendig sind, damit das System funktioniert.“

Weiterer Ausführungen in EW 55

„Ausfälle oder Störungen solcher Komponenten können direkt zu Risiken für die physische Integrität kritischer Infrastruktur und somit zu Risiken für die Gesundheit und Sicherheit von Personen und Eigentum führen. Komponenten, die für die ausschließliche Verwendung zu Zwecken der Cybersicherheit vorgesehen sind, sollten nicht als Sicherheitsbauteile gelten. Zu Beispielen von Sicherheitsbauteilen solcher kritischen Infrastruktur zählen etwa Systeme für die Überwachung des Wasserdrucks oder Feuermelder-Kontrollsysteme in Cloud-Computing-Zentren.“

Guckt man sich die Definition näher an, muss Einsatz des KI-Systems mit einer bestimmen Zielrichtung vorgenommen werden. Hierbei sind zwei Zielrichtungen vorgeschrieben. Der Einsatz muss entweder verwendet werden um

die physische Integrität der kritischen Infrastruktur zu schützen oder
um die Gesundheit und Sicherheit von Personen oder Eigentum zu schützen.

Man kann vermuten, dass der erste Punkt die „Security“ (Schutz der Anlagen selbst vor Gefahren) und der zweite Punkt die „Safety“ (Schutz Dritter vor den Gefahren, die von der Anlage ausgehen) einer kritischen Infrastruktur beschreibt (siehe zur Unterscheidung beider Begriffe z.B. hier und hier und hier). Das mit der zweiten Variante die Gesundheit etc. vor Schäden, die durch Ausfälle oder Störungen der kritischen Infrastruktur selbst entstehen können geschützt werden sollen, legen die weiteren Ausführungen in Erwägungsgrund 33 und 55 nahe. Zudem spricht die englische Variante insoweit von "safety of persons and property".

Hier darf die Prüfung jedoch nicht enden. Ausgeschieden werden in einem weiteren Schritt (positiv ausgedrückt) alle Sicherheitsbauteile der Security und Safety, die notwendig sind, damit das „System“ funktioniert. Hierbei ist die doppelte Verwendung des Begriffs Systems in der Definition verwirrend, da der Bezug des Begriffs „System“ am Ende der Definition unklar ist. Ich gehe davon aus, dass der Begriff System am Ende der Definition eigentlich die kritische Infrastruktur (also eine kritische Anlage) meint. Hieraus ergibt sich, dass alle KI-Systeme ausgeschieden werden, die notwendig sind, damit die kritische Infrastruktur funktioniert. Dies würde z.B. auf die Verwendung von KI-Systemen in Leitstellen zutreffen, soweit sie notwendig ist damit z.B. das Stromnetz funktioniert.

Unklarheiten bei der Definition des Sicherheitsbauteils

Aus dieser Definition und den nachfolgenden Ausführungen des Erwägungsgrund 55 ergeben sich eine Vielzahl von Fragen, die hier nur angerissen werden können.

Zunächst wird nur die physische Integrität / "Security" der kritischen Infrastruktur geschützt, während Komponenten (gemeint sind wohl Sicherheitsbauteile, wie sich aus der englischen Fassung der KI-Verordnung ableiten lässt), die für die ausschließliche Verwendung zu Zwecken der Cybersicherheit (siehe zu diesem Begriff die Ausführungen im Grundwissen Nr. 8) vorgesehen sind ausgeschieden werden. Es wird anscheinend davon ausgegangen, dass Sicherheitsbauteile für die Zwecke der Cybersicherheit keinen Einfluss auf die physische Sicherheit einer kritischen Infrastruktur haben. Mit anderen Worten werden anscheinend Firewalls, Security Information and Event Management-Programme (SIEMs), Systeme zur Angriffserkennung, Virenscanner usw. nicht erfasst, auch wenn sie im Bereich der kritischen Infrastrukturen eingesetzt werden sollen und KI-Systeme enthalten. Sie wären zumindest keine Hochrisiko-KI-Systeme auf Grund von Nr. 2 des Anhangs III KI-Verordnung. Andererseits müssten dann Systeme zum physischen Schutz wie z.B. "smarte" Kameras etc. erfasst sein (siehe für mögliche weitere Beispiele Art. 13 Abs. 1 lit. b CER-Richtlinie).

Das diese Abgrenzung trägt, kann auch bezweifelt werden. Denn häufig schlagen Angriffe auf die „Cyberintegrität“ eine kritischen Anlage direkt auf dessen physische Integrität durch. Wenn beispielsweise durch einen erfolgreichen Hack die Leitzentrale ausgeschaltet wird, könnte z.B. im Stromnetzbereich auch das Stromnetz durch Überspannung physisches geschädigt werden. Im Bereich der Trinkwasserversorgung könnte durch eine gehacktes und manipuliertes System zur Überwachung der Trinkwasserqualität die Gesundheit der Bevölkerung gefährdet werden (für ein Beispiel aus einer Keksfabrik siehe hier). Es stellt sich die Frage, wann ein Sicherheitsbauteil wirklich "ausschließlich" zu Zwecken der Cybersicherheit verwendet wird, denn zumindest mittelbar wird man sehr häufig auch einen Bezug zur physischen "Security" der kritischen Infrastruktur oder zur "Safety" von Personen etc. feststellen müssen (teilweise wird auch der Begrif der Cyber-physische Systeme genutzt). Ggf. liegt der Grund für diesen Ausschluss aber auch darin begründet, dass Aspekte der reinen Cybersicherheit nur von der NIS2-Richtlinie bzw. dem Cyber Resilience Act erfasst werden sollen. Bisher habe ich hier allerdings keinen solche klaren Verweise in der KI-Verordnung entdecken können.

Auch kann man sich fragen, wann eine Sicherheitskomponente "notwendig" ist, damit eine kritische Infrastruktur funktioniert. Zur Steuerung eines Trinkwassersystems wird sicherlich häufig auch die Messung des Wasserdrucks notwendig sein. KI-Systeme in diesem Bereich sollte also gar nicht in den Anwendungsbereich fallen. Gleichwohl sollen nach Erwägungsgrund 55 (am Ende) die Überwachung von Wasserdruck ein Beispiel sein, wann eine Sicherheitsbauteil vorliegt. Ggf. ist dieses Beispiel aber auch nur auf das Kühlwasser in Cloud-Computing-Zentren bezogen. Auch hier ergeben sich mehr Fragen als Antworten.

Fazit

Die KI-Verordnung ist hochkomplex und stellt insbesondere an das Anbieten bzw. den Einsatz von Hochrisiko-KI-Systeme hohe Anforderungen. Die KI-Verordnung sieht Spezialregelungen im Bereich der kritischen Infrastrukturen vor, um entsprechende KI-Systeme in diesem Bereich als Hochrisiko-KI-Systeme einzustufen. Bei allen Unsicherheiten der Auslegung erscheint es so, als wären KI-Systeme im Bereich der kritischen Infrastrukturen meist keine Hochrisiko-KI-Systeme. Dies liegt insbesondere an der Definition des Begriffs des Sicherheitsbauteils. Ausgeschieden werden zunächst alle Sicherheitsbauteile, die notwendig sind, damit die kritische Infrastrukur funktioniert. Zudem sollen alle Sicherheitsbauteile, die für die ausschließliche Verwendung zu Zwecken der Cybersicherheit vorgesehen sind ausgeschieden werden. Ferner kann mit guten Argumenten davon ausgegangen werden, dass nur diejegnigen KI-Systeme betroffen sind, die gemäß Kritis-DachG im Bereich der kritischen Anlagen eingesetzt werden (500.00er Schwelle).

Da die KI-Verordnung allerdings häufig vage bleibt, logische Brüche hat und eine ungenau Terminologie verwendet, ist das genaue Ergebnis schwierig vorherzusagen. Es braucht behördlicher Auslegungshilfen bzw. in ferner Zukunft Gerichtsentscheidungen durch den EuGH, um hier Klarheit zu schaffen.