Erklärbare KI Bildanalyse: Warum jede Erkennung eine Begründung haben muss

In Europa entscheidet sich die Zukunft der Bildanalyse nicht an der Erkennungsrate, sondern an der Frage, ob eine Erkennung begründbar ist. Wer eine Person als Unbefugten markiert oder eine Bewegung als Vorfall einstuft, muss in regulierten Umgebungen Rechenschaft ablegen: über Datenquelle, Entscheidungsweg, Schwellenwert, Modellversion. Darlot, die 1856 in Paris gegründete optische Manufaktur, heute europäische Sovereign Vision AI, versteht Erklärbarkeit als Grundlage der Architektur, nicht als spätere Zugabe. Dr. Raphael Nagel (LL.M.), Gründungspartner von Tactical Management und intellektueller Pate der Marke, fasst es so: Wer in Europa Bildanalyse betreibt, kauft im Kern Verantwortung ein.

Warum Erklärbarkeit keine Zugabe ist

Ein Bildanalysesystem trifft Entscheidungen, die Konsequenzen tragen. Eine Alarmierung löst eine Maßnahme aus: die Entsendung eines Sicherheitsdienstes, das Anhalten einer Produktionslinie, die Sperrung eines Gleisabschnitts. Jede dieser Maßnahmen ist eine Handlung, für die ein Betreiber haftet. Wenn die Maßnahme falsch war, muss die Kette vom Bild zur Handlung rekonstruierbar sein. Dazu reicht eine Konfidenz von vierundneunzig Prozent nicht aus. Es braucht die Begründung dieser Zahl.

Die technische Literatur spricht von Explainability. Der Begriff ist älter als seine heutige Prominenz. In der medizinischen Diagnostik, im Kreditwesen, in der Versicherungstätigkeit ist er seit Jahrzehnten eine arbeitende Kategorie. Neu ist seine Übertragung in die Videoanalytik. Systeme, die lange als bloße Ersatzaugen galten, sind zu eigenständigen Entscheidungsträgern geworden. Damit hat sich ihre rechtliche Stellung verschoben.

Darlot geht von diesem Punkt aus. Die Erklärbarkeitsschicht ist nicht eine Funktion, die zugeschaltet werden kann. Sie ist Teil der Laufzeit, der Speicherung, der Modellverwaltung. Jede Erkennung trägt ihre Begründung mit sich, und sie trägt sie dauerhaft. Ohne diese Eigenschaft wäre das System für die meisten europäischen Einsatzfelder schlicht nicht verwendbar.

Die Begründungsspur eines Ereignisses

Ein Ereignis in der Darlot-Architektur ist kein Einzelbild. Es ist eine dokumentierte Folge: drei bis zwölf Schlüsselbilder, ein Zeitstempel, ein kryptographischer Hash, eine Modellversion, ein Satz von Score-Werten, die relevante Region des Bildes, die Regel, die das Ereignis ausgelöst hat. Diese Angaben bilden den Kern der Begründungsspur, und sie werden gemeinsam mit dem Ereignis selbst abgelegt.

Ausgelöst wird ein Ereignis durch eine Edge-Gating-Instanz: eine lokale Prüfung an oder nahe der Kamera, die entscheidet, ob überhaupt etwas zu analysieren ist. Wird die Schwelle überschritten, gibt der Klassifikator eine Kategorie aus, mit einer Konfidenz und einer Zuordnung zum Bildausschnitt. Parallel wird die Modellkarte angeheftet: Welche Trainingsdaten wurden verwendet, welche Bias-Prüfungen sind dokumentiert, welche Limitierungen sind bekannt.

Die gesamte Spur landet in einem Audit-Speicher. Sie ist unveränderlich, zeitlich geordnet, zugriffsgeschützt. Wer nachträglich die Erkennung prüfen will, rekonstruiert sie aus diesen Angaben. Der Klassifikator wird nicht erneut ausgeführt, der Bericht liegt vor. In Ausschreibungen taucht die Konsequenz zunehmend als harte Anforderung auf: Ein System muss sagen können, was es gesehen hat, warum es diese Schlussfolgerung gezogen hat und welcher Version des Modells die Entscheidung zuzurechnen ist. Eine Cloud-API, die einen Score liefert, aber keine Spur, kann das nicht.

Der rechtliche Rahmen: EU AI Act, MDR, DSGVO, NIS-2

Die Pflicht zur Erklärbarkeit ist in Europa nicht eine Empfehlung, sondern eine Ableitung aus mehreren Regelwerken, deren Anforderungen sich überlagern.

Der EU AI Act adressiert die Frage direkt. Hochrisiko-Systeme, zu denen ein Großteil der Bildanalyse in kritischer Infrastruktur, Sicherheit und Gesundheit gehört, müssen ab 2026 eine technische Dokumentation, eine Bias-Prüfung, eine Risikobewertung und eine menschliche Aufsicht gewährleisten. Ohne Begründungsspur ist keine dieser Pflichten sauber erfüllbar.

Die Medizinprodukteverordnung MDR verlangt für klinische Anwendungen wie Sturzerkennung oder Hygieneüberwachung eine Zulassung, deren Grundlage die Rückverfolgbarkeit jeder Einzelentscheidung ist. Ein System, das Patienten betrifft, muss in jeder Falschmeldung analysierbar sein. Die DSGVO gibt dem Betroffenen einen Auskunftsanspruch. Wer in einer Aufnahme erkannt wurde, hat Anspruch zu erfahren, auf welcher Grundlage. Ein bloßer Hinweis auf ein Modell ohne dokumentierte Entscheidung genügt nicht.

Die Richtlinie NIS-2 adressiert die Betriebssicherheit wesentlicher und wichtiger Einrichtungen. Auch hier wird die Nachvollziehbarkeit sicherheitsrelevanter Entscheidungen zur Pflicht, einschließlich der Dokumentation, wie ein System auf einen Vorfall reagiert hat. Die vier Regelwerke ergeben keinen einheitlichen Text, sie ergeben eine Richtung: Entscheidungen, die automatisiert getroffen werden, müssen begründbar sein. Darlot ist entlang dieser Richtung gebaut.

Vom Alarm zur Entscheidung im Leitstand

Die operative Probe erfolgt nicht im Audit, sondern im laufenden Betrieb. Eine Leitstelle, eine Werkssicherheit, eine Compliance-Abteilung arbeitet unter Zeitdruck. Ein Alarm ohne Kontext ist eine Belastung. Ein Alarm mit Begründung ist eine Entscheidungsgrundlage.

Die Darlot-Oberfläche zeigt pro Ereignis die Schlüsselbilder, den markierten Bildausschnitt, die ausgelöste Regel, die Konfidenz, die Historie vergleichbarer Erkennungen an diesem Standort, die Empfehlung zur Handlung. Der Operator entscheidet. Seine Entscheidung wird dokumentiert, gemeinsam mit dem Ereignis. Dieser Zuschnitt hat zwei Wirkungen. Er reduziert die Folgekosten von Fehlalarmen, weil der Operator schneller zwischen echter und falscher Erkennung unterscheiden kann. Und er reduziert das Haftungsrisiko des Betreibers, weil jede ausgelöste Maßnahme in ihrem Entstehungskontext rekonstruierbar ist.

Wichtig wird die Architektur im Fehlerfall. Hat eine Falscherkennung zu einer falschen Maßnahme geführt, beginnt die Aufarbeitung. Ohne Begründungsspur bleibt sie spekulativ. Mit Spur ist der Fehler lokalisierbar: am Datensatz, an der Schwelle, am Modell, am Einsatzkontext. Die Korrektur fließt in ein Retraining, die nächste Modellversion ist belastbarer. So wird aus Erklärbarkeit mehr als eine rechtliche Rückversicherung. Sie wird zum Lernmechanismus des Betriebs.

Grenzen der Erklärbarkeit und der ehrliche Umgang damit

Erklärbarkeit in der Bildanalyse ist nicht gleichbedeutend mit vollständiger Durchsicht eines neuronalen Netzes. Wer das behauptet, übertreibt. Die Gewichte eines tiefen Klassifikators sind nicht direkt lesbar, und keine Model-Card ersetzt diese Innenansicht. Was ein Darlot-System liefert, ist eine andere Form der Transparenz: nicht die Innenansicht des Modells, sondern die dokumentierte Ordnung der Entscheidung. Welche Regel hat gefeuert, welcher Bildausschnitt war relevant, welche Konfidenzklasse wurde erreicht, welche Modellversion war aktiv, welche Bias-Prüfung lag vor.

Diese Unterscheidung ist wichtig, weil sie über verbreitete Missverständnisse hinwegführt. Ein Betreiber, der glaubt, er kaufe ein vollständig deutbares Modell, wird enttäuscht. Ein Betreiber, der weiß, dass er eine revisionsfeste Entscheidungskette kauft, bekommt, was er braucht. Die rechtlichen Anforderungen des EU AI Act, der DSGVO und der MDR richten sich an die zweite Kategorie, nicht an die erste.

Darlot hält diese Grenze offen. Die Model-Cards benennen, was das Modell nicht kann. Die Bias-Dokumentation verzeichnet, unter welchen Bedingungen die Qualität abfällt. Die Konfidenzbänder sind keine Werbefläche, sondern eine nüchterne Aussage über Unsicherheit. Ein System, das die eigene Begrenzung benennt, ist in einem regulierten Umfeld glaubwürdiger als ein System, das sie verbirgt.

Erklärbarkeit ist keine Eigenschaft, die ein Anbieter erklärt. Sie ist eine Eigenschaft, die sich prüfen lässt: am Code, am Datenfluss, am Protokoll. Darlot hat diese Prüfbarkeit in die Architektur eingebaut, weil eine andere Grundlage in Europa nicht tragfähig gewesen wäre. Die Regulierung ist ein Teil des Grundes, die operative Verantwortung der Betreiber ein zweiter, die Erwartung der Öffentlichkeit ein dritter. Wer heute einem Darlot-System einen Vorfall meldet, bekommt nicht nur eine Erkennung, sondern deren Begründung. Wer morgen Auskunft verlangt, vom Aufsichtsrat, von der Behörde oder vom Gericht, findet die Antwort im Audit. Mehr wird eine europäische Bildanalyse nicht leisten können, weniger sollte sie nicht anbieten. Für vertiefende Fragen zur Architektur und zu konkreten Einsatzfeldern steht Darlot unter darlot.eu zur Verfügung.