MarbleRun ermöglicht Bosch‘s Confidential AI-Pipeline in der Public Cloud

Bei der Verarbeitung öffentlich gesammelter Videodaten musste Bosch unterscheiden, wie sie mit zwei Arten von Informationen umgingen: persönlich identifizierbare Informationen (PII) wie Gesichter und Autokennzeichen sowie anderen nicht-PII-Daten. Beide Arten von Daten wurden zwischen vielen Werkzeugen in einer komplexen KI-Pipeline ausgetauscht. Bosch benötigte spezielle Technologie, um diesen Prozess sicher zu halten, die Informationen vertraulich zu teilen und den strengen europäischen DSGVO-Anforderungen zu entsprechen.

Die DSGVO beschränkt die Verwendung von persönlichen Daten erheblich. Die Entwickler von Bosch wussten, dass diese äußerst nützlichen Daten auch ein Haftungsrisiko darstellen könnten, wenn sie nicht ordnungsgemäß gespeichert und verarbeitet würden. Früher hätte die Einhaltung der strengen Datenschutzanforderungen erfordert, dass die Informationen „on-prem“ behandelt würden. Die Kosten für eine solche Infrastruktur für jedes einzelne Projekt wären jedoch exorbitant gewesen und daher langfristig nicht realistisch.

Die Sicherheitsarchitekten von Bosch haben verstanden, dass Confidential Computing eine gesetzeskonforme, ethische und kostengünstige Verarbeitung der Daten, auch auf Microsoft Azure, ermöglicht. Die Umsetzung einer skalierbaren und wirklich vertraulichen KI-Pipeline war jedoch eine Herausforderung.

Während einzelne Dienste in dieser Pipeline bereits vertraulich waren, war die Übermittlung von Informationen zwischen ihnen auf sichere Weise nicht einfach. Mehrere Herausforderungen mussten angegangen werden, um die Privatsphäre zu gewährleisten.

Die Verifizierung

• Die Gewährleistung der Vertraulichkeit, Integrität und Authentizität der Pipeline ist für alle beteiligten Interessensgruppen von entscheidender Bedeutung. Dritte, wie Regulierungsbehörden, müssen möglicherweise die Pipeline als Ganzes verifizieren.
• Der Verifizierungsprozess sollte anstatt einzelner Dienste das gesamte Deployment abdecken und zu jedem beliebigen Zeitpunkt anwendbar sein, einschließlich Skalierungsmaßnahmen.
  
  

Sichere Kommunikation zwischen Diensten

• Die vielfältige Struktur der Pipeline erfordert eine sichere Kommunikation zwischen den Diensten durch Verschlüsselung und Authentifizierung.
  
  
• Die Umsetzung dieser Maßnahmen auf Anwendungsebene würde die Trennung der Anliegen verwischen und Änderungen in der gesamten Anwendung erfordern.
  
  
• Um diese Herausforderung zu bewältigen, kann eine Service-Mesh-Architektur eingesetzt werden.
  
  
• Die Vertraulichkeit der Pipeline erfordert, dass die Verschlüsselung und Authentifizierung, die vom Service-Mesh bereitgestellt werden, während der Remote-Attestation überprüft werden können.
  
  

Day-2 Betrieb

• Die Pipeline sollte nicht als „fire and forget"-System behandelt werden, sondern vielmehr als cloudbasierte Anwendung, die kontinuierliche Wartung erfordert. Dazu gehören Aktivitäten wie Updates, Zugriffsverwaltung, Änderungen an Konfigurationsparametern, Verwaltung von geheimen Daten und Migration.
  
  
• All diese Operationen müssen ordnungsgemäß authentifiziert und überprüfbar sein. Darüber hinaus sollte der Verifizierungsprozess des Systems bestimmen, wer welche Operationen durchführen darf.

Durch eine Kombination aus TensorFlow, KubeFlow, Gramine, MarbleRun und Intel SGX auf Azure-Cloud-Infrastruktur, konnten die Entwickler von Bosch eine Ende-zu-Ende vertrauliche KI-Pipeline erstellen.

MarbleRun spielte eine Schlüsselrolle bei der Bewältigung aller drei Herausforderungen.

Der Überprüfung

• MarbleRun vereinfacht den Überprüfungsprozess, indem er ihn von individuellen Trusted Execution Environments auf das gesamte Deployment der Pipeline verlagert.
  
  
• Dies wird durch ein Deployment-Manifest erreicht, das die Identität jedes Dienstes, ihre Metadaten, die gewünschten Verbindungen zwischen ihnen und rollenbasierte Zugriffssteuerungen umreißt.
• 
  Die sichere Service-to-Service-Kommunikation
• MarbleRun nutzt das Deployment-Manifest, um individuelle Pipelinedienste durch Remote-Attestierung zu authentifizieren.
  
  
• Es konfiguriert diese Dienste mit ihren Deployment-Metadaten und stellt jedem individuelle Identitätszertifikate auf Basis der Zertifizierungsstelle von MarbleRun aus.
  
  
• Diese Zertifikate werden dann verwendet, um verschlüsselte und authentifizierte Verbindungen zwischen den Diensten herzustellen.
  
  
• Indem MarbleRun diese sichere Service-to-Service-Kommunikation (Service-Mesh-Ebene) bereitstellt, ermöglicht es eine unabhängige Skalierung der Pipeline-Schritte, ohne die Notwendigkeit einer expliziten Authentifizierung und Verschlüsselung der Service-to-Service-Kommunikation auf der Anwendungsebene.
• 
  Die Day-2 Operationen
  
• Die rollenbasierte Zugriffssteuerung, die im MarbleRun-Manifest definiert ist, ermöglicht eine genaue Spezifikation autorisierter Entitäten und ihrer Operationen auf der Bereitstellung der Pipeline.
  
  
• Zum Beispiel kann einem DevOps-Entwickler die Berechtigung erteilt werden, die API für den Datenbankzugriff zu ändern, während einem Release-Entwickler die Autorität zur Aktualisierung von Serviceversionen erteilt werden kann, aber nur nach Bestätigung durch zwei zusätzliche Entwickler.
  
  
• MarbleRun stellt den kontinuierlichen Betrieb und die Wartungsmöglichkeit eines Produktionssystems sicher, indem es diese Zugriffssteuerungsrichtlinien durchsetzt, ohne die Sicherheitsvorteile der Confidential Computings zu beeinträchtigen.
  
  

Mit allen Diensten, die in SGX-Enklaven ausgeführt werden, sind die PII-Daten während der Verarbeitung zu jeder Zeit verschlüsselt.

• MarbleRun stellt sicher, dass die Daten auch während der Übermittlung zwischen den Autos, der Anonymisierung und dem KI-Training verschlüsselt sind. Wenn Daten in einer Datenbank zwischen der Anonymisierung und dem Training gespeichert werden, stellt MarbleRun Schlüssel bereit, die nur innerhalb des SGX-Kontexts vorhanden sind.
  
  
• Zu keinem Zeitpunkt hätte daher jemand Zugriff auf die PII-Daten außer den Verarbeitungsdiensten innerhalb von SGX. Day-2 Operationen, getrennt von den PII-Daten, können sicher vom DevOps-Team durchgeführt werden, wobei das Manifest den Zugriff präzise steuert und dies nach Bedarf auch nachträglich protokolliert.

Durch die effektive Verschlüsselung in wichtigen Teilen des Video- und Bildverarbeitungsmechanismus verfügt Bosch über eine hoch skalierbare KI-Pipeline und die Fähigkeit, Daten in Azure zu verarbeiten.

Die strikte Einhaltung europäischer Vorschriften und Datenschutzrichtlinien wird gewährleistet, ohne Abstriche bei den Analysefähigkeiten und zu angemessenen Kosten. Diese Erfolge sind der Flexibilität einer Public Cloud zu verdanken.

Durch die Tools von Confidential Computing stellen die gesammelten Daten von Bosch kein Risiko, sondern einen Vorteil dar.