Continuum AI: Die erste Confidential-LLM-Plattform

Edgeless Systems veröffentlicht die erste Confidential-LLM-Plattform Continuum mit NVIDIA H100 Tensor Core GPUs 

Bochum, Deutschland — 1. Juli 2024 

Edgeless Systems hat mit Continuum eine LLM-Plattform veröffentlich, die Confidential Computing nutzt, um User Prompts nachweislich zu schützen. Dadurch werden die Vorteile generativer KI für sensible Unternehmensdaten zugänglich gemacht. 

KI wird allgegenwärtig und Large Language Models (LLMs) wie ChatGPT steigern die Produktivität von Organisationen weltweit. Trotz der bekannten Vorteile von LLMs, können Bedenken über Datenlecks Hindernisse für die Einführung sein, insbesondere bei großen Unternehmen. 

Confidential Computing ist ein Computing-Paradigma, das Daten durchgehend verschlüsselt und geschützt hält – selbst während der Verarbeitung. Darüber hinaus ermöglicht Confidential Computing das Verifizieren der Integrität von Workloads. 

Edgeless Systems ist ein Pionier in dieser bahnbrechenden Technologie und entwickelt Open-Source-Software, die es Unternehmen ermöglicht, Confidential Computing skalierbar einzusetzen. Um die Bedenken hinsichtlich Datenlecks grundlegend anzugehen, hat Edgeless Systems mit Continuum die erste Confidential LLM-Plattform veröffentlicht, verfügbar unter https://ai.confidential.cloud/. Continuum bietet ein intuitives Chat-Interface und unterstützt die modernsten Open-Source-Modelle, derzeit Mistral 7B. In den kommenden Wochen wird die Plattform um zusätzliche LLMs wie Llama 3 70B erweitert. So wird sichergestellt, dass Benutzer Zugang zu den neuesten KI-Entwicklungen haben und gleichzeitig volle Vertraulichkeit gewahrt bleibt. 

Confidential Computing ist breit verfügbar mit aktuellen Server-CPUs. Mit der auf der NVIDIA Hopper-Architektur basierenden H100 Tensor Core GPU hat NVIDIA den ersten KI-Prozessor auf den Markt gebracht, der Confidential Computing unterstützt. 

Continuum gewährleistet die Ende-zu-Ende Vertraulichkeit aller Benutzerdaten. Dafür nutzt Continuum die Confidential-Computing-Funktionen der NVIDIA H100 GPUs, Confidential-Computing-fähige virtuelle Maschinen und fortschrittliche Sandboxing-Technologie. 

Diese Technologie ermöglicht es Benutzern, sensible Informationen mit einem LLM zu teilen, ohne sich um Datenlecks oder unbefugtes Re-Training sorgen zu müssen. Organisationen, die Continuum einsetzen möchten, können sich bereits in die Warteliste von Edgeless Systems eintragen. Darüber hinaus wird Edgeless Systems Continuum zeitnah als open-source verfügbar machen. 

Über Edgeless Systems 

Edgeless Systems entwickelt den Open-Source-Software-Stack für Confidential Computing.