Continuum AI

Nutzen Sie LLMs, behalten Sie Ihre Daten.

Continuum schützt Benutzerdaten vor dem KI-Anbieter und verhindert, dass Modellgewichte verloren gehen.

Was ist Continuum?

Continuum ist ein Framework für die Bereitstellung von LLMs und anderen KI-Modellen. Es ermöglicht die Erstellung von ChatGPT-ähnlichen Diensten, bei denen sowohl Benutzereingaben als auch Modellgewichte durchgehend geschützt sind. Durch Continuum können weder die Infrastruktur noch der Dienstanbieter auf Benutzereingaben und Modellgewichte im Klartext zugreifen.

Continuum nutzt bekannte Inferenzserver wie NVIDIA Triton, vLLM oder Hugging Face TGI.

Continuum wird in der zweiten Hälfte des Jahres 2024 als Open Source veröffentlicht.

Wie funktioniert Continuum?

Warum Continuum?

Für Service Provider

Durch die Bereitstellung von LLMs mit Continuum bleiben Benutzeranfragen und -antworten für den Anbieter des Inferenzdienstes und die Infrastruktur unzugänglich.

Mit Continuum können Sie den Nutzern Ihrer Plattform erstklassige Datenschutzgarantien bieten.

Für Modell Autoren

Schützen Sie Modellgewichte bei Deployments in nicht vertrauenswürdigen Umgebungen.

Sie stellen Modellgewichte als verschlüsselte Dateien bereit. Nur beglaubigte Workloads erhalten Zugang zu entschlüsselten Gewichten.

Demonstration

Im Video können Sie sehen, wie eine Anwendung um die Möglichkeit erweitern werden kann, zu überprüfen, ob ein Dienst auf Continuum läuft.

Continuum bietet verschiedene SDKs, die Ihnen ermöglichen, die Überprüfung so zu integrieren, dass sie am besten zu Ihrer Anwendung passt.

Warum nicht einfach ___ ?

TLS

Bei der Verschlüsselung des Netzwerkverkehrs mit TLS hat der Dienstanbieter weiterhin Zugriff auf Benutzereingaben und Gewichte auf den VMs. Bösartige oder fehlerhafte Workloads können Benutzereingaben und Modelle klauen, zum Beispiel indem sie diese über das Netzwerk versenden.

Disk Encryption

Bei der Verschlüsselung von Festplatten, zum Beispiel mit LUKS, hat der Dienstanbieter Zugriff auf den Schlüssel zur Entschlüsselung der Festplatte. Bösartige oder fehlerhafte Workloads können Benutzereingaben und Modelle klauen, zum Beispiel indem sie diese über das Netzwerk versenden.

On-Prem

Beim Betrieb in eigenen Datenzentren sind Benutzereingaben und Gewichte immer durch den Maschinen- und Dienstbetreiber zugänglich. Continuum schließte diese beiden Parteien aus.