Zum Hauptinhalt springen
Honeyfield AI Gateway - isometrische Illustration eines zentralen LLM-Proxy Servers mit DSGVO-konformer EU-Datensouveränität
AI

Honeyfield AI Gateway - DSGVO-konformer LLM-Proxy für Enterprise

HONEYFIELD GMBH
2025
Laufend (seit 2025)

HONEYFIELD GMBH

Kunde

2025

Jahr

Laufend (seit 2025)

Dauer

9

Technologien

Technologien

LiteLLMAWS BedrockAWS ECS FargatePostgreSQLNext.jsNestJSAnthropic ClaudeOpenAI GPTGoogle Gemini

Die Herausforderung

Unternehmen im DACH-Raum stehen bei der Einführung von KI vor einem grundlegenden Zielkonflikt: Sie wollen moderne LLMs wie Claude, GPT oder Gemini produktiv einsetzen - gleichzeitig verbieten DSGVO, DORA und interne Compliance-Vorgaben oft genau das.

Die Standard-APIs von OpenAI, Anthropic und Google laufen in den USA. Prompts und Antworten verlassen damit den EU-Raum. Für regulierte Branchen wie Banken, Versicherungen und kritische Infrastruktur (KRITIS) ist das ein Showstopper. Dazu kommen Fragen nach Audit-Logs, Kostenkontrolle pro Mitarbeiter, Missbrauchsschutz und Model-Routing - Themen, die die nackten Provider-APIs nicht lösen.

Wir wollten eine Lösung bauen, die diese Lücke schließt: Ein zentraler Gateway, der alle relevanten LLMs hinter einer einzigen Schnittstelle vereint, die Daten nachweislich in der EU hält und sich in bestehende Enterprise-Umgebungen einbinden lässt.

Unsere Lösung

Der Honeyfield AI Gateway ist ein LiteLLM-basierter Proxy, der auf AWS ECS Fargate in Frankfurt (eu-central-1) betrieben wird. Alle Anfragen werden über AWS Bedrock geroutet - damit liegen Claude, Llama, Nova und weitere Modelle innerhalb der EU-Cloud-Region und verlassen diese nicht.

Kernfunktionen:

  • Multi-Provider-Routing: Eine API für Claude, GPT, Gemini, Mistral und weitere Modelle - der Gateway wählt je nach Use Case, Kosten oder Policy das passende Modell.
  • Pro-User-Token-Limits: Jeder Mitarbeiter bekommt ein Kontingent. Missbrauch oder Kostenexplosionen werden automatisch verhindert.
  • Audit-Logs: Jede Anfrage wird revisionssicher protokolliert - wichtig für DORA, ISO 27001 und interne Audits.
  • DSGVO-konform: AVV mit Anthropic, AWS und Honeyfield liegt vor. Keine Trainingsnutzung der Daten, keine Übermittlung in Drittländer.
  • SSO-Integration: Anbindung an Azure AD, Okta oder andere SAML/OIDC-Provider.
  • SCP-Hardening: Service Control Policies blockieren auf AWS-Kontoebene jegliche Inferenz außerhalb der EU.

Für Entwickler ist der Gateway OpenAI-API-kompatibel - bestehende Clients und Frameworks (LangChain, LlamaIndex, Vercel AI SDK) funktionieren ohne Änderungen.

Ergebnisse

Der AI Gateway ist bei Honeyfield produktiv im Einsatz und wird als Service an Enterprise-Kunden im DACH-Raum angeboten. Erste Pilot-Kunden kommen aus der Finanz- und Versicherungsbranche.

Die wichtigsten Vorteile:

  • Zugriff auf Claude, GPT und Gemini in einer einzigen, EU-konformen Lösung
  • Vollständige Kostenkontrolle durch Budget-Caps pro User, Team und Projekt
  • Revisionssichere Audit-Logs für Compliance-Nachweise
  • Keine Lock-In-Effekte - Modelle und Provider jederzeit austauschbar
  • Anbindung an bestehende Identity-Provider in Minuten

Fazit

Der Honeyfield AI Gateway zeigt, dass DSGVO-Konformität und moderner KI-Einsatz keine Widersprüche sein müssen. Für Unternehmen in regulierten Branchen ist er der direkte Weg, produktiv mit den besten verfügbaren LLMs zu arbeiten - ohne Compliance-Risiken. Die Architektur auf AWS Bedrock garantiert, dass die EU-Region nicht verlassen wird, während Audit-Logs und Token-Limits die volle Kontrolle über Nutzung und Kosten geben.

Projektdetails

Ein LLM-Proxy mit Audit-Logs, Token-Limits pro User und Multi-Provider-Support - DSGVO-konform, DORA-ready, in der EU gehostet.

Ähnliche Projekte

Haben Sie ein ähnliches Projekt im Sinn?

Lassen Sie uns gemeinsam Ihre Vision verwirklichen.

Projekt starten