Independent Engineering · Open AI Integrations

Open AI Integrations — wenn Microsoft Copilot nicht passt.

Microsoft Copilot ist eine ausgezeichnete Antwort auf den Großteil aller Office-Wissensarbeit. Aber nicht jeder AI-Use-Case lässt sich darin abbilden — wenn Souveränität, Kosten oder spezialisierte Modelle ins Spiel kommen, lohnt sich der Blick auf das offene LLM-Ökosystem.

OpenAI · Claude · Mistral · Aleph Alpha RAG-Architekturen mit pgvector, Qdrant EU-AI-Act · Art. 4 Schulungspflicht seit 2025 Lokale LLMs auf Ollama als Option

Drei Gründe gegen Copilot

Wann nicht Microsoft Copilot, sondern open AI.

Wir empfehlen Copilot in den meisten Fällen — er ist gut integriert, sicher hinter der M365-Tenant-Grenze und für Wissensarbeiter sofort verfügbar. Drei Konstellationen sind aber typisch, in denen open AI die bessere Antwort ist.

Souveränität

Sie sind Verband, Bildungsinstitut, öffentlicher Sektor oder Mittelständler mit US-Daten-Sensibilität. Mistral (EU-gehostet) oder Aleph Alpha (Deutschland) gibt eine saubere Antwort, die jenseits des US-Cloud-Acts liegt. Hosting bei OVHcloud, Hetzner oder STACKIT.

Kostenkontrolle ab Volumen

Microsoft 365 Copilot kostet ca. 30 € netto pro Nutzer und Monat. Bei 1.000 Mitarbeitern sind das 360.000 € pro Jahr. Für viele intensive Use Cases (Customer-Service-Pipeline, automatische Dokumenten-Analyse) ist eine direkte LLM-API-Anbindung deutlich günstiger — typisch 30–60 % der Lizenz-Kosten.

Spezialisierte Modell-Wahl

Embedding-Modelle für semantische Suche. Vision-Modelle für strukturierte Dokumenten-Extraktion. Audio-Modelle (Whisper, Deepgram) für Transkription. Coding-Modelle (Claude Sonnet) für Code-Generierung. Hier brauchen Sie Zugriff auf bestimmte Modelle, die Copilot nicht freilegt.

Modell-Auswahl

Welches Modell für welche Aufgabe — eine ehrliche Übersicht.

Modell-Wahl ist keine ideologische, sondern eine pragmatische Entscheidung. Eine Aufgabe braucht das richtige Werkzeug, nicht das politisch korrekte.

Anbieter / Modell Stärken Hosting Preisindikation
OpenAI · GPT-4o, GPT-4.1 Allrounder, sehr gute Multi-Modal-Unterstützung, riesiges Ökosystem USA, EU-Region über Azure OpenAI ab ca. 2,50 $ / 1 Mio. Input-Token
Anthropic Claude · Sonnet, Opus Reasoning, Coding, lange Kontexte (1 Mio. Token), Sicherheits-Tuning USA, AWS Bedrock EU ab ca. 3 $ / 1 Mio. Input-Token
Mistral · Large, Small EU-Anbieter, gute Mehrsprachigkeit, kompetitive Open-Source-Modelle Frankreich (Mistral), AWS Bedrock EU ab ca. 2 $ / 1 Mio. Input-Token
Aleph Alpha · Pharia Deutscher Anbieter, Behörden-affin, Schwerpunkt EU-Compliance Deutschland (Heidelberg) individuell, lizenzbasiert
Lokale LLMs · Llama, Qwen, Mistral Vollständig isolierter Betrieb, keine externen API-Kosten Eigene Infrastruktur, idealerweise mit GPU Nur Hardware-Kosten, ab ca. 800 € pro Monat (Hetzner GPU)

Preisangaben Stand Anfang 2026, gerundete Indikationen pro Anbieter-Listenpreis. Volumen-Rabatte und EU-spezifische Konditionen sind hier nicht abgebildet — wir kalkulieren projektspezifisch.

Vier typische Use Cases

Wo open AI für Mittelständler heute Wert stiftet.

RAG mit eigenen Dokumenten

Sie haben eine Knowledge-Base in SharePoint, Confluence oder einem Vertrags-Archiv. Wir bauen eine Retrieval-Pipeline, die Antworten aus Ihrem Bestand generiert — mit Quellen-Verweis, mit Berechtigungs-Filter, mit Audit-Log. Typisch 6–12 Wochen bis zur produktiven Pipeline.

Customer-Service-Bots

Erstkontakt-Automation für Standard-Anfragen, mit nahtloser Eskalation an Menschen, wenn der Bot an Grenzen stößt. Integration in Microsoft Dynamics 365 Customer Service, Intercom, Zendesk oder ein eigenes Frontend. Mit klarer Trennung zwischen automatisierter und menschlicher Antwort.

Code-Assistenz

Für interne Engineering-Teams: Anbindung an GitHub Copilot Enterprise, Claude Code, Cursor oder einen selbst gebauten Workflow. Inkl. Repository-spezifischer Kontext-Anbindung, Audit-Logs und Compliance-Setup. Wir nutzen das selbst — und beraten aus eigener Erfahrung.

Content-Pipelines

Strukturierte Erzeugung von Produkt-Beschreibungen, Übersetzungen, Marketing-Texten. Mit Prompt-Templates, Quality-Gate, menschlichem Review-Schritt, A/B-Tests. Typisch für E-Commerce-Skalierung oder mehrsprachige Verbands-Kommunikation.

EU AI Act — was wir hineinrechnen

Compliance ist Teil der Architektur, nicht ein nachträgliches PDF.

Der EU AI Act ist seit August 2024 in Kraft, und seine Pflichten greifen schrittweise:

  • Februar 2025: Artikel 4 ist wirksam — Schulungspflicht für alle Mitarbeitenden, die AI-Systeme im Arbeitskontext nutzen. Es geht nicht um eine Pflicht-Folien-Show, sondern um nachweisbare AI-Kompetenz pro Rolle.
  • August 2025: Pflichten für General-Purpose-AI-Anbieter (OpenAI, Anthropic, Mistral) — betrifft Sie indirekt über Vertragslagen.
  • August 2026: Pflichten für Hochrisiko-AI-Systeme greifen vollständig. Bußgeldrahmen wird wirksam: bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes — der höhere Wert.

Wir bauen Compliance in jede AI-Integration ein:

  • Inventarisierung aller AI-Systeme mit Use-Case-Beschreibung und Risiko-Klassifikation
  • Schulungskonzept für betroffene Rollen (in Zusammenarbeit mit Ihrer HR/Compliance)
  • Audit-Logs auf API-Anfrage-Ebene
  • Modell-Datasheets mit klaren Hinweisen zur Modell-Herkunft, Training und Limitationen
  • Daten-Schutz-Folge-Abschätzung nach DSGVO Art. 35, wo erforderlich

Vor der Implementierung. Für viele Mittelständler ist eine kombinierte Inventarisierung + Schulungskonzept der erste sinnvolle Schritt — auch ohne neue Implementierung. Mehr unter AI Governance & EU AI Act.

Weiterführend

Wo AI-Integrationen ans Microsoft- und Eigen-Ökosystem andocken.

Häufige Fragen

Was Kunden vor dem Architecture-Call fragen.

Wann nicht Microsoft Copilot, sondern open AI?

Drei typische Gründe: Souveränität (Mistral oder Aleph Alpha bei strikten EU-Anforderungen), Kostenkontrolle (bei vielen tausend Anfragen pro Tag wird Copilot teurer als ein selbst orchestriertes Setup), und spezielle Modell-Anforderungen (Embedding-Modelle für Suche, Vision-Modelle für Dokumenten-Verarbeitung, Audio-Transkription).

Welche AI-Modelle setzen Sie ein?

OpenAI (GPT-4o, GPT-4.1) für allgemeine Aufgaben. Anthropic Claude für komplexe Reasoning- und Coding-Aufgaben. Mistral Large/Small (EU-gehostet bei Mistral oder über AWS Bedrock EU) für souveräne Setups. Aleph Alpha für deutsche Behörden-affine Projekte. Lokale LLMs (Llama, Qwen, Mistral) auf Ollama für vollständig isolierte Umgebungen.

Was ist RAG, und brauche ich das?

Retrieval-Augmented Generation: Sie kombinieren ein LLM mit Ihren eigenen Dokumenten, sodass das Modell Antworten aus Ihrem Wissensbestand generiert — nicht aus generischem Internet-Wissen. Für interne Knowledge-Bases, Vertrags-Suche, Customer-Service-Bots ist RAG die heute übliche Architektur. Wir setzen typisch PostgreSQL mit pgvector oder Qdrant für die Vektor-Suche ein.

Was kostet eine AI-Integration?

Ein Discovery-Spike (2–4 Wochen) kalkulieren wir gemeinsam. Eine produktive RAG-Pipeline mit Ihrem Dokumenten-Bestand als Festpreis-Rahmen. Laufende API-Kosten der LLM-Anbieter sind separat — typisch 200 € bis 4.000 € pro Monat, abhängig von Volumen und Modell-Wahl.

Was bedeutet der EU AI Act für mein Unternehmen?

Seit Februar 2025 greift Artikel 4 des EU AI Acts: Schulungspflicht für alle Mitarbeiter, die AI-Systeme im Arbeitskontext nutzen. Ab August 2026 wird ein Bußgeldrahmen wirksam — bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes. Wir helfen bei der Bestandsaufnahme, der Schulungs-Konzeption und der Dokumentation. Mehr unter AI Governance & EU AI Act.

Können Sie LLMs auch on-prem hosten?

Ja, mit Einschränkungen. Lokale Modelle wie Llama 3, Qwen, Mistral können auf eigener Hardware (idealerweise mit GPU) über Ollama oder vLLM betrieben werden. Die Qualität liegt allerdings deutlich unter GPT-4 oder Claude. Für hochsensible Anwendungsfälle (vollständige Daten-Isolation) ist es eine valide Option — für allgemeine Wissensarbeit nicht zu empfehlen.

Wie kombinieren sich Microsoft Copilot und open AI?

Sie schließen sich nicht aus. Microsoft Copilot deckt die Standard-Office-Welt ab (E-Mail-Zusammenfassung, Teams-Notizen, Word/Excel). Open AI Integrations erweitern das um Use Cases, die Copilot nicht bedient — branchenspezifische RAG-Anwendungen, Customer-Service-Bots, Code-Assistenz mit speziellen Modellen. In vielen Mittelständlern laufen beide parallel.

45 Min · kostenlos · ohne Verpflichtung

Architecture Conversation buchen.

Bringen Sie Ihren konkreten AI-Use-Case mit. Wir schauen 45 Minuten gemeinsam: Welches Modell? Wo gehostet? Welche Compliance-Bedingungen? Welcher Aufwand bis zum produktiven Betrieb? Mit der Person, die später baut. Ehrliche Antworten, auch wenn der Use-Case nicht trägt.

Begleitende Dienstleistungen

Was typischerweise mit dieser Engineering-Leistung zusammenläuft.

Engineering-Projekte stehen selten allein — Lizenz-Logik, Architektur-Klärung, Quality-Gates, Wissens-Transfer und Folge-Betrieb laufen meistens parallel. Hier die häufigsten Begleitleistungen, die wir in Discovery-Spike, Sprint-Festpreis oder Application-Care-Verträgen zubuchen.

Vorab · Architektur

Beratung & Architektur

Bevor implementiert wird: Tenant-Struktur, Datenmodell, Sicherheitskonzept, Integration-Mapping. Ergebnis ist ein Architektur-Dokument, mit dem jedes Engineering-Team weiterarbeiten kann — auch ein anderes als wir.

Ansehen →

Vorab · CSP

Lizenzberatung & CSP

Welche Lizenz-Bundles für welche User, welche Add-on-SKUs notwendig sind, wo Sie über- oder unterlizenziert sind. Als Microsoft Lizenzierungspartner bezogen — mit der Option, CSP nur als Kontrolle ohne Margenmaximierung zu nutzen.

Ansehen →

Während · Quality-Gate

Project Assurance

Unabhängige Zweit-Meinung während eines laufenden Implementations-Projekts — egal ob wir es selbst durchführen oder ein anderer Partner. CMMI-basierte Quality-Gates, Risk-Reviews, Festpreis pro Gate.

Während · Adoption

Schulungen & Lernprogramm

Nicht der klassische 2-Tage-Workshop, der nach einer Woche vergessen ist — sondern ein dynamisches Lernprogramm über 4–6 Wochen mit Erstschulung, Anwendungsphasen und Aufbau-Sessions. Schulungs-Matrix für Rollen und Themen.

Ansehen →

Danach · Betrieb

Application Care

Nach Go-Live: planbarer Application-Care-Vertrag mit Monatspauschale, SLA-basiert. Inklusive Releases, Hotfixes, Erweiterungen, Tenant-Hardening — und kontinuierlicher Begleitung statt nur Reaktion auf Ticket.

Ansehen →

Danach · Wissen

Knowledge Recovery

Wenn die ursprünglichen Entwickler weg sind, der Vorgänger-Partner nicht mehr greifbar oder die Dokumentation veraltet — Reverse Engineering der bestehenden Lösung mit dokumentiertem Ergebnis: Code-Map, Datenmodell, Customization-Inventar.

Ansehen →