otis Router

Anschließen statt umbauen

otis Router spricht die OpenAI-API. Jedes Werkzeug und jedes SDK, das damit umgehen kann, spricht auch mit ihm, Sie ändern zwei Dinge: die Basis-URL und den Schlüssel. Anfragen und Antworten reicht er unverändert durch, als Stream oder am Stück. Neue Parameter der Modelle funktionieren damit sofort, ohne dass wir nachziehen müssen.

Welche Modelle bereitstehen, sammelt der Router selbst ein: Er fragt Ihre Anbieter ab und führt alles in einer Liste zusammen. Ansprechen können Sie ein Modell mit seinem vollen Namen oder mit einem Kurznamen, den Sie selbst vergeben. Verschwindet ein Modell beim Anbieter, wird es als nicht verfügbar markiert statt gelöscht, die Auswertungen der Vergangenheit bleiben lesbar.

Steuerung und Sicherheit

Jeder API-Schlüssel gehört zu einer Benutzergruppe und einer Kostenstelle. Damit ist jede Anfrage automatisch zugeordnet, auf Wunsch bis auf die einzelne Person.

Nicht jedes Modell ist für jeden gedacht. Einzelne Modelle lassen sich auf Gruppen oder Kostenstellen beschränken, das teure Spitzenmodell nur für ausgewählte Teams, öffentliche Modelle nur für freigegebene Gruppen. Nicht nur die Gruppe entscheidet, auch die Datenquelle: Greift eine Anfrage auf einen Bereich mit vertraulichen Inhalten zu, fallen öffentliche Modelle für sie weg. Ohne Einschränkung bleibt ein Modell für alle nutzbar.

Kosten unter Kontrolle

Gruppen und Kostenstellen können ein monatliches Budget haben. Der Router prüft es, bevor er eine Anfrage weitergibt: Ist das Budget erreicht, lehnt er ab, es entstehen keine Kosten. Die Prüfung liest aus dem Arbeitsspeicher und kostet keine messbare Zeit.

Aus jeder Antwort liest der Router die tatsächlichen Tokenzahlen, auch aus Streams. Mit den Preisen, die Sie je Modell hinterlegen, entstehen daraus echte Kostenberichte – nach Gruppe, Kostenstelle, Modell und Person, als Tabelle und als Grafik.

Wenn ein Anbieter ausfällt

Pro Schlüssel legen Sie eine Reihenfolge fest: Antwortet das bevorzugte Modell nicht oder ist es überlastet, versucht der Router das nächste. Häufen sich die Fehler bei einem Anbieter, schaltet er ihn vorübergehend ab und leitet sofort um, statt jede Anfrage auflaufen zu lassen. Für die Anwendung, die gefragt hat, bleibt der Ausfall eine Randnotiz.

Eine Drehscheibe für alle KI-Anfragen

Jede Anfrage nimmt denselben Weg – geprüft, zugeordnet, gezählt. Das gilt für otis Chat, für die Zusammenfassungen in otis Files, für die KI-Funktionen in otis Wiki und otis Tasks – und für Ihre eigenen Skripte und Fachanwendungen.

Die weiteren Bausteine