Was ist eine Modell-API? KI in deine App einbauen

KI · API · Datenschutz

Über eine Modell-API baust du KI in deine App ein, ohne eigene Hardware. Deine App schickt einen Text an den Anbieter und bekommt eine Antwort zurück. Das Modell läuft beim Anbieter.

API steht für Application Programming Interface. Gemeint ist eine Schnittstelle, über die Programme miteinander sprechen.

Du zahlst pro Wortstück

Abgerechnet wird nach Tokens. Ein Token ist ein Wortstück. Als Faustregel gilt: Im Deutschen sind das grob drei bis vier Buchstaben.

Du zahlst für den Text, den du schickst. Und du zahlst für die Antwort. Ein Token in der Antwort kostet meist ein Mehrfaches eines Tokens in der Frage. Kurze Antworten sind deshalb dein wichtigster Hebel bei den Kosten. Sag dem Modell ruhig, dass es sich kurz fassen soll.

Setze beim Anbieter ein Ausgabenlimit. Ein Fehler im Code oder ein gestohlener API-Key wird sonst schnell teuer.

Der Standort des Anbieters zählt

Alles, was deine Nutzer eingeben, landet beim Anbieter des Modells. Bei persönlichen Daten ist deshalb wichtig, wo er sitzt.

In den Bauplänen steht oft eine Modell-API aus der EU. Ein Beispiel ist Mistral aus Frankreich. Prüfe außerdem, ob der Anbieter deine Daten zum Training nutzt. Sonst landen Eingaben deiner Nutzer womöglich in künftigen Versionen seines Modells.

Noch besser geschützt sind Daten bei Angeboten, bei denen der Anbieter nach eigener Aussage nichts speichert. Sie heißen oft „Zero Data Retention“. Frag gezielt danach.

Vektoren finden Texte nach ihrer Bedeutung

Soll die KI mit deinen eigenen Dokumenten arbeiten, brauchst du oft eine Vektorsuche.

Ein Modell übersetzt dafür jeden Textabschnitt in eine Reihe von Zahlen. Diese Reihe heißt Vektor. Ähnliche Bedeutung ergibt ähnliche Zahlen.

So findet die Suche „Kündigungsfrist“, auch wenn im Dokument „Vertrag beenden“ steht. Die passenden Abschnitte gibst du dem Modell zusammen mit der Frage.

Passende Anbieter findest du unter KI & Inferenz.