KI-Agenten und ihre Kosten: Woraus der Kontext besteht und wie er wächst

Ein Sprachmodell merkt sich zwischen zwei Anfragen nichts. Was es wissen soll, muss in der Anfrage stehen, und zwar jedes Mal vollständig.

Ein KI-Agent besteht deshalb aus zwei Teilen: aus dem Modell und aus dem Harness. Das Harness ist das Programm um das Modell herum. Es baut die Anfragen zusammen, führt Werkzeuge aus und führt den Verlauf. Jede Anfrage setzt es aus denselben Bausteinen zusammen.

Die ersten fünf Bausteine bilden den festen Rahmen. Er ist in jeder Anfrage gleich und überraschend groß. Bei einem Agenten unserer Flotte stehen rund 23.800 Token im Kontext, bevor er den ersten Schritt tut. Der Auftragstext macht davon etwa ein Fünftel aus.

Ein Agent löst eine Aufgabe nicht mit einer Anfrage, sondern in Runden.

1. Das Harness baut die Anfrage aus Rahmen, Auftrag und bisherigem Verlauf.
2. Das Modell antwortet mit Denken, Text und Werkzeugaufrufen.
3. Das Harness führt die angeforderten Werkzeuge aus.
4. Die Ergebnisse kommen in den Verlauf, und die nächste Runde beginnt.

Die Schleife endet, wenn das Modell ohne Werkzeugaufruf antwortet. Das ist die finale Antwort.

Eine Antwort kann mehrere Werkzeugaufrufe zugleich enthalten. In unseren Läufen enthielt jede fünfte Antwort mit Werkzeugaufruf mehr als einen, in der Spitze fünf. Für die Kosten ist das ein Vorteil: Drei Aufrufe in einer Runde senden den Kontext einmal, drei einzelne Runden senden ihn dreimal.

Anbieter unterscheiden bei der Abrechnung bis zu vier Klassen.

Wie groß die Abstände sind, zeigt das Modell, mit dem wir die folgenden Messungen gefahren haben (GLM-5.3-Flash von Z.AI, Stand September 2026): 0,20 USD je Million Token für neue Eingabe, 0,05 USD für Cache-Lesen und 0,50 USD für Ausgabe.

Welcher Baustein in welche Klasse fällt, hängt nicht vom Baustein ab, sondern vom Zeitpunkt.

Daraus ergeben sich vier Regeln:

1. Jeder Text kostet einmal voll und danach immer wieder ein wenig. Beim ersten Senden gilt der volle Eingabepreis, in jeder weiteren Anfrage der Cache-Preis.
2. Was das Modell schreibt, kostet doppelt. Beim Entstehen zählt es als Ausgabe. In der nächsten Anfrage steht es im Verlauf und zählt als Eingabe. Das gilt auch für das Denken, das der Anwender meist nie sieht.
3. Der Cache gilt nur für den unveränderten Anfang. Ändert sich eine Stelle, zählt alles dahinter wieder als neue Eingabe.
4. Der Cache verfällt. Wie lange ein Anbieter zwischenspeichert, steht in seinen Bedingungen. Üblich sind wenige Minuten nach der letzten Nutzung. Wartet ein Agent länger, zum Beispiel auf einen langen Testlauf, zahlt die nächste Anfrage den gesamten Kontext zum vollen Preis.

So sieht das in einem echten Lauf aus. Ein Agent unserer Flotte hat eine Aufgabe in viereinhalb Minuten und 13 Anfragen erledigt.

Drei Dinge fallen auf. Die erste Anfrage besteht fast nur aus neuer Eingabe, ab der dritten wird fast alles aus dem Cache gelesen. Der Kontext wächst von 22.978 auf 39.191 Token, also um 70 %. Gesendet wurden in Summe aber 376.771 Token, fast das Zehnfache dessen, was am Ende im Kontext stand. Bezahlt wird nicht der Kontext, sondern jede Wiederholung des Kontexts.

Über 24 Läufe mit 3.258 Anfragen ergibt sich dasselbe Bild in groß.

Die Kosten sind zum Listenpreis gerechnet, die Läufe selbst liefen über ein Abo. Zwei Verhältnisse sind trotzdem übertragbar. Ausgabe macht 1,5 % der Token aus, aber 11,5 % der Kosten. Und obwohl Cache-Lesen nur ein Viertel kostet, entfallen darauf 70 % der Rechnung, weil es 93 % der Menge sind.

Aus diesen Messungen folgt, wo sich Sparen lohnt.

• Weniger Runden. Jede Runde liest den gesamten Kontext erneut. Ein Agent, der mehrere Werkzeuge in einer Antwort anfordert und mit einem klaren Auftrag startet, kommt mit weniger Runden ans Ziel.
• Ein schlanker Rahmen. Der feste Rahmen machte in unseren Läufen ein Fünftel aller gesendeten Token aus. Jeder Absatz im Systemprompt kostet nicht seine Länge, sondern seine Länge mal die Zahl aller Anfragen.
• Ein stabiler Anfang. Wer den Anfang einer Anfrage verändert, verliert den Cache für alles dahinter. Wie teuer das werden kann, zeigt unsere Messung zu den KI-Kosten im Unternehmen: Eine Kürzung sparte 26 % Text und verteuerte den Lauf um 17,5 %.

Enttäuscht hat uns der naheliegendste Hebel. Befehlsausgaben zu kürzen, brachte in der Nachrechnung an denselben 24 Läufen 0,7 % der gesendeten Token. Die Modelle kürzen ihre Ausgaben längst selbst.

Was das für Ihr Budget bedeutet: Der größte Posten eines KI-Agenten ist das wiederholte Vorlesen dessen, was schon da ist. Wer die Kosten eines Agenten beurteilen will, fragt deshalb nicht zuerst nach dem Preis je Token. Er fragt, wie viele Runden eine typische Aufgabe braucht, wie groß der Rahmen ist und ob die Auswertung Eingabe, Cache und Ausgabe getrennt zeigt.

Diese Messungen führen wir täglich an einem produktiven System durch. Die Erfahrung daraus bringen wir in Beratungsprojekte ein, damit Sie wissen, was ein Agent in Ihrem Unternehmen kosten wird, bevor Sie ihn einführen.

Was ist ein Harness?

Das Harness ist das Programm, das ein Sprachmodell zum Agenten macht. Es baut jede Anfrage zusammen, führt die vom Modell angeforderten Werkzeuge aus und hält den Verlauf fest. Das Modell selbst liest nur Text und schreibt Text.

Was ist MCP?

MCP steht für Model Context Protocol. Das ist ein offener Standard, über den sich Systeme wie ERP, Ticketsystem oder Datenbank als Werkzeuge an einen Agenten anbinden lassen. Jedes angebundene Werkzeug bringt eine Beschreibung mit, und diese Beschreibung steht in jeder Anfrage.

Was ist ein Token?

Ein Token ist die kleinste Texteinheit, die ein Sprachmodell verarbeitet, meist ein Wort oder ein Wortteil. Abgerechnet wird je Million Token. Bei einem Agenten zählt dabei nicht der Text einmal, sondern jedes Mal, wenn er gesendet wird: Ein Werkzeug-Ergebnis aus Runde drei steht in jeder weiteren Runde wieder in der Anfrage.

Was ist der Kontext eines KI-Agenten?

Kontext ist alles, was ein Modell bei einer Anfrage sieht: der feste Rahmen, der Auftrag und der gesamte bisherige Verlauf. Da Sprachmodelle zwischen zwei Anfragen nichts behalten, wird der Kontext bei jedem Schritt vollständig neu gesendet.

Was ist Prompt Caching?

Beim Prompt Caching speichert der Anbieter den unveränderten Anfang einer Anfrage zwischen. Wird er erneut gesendet, muss er nicht neu verarbeitet werden und wird deutlich günstiger abgerechnet. Ändert sich der Anfang, entfällt der Vorteil ab der geänderten Stelle. Wie hoch der Rabatt ausfällt, unterscheidet sich je Anbieter und Modell erheblich.

Warum zählt das Denken des Modells als Ausgabe?

Weil das Modell es erzeugt. Für die Abrechnung ist unerheblich, ob ein Mensch den Text je liest. Bei anspruchsvollen Aufgaben kann das Denken den größeren Teil der Ausgabe ausmachen.

Wie lange bleibt Text im Cache?

Das legt jeder Anbieter selbst fest. Üblich sind wenige Minuten nach der letzten Nutzung, manche Anbieter bieten gegen Aufpreis längere Zeiten. Jede Nutzung verlängert die Frist.

Gilt das auch für einen Chat-Assistenten?

Die Mechanik ja, die Größenordnung nein. Auch ein Chat sendet bei jeder Nachricht den bisherigen Verlauf erneut. Ein Agent durchläuft aber in Minuten Dutzende Runden mit großen Werkzeug-Ergebnissen, ein Chat in derselben Zeit nur wenige.