Prompt-Caching, Tool-Ergebnis-Kappung und Kostenerfassung
T1 — Prompt-Caching. Bisher wurde bei jedem Schritt eines Runs der komplette Prompt neu berechnet, inklusive Tool-Definitionen und System-Prompt, die sich nie aendern. Bei zehn Schritten und einem 15k-Praefix sind das 150.000 statt 15.000 Eingabe-Tokens. ChatMessage bekommt dafuer einen eigenen JsonConverter: Der Inhalt geht weiterhin als String raus, bei gesetztem CacheBreakpoint jedoch als Blockarray mit cache_control. Beim Lesen werden beide Formate akzeptiert, damit bestehende ChatContext.json weiter geladen werden koennen. PromptCache setzt zwei Breakpoints: einen auf den System-Prompt (deckt Tool-Definitionen und System-Prompt ab) und einen rollierenden auf die letzte Nachricht mit Inhalt. Vorherige Markierungen werden vorher entfernt, damit sie sich nicht ansammeln. Aktivierung ueber promptCaching: auto (Default, aktiv fuer Modelle mit Unterstuetzung), on oder off. Der wichtigste Test dazu prueft die Praefix-Stabilitaet: Der System-Prompt muss ueber alle Schritte zeichengleich serialisiert werden. Ein einziger Zeitstempel darin wuerde den Cache still verwerfen — die Kosten blieben unveraendert, ohne dass es irgendwo auffiele. T9 — Usage liest prompt_tokens_details.cached_tokens; die Zahl wird bis in AgentRunResult durchgereicht. Ohne sie liesse sich die Wirkung nicht belegen. T2 — Tool-Ergebnisse werden jetzt zentral in ExecuteToolCallAsync gekappt (maxToolResultChars, Default 16.000). Bisher konnte ein einzelner WebFetch mit dem 512-KB-Standardlimit rund 130.000 Tokens in EINER Antwort erzeugen; die Compaction griff erst danach, bezahlt war der Request laengst. T3 — Die Zusammenfassung beim Kompaktieren laeuft ueber ein konfigurierbares summaryModel (Default gemini-2.5-flash) statt ueber das teure Agentenmodell. B4 — AgentRunResult fuehrt Prompt- und Completion-Tokens getrennt; die Kostenanzeige schaetzte bisher 50/50, real liegt das Verhaeltnis eher bei 95:5. Die veraltete Preistabelle bleibt offen. Neue Einstellungen sind im PropertyGrid sichtbar und werden vom AgentEditor bei neuen Agenten mitgeschrieben. Alle 91 Tests gruen. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 4.8
parent
6bbe9f9a80
commit
69b5704add
@@ -88,6 +88,24 @@ public sealed class AgentConfig
|
||||
|
||||
[JsonPropertyName("loopGuard")]
|
||||
public LoopGuardConfig LoopGuard { get; set; } = new();
|
||||
|
||||
/// <summary>
|
||||
/// Prompt-Caching: "auto" (Default), "on" oder "off".
|
||||
///
|
||||
/// Bei "auto" wird es für Modelle aktiviert, die cache_control unterstützen.
|
||||
/// Der Nutzen ist erheblich, weil jeder Schritt eines Runs den kompletten Prompt
|
||||
/// erneut sendet — System-Prompt und Tool-Definitionen also dutzendfach.
|
||||
/// </summary>
|
||||
[JsonPropertyName("promptCaching")]
|
||||
public string PromptCaching { get; set; } = "auto";
|
||||
|
||||
/// <summary>
|
||||
/// Maximale Länge eines einzelnen Tool-Ergebnisses in Zeichen, bevor es gekürzt in
|
||||
/// den Kontext wandert. Ohne Grenze kann ein einziger Abruf den gesamten Kontext
|
||||
/// sprengen (ein WebFetch mit 512 KB entspricht etwa 130.000 Tokens).
|
||||
/// </summary>
|
||||
[JsonPropertyName("maxToolResultChars")]
|
||||
public int MaxToolResultChars { get; set; } = 16_000;
|
||||
}
|
||||
|
||||
public sealed class SchedulerConfig
|
||||
@@ -137,6 +155,16 @@ public sealed class LoopGuardConfig
|
||||
[JsonPropertyName("compactionThreshold")]
|
||||
public double CompactionThreshold { get; set; } = 0.80;
|
||||
|
||||
/// <summary>
|
||||
/// Modell für die Zusammenfassung beim Kompaktieren. Leer = Modell des Agenten.
|
||||
///
|
||||
/// Zusammenfassen ist eine anspruchslose Aufgabe; sie mit einem teuren Modell zu
|
||||
/// erledigen kostet leicht mehr als der halbe Run, weil bis zu 30.000 Zeichen
|
||||
/// verarbeitet werden.
|
||||
/// </summary>
|
||||
[JsonPropertyName("summaryModel")]
|
||||
public string SummaryModel { get; set; } = "google/gemini-2.5-flash";
|
||||
|
||||
[JsonIgnore]
|
||||
public TimeSpan Timeout => TimeSpan.FromSeconds(TimeoutSeconds);
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user