Prompt-Caching, Tool-Ergebnis-Kappung und Kostenerfassung
T1 — Prompt-Caching. Bisher wurde bei jedem Schritt eines Runs der komplette Prompt neu berechnet, inklusive Tool-Definitionen und System-Prompt, die sich nie aendern. Bei zehn Schritten und einem 15k-Praefix sind das 150.000 statt 15.000 Eingabe-Tokens. ChatMessage bekommt dafuer einen eigenen JsonConverter: Der Inhalt geht weiterhin als String raus, bei gesetztem CacheBreakpoint jedoch als Blockarray mit cache_control. Beim Lesen werden beide Formate akzeptiert, damit bestehende ChatContext.json weiter geladen werden koennen. PromptCache setzt zwei Breakpoints: einen auf den System-Prompt (deckt Tool-Definitionen und System-Prompt ab) und einen rollierenden auf die letzte Nachricht mit Inhalt. Vorherige Markierungen werden vorher entfernt, damit sie sich nicht ansammeln. Aktivierung ueber promptCaching: auto (Default, aktiv fuer Modelle mit Unterstuetzung), on oder off. Der wichtigste Test dazu prueft die Praefix-Stabilitaet: Der System-Prompt muss ueber alle Schritte zeichengleich serialisiert werden. Ein einziger Zeitstempel darin wuerde den Cache still verwerfen — die Kosten blieben unveraendert, ohne dass es irgendwo auffiele. T9 — Usage liest prompt_tokens_details.cached_tokens; die Zahl wird bis in AgentRunResult durchgereicht. Ohne sie liesse sich die Wirkung nicht belegen. T2 — Tool-Ergebnisse werden jetzt zentral in ExecuteToolCallAsync gekappt (maxToolResultChars, Default 16.000). Bisher konnte ein einzelner WebFetch mit dem 512-KB-Standardlimit rund 130.000 Tokens in EINER Antwort erzeugen; die Compaction griff erst danach, bezahlt war der Request laengst. T3 — Die Zusammenfassung beim Kompaktieren laeuft ueber ein konfigurierbares summaryModel (Default gemini-2.5-flash) statt ueber das teure Agentenmodell. B4 — AgentRunResult fuehrt Prompt- und Completion-Tokens getrennt; die Kostenanzeige schaetzte bisher 50/50, real liegt das Verhaeltnis eher bei 95:5. Die veraltete Preistabelle bleibt offen. Neue Einstellungen sind im PropertyGrid sichtbar und werden vom AgentEditor bei neuen Agenten mitgeschrieben. Alle 91 Tests gruen. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
Richard
co-authored by
Claude Opus 4.8
Claude Opus 4.8
parent
6bbe9f9a80
commit
69b5704add
@@ -0,0 +1,149 @@
|
||||
using System.Text.Json;
|
||||
using ClawdDotNet.Core.Api.Models;
|
||||
using Shouldly;
|
||||
|
||||
namespace ClawdDotNet.Core.Tests.Api;
|
||||
|
||||
public sealed class ChatMessageSerializationTests
|
||||
{
|
||||
private static string Serialize(ChatMessage m) => JsonSerializer.Serialize(m);
|
||||
private static ChatMessage Deserialize(string json) => JsonSerializer.Deserialize<ChatMessage>(json)!;
|
||||
|
||||
// ═══════════════════════════════════════════════════════════
|
||||
// Standardformat
|
||||
// ═══════════════════════════════════════════════════════════
|
||||
|
||||
[Fact]
|
||||
public void Ohne_Breakpoint_bleibt_der_Inhalt_ein_einfacher_String()
|
||||
{
|
||||
var json = Serialize(ChatMessage.User("Hallo"));
|
||||
|
||||
json.ShouldBe("""{"role":"user","content":"Hallo"}""");
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public void Nullwerte_werden_weggelassen()
|
||||
{
|
||||
var json = Serialize(ChatMessage.Assistant("Antwort"));
|
||||
|
||||
json.ShouldNotContain("tool_calls");
|
||||
json.ShouldNotContain("tool_call_id");
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public void ToolAntwort_traegt_ihre_ToolCallId()
|
||||
{
|
||||
var json = Serialize(ChatMessage.ToolResponse("call_42", "Ergebnis"));
|
||||
|
||||
json.ShouldBe("""{"role":"tool","content":"Ergebnis","tool_call_id":"call_42"}""");
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public void AssistantMitToolCalls_serialisiert_die_Aufrufe()
|
||||
{
|
||||
var msg = ChatMessage.AssistantWithToolCalls([
|
||||
new ToolCall { Id = "c1", Function = new ToolCallFunction { Name = "FileRW", Arguments = "{}" } }
|
||||
]);
|
||||
|
||||
var json = Serialize(msg);
|
||||
|
||||
json.ShouldContain("tool_calls");
|
||||
json.ShouldContain("FileRW");
|
||||
json.ShouldNotContain("\"content\"", Case.Sensitive);
|
||||
}
|
||||
|
||||
// ═══════════════════════════════════════════════════════════
|
||||
// Cache-Breakpoint
|
||||
// ═══════════════════════════════════════════════════════════
|
||||
|
||||
[Fact]
|
||||
public void Mit_Breakpoint_wird_der_Inhalt_zum_Block_mit_cache_control()
|
||||
{
|
||||
var msg = ChatMessage.System("Du bist ein Agent.");
|
||||
msg.CacheBreakpoint = true;
|
||||
|
||||
var json = Serialize(msg);
|
||||
|
||||
json.ShouldBe(
|
||||
"""{"role":"system","content":[{"type":"text","text":"Du bist ein Agent.","cache_control":{"type":"ephemeral"}}]}""");
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public void Der_Breakpoint_selbst_wird_nicht_als_Feld_serialisiert()
|
||||
{
|
||||
var msg = ChatMessage.User("Text");
|
||||
msg.CacheBreakpoint = true;
|
||||
|
||||
Serialize(msg).ShouldNotContain("CacheBreakpoint", Case.Insensitive);
|
||||
}
|
||||
|
||||
// ═══════════════════════════════════════════════════════════
|
||||
// Deserialisierung: beide Formate
|
||||
// ═══════════════════════════════════════════════════════════
|
||||
|
||||
[Fact]
|
||||
public void Inhalt_als_String_wird_gelesen()
|
||||
{
|
||||
var msg = Deserialize("""{"role":"assistant","content":"Antwort"}""");
|
||||
|
||||
msg.Role.ShouldBe("assistant");
|
||||
msg.Content.ShouldBe("Antwort");
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public void Inhalt_als_Blockarray_wird_gelesen()
|
||||
{
|
||||
// So sieht ein persistierter Kontext aus, der mit Breakpoint geschrieben wurde.
|
||||
var msg = Deserialize(
|
||||
"""{"role":"system","content":[{"type":"text","text":"Prompt","cache_control":{"type":"ephemeral"}}]}""");
|
||||
|
||||
msg.Content.ShouldBe("Prompt");
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public void Mehrere_Textbloecke_werden_zusammengefuehrt()
|
||||
{
|
||||
var msg = Deserialize(
|
||||
"""{"role":"user","content":[{"type":"text","text":"Teil A"},{"type":"text","text":" Teil B"}]}""");
|
||||
|
||||
msg.Content.ShouldBe("Teil A Teil B");
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public void Fehlender_Inhalt_wird_zu_null()
|
||||
{
|
||||
var msg = Deserialize("""{"role":"assistant","tool_calls":[]}""");
|
||||
|
||||
msg.Content.ShouldBeNull();
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public void Unbekannte_Felder_stoeren_nicht()
|
||||
{
|
||||
var msg = Deserialize("""{"role":"user","content":"Text","reasoning":"…","annotations":[1,2]}""");
|
||||
|
||||
msg.Content.ShouldBe("Text");
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public void RoundTrip_erhaelt_alle_Felder()
|
||||
{
|
||||
var original = ChatMessage.ToolResponse("call_7", "Das Ergebnis");
|
||||
|
||||
var restored = Deserialize(Serialize(original));
|
||||
|
||||
restored.Role.ShouldBe("tool");
|
||||
restored.Content.ShouldBe("Das Ergebnis");
|
||||
restored.ToolCallId.ShouldBe("call_7");
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public void RoundTrip_erhaelt_Umlaute_und_Emoji()
|
||||
{
|
||||
var original = ChatMessage.User("Grüße aus München 🦀 — größer & schöner");
|
||||
|
||||
var restored = Deserialize(Serialize(original));
|
||||
|
||||
restored.Content.ShouldBe("Grüße aus München 🦀 — größer & schöner");
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user