T1 — Prompt-Caching. Bisher wurde bei jedem Schritt eines Runs der komplette Prompt neu berechnet, inklusive Tool-Definitionen und System-Prompt, die sich nie aendern. Bei zehn Schritten und einem 15k-Praefix sind das 150.000 statt 15.000 Eingabe-Tokens. ChatMessage bekommt dafuer einen eigenen JsonConverter: Der Inhalt geht weiterhin als String raus, bei gesetztem CacheBreakpoint jedoch als Blockarray mit cache_control. Beim Lesen werden beide Formate akzeptiert, damit bestehende ChatContext.json weiter geladen werden koennen. PromptCache setzt zwei Breakpoints: einen auf den System-Prompt (deckt Tool-Definitionen und System-Prompt ab) und einen rollierenden auf die letzte Nachricht mit Inhalt. Vorherige Markierungen werden vorher entfernt, damit sie sich nicht ansammeln. Aktivierung ueber promptCaching: auto (Default, aktiv fuer Modelle mit Unterstuetzung), on oder off. Der wichtigste Test dazu prueft die Praefix-Stabilitaet: Der System-Prompt muss ueber alle Schritte zeichengleich serialisiert werden. Ein einziger Zeitstempel darin wuerde den Cache still verwerfen — die Kosten blieben unveraendert, ohne dass es irgendwo auffiele. T9 — Usage liest prompt_tokens_details.cached_tokens; die Zahl wird bis in AgentRunResult durchgereicht. Ohne sie liesse sich die Wirkung nicht belegen. T2 — Tool-Ergebnisse werden jetzt zentral in ExecuteToolCallAsync gekappt (maxToolResultChars, Default 16.000). Bisher konnte ein einzelner WebFetch mit dem 512-KB-Standardlimit rund 130.000 Tokens in EINER Antwort erzeugen; die Compaction griff erst danach, bezahlt war der Request laengst. T3 — Die Zusammenfassung beim Kompaktieren laeuft ueber ein konfigurierbares summaryModel (Default gemini-2.5-flash) statt ueber das teure Agentenmodell. B4 — AgentRunResult fuehrt Prompt- und Completion-Tokens getrennt; die Kostenanzeige schaetzte bisher 50/50, real liegt das Verhaeltnis eher bei 95:5. Die veraltete Preistabelle bleibt offen. Neue Einstellungen sind im PropertyGrid sichtbar und werden vom AgentEditor bei neuen Agenten mitgeschrieben. Alle 91 Tests gruen. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
72 lines
1.8 KiB
C#
72 lines
1.8 KiB
C#
using System.Text.Json.Serialization;
|
|
|
|
namespace ClawdDotNet.Core.Api.Models;
|
|
|
|
public sealed class ChatResponse
|
|
{
|
|
[JsonPropertyName("id")]
|
|
public string Id { get; set; } = "";
|
|
|
|
[JsonPropertyName("choices")]
|
|
public List<Choice> Choices { get; set; } = new();
|
|
|
|
[JsonPropertyName("usage")]
|
|
public Usage? Usage { get; set; }
|
|
|
|
[JsonPropertyName("model")]
|
|
public string? Model { get; set; }
|
|
|
|
[JsonPropertyName("error")]
|
|
public ApiError? Error { get; set; }
|
|
}
|
|
|
|
public sealed class Choice
|
|
{
|
|
[JsonPropertyName("index")]
|
|
public int Index { get; set; }
|
|
|
|
[JsonPropertyName("message")]
|
|
public ChatMessage Message { get; set; } = new();
|
|
|
|
[JsonPropertyName("finish_reason")]
|
|
public string? FinishReason { get; set; }
|
|
}
|
|
|
|
public sealed class Usage
|
|
{
|
|
[JsonPropertyName("prompt_tokens")]
|
|
public int PromptTokens { get; set; }
|
|
|
|
[JsonPropertyName("completion_tokens")]
|
|
public int CompletionTokens { get; set; }
|
|
|
|
[JsonPropertyName("total_tokens")]
|
|
public int TotalTokens { get; set; }
|
|
|
|
[JsonPropertyName("prompt_tokens_details")]
|
|
public PromptTokensDetails? PromptTokensDetails { get; set; }
|
|
|
|
/// <summary>
|
|
/// Anteil der Prompt-Tokens, der aus dem Cache gelesen wurde. Nur damit lässt sich
|
|
/// belegen, ob das Prompt-Caching tatsächlich greift — ein still wirkungsloser
|
|
/// Cache wäre sonst nicht zu bemerken.
|
|
/// </summary>
|
|
[JsonIgnore]
|
|
public int CachedTokens => PromptTokensDetails?.CachedTokens ?? 0;
|
|
}
|
|
|
|
public sealed class PromptTokensDetails
|
|
{
|
|
[JsonPropertyName("cached_tokens")]
|
|
public int CachedTokens { get; set; }
|
|
}
|
|
|
|
public sealed class ApiError
|
|
{
|
|
[JsonPropertyName("message")]
|
|
public string Message { get; set; } = "";
|
|
|
|
[JsonPropertyName("code")]
|
|
public int? Code { get; set; }
|
|
}
|