TOON statt JSON: Wie Finanzfluss mit einem obskuren Datenformat Token-Kosten senkt
Token-Optimierung durch die Hintertür
Während die meisten Entwickler bei der Arbeit mit Large Language Models blind auf JSON setzen, geht Finanzfluss einen anderen Weg. Das Team um Entwickler Johann Schopplich nutzt das kaum bekannte TOON-Format – und spart damit laut eigenen Angaben rund 30% der Token-Kosten ein. Ein cleverer Hack oder übertriebene Optimierung?
Was ist TOON und warum sollte es uns interessieren?
TOON (Table-Oriented Object Notation) ist ein Datenformat, das speziell für tabellarische Daten entwickelt wurde. Anders als JSON mit seiner verschachtelten, redundanten Struktur, trennt TOON Spaltendefinitionen von den eigentlichen Datenwerten. Das Ergebnis: deutlich kompaktere Datenpakete.
Ein Beispiel macht den Unterschied klar:
JSON:
[
{"name": "Alice", "age": 30, "city": "Berlin"},
{"name": "Bob", "age": 25, "city": "München"},
{"name": "Carol", "age": 35, "city": "Hamburg"}
]TOON:
name|age|city
Alice|30|Berlin
Bob|25|München
Carol|35|HamburgDie Ersparnis wird mit steigender Datenmenge exponentiell größer – jeder Feldname muss bei JSON für jeden Datensatz wiederholt werden.
Die Realität hinter den 30% Ersparnis
Die beworbenen 30% Token-Ersparnis klingen beeindruckend, doch die Rechnung hat Haken. Ein aufmerksamer Kommentator weist zu Recht darauf hin: Output-Tokens sind etwa zehnmal teurer als Input-Tokens. Wenn das LLM also TOON zurück zu JSON transformieren muss, relativiert sich die Ersparnis schnell.
Zudem zeigen unabhängige Tests – etwa von Theo (t3dotgg) – dass minified JSON je nach Datenstruktur teilweise vergleichbare oder sogar bessere Ergebnisse liefert. Die pauschale Aussage "TOON ist immer besser" greift zu kurz.
CSV wäre doch naheliegender, oder?
Die offensichtliche Frage: Warum nicht einfach CSV verwenden? Das Format ist etabliert, von jedem LLM verstanden und bietet ähnliche Kompaktheit. Die Antwort liegt vermutlich in der besseren Struktur von TOON für bestimmte Anwendungsfälle – etwa wenn Metadaten oder Typisierung wichtig sind.
Allerdings bleibt die Frage legitim, ob die Entwicklung und Wartung eines eigenen Formats den Aufwand rechtfertigt. Ein anderer Kommentator bringt es auf den Punkt: "Eigentlich wäre es geiler, wenn die LLM einfach JSON versteht und es selber umbaut."
Datenschutz-Elefant im Raum
Bei aller technischen Finesse darf man nicht vergessen: Finanzfluss verarbeitet hochsensible Finanzdaten. Ein Kommentar spitzt es sarkastisch zu: "Wie Finanzfluss Copilot Daten verarbeitet werden ((immer lokal und nur ganz sicher(ganz bestimmt)))."
Die Frage ist berechtigt: Wenn Daten zur Verarbeitung an externe LLM-APIs geschickt werden, spielt die Token-Optimierung zwar eine wirtschaftliche Rolle – aber der Datenschutz sollte Priorität haben. Werden die Daten wirklich lokal verarbeitet oder wandern sie zu OpenAI, Anthropic & Co.?
Das eigentliche Learning
Die TOON-Geschichte zeigt vor allem eines: Token-Kosten sind für produktive LLM-Anwendungen ein echter Kostenfaktor. Wer täglich tausende API-Calls fährt, für den rechnet sich jede Optimierung. Die Kommentare unter dem Instagram-Post zeigen, dass viele Entwickler überrascht sind, dass Tokens überhaupt Geld kosten.
Gleichzeitig illustriert der Fall, wie schnell man sich in Mikro-Optimierungen verlieren kann. Die Zeit, die in die Implementierung eines Nischen-Formats fließt, könnte auch in sauberere Prompts, besseres Error-Handling oder tatsächliche Feature-Entwicklung investiert werden.
Fazit: Clever, aber kein Game-Changer
Die TOON-Integration bei Finanzfluss ist technisch interessant und zeigt, dass das Team über den Tellerrand schaut. Für die meisten Projekte dürfte der Aufwand jedoch nicht gerechtfertigt sein – minified JSON oder strukturierte CSV-Formate bieten ähnliche Vorteile bei deutlich besserer Tool-Unterstützung.
Wer wirklich Token-Kosten senken will, sollte zuerst an anderen Stellschrauben drehen: präzisere Prompts, kleinere Modelle für einfache Tasks, Caching von Responses und intelligentes Batching. Erst wenn diese Hausaufgaben gemacht sind, lohnt der Blick auf exotische Datenformate.
Und Johann Schopplich gebührt trotz aller Kritik Respekt für die Innovation – solche Experimente treiben die Community voran, auch wenn sie nicht immer die perfekte Lösung sind.