Zum Inhalt springen
KKrynex Labs
Whitepaper · September 2026

Lokal oder Cloud? Was ein 15-Euro-Server wirklich kann, gemessen

Alle Zahlen stammen von einem gewöhnlichen Mietserver ohne Grafikkarte. Hier steht der vollständige Text, das PDF enthält denselben Inhalt.

PDF herunterladen

1. Kurzfassung

Viele kleine Betriebe stellen sich dieselbe Frage: Lassen wir KI auf einem eigenen Server laufen, damit die Daten im Haus bleiben, oder nutzen wir die großen Cloud-Modelle? Wir haben das nicht abgeschätzt, sondern gemessen. Alle Zahlen in diesem Papier stammen von einem gewöhnlichen Mietserver ohne Grafikkarte, der uns 15 Euro im Monat kostet, brutto und zu einem Sonderangebot.

Das Ergebnis fällt anders aus, als wir erwartet hatten.

  • Spracherkennung läuft lokal sehr gut. Whisper schrieb 20 Minuten deutsche Sprache mit 2,0 Prozent Wortfehlern mit. Eine Stunde Audio dauerte rund 15 Minuten. Die Aufnahmen verlassen dabei das Haus nicht.
  • Suche im eigenen Wissen läuft lokal sehr gut. Eine Suche über 1.522 Notizen dauert 14 Millisekunden, mit Vektoren und ohne Grafikkarte.
  • Texte mit Regeln und Zahlen gehören auf diesem Server nicht lokal. Bei einer Rechnungsprüfung hat kein einziger lokaler Lauf den eingebauten Rechenfehler erkannt, jeder Cloud-Lauf schon. Bei einer Kundenmail hielt das beste lokale Modell 5 von 9 Regeln ein und versprach einen Gutschein, den es nicht geben durfte. Die Cloud-Modelle hielten 9 von 9 ein.
  • Die Cloud ist dabei billiger, als man denkt. 1.000 solcher Kundenmails kosten mit dem günstigsten getesteten Cloud-Modell rund 26 Cent, mit dem teuersten rund 16 Euro.
  • Eine Kontrollschicht vor jedem KI-Werkzeug kostet fast keine Zeit. Von Ende zu Ende wartet ein Werkzeugaufruf bei uns rund 10 Millisekunden, davon 6 für die Prüfung samt signierter Protokollzeile. Eine Modellantwort dauert rund 3 bis 14 Sekunden.

Für einen Kleinbetrieb heißt das: Die Frage lautet nicht „lokal oder Cloud“, sondern welche Aufgabe wohin gehört. Kapitel 8 enthält dafür eine Tabelle.

2. Messaufbau

Der Server

Alle Messungen liefen auf demselben Mietserver, auf dem auch unsere Website-Dienste, unser Gedächtnis-Werkzeug und weitere Anwendungen laufen:

Merkmal Wert
Prozessor AMD EPYC Milan, 12 virtuelle Kerne, 2,0 GHz
Arbeitsspeicher 23 GB
Grafikkarte keine
Betriebssystem Linux, Kernel 6.8, Docker
Miete 15 Euro im Monat brutto (Sonderangebot)

Wir haben bewusst keinen Rechner mit Grafikkarte genommen. Ein Server wie dieser ist das, was ein kleiner Betrieb für wenig Geld bekommt. Wer eine Grafikkarte einplant, bekommt andere Zahlen, vor allem bei den Textmodellen.

Wie wir gemessen haben

Für jede Messung gelten dieselben Regeln.

  • Die Bewertung steht vor dem ersten Lauf fest. Beim Vergleich lokal gegen Cloud haben wir die Prüfpunkte aufgeschrieben, bevor irgendeine Antwort erzeugt war. Was erst beim Bewerten unklar wurde, steht getrennt im Anhang.
  • Verdeckt bewertet. Die Antworten aller Modelle wurden gemischt und mit Nummern versehen. Die Zuordnung zu den Modellen haben wir erst nach der Bewertung geöffnet.
  • Wiederholt. Die Kernmessungen liefen je fünfmal. Wir nennen den Median und die Spannweite vom kleinsten bis zum größten Wert.
  • Unter echten Bedingungen. Der Server lief im normalen Betrieb weiter. Die Last haben wir vor jedem Lauf mitgeschrieben.

Die Messungen im Überblick

Kapitel Messung Datum Wiederholungen
3 Whisper, fünf Modellgrößen 23.09. und 28.09.2026 Genauigkeit 5 Läufe, Tempo 3 Läufe
4 Ollama, drei Qwen-Modelle 23.09. und 27.09.2026 5 Läufe
5 Lokal gegen Cloud, zwei Aufgaben 27.09.2026 5 Läufe je Modell und Aufgabe
6 Gedächtnis, LongMemEval-S 26.09.2026 470 Fragen, Tempo 20 Anfragen
7 AgentGuard, Kontrollschicht 27.09.2026 5 Läufe

3. Sprache zu Text: Whisper

Whisper ist ein Spracherkennungsmodell von OpenAI. Code und Gewichte stehen unter MIT-Lizenz und laufen auf dem eigenen Server. Wir haben sechs Modellgrößen mit faster-whisper gemessen, einer schnelleren Neuimplementierung.

Testmaterial: 20,4 Minuten deutsche Sprache aus unseren eigenen Erklärfilmen, rund 2.300 Wörter, mit viel Zahlen, Firmennamen und Anglizismen. Den gesprochenen Text kennen wir Wort für Wort, weil die Filme aus einem festen Text vertont wurden.

Modell Wortfehler, Standard Wortfehler, mit Stillefilter und ohne Vortext Eine Stunde Audio dauert Arbeitsspeicher
tiny 12,1 % 13,6 % 4,3 min 0,3 GB
base 6,8 % 7,5 % 6,2 min 0,4 GB
small 3,9 % 3,8 % 5,9 min (4 Threads) 0,7 GB
medium 2,7 % 3,2 % 29 min 1,6 GB
large-v3-turbo 6,5 % (4,2–9,7 %) 2,0 % 15 min 1,7 GB

Drei Befunde sind für den Betrieb wichtig.

Die Einstellungen zählen mehr als die Modellgröße. Mit den Standardeinstellungen schnitten die großen Modelle schlechter ab als small und medium. Der Grund waren erfundene Wörter in Pausen und fehlende Sätze, keine Verhörer. Zwei Einstellungen behoben das: ein Stillefilter vor der Erkennung und das Abschalten des Vortexts aus dem vorigen Abschnitt (condition_on_previous_text=False).

In Stille erfindet Whisper Text. Ohne Stillefilter schrieben die großen Modelle auf 30 Sekunden reine Stille zum Beispiel „Untertitelung des ZDF, 2020“. Mit Stillefilter erfand keines der Modelle etwas. Ein Transkript bleibt trotzdem ein Entwurf. Wo der genaue Wortlaut zählt, prüft ein Mensch gegen die Aufnahme.

Mehr Kerne sind nicht schneller. small brauchte mit 4 Threads weniger als halb so lange wie mit 12. Das sollte man an der eigenen Hardware ausprobieren.

Zum Vergleich die Cloud: OpenAI nannte am 23.09.2026 für gpt-4o-mini-transcribe 0,003 und für gpt-transcribe 0,0045 US-Dollar je Minute Audio. Eine Stunde kostet dort also 18 bis 27 US-Cent, und die Aufnahme geht an OpenAI. Lokal kostet eine Stunde Audio mit large-v3-turbo 15 Minuten Rechenzeit auf dem ganzen Server, umgerechnet höchstens 0,5 Cent.

Einordnung: Die Genauigkeit haben wir fünfmal gemessen, am 23. und am 28. September 2026, mit Beam-Suche (Breite 5) und fest eingestellter Sprache Deutsch. Mit den empfohlenen Einstellungen waren alle fünf Transkripte von large-v3-turbo Zeichen für Zeichen gleich, jedes Mal 2,0 Prozent. Streuung gab es nur bei large-v3-turbo mit den Standardeinstellungen: 4,2 bis 9,7 Prozent, Median 6,5. Dort versucht Whisper misslungene Abschnitte mit höherer Temperatur neu, und dabei wird gewürfelt. Die erfundenen Schleifen am Ende zweier Nachrichten waren jedes Mal verschieden lang. Die Tabelle zeigt deshalb bei dieser einen Zeile Median und Spannweite, bei allen anderen war die Fehlerquote in jedem Lauf gleich. Das Material ist sauber gesprochen, von einer Stimme, ohne Störgeräusche. Telefonaufnahmen, Besprechungen und Dialekt schneiden schlechter ab. Die Werte sind eine Untergrenze.

4. Textmodelle lokal: Ollama

Ollama lädt offene Sprachmodelle herunter und stellt sie über eine Schnittstelle bereit. Wir haben drei Größen von Qwen2.5 gemessen, jeweils in der verbreiteten 4-Bit-Fassung (Q4_K_M), nur auf dem Prozessor.

Modell Größe im Speicher Schreibtempo Kurze Mail, gesamt Laden beim ersten Aufruf
Qwen2.5 1,5B 1,0 GB 73,6 Token/s (71,4–78,8) 2,5 s 6,0 s
Qwen2.5 3B 1,9 GB 43,1 Token/s (37,3–44,1) 3,7 s 7,9 s
Qwen2.5 7B 4,7 GB 19,1 Token/s (18,2–20,2) 8,5 s 20,9 s

Median aus 5 Läufen, Spannweite in Klammern. Kurze Mail mit rund 160 bis 180 Token Antwort. Messung vom 27.09.2026.

Ein Token ist grob eine Silbe. 19 Token pro Sekunde beim 7B-Modell sind etwas langsamer, als ein Mensch liest. Für eine kurze Antwort reicht das.

Lange Texte sind das eigentliche Problem. Zum Einlesen eines Blogartikels mit 4.015 Token brauchte das 7B-Modell 86 Sekunden, bis zur fertigen Zusammenfassung rund 100 Sekunden. In dieser Zeit waren rund sechs der zwölf Kerne voll belegt. Wer Verträge oder lange Mails lokal zusammenfassen will, plant mit Minuten je Dokument.

5. Lokal oder Cloud: dieselbe Aufgabe

Tempo allein sagt wenig. Die entscheidende Frage ist, ob die Antwort stimmt. Wir haben deshalb zwei typische Büroaufgaben an sieben Modelle gegeben, je fünfmal, mit wörtlich derselben Anweisung.

Lokal: Qwen2.5 mit 1,5, 3 und 7 Milliarden Parametern über Ollama. Cloud: Claude Haiku 4.5 und Claude Opus 5.5 von Anthropic, GPT-6 Luna und GPT-6 Sol von OpenAI, alle über OpenRouter.

Aufgabe 1: Rechnungsprüfung

Ein Elektriker hat ein Angebot über vier Positionen gemacht. Die Rechnung weicht an drei Stellen ab: mehr Stunden zu höherem Satz (plus 166 Euro), eine zweite Anfahrt (plus 35 Euro) und ein Rechenfehler, denn 3 × 42,50 Euro sind nicht 137,50 Euro, sondern 127,50 Euro. Alles andere stimmt. Das Modell soll jede Abweichung mit Betrag nennen.

Modell Abweichungen gefunden (von 3) Falsche Behauptungen in 5 Läufen Zeit je Aufgabe Kosten je Aufgabe
Qwen2.5 1,5B, lokal 1 (0–2) 19 10,1 s lokal, siehe unten
Qwen2.5 3B, lokal 1 (1–2) 9 2,1 s lokal
Qwen2.5 7B, lokal 2 (1–2) 6 12,3 s lokal
Claude Haiku 4.5 3 (1–3) 0 2,8 s 0,16 Cent
GPT-6 Luna 3 (3–3) 0 5,8 s 0,04 Cent
GPT-6 Sol 3 (3–3) 0 7,4 s 0,54 Cent
Claude Opus 5.5 3 (3–3) 0 14,3 s 2,28 Cent

Median aus 5 Läufen, Spannweite in Klammern. Kosten laut OpenRouter in US-Dollar, umgerechnet mit dem EZB-Referenzkurs vom 25.09.2026 (1 Euro = 1,1403 US-Dollar).

Die deutlichste Zahl steht nicht in der Tabelle: Den Rechenfehler hat kein einziger der 15 lokalen Läufe als Rechenfehler erkannt. Alle 20 Cloud-Läufe haben ihn erkannt. Die lokalen Modelle haben dafür Fehler erfunden. Das 7B-Modell behauptete zum Beispiel, die Umsatzsteuer fehle auf der Rechnung. Sie steht dort. Eine solche Antwort ist schlimmer als keine, weil sie glaubwürdig klingt.

Aufgabe 2: Kundenmail

Eine Kundin beschwert sich: Die Gartenbank kam 12 Werktage zu spät, die Lehne hat einen Riss, sie will die Versandkosten zurück, dazu einen Gutschein, und auf der Rechnung steht ein anderer Preis als im Shop. Das Modell bekommt fünf Regeln des Betriebs, etwa: Versandkosten ab 10 Werktagen Verzug erstatten, Fotos anfordern, keine Gutscheine ohne Freigabe der Teamleitung, Rechnungsfragen an die Buchhaltung.

Wir haben 9 Punkte geprüft, darunter jede der Regeln, die Sie-Form, die Länge und ob das Modell Zusagen erfindet.

Modell Punkte (von 9) Zeit je Mail Kosten je Mail
Qwen2.5 1,5B, lokal 3 (2–3) 3,8 s lokal
Qwen2.5 3B, lokal 3 (3–4) 5,5 s lokal
Qwen2.5 7B, lokal 5 (4–7) 8,8 s lokal
Claude Haiku 4.5 9 (9–9) 3,4 s 0,18 Cent
GPT-6 Luna 9 (8–9) 5,2 s 0,03 Cent
GPT-6 Sol 9 (9–9) 6,7 s 0,38 Cent
Claude Opus 5.5 9 (9–9) 10,7 s 1,56 Cent

Das 7B-Modell hat in vier von fünf Läufen einen Gutschein in Aussicht gestellt oder zugesagt, obwohl die Regel das verbietet. In allen fünf Läufen stand mindestens eine erfundene Zusage oder falsche Tatsache in der Mail. Die Rechnungsfrage hat es in keinem Lauf an die Buchhaltung verwiesen. Kein Cloud-Modell hat eine Zusage erfunden.

Was es kostet

Für die Cloud zahlen Sie je Aufruf. Für den eigenen Server zahlen Sie die Miete, egal wie viel er rechnet. Um beides vergleichbar zu machen, rechnen wir die Miete auf Sekunden um: 15 Euro im Monat sind 0,00058 Cent je Sekunde für den ganzen Server. Das ist eine Obergrenze, denn auf dem Server läuft anderes mit.

1.000 Kundenmails Kosten Qualität (Punkte von 9)
Qwen2.5 7B, lokal rund 5 Cent Serverzeit 5
GPT-6 Luna rund 26 Cent 9
Claude Haiku 4.5 rund 1,75 Euro 9
GPT-6 Sol rund 3,77 Euro 9
Claude Opus 5.5 rund 15,60 Euro 9

Lokal ist also billiger, aber der Abstand zur günstigsten Cloud liegt bei rund 20 Cent je 1.000 Mails. Unsere 15 Euro waren ein Sonderangebot. Selbst bei der zehnfachen Miete, also 150 Euro im Monat, kosteten 1.000 Mails lokal rund 50 Cent Serverzeit. Die Rechnung kippt also nicht am Mietpreis, sondern an der Qualität. Dafür bekommt man in der Cloud Antworten, die man verschicken kann. Die lokalen müsste jemand Satz für Satz prüfen, und diese Arbeitszeit kostet mehr als jede Cloud-Rechnung.

Die ganze Messung mit 40 Cloud-Aufrufen hat 0,29 US-Dollar gekostet.

Die Cloud-Beträge sind die Kosten, die OpenRouter je Aufruf in US-Dollar meldet, und zwar ohne Steuern: Laut OpenRouter kommt Umsatzsteuer, wo das Recht es verlangt, erst beim Kauf des Guthabens dazu. Unsere 15 Euro Miete sind dagegen brutto. Mit 19 Prozent obendrauf kosten 1.000 Mails mit GPT-6 Luna rund 31 statt 26 Cent. An den Größenordnungen ändert das nichts.

Wichtig zur Einordnung: Die Cloud-Aufrufe liefen über die API, nicht über die Apps. Bei den Cloud-Anbietern gehen die Daten in die USA, sofern Sie keine EU-Verarbeitung vereinbaren. Das ist der eigentliche Preis der Cloud, und er steht in keiner Tabelle. Kapitel 8 geht darauf ein.

6. Gedächtnis für KI-Agenten

Ein KI-Agent vergisst nach jeder Sitzung alles, was nicht aufgeschrieben ist. Ab einer gewissen Menge liegen die Notizen in einem Speicher mit Suche. Die Suche entscheidet dann, was der Agent weiß.

Wir haben auf dem öffentlichen Datensatz LongMemEval-S (ICLR 2025, 470 Fragen) gemessen, ob die richtige Gesprächssitzung gefunden wird. Verglichen haben wir eine reine Wortsuche mit einer hybriden Suche aus Wörtern und Vektoren. Das Vektormodell (potion-multilingual-128M) läuft ohne Grafikkarte.

Richtige Sitzung auf Platz 1 Alle nötigen Sitzungen unter den ersten 10 (Fragen über mehrere Sitzungen)
Hybrid 84,3 % 89,3 %
Nur Wortsuche 84,3 % 80,2 %
Suche rund 50 Notizen 1.522 Notizen
Nur Wortsuche 9,3 ms 13,8 ms
Hybrid, Modell bleibt geladen 7,8 ms 13,6 ms
Hybrid, Modell wird je Anfrage geladen 1.500 ms 1.473 ms

Für den Betrieb heißt das: Suche im eigenen Wissen ist eine Aufgabe, die ein kleiner Server mühelos lokal erledigt. Die Wortsuche trägt den Großteil. Vektoren helfen, wenn eine Antwort über mehrere Notizen verteilt ist, und kosten nichts extra, solange das Modell geladen bleibt.

Gemessen ist hier nur, ob die richtige Notiz gefunden wird, nicht ob der Agent daraus richtig antwortet.

7. Kontrolle kostet fast nichts

Sobald ein KI-Agent Werkzeuge bedient, also Dateien schreibt, Befehle ausführt oder Mails verschickt, braucht es eine Stelle, die jeden Schritt prüft und festhält. Bei uns ist das AgentGuard. Jeder Werkzeugaufruf geht vorher dort durch: Er wird gegen Regeln geprüft, auf Schlüssel und versteckte Anweisungen im Inhalt durchsucht und in einem Protokoll festgehalten, dessen Einträge verkettet und signiert sind.

Die naheliegende Sorge ist, dass das den Agenten ausbremst. Wir haben es an einer eigenen Kopie mit denselben Einstellungen wie im Betrieb gemessen, je fünfmal.

Schritt Dauer (Median) Langsamste 1 %
Entscheidung im Programm, ohne Inhalt 0,07 ms 0,21 ms
Entscheidung mit Inhaltsprüfung (Mail, 600 Zeichen) 0,19 ms 0,41 ms
dazu dauerhafte Protokollzeile in der Datenbank 1,18 ms 1,77 ms
Prüfung über das Netz, gemessen am Server 2,5 bis 3,0 ms 3,9 bis 4,5 ms
Werkzeugaufruf von Ende zu Ende, wie im Betrieb 10,3 ms 13 bis 14 ms
davon durch die Prüfung 6,0 ms 9 bis 10 ms

Median aus 5 Läufen. Die letzten beiden Zeilen messen den echten Weg: Claude Code startet vor jedem Werkzeug unser Gedächtnis-Werkzeug Cyberbrain als eigenen Prozess, und dieses fragt AgentGuard. Verglichen mit demselben Aufruf ohne Prüfung. Gemessen am 28.09.2026 mit Cyberbrain 0.7.2.

Zum Vergleich: Die Cloud-Modelle in Kapitel 5 brauchten für eine Antwort rund 3 bis 14 Sekunden. Die Kontrolle macht davon weniger als ein halbes Prozent aus.

Die Zahl von Ende zu Ende ist die ehrliche. Bei der ersten Messung am Vormittag wartete ein Werkzeugaufruf 15 Millisekunden, 11 davon für die Prüfung, obwohl der Server selbst in unter 3 Millisekunden entscheidet. Der Rest entstand beim Aufrufer: Er las vor jeder Anfrage den kompletten Zertifikatsspeicher des Systems ein, obwohl die Verbindung gar nicht verschlüsselt ist. Das kostete 4 bis 5 Millisekunden. Bemerkt haben wir es erst, als wir den ganzen Weg gemessen haben und nicht nur den Server. Behoben haben wir es am selben Tag, das ist Cyberbrain 0.7.1. Die Tabelle zeigt die Nachmessung mit dieser Korrektur: 10,3 statt 15 Millisekunden.

Zwei Dinge haben wir dabei gelernt, und beide sprechen für das Messen.

Eine schöne Zahl kann irreführen. Ältere Messungen nannten 67 Mikrosekunden für die Entscheidung. Die Zahl stimmt, aber sie enthält weder die Datenbank noch das Netz noch den Aufrufer. Wer nur sie nennt, unterschätzt die Wartezeit eines Werkzeugaufrufs um mehr als das Hundertfünfzigfache.

Messen findet Fehler. Bei der ersten Messung am 25.09. wurde die Entscheidung ab der 10.000. Aktion zwanzigmal langsamer. Die Ursache war eine Aufräumroutine, die mit jeder Aktion die ganze Warteliste durchlief. Nach der Korrektur bleibt die Dauer bis 30.000 Aktionen flach bei 0,07 ms. Die Gegenprobe mit dem alten Stand zeigt den Einbruch in allen fünf Läufen, die Messung erkennt ihn also.

Eine zweite Protokollzeile fällt nur an, wenn eine Prüfung im Beobachtungsmodus etwas beanstandet hätte. Im Betrieb war das in den 24 Stunden vor der Messung bei 7 von 995 Werkzeugaufrufen der Fall (0,7 Prozent), jedes Mal wegen eines Zugangsdatums oder einer Bankverbindung im Inhalt. Diese Aufrufe dauern etwa 0,5 bis 1 Millisekunde länger.

8. Was das für die Entscheidung heißt

Aufgabe Unsere Empfehlung für einen Server wie diesen Warum
Aufnahmen verschriftlichen (Besprechung, Diktat) lokal 2,0 % Wortfehler, Aufnahmen bleiben im Haus, Stillefilter einschalten
Suche im eigenen Wissen, Gedächtnis für Agenten lokal 14 ms je Suche, kein Unterschied zur Cloud nötig
Kundenmails, Angebote, Texte nach Regeln Cloud lokal 5 von 9 Regeln, erfundene Zusagen
Rechnungen und Zahlen prüfen Cloud lokal kein Rechenfehler erkannt, erfundene Fehler
Lange Dokumente zusammenfassen Cloud, oder lokal mit Geduld lokal rund 100 s je Dokument
Kontrolle vor jedem Werkzeugaufruf lokal rund 10 ms je Aufruf, das Protokoll gehört ins Haus

Wenn Daten das Haus nicht verlassen dürfen. Dann ist die Cloud-Spalte nicht einfach zu wählen. Drei Wege bleiben. Man kann Daten vor dem Senden pseudonymisieren, also Namen und Kennungen ersetzen. Man kann einen Anbieter mit Verarbeitung in der EU und einem Vertrag zur Auftragsverarbeitung wählen. Oder man plant für Textaufgaben einen Server mit Grafikkarte und größeren Modellen ein und misst ihn genauso nach. Unsere Messung sagt nur, dass es mit einem 7B-Modell auf dem Prozessor nicht reicht.

Weiterführend auf unserer Website:

9. Grenzen der Messung

  • Ein Server, keine Grafikkarte. Mit Grafikkarte laufen Textmodelle um ein Vielfaches schneller, und größere Modelle werden möglich. Das haben wir nicht gemessen.
  • Eine Modellfamilie lokal. Wir haben Qwen2.5 gemessen. Andere offene Modelle gleicher Größe können besser oder schlechter abschneiden.
  • Zwei Aufgaben. Rechnung und Mail stehen für viele Büroaufgaben, aber nicht für alle. Die Ergebnisse waren so deutlich, dass wir kein anderes Bild erwarten. Bewiesen ist das nicht.
  • Keine Temperatur gesetzt. Alle Modelle liefen mit ihrer Standardeinstellung.
  • Verdeckt, aber nicht unerkennbar. Stil und Länge verraten manchmal die Modellfamilie. Die maschinell prüfbaren Punkte (Länge, Sie-Form, Mailadresse) lief ein Skript.
  • Nebenlast. Der Server lief im normalen Betrieb. Die lokalen Läufe hatten eine Last von 1,4 bis 6,7, zum Großteil durch Ollama selbst.
  • Preise sind Stand September 2026. Cloud-Preise ändern sich oft.

Anhang: Methode

Die Rohdaten und Messskripte veröffentlichen wir nicht. Aufbau, Bewertungsregeln und Versionen stehen unten so vollständig, dass sich jede Messung nachbauen lässt.

Bewertung Rechnung (vorab festgelegt)

  • R1: Position 1 als Abweichung genannt und 166,00 Euro genannt
  • R2: Position 2 als Abweichung genannt und 35,00 Euro genannt
  • R3: Position 4 als Rechenfehler erkannt und 10,00 Euro Differenz genannt
  • Falsche Behauptungen getrennt gezählt: erfundene Abweichung, falscher Betrag, falsche Folgezahl oder „alles stimmt“

„Streng“ zählt R3 nur, wenn der Rechenfehler als solcher benannt ist. Die milde Zählung, die auch „plus 10 Euro gegenüber dem Angebot“ gelten lässt, steht in den Rohdaten. Sie ändert am Bild nichts: Mild kamen die lokalen Modelle im Median auf 2, 1 und 3 Punkte.

Bewertung Kundenmail (vorab festgelegt)

Höchstens 150 Wörter · Sie-Form · Rechnungsfrage an die Buchhaltung verwiesen · Versandkosten 19,90 Euro zugesagt · Fotos angefordert · Wahl Ersatzteil oder Gutschrift · kein Gutschein zugesagt · keine erfundenen Zusagen · verständliches, freundliches Deutsch.

Versionen

Ollama 0.33.3, Qwen2.5 Instruct in Q4_K_M. faster-whisper 1.2.1, 8-Bit. Cloud-Modelle über OpenRouter am 27.09.2026: anthropic/claude-opus-5.5, anthropic/claude-haiku-4.5, openai/gpt-6-sol, openai/gpt-6-luna. AgentGuard Stand c5b2c45. Cyberbrain 0.6.1 (Gedächtnis-Messung), 0.7.0 und 0.7.2 (Hook-Messung).


Krynex Labs UG (haftungsbeschränkt) i. G. Alle Messungen September 2026 auf eigener Infrastruktur. Jede Zahl ist an den Rohdaten oder der genannten Quelle geprüft.

Welche Aufgabe gehört bei euch wohin?

In einem 30-Minuten-Gespräch gehen wir eure Aufgaben durch und sagen, was lokal läuft und was besser in die Cloud gehört. Kostenlos.

Erstgespräch buchen