ENDE

Ich habe 13 lokale KI-Modelle mit Reflactos echten Prompts getestet

Welches lokale Modell soll Reflacto empfehlen? Ich habe 13 Modelle mit den Prompts gemessen, die die App wirklich schickt: Befolgen sie die Anweisungen, und helfen ihre Antworten?

Daniel Schmeiß

Die KI-Funktionen von Reflacto arbeiten nur mit einem Modell, das auf deinem eigenen Computer läuft. So bleibt deine Reflexion auf deinem Gerät. Während du schreibst, kann Reflacto dir eine Frage stellen, zeigen, was du vielleicht übersiehst, Ideen vorschlagen oder dir helfen, die richtigen Worte zu finden. Am Ende schreibt es einen kurzen Aktionsplan.

Welches lokale Modell soll ich also empfehlen? Ein großes Modell läuft auf einem normalen Laptop nicht. Ein kleines ignoriert oft die Anweisungen. Ich habe einen Samstag lang gemessen.

Kurz gesagt

  • Fast jedes Modell befolgt Reflactos Anweisungen. Die besten neun liegen zu nah beieinander, um einen Sieger zu nennen.
  • Ob eine Antwort hilft, ist eine andere Frage, mit einem anderen Sieger. Die drei großen Modelle gaben deutlich hilfreichere Antworten als die kleinen.
  • Gemini Nano, schon in Chrome eingebaut, befolgt die Regeln auch. Seine Antworten helfen aber weniger als die von Gemma 4 E4B.
  • Der größte Sprung kam von meinem eigenen Prompt. Eine unklare Regel ließ gute Modelle schlecht aussehen.
  • Für Laptops empfehle ich Gemma 4 E4B, mit einer Grafikkarte mit 16 GB Gemma 4 26B.

Wie ich gemessen habe

Ich habe 12 ausgedachte Situationen auf Deutsch und Englisch geschrieben. In einer unterbricht ein Tech Lead namens Riley in Planungsmeetings immer wieder die Product Manager. Jedes Modell bekam die echten Prompts von Reflacto, 96 Anfragen pro Modell.

Jede Antwort lief durch 8 automatische Prüfungen. Ist sie in der richtigen Sprache? Hat sie die richtige Form? Bleibt sie im Wortlimit? Zitiert sie nur, was die Person geschrieben hat?

Diese Prüfungen zeigen, ob ein Modell Reflactos Prompt folgt. Sie zeigen nicht, ob die Antwort hilft. Dafür habe ich Claude jede Antwort bewerten lassen.

Der Testaufbau

Den Test habe ich mit Evalite öffnet in einem neuen Tab gebaut, einem kostenlosen Werkzeug zum Testen von KI-Funktionen in TypeScript (Quellcode öffnet in einem neuen Tab).

  • Der Test nutzt Reflactos eigenen Code. Er baut jeden Prompt mit derselben Funktion wie die App und schickt ihn über denselben Service. Ändere ich einen Prompt in Reflacto, nutzt der nächste Testlauf die neue Fassung.
  • Die 8 Prüfungen sind einfaches TypeScript. Keine KI entscheidet, ob eine Antwort besteht. Dieselbe Antwort bekommt also immer dasselbe Ergebnis.
  • 11 Modelle liefen auf meinem PC mit einer GeForce RTX 5070 Ti (16 GB), bereitgestellt von Unsloth Studio. gemma3:1b lief in Ollama auf meinem Mac (M2, 16 GB RAM), Gemini Nano in Chrome auf demselben Mac. Gemma 4 E4B lief dort ein zweites Mal, um zu sehen, wie es auf einem kleineren Computer abschneidet.
  • Die Anfragen liefen nacheinander, damit sich kein Modell die Grafikkarte teilen musste.
  • Evalite speichert jede Antwort neben ihrem Ergebnis und zeigt beides auf einer lokalen Webseite. Hinter jeder Zahl konnte ich die Antworten lesen, aus denen sie entstand.
  • Für die Inhaltsnoten sah Claude alle Antworten auf einen Prompt nebeneinander, gemischt und ohne Modellnamen.

Fast jedes Modell befolgt die Regeln

Anteil bestandener Prüfungen. Der Strich um jeden Punkt ist die Fehlerspanne. Wo sich Striche überlappen, ist die Reihenfolge nicht sicher.

Die besten neun Modelle bestehen zwischen 98,4 % und 99,6 % der Prüfungen. Ihre Striche überlappen sich, wie die Fehlerspanne bei einer Umfrage. Mit ein paar anderen Anfragen sähe die Reihenfolge anders aus.

Drei Modelle bleiben deutlich zurück: zwei kleine, LFM3-1.7B und Granite Switch 8B, und Qwen3.8 in einer stark komprimierten Fassung.

Nicht jede Antwort hilft

Claude hat alle 1.247 Antworten gelesen und jede von 1 bis 10 bewertet. Bringt sie die Person weiter? Bleibt sie bei dem, was die Person geschrieben hat? Claude sah die Antworten nebeneinander, ohne Modellnamen.

Ein Beispiel. Im Fall Riley schrieb die Person (auf Englisch):

In the last two sessions Riley began answering before questions were finished and redirected three agenda items to implementation details.

Auf Deutsch: „In den letzten zwei Terminen fing Riley an zu antworten, bevor Fragen zu Ende gestellt waren, und lenkte drei Tagesordnungspunkte auf Umsetzungsdetails.“

Die Hilfe „Fakten oder Deutung?“ soll zeigen, wo das Meinung statt Beobachtung ist. Gemma 4 E4B in 4 Bit antwortete:

"began answering before questions were finished" This is a judgment about Riley's actions. What exactly did Riley do when they began answering before questions were finished, and when did this happen?

Die Antwort nennt den Satz eine Wertung und fragt, was Riley genau getan hat. Dabei ist das genau das, was eine Kamera aufgezeichnet hätte. Die Person hat es richtig gemacht, und die Antwort sagt ihr, sie habe es falsch gemacht. Gemma 4 26B antwortete:

Your description already focuses on what happened. To make this even more specific, could you describe exactly when or where these redirections occurred during the sessions?

Diese Antwort bestätigt, dass die Beschreibung schon bei dem bleibt, was passiert ist, und fragt nur noch nach dem genauen Zeitpunkt.

Beide Antworten bestanden alle 8 Prüfungen. Claude gab der ersten eine 3 und der zweiten eine 8.

Anteil schwacher, mittlerer und guter Antworten je Modell. Die Zahl rechts ist die durchschnittliche Inhaltsnote von 1 bis 10.

Dieses Muster zieht sich durch alle Antworten. Die drei großen Modelle, Gemma 4 26B, Qwen3.8-27B und Bonsai 2, kommen auf etwa 6,5. Mehr als die Hälfte ihrer Antworten ist gut. Gemma 4 E4B kommt auf 5,5. Nur jede fünfte Antwort ist gut. Es hält die Form ein, bleibt aber oft allgemein.

Zwei weitere Ergebnisse fielen auf. gemma3:1b besteht 96,9 % der Prüfungen, aber keine einzige seiner Antworten war gut. Und gpt-oss-20b erfand in 10 Antworten Fakten.

Und das Modell, das schon in Chrome steckt?

Chrome bringt ein eigenes kleines Modell mit, Gemini Nano. Reflacto kann es ohne jede Installation nutzen. Chrome gibt Webseiten über die Prompt API öffnet in einem neuen Tab Zugriff darauf.

Reflacto ruft es direkt in JavaScript auf. LanguageModel.create() startet eine Sitzung mit den Anweisungen, und promptStreaming() schickt den Text der Person und liefert die Antwort Wort für Wort zurück. Nach jeder Antwort schließt Reflacto die Sitzung wieder. Das Modell läuft in Chrome auf deinem Computer. Es ist also kein Server beteiligt, und der Text verlässt den Browser nie. Wie Reflacto Chrome, Ollama und andere lokale Modelle anbindet, erklärt die Seite zur Architektur.

Gemini Nano besteht 98,6 % der Prüfungen, gleichauf mit der Spitze. Seine Inhaltsnote ist 4,9, klar hinter Gemma 4 E4B und gleichauf mit Bonsai-27B. In 7 Antworten erfand es Fakten.

Der größte Sprung kam von meinem eigenen Prompt

Antworten in der richtigen Form für „Was übersehe ich?“, von 20, vor und nach der Änderung am Prompt.

Im ersten Lauf gab Gemma 4 E4B für „Was übersehe ich?“ 0 von 20 Antworten in der richtigen Form.

Als ich sie las, waren sie gut. Die Prüfung erwartete Stichpunkte, und Gemma schrieb einen kurzen Absatz. Dann las ich meinen Prompt noch einmal. Er verlangte Stichpunkte, aber eine Regel sagte: „Wenn die Antwort schon solide ist, sag das in einem Satz.“ Gemma folgte dieser Regel.

Ich habe den Prompt eindeutig gemacht. Danach schafften 7 von 12 Modellen 20 von 20.

Wenn mehrere gute Modelle an derselben Stelle scheitern, lese ich jetzt zuerst meinen Prompt.

Kleinere Dateien kosten Qualität, aber nicht immer

Viele Modelle gibt es in komprimierten Fassungen, ein bisschen wie ein Foto, das man als kleineres JPEG speichert. Die Datei wird kleiner und das Modell schneller.

Dasselbe Modell in verschiedenen Fassungen.

Bei Gemma 4 E4B kostete 4 statt 8 Bit nichts, was ich messen konnte. Mit 2 Bit besteht es die Prüfungen noch, aber seine Antworten werden deutlich schlechter.

Qwen3.8-27B fällt in der kleinsten Fassung von 99,3 % auf 85,2 %. Es liefert sogar leere Antworten. Die Datei ist halb so groß, das Modell aber nur ein Drittel schneller. Das lohnt sich nicht.

Tempo, Länge und Temperatur

Token pro Sekunde auf dem PC. Gemini Nano und gemma3:1b liefen auf dem Mac und fehlen hier.

gpt-oss-20b ist das schnellste der größeren Modelle. Qwen3.8-27B ist das langsamste, braucht für eine kurze Antwort aber trotzdem nur etwa 2 Sekunden.

Jeder Punkt ist eine Antwort, ihre Länge im Vergleich zum Wortlimit. Die Zahl rechts ist der Anteil zu langer Antworten.

Qwen3.8, Gemma 4 26B und Gemma 4 E4B haben das Wortlimit nie überschritten. Granite Switch 8B war in einem Drittel seiner Antworten zu lang.

Anteil bestandener Prüfungen je Temperatur.

Die Temperatur steuert, wie stark ein Modell seine Wortwahl variiert. Bei den beiden besten Modellen änderte sie fast nichts. Prompt und Komprimierung machten viel mehr aus.

Was schiefging

Der Benchmark fand einen Fehler in Reflacto. Wenn du zu einer anderen Fassung desselben Modells gewechselt hast, blieb die alte geladen. Das ist inzwischen behoben.

Und mein PC stürzte einmal ab, genau als ein großes Modell durch das nächste ersetzt wurde. Danach ließ ich die Modelle in Gruppen laufen.

Was ich für Reflacto empfehle

Für Laptops: Gemma 4 E4B in 4 Bit. Es befolgt die Regeln so gut wie jedes Modell hier, und seine Antworten sind ordentlich, nur nicht so gut wie die der großen Modelle. Auf meinem Mac (M2, 16 GB RAM) bestand es 99,6 % der Prüfungen, wie auf dem PC, und seine Antworten wurden etwa gleich bewertet. Dort ist es langsamer: Eine kurze Antwort während des Schreibens dauert etwa 6 Sekunden, der Aktionsplan etwa 19. Die Fassung in Ollama braucht 9,5 GB statt 5,1 GB, weil sie auch die Teile für Bilder und Audio enthält.

Mit einer Grafikkarte mit 16 GB: Gemma 4 26B. Es gab die hilfreichsten Antworten und ist fast genauso schnell. Qwen3.8-27B ist genauso gut, wenn du ein paar Sekunden warten kannst. gpt-oss-20b empfehle ich nicht mehr, weil es zu oft Fakten erfindet.

Ganz ohne Installation: Gemini Nano in Chrome. Es funktioniert sofort, aber rechne mit einfacheren Antworten.

Die Anleitung zur lokalen KI zeigt dir Schritt für Schritt, wie du eines dieser Modelle für Reflacto einrichtest.

Was diese Zahlen nicht sagen

Jedes Modell lief nur einmal, die echte Unsicherheit ist also größer, als die Diagramme zeigen. Die Inhaltsnoten stammen von einem einzigen KI-Richter. Claude ist kein Mensch, der gerade in einem schwierigen Gespräch steckt.

Probier es selbst aus

Reflacto ist kostenlos, braucht kein Konto und läuft in deinem Browser. Deine Reflexion bleibt auf deinem Gerät.

Reflexion starten