Fünf Änderungen an Reflactos Prompt, sechs Modelle: Was wirklich hilft

Im Modelltest kam der größte Sprung von meinem eigenen Prompt. Also habe ich fünf weitere Änderungen getestet, einzeln und zusammen, mit sechs lokalen Modellen und 9.348 Antworten.

Daniel Schmeiß

Reflacto hilft dir mit einem lokalen KI-Modell bei jedem Schritt einer Reflexion, etwa mit „Hilf mir beim Formulieren“ oder „Gib mir Ideen“. Hinter jeder dieser acht Hilfen steckt ein Prompt, also eine Anweisung an das Modell. In den Antworten aus dem Modelltest fielen mir fünf Fehler auf, die die Modelle immer wieder machten. Gegen jeden habe ich eine Änderung geschrieben, drei für je eine Hilfe und zwei für alle acht, und sie mit sechs Modellen getestet.

Ein Beispiel: Ein Manager kontrolliert die Arbeit der Person enger als nötig. Der Schritt fragt „Wann und wie sprichst du es an?“, das Feld ist noch leer, und die Person wählt „Hilf mir beim Formulieren“.

Bisheriger Prompt

Da du noch keine Antwort auf die Frage nach dem „Wann und Wie“ gegeben hast, kann ich noch keinen konkreten Formulierungsvorschlag für den Gesprächseinstieg erstellen.

Mit der Änderung

„Hast du [Zeitpunkt/Tag] kurz Zeit für ein Gespräch unter vier Augen? Ich würde gerne ein Thema zu [Projektname/Rechnungsexport] ansprechen.“
Gemma 4 26B im selben Schritt, Auszüge aus beiden Antworten. Mit der Änderung baut das Modell einen Vorschlag aus den früheren Antworten und lässt Lücken, wo ihm etwas fehlt.

Kurz gesagt

  • Reflacto nutzt ab jetzt alle fünf Änderungen. Genau diese Fassung lief im Test und erfüllt alle Regeln, die ich vorher festgelegt hatte.
  • Drei Änderungen wirken nachweislich. „Hilf mir beim Formulieren“ lehnt nicht mehr ab, „Gib mir Ideen“ liefert die verlangte Art von Ideen, und kleine Modelle schreiben keine Vorlagen mehr ab.
  • Was wirkt, benennt einen konkreten Fehler. Eine allgemeine Regel wie „frag nicht nach etwas, das schon dasteht“ änderte fast nichts.
  • Das kleinste Modell wird mit allen fünf nicht besser. Unterhalb einer gewissen Größe hilft ein besserer Prompt kaum.
Gemittelt über sechs Modelle. Rechts darunter die Spanne zwischen dem schwächsten und dem stärksten Modell.

Die fünf Änderungen

Der Denkpartner bei einem Schritt, in dem schon eine Antwort steht: Er bietet drei Hilfen an. Dazu alle acht Hilfen; markiert sind die drei mit einer eigenen Änderung.
  • Fakten oder Deutung? Beobachtbare Handlungen wie „unterbrach mich“ gelten nicht mehr als Wertung.
  • Hilf mir beim Formulieren. Bei leerem Feld baut das Modell einen Vorschlag aus früheren Antworten, statt abzulehnen. Zahlen, Termine oder Namen erfindet es nicht.
  • Gib mir Ideen. Fragt der Schritt nach Nachteilen, kommen Nachteile und keine Gegenmaßnahmen.
  • Nicht erneut fragen. Keine Fragen nach Geschriebenem, keine Ja/Nein-Fragen.
  • Form in Worten. Die Antwortform ist beschrieben statt als Vorlage mit <Platzhaltern> gezeigt.

Was besser wurde

Anteil der Antworten mit dem Fehler, gegen den die jeweilige Änderung geschrieben wurde. Fest gemessen heißt: von einer Prüfung in TypeScript, ohne KI.

„Hilf mir beim Formulieren“ lehnte bei leerem Feld vorher in jeder achten Antwort ab, jetzt nie. Ideen der falschen Art gehen von 19 auf 11 % zurück, Vorlagenreste von 3,3 auf 0,7 %. Bei „Fakten oder Deutung?“ sinken die Fehlalarme von 75 auf 45 %, für einen Beleg nach meinen Regeln reicht es aber knapp nicht. Nach Geschriebenem fragen die Modelle trotz der Regel genauso oft wie vorher.

Jedes Modell reagiert anders

Blind bewertet von 1 bis 10.

Gemma 4 26B gewinnt bei „Hilf mir beim Formulieren“ 2,3 Punkte. Genau dieses Modell hatte im Modelltest bei leerem Feld verweigert, es lag also am Prompt. Gemma 4 E4B, meine Empfehlung für Laptops, gewinnt bei „Gib mir Ideen“ 1,2 Punkte. Bei LFM3-1.7B bringen alle fünf zusammen nichts.

Wenn du ein lokales Modell nutzt, bekommst du die neuen Prompts automatisch. Wie du eines einrichtest, zeigt die Anleitung zur lokalen KI.

So wurde gemessen

Ich habe 47 Situationen auf Deutsch und Englisch durch sechs Modelle auf meinem PC laufen lassen (GeForce RTX 5070 Ti, 16 GB), jede Änderung einzeln und alle fünf zusammen gegen den bisherigen Prompt. Claude bewertete die Antworten blind von 1 bis 10. Eine zweite Claude-Instanz kam bei 645 Antworten auf fast dieselben Noten (Korrelation 0,93). Wann eine Änderung als besser gilt, habe ich vor dem ersten Lauf festgelegt und danach nicht mehr geändert.

Bewertet hat eine KI, kein Mensch. Die Situationen stammen von derselben KI, die die Änderungen vorgeschlagen hat, deshalb habe ich sie vor dem Lauf eingefroren. Jede Anfrage lief nur einmal.

Probier es selbst aus

Reflacto ist kostenlos, braucht kein Konto und läuft in deinem Browser. Deine Reflexion bleibt auf deinem Gerät.

Reflexion starten