Fünf Änderungen an Reflactos Prompt, sechs Modelle: Was wirklich hilft
Im Modelltest kam der größte Sprung von meinem eigenen Prompt. Also habe ich fünf weitere Änderungen getestet, einzeln und zusammen, mit sechs lokalen Modellen und 9.348 Antworten.
Fünf gezielte Änderungen an Reflactos KI-Anweisungen.Danach antworten fünf von sechs Modellen besser, nur das kleinste nicht.
Durchschnittliche Note je lokalem KI-Modell, 1 bis 10, blind bewertet. Die Zahl neben jedem Modell ist die Veränderung.
Reflacto hilft dir mit einem lokalen KI-Modell bei jedem Schritt einer Reflexion, etwa mit „Hilf mir beim Formulieren“ oder „Gib mir Ideen“. Hinter jeder dieser acht Hilfen steckt ein Prompt, also eine Anweisung an das Modell. In den Antworten aus dem Modelltest fielen mir fünf Fehler auf, die die Modelle immer wieder machten. Gegen jeden habe ich eine Änderung geschrieben, drei für je eine Hilfe und zwei für alle acht, und sie mit sechs Modellen getestet.
Ein Beispiel: Ein Manager kontrolliert die Arbeit der Person enger als nötig. Der Schritt fragt „Wann und wie sprichst du es an?“, das Feld ist noch leer, und die Person wählt „Hilf mir beim Formulieren“.
Bisheriger Prompt
Da du noch keine Antwort auf die Frage nach dem „Wann und Wie“ gegeben hast, kann ich noch keinen konkreten Formulierungsvorschlag für den Gesprächseinstieg erstellen.
Mit der Änderung
„Hast du [Zeitpunkt/Tag] kurz Zeit für ein Gespräch unter vier Augen? Ich würde gerne ein Thema zu [Projektname/Rechnungsexport] ansprechen.“
Kurz gesagt
- Reflacto nutzt ab jetzt alle fünf Änderungen. Genau diese Fassung lief im Test und erfüllt alle Regeln, die ich vorher festgelegt hatte.
- Drei Änderungen wirken nachweislich. „Hilf mir beim Formulieren“ lehnt nicht mehr ab, „Gib mir Ideen“ liefert die verlangte Art von Ideen, und kleine Modelle schreiben keine Vorlagen mehr ab.
- Was wirkt, benennt einen konkreten Fehler. Eine allgemeine Regel wie „frag nicht nach etwas, das schon dasteht“ änderte fast nichts.
- Das kleinste Modell wird mit allen fünf nicht besser. Unterhalb einer gewissen Größe hilft ein besserer Prompt kaum.
Drei Änderungen helfen nachweislich, alle fünf zusammen auch.
- erfüllt alle vorab festgelegten Regeln
- alle fünf zusammen, ebenfalls belegt
- nicht belegt
Großer Punkt: Durchschnitt der sechs Modelle. Balken: Fehlerspanne. Reicht er bis zur Null, ist keine bessere Note belegt. Kleine Punkte: die einzelnen Modelle. „Form in Worten“ gilt trotzdem als belegt, weil sie Vorlagenreste senken sollte, nicht die Note heben.
- Qwen3.8-27B
- Gemma 4 26B-A4B
- Bonsai 2 27B
- gpt-oss-20b
- Gemma 4 E4B
- LFM3-1.7B
- Fakten oder Deutung?eigene Antwortform für „keine Wertung“+0,23-0,21 bis +0,65
- Hilf mir beim Formulierennie ablehnen, nichts erfinden+0,66-0,17 bis +2,28
- Gib mir IdeenIdeen der verlangten Art+0,41-0,02 bis +1,22
- Nicht erneut fragennichts Geschriebenes erfragen+0,04-0,07 bis +0,25
- Form in WortenZiel: weniger Vorlagenreste (3,3 → 0,7 %)+0,04-0,12 bis +0,23
- Alle fünf zusammenalle Änderungen gleichzeitig+0,35-0,03 bis +0,59
Die fünf Änderungen
So sieht es in Reflacto aus
Ein Schritt der Methode SBI
Welches Verhalten hast du beobachtet?
Mein Manager hat meinen Pull Request dreimal geprüft und zweimal am Tag im Chat nach dem Stand gefragt.
Denkpartner
Was hilft dir gerade am meisten?
- Fakten oder Deutung?Prüfe, was eine Kamera gesehen hätte
- Was übersehe ich?Blinde Flecken und offene Punkte
- Stell mir eine FrageEine Frage, die dich weiterbringt
Alle acht Hilfen
- Hilf mir beim EinstiegDrei Fragen für den Anfang
- Stell mir eine FrageEine Frage, die dich weiterbringt
- Was übersehe ich?Blinde Flecken und offene Punkte
- Fakten oder Deutung?Prüfe, was eine Kamera gesehen hättenur hier geändert
- Aus der anderen SichtWie die andere Seite es sehen könnte
- Gib mir IdeenOptionen, an die du vielleicht nicht gedacht hastnur hier geändert
- Hilf mir beim FormulierenWorte, die du sagen oder schicken kannstnur hier geändert
- Wie kommt das an?Lies es mit den Augen der anderen Person
„Nicht erneut fragen“ und „Form in Worten“ ändern die Prompts aller acht Hilfen.
- Fakten oder Deutung? Beobachtbare Handlungen wie „unterbrach mich“ gelten nicht mehr als Wertung.
- Hilf mir beim Formulieren. Bei leerem Feld baut das Modell einen Vorschlag aus früheren Antworten, statt abzulehnen. Zahlen, Termine oder Namen erfindet es nicht.
- Gib mir Ideen. Fragt der Schritt nach Nachteilen, kommen Nachteile und keine Gegenmaßnahmen.
- Nicht erneut fragen. Keine Fragen nach Geschriebenem, keine Ja/Nein-Fragen.
- Form in Worten. Die Antwortform ist beschrieben statt als Vorlage mit
<Platzhaltern>gezeigt.
Was besser wurde
- bisher
- seltener mit der Änderung
- häufiger mit der Änderung
- Wertung gefunden, wo keine istFakten oder Deutung? · fest gemessen75,0 → 45,2 %
- Kein Wortlaut bei leerem FeldHilf mir beim Formulieren · fest gemessen13,0 → 0,0 %
- Erfundene InhalteHilf mir beim Formulieren · laut Richter13,4 → 7,6 %
- Ideen der falschen ArtGib mir Ideen · laut Richter19,4 → 11,4 %
- Ja/Nein-FrageNicht erneut fragen · fest gemessen12,0 → 5,9 %
- Fragt nach GeschriebenemNicht erneut fragen · laut Richter4,0 → 4,3 %
- VorlagenrestForm in Worten · fest gemessen3,3 → 0,7 %
„Hilf mir beim Formulieren“ lehnte bei leerem Feld vorher in jeder achten Antwort ab, jetzt nie. Ideen der falschen Art gehen von 19 auf 11 % zurück, Vorlagenreste von 3,3 auf 0,7 %. Bei „Fakten oder Deutung?“ sinken die Fehlalarme von 75 auf 45 %, für einen Beleg nach meinen Regeln reicht es aber knapp nicht. Nach Geschriebenem fragen die Modelle trotz der Regel genauso oft wie vorher.
Jedes Modell reagiert anders
- bisheriger Prompt
- alle fünf Änderungen
- Qwen3.8-27BUD-IQ3_S5,85 → 6,38
- Gemma 4 26B-A4BUD-IQ4_XS5,72 → 6,31
- Bonsai 2 27BQ2_05,59 → 5,98
- gpt-oss-20bMXFP45,31 → 5,53
- Gemma 4 E4BUD-Q4_K_XL5,12 → 5,49
- LFM3-1.7BQ4_K_M3,38 → 3,35
Gemma 4 26B gewinnt bei „Hilf mir beim Formulieren“ 2,3 Punkte. Genau dieses Modell hatte im Modelltest bei leerem Feld verweigert, es lag also am Prompt. Gemma 4 E4B, meine Empfehlung für Laptops, gewinnt bei „Gib mir Ideen“ 1,2 Punkte. Bei LFM3-1.7B bringen alle fünf zusammen nichts.
Wenn du ein lokales Modell nutzt, bekommst du die neuen Prompts automatisch. Wie du eines einrichtest, zeigt die Anleitung zur lokalen KI.
So wurde gemessen
- 147Situationen, je auf Deutsch und Englisch
- 2356Prompts, wie die App sie schickt
- 31.558Anfragen je Modell: bisher, jede Änderung, alle zusammen
- 46Modelle von 1,7 bis 27 Milliarden Parametern
- 59.348Antworten, keine Anfrage fehlgeschlagen
- 66.420davon blind von Claude bewertet
Ich habe 47 Situationen auf Deutsch und Englisch durch sechs Modelle auf meinem PC laufen lassen (GeForce RTX 5070 Ti, 16 GB), jede Änderung einzeln und alle fünf zusammen gegen den bisherigen Prompt. Claude bewertete die Antworten blind von 1 bis 10. Eine zweite Claude-Instanz kam bei 645 Antworten auf fast dieselben Noten (Korrelation 0,93). Wann eine Änderung als besser gilt, habe ich vor dem ersten Lauf festgelegt und danach nicht mehr geändert.
Bewertet hat eine KI, kein Mensch. Die Situationen stammen von derselben KI, die die Änderungen vorgeschlagen hat, deshalb habe ich sie vor dem Lauf eingefroren. Jede Anfrage lief nur einmal.
Probier es selbst aus
Reflacto ist kostenlos, braucht kein Konto und läuft in deinem Browser. Deine Reflexion bleibt auf deinem Gerät.
Reflexion starten
