Warum KI-generierte Prüfungsfragen vorab geprüft werden müssen

Der typische Workflow liest sich verlockend einfach: Eine Schulungsunterlage wird hochgeladen, das KI-System erzeugt daraus in Sekunden Dutzende Fragen, das Lernpaket geht an die Auszubildenden. Genau an dieser Stelle liegt die Schwachstelle. KI liefert Entwürfe, keine prüfungsfertigen Fragen. Wer die Ausgabe ungeprüft freigibt, überträgt Fehler der Unterlage und Konstruktionsfehler des Modells direkt in die Prüfungsvorbereitung.

Was die Forschung zu KI-generierten Multiple-Choice-Fragen zeigt

Wie das Risiko aussieht, zeigt eine wissenschaftliche Analyse: Grévisse, Pavlou und Schneider untersuchten in SN Computer Science (Springer, 2024) MCQ, die Sprachmodelle in den Fächern Informatik und Medizin ohne weitere Vorgaben erzeugt hatten, und verglichen sie mit gängigen Konstruktionsregeln. Sie fanden dabei teils zu breite Aufgaben, mehrdeutige Lösungsschlüssel und unplausible Distraktoren^[1]. Menschliche Kontrolle bleibt nötig, um die inhaltliche Passung zwischen Fragen und Kursinhalten sicherzustellen.

Für Ausbildungsleitungen und Dozentinnen und Dozenten folgt daraus eine klare Rollenverteilung: Die KI beschleunigt die Erstellung, die Qualität entsteht aber erst in der Prüfung. Welche Gütekriterien dabei gelten, ist nicht neu, sondern dieselbe Handwerkslehre, die auch beim manuellen Formulieren von Prüfungsfragen gilt. Die folgenden Abschnitte zeigen, welche Checkliste Sie anlegen, wie ein durchgerechnetes Beispiel aussieht und welche rechtlichen Leitplanken gelten, bevor Azubis mit dem Material üben.

• Die Verantwortung für freigegebene Inhalte bleibt bei der fachkundigen Person.
• Planen Sie die fachliche Prüfung als festen Arbeitsschritt ein, nicht als Ausnahme.
• Dokumentieren Sie, wer eine Frage geprüft und freigegeben hat, und wann.

Prüf-Checkliste für KI-generierte Prüfungsfragen

Acht Prüfpunkte vor der Freigabe

Legen Sie die Prüfung als festen Arbeitsschritt an: Jede generierte Frage geht erst dann in ein Lernpaket, wenn sie die folgenden acht Punkte erfüllt. Dabei erkennen Sie schnell, ob die Unterlage selbst zu unscharf war.

1. Quellentreue: Jede Aussage der Frage steht so in der zugrunde liegenden Unterlage. Nichts, was das Modell ergänzt hat, bleibt ungeprüft stehen.
2. Genau eine richtige Antwort: Der Lösungsschlüssel ist eindeutig richtig, alle übrigen Optionen sind eindeutig falsch.
3. Plausible Distraktoren: Falsche Optionen sind fachlich denkbar, gleich lang und aus demselben Themenfeld. Zwei gute Distraktoren sind besser als vier beliebige.
4. Rechtsstand und Datum: Genannte Vorschriften, Grenzwerte und Fristen stimmen mit der aktuellen Fassung überein; notieren Sie das Prüfdatum in der Frage-Verwaltung.
5. Anforderungsstufe: Die Frage trifft das Lernziel, von reinem Wissen bis zur Anwendung. Reine Definitionsfragen reichen für Handlungskompetenz nicht aus.
6. Fachsprache: Begriffe entsprechen der im Betrieb und in der Prüfung üblichen Terminologie, ohne unnötige Fremdwörter oder Übersetzungsartefakte.
7. Anrede und Stil: Einheitliche Anrede und einheitlicher Fragestil über das gesamte Lernpaket.
8. Barrierefreiheit: Kurze Sätze, keine doppelten Negationen, Bilder mit Alternativtext, keine Information, die allein über Farbe transportiert wird.

Durchgerechnetes Beispiel: Von der PSA-Unterweisung zu drei Aufgabentypen

Zum Mitrechnen ein kurzer Absatz aus einer fiktiven, aber realistischen Unterweisungsunterlage zur persönlichen Schutzausrüstung (PSA) nach den Regeln der Deutschen Gesetzlichen Unfallversicherung: „Bei Arbeiten in der Montagehalle ist eine Schutzbrille mit Seitenschutz zu tragen, sobald Späne, Funken oder Flüssigkeiten wegfliegen können. Der Betrieb stellt die PSA bereit und ersetzt sie kostenfrei, wenn sie beschädigt ist. Vor jeder Benutzung prüfen die Beschäftigten die PSA auf sichtbare Schäden; beschädigte Teile werden nicht mehr verwendet und der Vorgesetzten oder dem Vorgesetzten gemeldet.“ Aus diesen drei Sätzen lassen sich drei Aufgabentypen ableiten.

Aufgabentyp 1, Multiple-Choice-Frage: „Wann ist in der Montagehalle eine Schutzbrille mit Seitenschutz zu tragen? (a) Sobald Späne, Funken oder Flüssigkeiten wegfliegen können. (b) Nur bei Schweißarbeiten. (c) Nur, wenn die Vorgesetzte es ausdrücklich anordnet. (d) Nur bei Arbeiten über Kopf.“ Gut daran: Der Lösungsschlüssel steht wortgleich in der Unterlage, die drei Distraktoren sind fachlich denkbar, gleich lang und stammen aus demselben Themenfeld. Schlecht wäre eine von der KI häufig ergänzte Option wie „Immer und überall im Betrieb“: Sie ist zu pauschal, lässt sich mit gesundem Menschenverstand ausschließen und macht die Frage leichter, als sie sein soll. Streichen Sie solche Optionen und ersetzen Sie sie, oder reduzieren Sie auf drei Optionen mit zwei plausiblen Distraktoren.

Aufgabentyp 2, Karteikarte: Vorderseite „Wer stellt die PSA bereit und wer trägt die Kosten für Ersatz?“, Rückseite „Der Betrieb stellt die PSA bereit und ersetzt sie kostenfrei, wenn sie beschädigt ist.“ Gut daran: eine Karte, ein Fakt, in der Sprache der Unterlage. Schlecht sind die von Modellen gern erzeugten Sammelkarten, die Bereitstellung, Prüfpflicht und Meldeweg auf eine Rückseite packen: Sie lassen sich beim Wiederholen nicht eindeutig als gewusst oder nicht gewusst bewerten. Aufgabentyp 3, kurze Fallaufgabe: „Ein Auszubildender bemerkt vor Schichtbeginn einen Riss im Glas seiner Schutzbrille. Beschreiben Sie, wie er weiter vorgeht und begründen Sie es.“ Erwartet werden zwei Schritte: Brille nicht mehr benutzen und den Schaden der Vorgesetzten oder dem Vorgesetzten melden, damit kostenfreier Ersatz bereitgestellt wird. Gut daran: Die Aufgabe trifft die Anforderungsstufe Anwendung statt reiner Wiedergabe. Schlecht wäre eine von der KI erweiterte Variante, die zusätzlich nach Haftung oder Bußgeldhöhen fragt, denn dazu steht in der Unterlage nichts, und die Antwort wäre nicht mehr aus der Quelle belegbar.

Vom Dokument zum freigegebenen Lernpaket: der Arbeitsablauf

Organisatorisch läuft der Ablauf in vier Schritten: Dokument hochladen, KI generiert Entwürfe, eine fachkundige Person prüft, das Lernpaket wird freigegeben. Im Content Studio von Absolveo, einer Plattform der CITO GmbH in Hamburg, ist dieser Weg als Arbeitsablauf abgebildet, mit Freigabe als eigenem Schritt vor der Ausspielung an die Lernenden. Welche Transparenz- und Dokumentationspflichten dabei aus der EU-KI-Verordnung folgen, hängt von System und Rolle ab. Wie Sie Auswahl, Rollout und Wirkungsmessung digitaler Prüfungsvorbereitung aufsetzen, behandelt ein eigener Beitrag. Wer geprüfte Lernpakete auch über den Marktplatz anbieten will, findet den Ablauf im Beitrag Lernpakete verkaufen: Leitfaden für Dozenten.

Urheberrecht: Welche Unterlagen als Grundlage dienen dürfen

Als Grundlage geeignet sind Unterlagen, für die Ihr Betrieb oder Ihr Bildungsträger die Rechte hält: eigene Unterweisungsfolien, Betriebsanweisungen, interne Skripte und Kursunterlagen. Gesetze und Verordnungen genießen als amtliche Werke nach § 5 UrhG keinen urheberrechtlichen Schutz^[2]. Amtliche Prüfungsaufgaben der Kammern und Material aus Fachverlagen sind dagegen in der Regel geschützt und dürfen ohne Erlaubnis nicht als Grundlage für eigene Fragensätze dienen. Klären Sie vor dem Hochladen, aus welcher Quelle jede Datei stammt, und halten Sie das in der Dokumentenverwaltung fest.

Datenschutz: Welche Daten nicht in ein KI-System gehören

Entfernen Sie personenbezogene Daten, bevor eine Datei an ein KI-System geht: Namen von Auszubildenden, Beurteilungen, Krankmeldungen, Patientendaten oder Kundendaten aus Fallbeispielen. Für Prüfungsfragen sind diese Angaben ohnehin entbehrlich, Fallaufgaben funktionieren mit anonymisierten Rollen wie „eine Auszubildende im zweiten Ausbildungsjahr“ genauso gut. Klären Sie zusätzlich intern, welches System Sie einsetzen, wo es Daten verarbeitet und wie lange Uploads gespeichert bleiben; die allgemeinen Anforderungen der DSGVO gelten auch dann, wenn nur Schulungsunterlagen hochgeladen werden. Der Beitrag ersetzt keine Rechts- oder Steuerberatung.