Prüfungsgespräch mit ChatGPT: Prüfende KI: Wie lassen sich Chatbots zum Lernen nutzen?

Gütersloh - Ob für private Geburtstagsglückwünsche, in der Medizin oder in der Industrie - Künstliche Intelligenz (KI) hat längst Einzug in den Alltag vieler Menschen erhalten. Doch wie sieht es an den Hochschulen aus? Lässt sich KI in Form von Sprachmodellen wie ChatGPT zur Prüfungsvorbereitung nutzen? Und ist das erlaubt?

Die meisten Hochschulen in Deutschland seien gerade erst dabei, Leitlinien oder Handreichungen zum Thema KI zu entwerfen, sagt Jens Tobor vom Hochschulforum Digitalisierung am Centrum für Hochschulentwicklung (CHE). Diese hätten jedoch noch keinen verbindlichen Regelungscharakter, sondern würden vor allem Empfehlungen zum Umgang aussprechen. Zumal die Klärung vieler derzeit bestehender Grauzonen durch das Inkrafttreten des europäischen KI-Gesetzes noch ausstünde, so Tobor.

Aber: „Im Gegensatz zur eigentlichen Prüfung ist bei der Prüfungsvorbereitung prinzipiell erst einmal alles erlaubt, was für einen selbst funktioniert und Spaß macht“, sagt Jannica Budde. Wichtig jedoch: ChatGPT ist ein Sprachmodell, kein Wissensmodell. „Das Bewusstsein dafür, dass die Informationen falsch sein können, muss da sein“, sagt die Senior-Projektmanagerin beim Hochschulforum Digitalisierung.

Hürde Datenschutz und Urheberrecht

„Abgesehen von Datenschutz und Urheberrecht gibt es noch keinen verbindlichen Rechtsrahmen, auf den sich die Hochschulen stützen könnten“, sagt Tobor. Damit ist aber auch gleich die größte Hürde benannt, wenn es darum geht, eine KI zum persönlichen Lernassistenten zu machen. Schließlich müssten Studierende das Modell ja erst mit dem Wissen füttern, das sie für ihr jeweiliges Fach benötigen.

Die Einbindung von urheberrechtlich geschützten Lernmaterialien oder alten Klausuren ist jedoch problematisch. „Das wäre eine Vervielfältigung, die womöglich rechtswidrig ist“, so Tobor. Bisher sei nicht klar, ob und inwiefern die hinter den Anwendungen stehenden KI-Unternehmen die eingespeisten Daten weiterverarbeiten.

Stattdessen empfiehlt Tobor, es andersherum zu versuchen und den Chatbot in die Rolle des sokratischen Dialogpartners zu versetzen. ChatGPT beispielsweise stellt der lernenden Person reflektierende Fragen zu einem Sachverhalt, der zuvor individuell festgelegt wurde, und prüft, ob sie das Thema verstanden hat. „Das hat den Charme, dass die KI keine vermeintlich falschen Informationen liefert, sondern zu einer vertieften und damit lernförderlichen Auseinandersetzung mit den Inhalten anregt.“

So wird die KI zum Lernpartner

Katharina Opper, Bildungswissenschaftlerin und E-Learning-Entwicklerin, hat sich mit dieser Herangehensweise beschäftigt. Die Methode, die von dem Philosophen Sokrates geprägt wurde, stellt „Fragen, ohne Antworten zu liefern“, schreibt Opper in einem Gastbeitrag zur Vorbereitung ihrer Masterarbeit. Sie hat eine Eingabeaufforderung (Prompt) entwickelt, mithilfe derer die KI fähig ist, gezielt Fragen zu stellen und so zu selbstständigem Denken anzuregen. Wer diesen Prompt eingibt, wird zunächst nach dem Gesprächsthema gefragt und schon kann es losgehen.

Diese Vorgehensweise sei, so Opper, weniger anfällig für Falschinformationen, weil nichts geliefert werde, was unkritisch übernommen werden könnte. Hintergrund: Generative KI-Modelle arbeiten mit Wortwahrscheinlichkeiten. Sie lernen mithilfe großer Mengen an Trainingsdaten, wie Sprache typischerweise verwendet wird. Damit sind die Modelle anfällig für das Phänomen des „Halluzinierens“, bei dem die Antworten plausibel erscheinen, inhaltlich aber nicht korrekt sind.

Zahlen, Daten, Fakten als große Fehlerquelle

Eine andere Möglichkeit besteht darin, ChatGPT in die Lage zu versetzen, sich dumm zu stellen. Man selbst berichtet dann von dem zu lernenden Stoff. „Dieser Prozess des Erklärens festigt den Stoff ebenfalls“, sagt Tobor. Dafür sei es notwendig, der KI ihre Rolle zuzuweisen und ihr etwas Kontext zu geben. Also etwa: Du bist unwissend in dem Bereich XY, Du bist aber ein Kommilitone, der ebenfalls in meinem Fach eingeschrieben ist und ich erkläre Dir, was Du wissen musst.

Eine weitere Option wäre, sich von der generativen KI Prüfungsaufgaben stellen zu lassen, die man dann beantwortet. „Das kann die KI einigermaßen gut, allerdings ist das Ausmaß an Falschinformationen, das die KI bei faktenbezogenem Prüfungswissen liefert, noch erheblich“, sagt Malte Persike vom Center für Lehr- und Lernservices an der RWTH Aachen. „Ich würde jeden davor warnen, sich in Bezug auf Fachinhalte und -wissen, gerade wenn es um Zahlen und Daten geht, auf die KI zu verlassen.“

Wissen aus gesicherter Quelle

Wird die KI mit einer Datenbank gekoppelt, aus der sie spezifische Inhalte bezieht, funktioniert es deutlich besser, auch da kann es aber zu Falschinformationen kommen. „Das liegt entweder daran, dass die Frage missverstanden wurde und aus der Datenbank nicht die korrekten Informationen abgerufen werden, oder weil die Inhalte aus der Datenbank nicht verstanden wurden“, erklärt Persike.

Will man allerdings Unterlagen aus einem digitalen Lernraum als PDF herunterladen und in die KI wieder hineinladen, stößt man an eben die bereits erwähnten urheberrechtlichen Grenzen.

Allerdings nur dann, wenn man ein kommerzielles System nutzt. Persike zufolge gibt es mittlerweile KI-Werkzeuge, die man auf dem eigenen Notebook installieren kann. Diese laufen lokal und übertragen keine Daten ins Internet. „Das wäre mit hoher Wahrscheinlichkeit rechtlich zulässig“, sagt Persike. Diese Modelle hätten zwar bislang nicht die Qualität oder Leistungsfähigkeit von ChatGPT4, „aber wenn man einen Dialogpartner haben will, ist die Qualität der Open Source-Varianten gut.“