KI unterstütze Prüfungsbewertung könnte bereits als eingesetzt werden, jedoch da die KI-Technologie noch neu ist fehlen die rechtlichen und akademischen Rahmenbedingungen. (Quelle: Mohamed Hassan/Pixabay)

 

Die Automatisierung der Benotung von Prüfungen mit offenen Fragen stellt für Lehrende eine erhebliche Arbeitserleichterung dar und kann zu besseren Ergebnissen für Studierende führen, indem durch einen automatisierten Bewertungsmechanismus menschliche Ungenauigkeiten und Fehler vermieden werden können.

 

Mit ihrer Forschungsarbeit ‚Beyond human subjectivity and error: a novel AI grading system (2024)‘ zeigt ein Team der IU Internationalen Hochschule (IU) erstmals in großem Maßstab, wie künstliche Intelligenz Lehrende bei der automatisierten Benotung unterstützen kann. Das IU-Forschungsteam hat dafür ein neuartiges Bewertungssystem entwickelt, das sogenannte Automatic Short Answer Grading (ASAG) System, das Antworten auf offene Fragen, die aus wenigen Sätzen bestehen, automatisch bewerten kann.

 

Das vom IU-Forschungsteam entwickelte ASAG-System basiert auf einem großen Sprachmodell (Large Language Model), das mit einem sehr großen Datensatz aus Prüfungsdaten zusätzlich trainiert wurde. Die Daten stammen aus einer Vielzahl von Studiengängen der IU Internationalen Hochschule, die ein breites Spektrum von Disziplinen abdecken – von Geisteswissenschaften bis hin zu den MINT-Fächern. Dieses breite Spektrum soll laut Studie dafür sorgen, dass das ASAG-Modell der IU über verschiedene Disziplinen anwendbar und anpassungsfähig ist.

 

Benotungsfehler für menschliche und von einer KI generierte Noten. (Quelle:

IU Internationale Hochschule)

 

KI-Modell liegt im Durchschnitt näher an der Referenznote

In einer mehrstufigen Datenanalyse hat das Forschungsteam mit seinem ASAG-Modell in einem ersten Schritt gezeigt, dass KI auch Antworten aus bisher unbekannten Themengebieten gut auswerten kann. Ein anschließender Vergleich mit den Fachexperten zeigte, dass ASAG bei der Bewertung der Studierendenantworten im Durchschnitt näher an der offiziellen Referenznote lag als die Bewertung durch Fachexperten. Die größere Übereinstimmung bei der Bewertung deutet darauf hin, dass eine KI- gestützte Benotung menschliche Subjektivität bei der Benotung reduzieren und so potenziell die Fairness verbessern kann.

 

„Unsere Forschungsergebnisse sind ein weiterer Beweis dafür, wie KI das Bildungssystem in Zukunft verändern wird. Mit diesem Modell wollen wir die Idee vorantreiben, KI zusätzlich zur menschlichen Benotung einzusetzen, um damit die Konsistenz und Fairness für die Studierenden zu erhöhen und gleichzeitig negative Auswirkungen zu minimieren. Dieser völlig neue Ansatz verspricht nicht nur genauere Ergebnisse bei der Benotung, sondern eröffnet auch ungeahnte Möglichkeiten für die Weiterentwicklung von Benotungssystemen“, sagt Dr Sven Schütt, CEO der IU Internationalen Hochschule (IU).

 

„Die Einbindung von KI-gestützten Modellen in die Benotungsprozesse bietet erhebliche Vorteile: Zum einen erhalten Prüfer dadurch einen externen Maßstab zum Abgleich ihrer eigenen Bewertung. Dies führt zu verminderter Varianz und somit erhöhter Fairness der Bewertung, was den Studierenden zugutekommt. Zum anderen entlastet es Professoren und Tutoren von langwierigen und sich wiederholenden Aufgaben, sodass sie sich stärker auf die Lehre und Betreuung der Studierenden konzentrieren können“, sagt Prof Dr Thomas Zöller, Professor für Data Science und Artificial Intelligence an der IU Internationalen Hochschule.

 

IU-Experten geben Ausblick auf Zukunft

Das ASAG-Modell könnte nach Ansicht des IU-Forschungsteams bereits als Bewertungssystem eingesetzt werden. Die rechtlichen und akademischen Voraussetzungen sind laut den IU-Experten jedoch noch nicht gegeben, da die KI-Technologie noch neu ist und Rahmenbedingungen fehlen, und aufgrund der schnellen technologischen Entwicklung im Bereich KI entstehen ständig neue Regelungen. Die Experten und Prüfer der IU empfehlen daher, sich zunächst auf ein Modell zu konzentrieren, bei dem menschliche Prüfer durch KI-gestützte Automatisierung unterstützt werden, beispielsweise um Fehler abzugleichen und zu vermeiden.

 

Originalbeitrag:

https://iu-international-university-of-applied-sciences-research-papers.s3.eu-central-1.amazonaws.com/Beyond_human_subjectivity_and_error_a_novel_AI_grading_system.pdf

 

Siehe auch:

https://www.iu.de/news/iu-studie-zeigt-potenzial-von-ki-fuer-gerechtere-notengebung/