Fachbeitrag: Beaufsichtigung von Online-Tests – Ja oder nein?  

Autorinnen: Dr. Anna-Lena Jobmann & Amelie Kleinmanns

Ein Beitrag der dgp informationen – das Download-PDF finden Sie am Ende des Artikels.

Bei unbeaufsichtigten Online-Tests wird getäuscht. Aber wie können die Vorteile von Online-Tests genutzt und wie kann gleichzeitig den Gefahren begegnet werden? Die Lösung: Die Beaufsichtigung von Online-Tests (Proctoring). Wir stellen in diesem Beitrag die technischen Möglichkeiten sowie Vor- und Nachteile dar.  

Viele öffentliche Einrichtungen, darunter Hochschulen und Behörden, haben spätestens seit dem Jahr 2020 auf Online-Tests umgestellt. Online-Tests haben jedoch nicht nur Vorteile. Ein Grund für Bedenken bei Online-Tests stellt mögliches Täuschungsverhalten auf Seiten der Testteilnehmer*innen dar. Besonders in so genannten „high-stake“ Situationen – zum Beispiel, wenn vom Testergebnis der Zugang zu einer angestrebten beruflichen Laufbahn oder Position abhängt – können die Kosten von Täuschungen sehr groß sein.

In einem weiteren Beitrag der dgp informationen 2023/24 „Nutzen von Proctoring“ (Jobmann & Kleinmanns, 2023) kommen wir zu dem Schluss: Bei unbeaufsichtigten Online-Tests wird getäuscht. Aber wie können die Vorteile von Online-Tests genutzt und wie kann gleichzeitig den Gefahren begegnet werden? Die Lösung: Die Beaufsichtigung
von Online-Tests (Proctoring). Wir stellen in diesem Beitrag die technischen Möglichkeiten sowie Vor- und Nachteile dar.

Täuschung in Online-Tests

Verbreitete Formen von Täuschung oder Betrug bei Testverfahren sind, wie in Abbildung 1 dargestellt, zum einen die Inanspruchnahme von unbefugter Hilfe bzw. Hilfsmitteln. Hierzu zählt etwa die Unterstützung durch Freund*innen oder Familienmitglieder sowie die Nutzung von Suchmaschinen oder KI-Anwendungen. Zum anderen ist mit Blick auf häufige Täuschungsformen der Identitätsbetrug zu nennen (Noorbehbahani et al., 2022).

Ein Blick in die Literatur zur Häufigkeit von Betrugsfällen in Tests zeigt, dass zwischen
2,5% und 25% der Testteilnehmer*innen mindestens bei einer Frage betrügen (Aguado et al., 2018; Jensen & Thomsen, 2013; Kantrowitz & Dainis, 2014; Nye et al., 2008; Tendeiro et al., 2012). Die Testleistung bei unbeaufsichtigten Online-Tests fällt daher im Durchschnitt höher aus als die bei beaufsichtigten Tests (Steger et al., 2020). Die Frage nach Gegenmaßnahmen ist vor diesem Hintergrund eine hochrelevante.

Unbeaufsichtigte Online-Tests: Was gibt es für Gegenmaßnahmen, und wie wirksam sind sie?

In der Literatur werden einige Gegenmaßnahmen empfohlen, die Betrugsverhalten bei Online-Tests entweder verhindern oder aufdecken sollen. Die Wirksamkeit dieser Gegenmaßnahmen ist allerdings schwierig zu untersuchen, weswegen hierzu wenig empirische Befunde vorliegen. Gängig sind vor allem die Einladung der Teilnehmenden zu einem weiteren Vor-Ort-Test, die Abnahme einer Eigenleistungserklärung sowie Zeitbeschränkungen bei der Lösung der Aufgaben. Auf die Umsetzung sowie Wirkung dieser Gegenmaßnahmen wird im Folgenden eingegangen.

Erneuter Test in Präsenz: Validierungstest

Im Nachgang zum Online-Test kann ein Vor-Ort-Test eingesetzt werden, mit dem eine Positivselektion durchgeführt werden kann. Das heißt die im Online-Test erfolgreichen Bewerber*innen werden nochmals zu einem Test eingeladen, der in Präsenz unter kontrollierten Bedingungen stattfindet. Auf diese Weise lässt sich vermeintlich überprüfen, ob das im Online-Test erreichte Ergebnis Bestand hat oder ob es ggf. unter Rückgriff auf unerlaubte Hilfsmittel zustande gekommen ist.

In „Internationale Richtlinien für computerbasiertes und internetgestütztes Testen“ (Version 2005) schreiben die Autoren unter Punkt 44: Wenn eine Testuntersuchung als offene Testdurchführung oder als Testdurchführung mit Identifikation ausgeführt wird, kann geprüft werden, ob der Testteilnehmer oder die Testteilnehmerin betrogen hat, indem er oder sie aufgefordert wird, später einen Validierungstest unter Aufsichtsbedingungen (z.B. Testdurchführung unter Aufsicht oder unter vollständig kontrollierten Bedingungen) durchzuführen, und ein Vergleich der Testwerte angestellt wird. (International Test Commission, 2005, S. 25)

Bisher gibt es zu der Vorgehensweise nur wenige empirische Untersuchungen (Tendeiro et al., 2012; Guo & Drasgow, 2010). Kritisch zu sehen ist, dass ein Vergleich der Testwerte zweier Testungen als nicht hinreichend reliabel und valide zur Feststellung eines Betrugsverhaltens anzusehen ist. Es lässt sich mithin nicht eindeutig definieren, wie groß die Abweichung des Präsenztestergebnisses vom Online-Testergebnis ausfallen muss, um eindeutig von einem vorliegenden Betrugsverhalten ausgehen zu können. (Jobmann & Reiß, 2019)

Abgesehen hiervon wird teilweise auch argumentiert, dass bereits die Ankündigung eines Validierungstests als „Androhung“ verstanden und Betrugsversuchen damit vorbeugt werden kann (vgl. Steger et al., 2020). Der Nutzen eines Validierungstests läge dann weniger im Vergleich beider Testergebnisse an sich, sondern eher in der Abschreckung. Steger et al. (2020) haben in ihrer Metaanalyse diese Gegenmaßnahme untersucht und konnten zeigen, dass diese keinen signifikanten Effekt im Vergleich zu nicht vorhandenen Gegenmaßnahmen zeigte. Die Ankündigung einer erneuten Testung zeigte demnach keine Wirkung. Steger et al. (2020) schließen mit dem Rat, auf derartige Gegenmaßnahmen zu verzichten.

Eigenleistungserklärung

Bei dieser Vorgehensweise stimmen die Testteilnehmer*innen vor Bearbeitung des Tests einer Eigenleistungserklärung bzw. einem Vertrag zu, mit dem sie beispielsweise zusichern, den Test selbstständig und ohne Hilfsmittel zu bearbeiten. In Bezug auf die Eigenleistungserklärung kommen Steger et al. (2020) ebenfalls zum Ergebnis, dass empirisch keine Wirkung der Gegenmaßnahme gezeigt werden konnte. Corrigan-Gibbs et al. (2015) kommen in ihrer Studie zu der Schlussfolgerung, dass explizite Warnungen vor Konsequenzen besser funktionieren als die deutlich „sanftere“ Zustimmung zu einem „Ehrenkodex“.

Zeitbeschränkung

Die Zeitbeschränkung der Aufgaben sowie die Nicht-Bekanntgabe der Bearbeitungszeit für Aufgabenbereiche werden als weitere Schutzmaßnahmen diskutiert.

Die Idee ist, durch den Druck einer engen Bearbeitungszeit zu verhindern, dass Testteilnehmer*innen die Zeit haben, entsprechende Hilfsmittel wie z.B. Suchmaschinen zu nutzen (Geerling et al., 2023). Nicht verhindert werden kann damit allerdings, dass eine andere Person den Test bearbeitet. Problematisch ist darüber hinaus, dass eine zu enge Zeitbegrenzung das zu messende Konstrukt verändern kann, d.h., dass Stress durch zu wenig Bearbeitungszeit die Qualität der Messung negativ beeinflussen kann.

Die beiden ersten Maßnahmen zielen eher auf eine präventive und abschreckende Wirkung ab, deren Wirksamkeit bisher aber nicht empirisch gezeigt werden konnte. Insbesondere in einer Situation, in der Testteilnehmer*innen etwas zu gewinnen oder zu verlieren haben (high-stake), ist die Wirksamkeit der Maßnahmen daher in Frage zu stellen. Die Wirksamkeit der Zeitbeschränkung erweist sich ebenfalls als begrenzt. Insgesamt stellen weder die erneute Testung noch die Eigenleistungserklärung oder die Zeitbegrenzung für die Praxis der Personalauswahl demnach zufriedenstellende Gegenmaßnahmen bei Betrugsverhalten dar.

Beaufsichtigung von Online-Tests: Proctoring als Gegenmaßnahme

Eine weitere, zunehmend verbreitete Gegenmaßnahme ist das Online-Proctoring. Mit diesem Begriff werden jegliche digitalen Formate der Prüfungsbeaufsichtigung bezeichnet, die zur Beibehaltung der Integrität der Beurteilung auch im Online-Kontext beitragen sollen und in unterschiedlichen Formen angeboten werden.

Grundsätzlich unterschieden werden kann zwischen live in-person remote proctoring
(Online-Beaufsichtigung durch Personen) sowie Artificial Intelligence (AI) remote proctoring und damit der Online-Beaufsichtigung auf Basis künstlicher Intelligenz (Langenfeld, 2022). Dabei gibt es je nach Anbieter viele Abstufungen in Hinsicht auf den Umfang der Beaufsichtigung: Angefangen mit minimalen Schutzmechanismen, beispielsweise lediglich einer Videoaufzeichnung der Testteilnahme, bis hin zur Live-Überwachung mit Video, Audio, Kontrollübernahme des Rechners und Interaktion der beaufsichtigenden Person mit den Testeilnehmer*innen (Langenfeld, 2022), ist vieles umsetzbar. Die unterschiedlichen technischen und inhaltlichen Möglichkeiten und damit auch Herausforderungen bei der Wahl von Anbietern sind in einer Übersicht in Tabelle 1 dargestellt (angelehnt an Langenfeld, 2022).

Wie der Tabelle 1 zu entnehmen ist, sind die technischen Möglichkeiten mittlerweile vielfältig und werden auch in der Zukunft insbesondere mit Blick auf künstliche Intelligenz sicherlich noch wachsen. Für den Einsatz von Proctoring im Rahmen der Personalauswahl sind diese zunächst einer Kosten-Nutzen-Analyse zu unterziehen. Nicht alle Optionen sollten mit Blick auf die Wahrnehmung bei Bewerber*innen und unter Datenschutzabwägungen auch genutzt werden.

Kriterien zur Bewertung von Proctoring-Anbietern

Bartram (2006) hat mehrere Voraussetzungen genannt, die erfüllt sein müssen, damit Online-Tests sowohl aus Sicht der durchführenden Organisationen, der Testurheber als auch aus der Perspektive der Bewerber*innen gewinnbringend eingesetzt werden können. Diese Voraussetzungen sind in Tabelle 2 aufgeführt und können auch in Bezug zu beaufsichtigten Online-Tests gesetzt werden. Damit bieten sie eine Basis zur Bewertung der technischen und inhaltlichen Möglichkeiten von Proctoring-Anbietern.

Die Bedürfnisse beider Seiten sind selbstverständlich ebenso für die jeweils andere Seite von Bedeutung, d.h. auch im Sinne der Außenwirkung ist es für die Organisation relevant, dass Testeilnehmer*innen einen angenehmen Test erleben; aus Sicht der Testeilnehmer*innen ist gleichermaßen relevant, dass die Identität aller anderen Teilnehmer*innen gesichert werden kann, um den fairen Auswahlprozess nicht zu gefährden.

Beurteilung der technischen und inhaltlichen Aspekte von Proctoring-Anbietern und -Software

Auf Basis der in Tabelle 2 genannten Kriterien für Online-Tests können die technischen und inhaltlichen Aspekte von Proctoring wie folgt bewertet werden:

Schutz der persönlichen Daten und des persönlichen Raums:
Weil die Testteilnehmer*innen je nach Ort der Testteilnahme ggf. in ihrem höchst privaten Raum beobachtet werden und die Proctoring-Software ggf. auf dem eigenen Laptop heruntergeladen werden muss, stellt der Datenschutz ein zentrales Kriterium bei der Umsetzung von Online- Proctoring dar. Insbesondere der Einsatz von Proctoring-Software, die auf den Rechnern der Testteilnehmer*innen installiert werden muss, ist unter diesem Gesichtspunkt kritisch zu sehen: Viele Anbieter von Proctoring-Software haben ihre Sitze außerhalb der EU, was vermuten lässt, dass ihre Datenschutzmaßnahmen nicht konform mit der DSGVO sind und die Daten beispielsweise nicht auf Servern in Deutschland oder der EU gespeichert werden.

Daher ist aus dgp-Sicht zu empfehlen, dass keine Software installiert werden muss und
damit kein Eingriff auf den Rechner der Bewerber*innen erfolgt. Zudem ist wichtig, dass die privaten Daten der Teilnehmer*innen ausschließlich zweckgebunden – nämlich für die
Sicherstellung der Identität sowie die Beaufsichtigung der Testdurchführung – verwendet werden und danach schnellstmöglich gelöscht werden.

Angenehmes Testklima, Akzeptanz & Fairness:
Die Bewerber*innen sollen in einem angemessenen Klima am Test teilnehmen können. Hier birgt die Umsetzung von Testverfahren als Online-Test zunächst den Vorteil, dass die Teilnahme zu Hause beziehungsweise an einem frei gewählten Ort in einem vertrauten Umfeld erfolgen kann. Mit Blick auf den Einsatz von Proctoring weisen Studien allerdings darauf hin, dass die Online-Beaufsichtigung die Testangst erhöhen kann (Karim et al., 2014; Lilley et al., 2016; Stowell & Bennett, 2010).

Weitere Bedenken beziehen sich auf die Nutzung von Online-Proctoring-Software auf Basis von künstlicher Intelligenz und maschinellem Lernen. Der bisherige Einsatz von maschinellem Lernen hat in unterschiedlichen Kontexten deutlich gezeigt, dass die Nutzung, obwohl in den meisten Fällen effektiv und effizient, zu Verzerrungen und Bias und damit zu Unfairness führen kann.

Ein Beispiel hierfür ist das Bevorzugen von männlichen Bewerbern bei automatisierter
Kontrolle von Lebensläufen (O’Neil, 2016). Ein weiteres Beispiel betrifft die Nutzung von Gesichtserkennungssoftware im Rahmen des Proctorings: Auch hier weisen Studien darauf hin, dass Gesichtserkennungssoftware mit Bias und Verzerrungen auf Ebene der Erkennung der Gesichter von Personen bestimmter Rassen und bestimmten Geschlechts assoziiert sind (Buolamwini & Gebru, 2018). So sind beispielsweise Fälle dokumentiert, in denen schwarze Personen erheblich schwerer oder überhaupt nicht von Gesichtserkennungssoftware erkannt wurden (Chin, 2021).

Darüber hinaus wird die Nutzung von KI-basierter Proctoring-Software auch mit Blick auf die mögliche Benachteiligung von behinderten und neurodivergenten Personen diskutiert: Weil diese Personen bei den Trainingsvideos von maschinellem Lernen unterrepräsentiert sind, kann es vorkommen, dass ihr Verhalten möglicherweise im Vergleich häufiger als „auffällig“ und „verdächtig“ markiert wird (Swauger, 2020). Unter diesen Gesichtspunkten sollte im Zusammenhang mit der Online-Beaufsichtigung von Testverfahren auf den Einsatz von künstlicher Intelligenz aus derzeitiger Sicht verzichtet werden.

Einfache technische Durchführung & Unterstützung bei Problemen:
Bewerber*innen sollten schon im Vorfeld ausreichend Informationen zum Ablauf des Testverfahrens und zu den technischen Voraussetzungen erhalten, damit einerseits das Testklima verbessert wird und andererseits möglichst gleiche Testbedingungen bei allen Bewerber*innen vorliegen. Eine technische Unterstützung, zum Beispiel durch Telefon- oder Chat-Support, während des Proctorings ist dringend empfehlenswert.

Identität der Teilnehmer*innen sicherstellen:
Für eine Testung muss insbesondere aus Sicht der Organisation, die Bewerber*innen einstellen möchte, sichergestellt sein, dass auch die Person den Test bearbeitet, die sich für den Test angemeldet hat. Diese Sicherheit bildet auch rechtlich die Grundlage dafür, dass das Testergebnis im Auswahlprozess sicher verwendet werden kann. Zudem steigert dies auch die wahrgenommene Fairness des Testverfahrens aus Sicht der Teilnehmenden – es besteht kein Grund zur Sorge dahingehend, dass sich andere Bewerber*innen durch unbefugte Hilfe einen Vorteil verschaffen. Die Identität der Teilnehmer*innen kann durch den Abgleich eines Bildes/Videos mit einem Ausweisbild durch eine Person sichergestellt werden. Das kann in Echtzeit oder im Nachgang erfolgen.

Verhinderung von Betrugsverhalten und damit Sicherung der Validität der Testergebnisse:
Insbesondere aus Sicht der Organisationen, die Tests durchführen oder in Auftrag geben, aber auch aus Sicht der Bewerber*innen, die sich einen fairen Auswahlprozess wünschen, sollte Betrugsverhalten (durch z.B. Nutzung unerlaubter Hilfsmittel) unterbunden werden.

Viele Betrugsmaßnahmen können mit Hilfe von Video-, Audio- und Screenaufzeichnung verhindert werden: So kann zum Beispiel eine weitere Person, die bei der Testbearbeitung hilft, entdeckt werden. Eine zweite Kamera kann den Raum oder Arbeitsplatz im Blick behalten, um die Nutzung unerlaubter Bücher oder eines Mobiltelefons zu verhindern. Im Screensharing ist zu sehen, wenn Testteilnehmer*innen Suchmaschinen im Internet nutzen.

Sicherung des Testmaterials:
Eine Sicherung des Testmaterials ist aus Sicht der den Test durchführenden Organisation wie auch des Testurhebers sehr wichtig. Testentwicklungen sind aufwändig sowie kostenintensiv, und daher ist der Schutz des Testmaterials sowohl aus wirtschaftlicher Perspektive als auch aus Testqualitätssicht bedeutsam. Der Schutz des Testmaterials ist eine der größten Herausforderungen, der nicht so einfach zu begegnen ist. Testteilnehmende, die Screenshots machen, sind ersichtlich durch Screensharing. Ein Abfilmen des Tests hingegen ist gegebenenfalls möglich, ohne dass Online-Proctoring-Lösungen dies aufdecken.

Fazit

Im Gesamtblick ist festzustellen, dass die Möglichkeit der digitalen Beaufsichtigung
(Proctoring) von Online-Tests eine sinnvolle Ergänzung in Personalauswahlverfahren darstellt. Die Vielfalt der technischen Möglichkeiten sowie der am Markt verfügbaren Angebote macht es allerdings erforderlich, eine gezielte und an rechtlichen, wirtschaftlichen und handlungsethischen Kriterien geleitete Auswahl vorzunehmen. Mit Blick auf die Bedarfe von Bewerber*innen einerseits sowie die von Organisationen, die Eignungstests in Auftrag geben und durchführen, andererseits, kommen wir zu folgenden Empfehlungen:

• Eine browserbasierte Beaufsichtigung mit Video, Audio und Screensharing ohne Installation von Software ist geeignet, um eine gute Sicherheit hinsichtlich der Abwehr von Betrugsverhalten zu erreichen. Es sollte keine Installation von Software notwendig sein und damit auch kein Eingriff auf den Rechner von Bewerber*innen erfolgen, die den Zweck der Überwachung hat. Die Beaufsichtigung kann zudem noch dadurch intensiviert werden, dass eine zweite Kamera eingesetzt wird, die den Arbeitsplatz abfilmt.
• Alle Daten sollten DSGVO-konform auf Servern in Deutschland oder der EU gespeichert werden sowie zweckgebunden verwendet und nach möglichst kurzem Zeitraum gelöscht werden.
• Auf künstliche Intelligenz sowie automatisierte Gesichtserkennung sollte aufgrund von Datenschutzbedenken und möglichen Verzerrungen im Sinne der Bewerber*innen-Akzeptanz aus derzeitiger Sicht nicht zurückgegriffen werden.

Mit diesen Maßnahmen kann aus Sicht der dgp den Bedenken gegenüber Proctoring-Lösungen begegnet werden, um die Vorteile von Online-Tests zu bewahren: zeitlich und örtlich flexible Teilnahme, Nachhaltigkeit durch Verzicht auf Anreisen sowie optimierte Prozesse. Sollten Bewerber*innen jedoch auf Grund von Bedenken oder aber fehlender technischer Ausstattung nicht an beaufsichtigten Online-Tests teilnehmen können oder
wollen, ist es auch aus rechtlicher Sicht empfehlenswert, eine Vor-Ort-Testung als Alternative anzubieten.

Proctoring, ja oder nein? Wir sagen: Ja, unter bestimmten Voraussetzungen.

Das Literaturverzeichnis zum Beitrag finden Sie im aufgeführten Download-PDF.

Laden Sie sich hier das Beitrags-PDF herunter!

Dr. Anna-Lena Jobmann

Diplom-Psychologin
E-Mail: jobmann@dgp.de

Dr. Anna-Lena Jobmann ist Mitarbeiterin der Stabsstelle Forschung und Entwicklung der dgp e. V. Ihre Schwerpunkte sind die Entwicklung und Überprüfung von kognitiven Eignungstests auf Basis bewährter statistischer Testmodelle, inklusive adaptiven Testens, Messung sozialer Kompetenzen und Fähigkeiten sowie Fairness von Eignungstests.

Amelie Kleinmanns, M.Sc.

Psychologin
E-Mail: kleinmanns@dgp.de

Amelie Kleinmanns ist Mitarbeiterin der Stabsstelle Forschung und Entwicklung der dgp e. V. Ihre Schwerpunkte sind die Entwicklung und Überprüfung von kognitiven Eignungstests sowie die Entwicklung von Persönlichkeitsinventaren auf Basis bewährter statistischer Testmodelle.