Die dgp-Testentwicklerinnen Dr. Anna-Lena Jobmann und Amelie Kleinmanns geben Einblick in ihre Arbeit und sprechen unter anderem über das aktuelle Testportfolio der dgp sowie über die Generierung von innovativen Testideen.
Wie lange arbeiten Sie schon bei der dgp, und welchen beruflichen Hintergrund haben Sie?
Anna-Lena Jobmann, Diplom-Psychologin, Dr. rer. nat.: Ich bin seit Oktober 2016 in der Stabstelle Testentwicklung bei der dgp tätig. Davor war ich über fünf Jahre lang bei der Bergischen Universität Wuppertal als wissenschaftliche Mitarbeiterin im Bereich Methodenlehre und Psychologische Diagnostik beschäftigt und habe dort promoviert.
Amelie Kleinmanns, M.Sc. Psychologie: Auch ich arbeite in der Stabstelle Testentwicklung, und das seit September 2017, also schon fast fünf Jahre. Zuvor war ich drei Jahre an der Ruhr-Universität Bochum im Projektteam Testentwicklung als wissenschaftliche Mitarbeiterin tätig. An der Ruhr-Universität habe ich auch meinen Bachelor und Master absolviert.
Welche Art von Tests gibt es bei der dgp?
Anna-Lena Jobmann: Hauptsächlich bietet die dgp online- sowie papierbasierte kognitive Leistungstests für die Auswahl von Bewerber*innen an. Dabei handelt es sich um sogenannte maximum performance Tests, d.h. die Tests erfordern die höchstmöglichen Leistungen/Fähigkeiten der Bewerber*innen, beispielsweise in Form von Rechenaufgaben oder Aufgaben zum Textverständnis. Diese Art von Testverfahren hat sich in großen Übersichtsarbeiten (Meta-Analysen) als bestmöglich geeignete Methode zur Vorhersage von Ausbildungs- und Berufserfolg gezeigt. Unsere kognitiven Eignungstests bauen auf Intelligenztheorien und zahlreichen wissenschaftlichen Befunden der sogenannten Differentiellen Psychologie auf. Über die Jahrzehnte wurden die Testverfahren der dgp auf die Laufbahnen des öffentlichen Dienstes, bzw. verschiedene Qualifikationsstufen zugeschnitten, und ermöglichen so eine passgenaue und wissenschaftlich fundierte Personalauswahl.
Wie lange dauert die Entwicklung eines Tests, und wie kommen Sie auf die neuen Testideen?
Amelie Kleinmanns: Wie lange es dauert einen neuen Test zu entwickeln, hängt von verschiedenen Faktoren ab. Sprechen wir zum Beispiel von einer Überarbeitung einer unserer bereits bestehenden Testbatterien, dann vergehen vom Beschluss bis zur fertigen Überarbeitung in der Regel ein bis zwei Jahre. Bei einer kompletten Neuentwicklung sprechen wir da schnell von drei bis fünf Jahren, da noch mal deutlich mehr Schritte bei der Entwicklung hinzukommen. Unsere Ideen für neue Tests generieren wir hauptsächlich aus neu entstehenden Kundenbedürfnissen. Diese spiegeln häufig sich verändernde Anforderungen an die verschiedenen Berufe im öffentlichen Dienst oder sich verändernde Rahmenbedingungen wider, wie als Beispiel die Notwendigkeit des Onlinetestens in der Pandemie. Eine weitere Quelle für frische Ideen sind natürlich auch aktuellste wissenschaftliche Erkenntnisse, die wir in unsere Tests einfließen lassen.
Was braucht es denn genau, um einen neuen Test zu entwickeln?
Anna-Lena Jobmann: (1) Zuallererst wird natürlich die Idee, bzw. das Konzept für das zu erarbeitende Testverfahren benötigt. Gegebenenfalls wird auch eine sogenannte Anforderungsanalyse durchgeführt, um die Anforderungen der Arbeitstätigkeit an die Bewerber*innen genau feststellen zu können, die im Test erfasst werden sollen. (2) Anschließend werden die für die Ausübung der Tätigkeit benötigten Fähigkeiten – auch mit Hilfe von wissenschaftlichen Studien – definiert. (3) Mit Hilfe dieser Definition werden Aufgaben konstruiert, die inhaltlich von mindestens einer weiteren Person gegengeprüft werden. (4) Anschließend werden erste Daten zu den Aufgaben erhoben. Wir achten dabei darauf, dass unsere neu entwickelten Aufgaben unter Realbedingungen erprobt werden. Mit Hilfe dieser Daten werden die Aufgaben statistisch – im Rahmen der sogenannten Testtheorien –bewertet. (5) Die guten Items werden dann zu Tests zusammengefasst. Für dieses Tests erfolgt die Normierung an einer repräsentativen und möglichst großen Stichprobe. Kurz gesagt: Zur Entwicklung von Tests benötigen wir Aufgaben und Daten.
Welches sind Ihre Hauptprojekte für 2022?
Anna-Lena Jobmann: Einerseits arbeiten weiter daran, dass unsere Papiertests „gepflegt“ werden: Dort steht insbesondere die Überarbeitung unserer Testbatterie für gewerbliche Berufe an.
Andererseits investieren wir viel Zeit in die Weiterentwicklung unserer Online-Tests. Die Pandemie hat als Beschleuniger dieser Entwicklung speziell für den öffentlichen Dienst gewirkt: Bei vielen Behörden war und ist die Online-Auswahl der Bewerber*innen mittlerweile alternativlos – trotz möglicher Bedenken und Herausforderungen. Darauf reagieren wir und optimieren unsere Online-Tests. Beispielswiese auch in Bezug auf Testsicherheit und Betrugsreduzierung werden wir weitere Möglichkeiten prüfen und bereitstellen.
Der Hauptfokus liegt für 2022 zudem in der Umstellung unserer Online-Testsystems auf das modulare Testen: Das bedeutet, dass die Tests anforderungsspezifisch in Zusammenarbeit mit den Psycholog*innen der dgp zusammengestellt werden können. Dennoch werden wir hier nicht die gewohnte Qualität der dgp verlassen und Qualitätsstandards für das modulare Testen definieren, wie beispielsweise eine theoretische Fundierung von Testmodulen.
Mittelfristig werden für die Module dann adaptive Tests entwickelt: Das heißt, dass nicht alle Bewerber*innen die gleichen Aufgaben bearbeiten, sondern passgenau, abhängig von ihren Fähigkeiten, Aufgaben zugewiesen bekommen. Die Entwicklung adaptiver Testmodule ist sehr zeit- und ressourcenaufwändig, und dafür werden wir in 2022 weitere Grundbausteine legen.