Direkt zum Inhalt wechseln

Wie geht Testentwicklung bei der dgp?

Die dgp-Testentwicklerinnen Dr. Anna-Lena Jobmann und Amelie Kleinmanns geben Einblick in ihre Arbeit und sprechen unter anderem über das aktuelle Testportfolio der dgp sowie über die Generierung von innovativen Testideen.

Wie lange arbeiten Sie schon bei der dgp, und welchen beruflichen Hintergrund haben Sie?

Anna-Lena Jobmann, Diplom-Psychologin, Dr. rer. nat.: Ich bin seit Oktober 2016 in der Stabstelle Testentwicklung bei der dgp tätig. Davor war ich über fünf Jahre lang bei der Bergischen Universität Wuppertal als wissenschaftliche Mitarbeiterin im Bereich Methodenlehre und Psychologische Diagnostik beschäftigt und habe dort promoviert.

Amelie Kleinmanns, M.Sc. Psychologie: Auch ich arbeite in der Stabstelle Testentwicklung, und das seit September 2017, also schon fast fünf Jahre. Zuvor war ich drei Jahre an der Ruhr-Universität Bochum im Projektteam Testentwicklung als wissenschaftliche Mitarbeiterin tätig. An der Ruhr-Universität habe ich auch meinen Bachelor und Master absolviert.

Welche Art von Tests gibt es bei der dgp?

Anna-Lena Jobmann: Hauptsächlich bietet die dgp online- sowie papierbasierte kognitive Leistungstests für die Auswahl von Bewerber*innen an. Dabei handelt es sich um sogenannte maximum performance Tests, d.h. die Tests erfordern die höchstmöglichen Leistungen/Fähigkeiten der Bewerber*innen, beispielsweise in Form von Rechenaufgaben oder Aufgaben zum Textverständnis. Diese Art von Testverfahren hat sich in großen Übersichtsarbeiten (Meta-Analysen) als bestmöglich geeignete Methode zur Vorhersage von Ausbildungs- und Berufserfolg gezeigt. Unsere kognitiven Eignungstests bauen auf Intelligenztheorien und zahlreichen wissenschaftlichen Befunden der sogenannten Differentiellen Psychologie auf. Über die Jahrzehnte wurden die Testverfahren der dgp auf die Laufbahnen des öffentlichen Dienstes, bzw. verschiedene Qualifikationsstufen zugeschnitten, und ermöglichen so eine passgenaue und wissenschaftlich fundierte Personalauswahl.


Wie lange dauert die Entwicklung eines Tests, und wie kommen Sie auf die neuen Testideen?


Amelie Kleinmanns: Wie lange es dauert einen neuen Test zu entwickeln, hängt von verschiedenen Faktoren ab. Sprechen wir zum Beispiel von einer Überarbeitung einer unserer bereits bestehenden Testbatterien, dann vergehen vom Beschluss bis zur fertigen Überarbeitung in der Regel ein bis zwei Jahre. Bei einer kompletten Neuentwicklung sprechen wir da schnell von drei bis fünf Jahren, da noch mal deutlich mehr Schritte bei der Entwicklung hinzukommen. Unsere Ideen für neue Tests generieren wir hauptsächlich aus neu entstehenden Kundenbedürfnissen. Diese spiegeln häufig sich verändernde Anforderungen an die verschiedenen Berufe im öffentlichen Dienst oder sich verändernde Rahmenbedingungen wider, wie als Beispiel die Notwendigkeit des Onlinetestens in der Pandemie. Eine weitere Quelle für frische Ideen sind natürlich auch aktuellste wissenschaftliche Erkenntnisse, die wir in unsere Tests einfließen lassen.

Was braucht es denn genau, um einen neuen Test zu entwickeln?

Anna-Lena Jobmann: (1) Zuallererst wird natürlich die Idee, bzw. das Konzept für das zu erarbeitende Testverfahren benötigt. Gegebenenfalls wird auch eine sogenannte Anforderungsanalyse durchgeführt, um die Anforderungen der Arbeitstätigkeit an die Bewerber*innen genau feststellen zu können, die im Test erfasst werden sollen. (2) Anschließend werden die für die Ausübung der Tätigkeit benötigten Fähigkeiten – auch mit Hilfe von wissenschaftlichen Studien – definiert. (3) Mit Hilfe dieser Definition werden Aufgaben konstruiert, die inhaltlich von mindestens einer weiteren Person gegengeprüft werden. (4) Anschließend werden erste Daten zu den Aufgaben erhoben. Wir achten dabei darauf, dass unsere neu entwickelten Aufgaben unter Realbedingungen erprobt werden. Mit Hilfe dieser Daten werden die Aufgaben statistisch – im Rahmen der sogenannten Testtheorien –bewertet. (5) Die guten Items werden dann zu Tests zusammengefasst. Für dieses Tests erfolgt die Normierung an einer repräsentativen und möglichst großen Stichprobe. Kurz gesagt: Zur Entwicklung von Tests benötigen wir Aufgaben und Daten.


Welches sind Ihre Hauptprojekte für 2022?

Anna-Lena Jobmann: Einerseits arbeiten weiter daran, dass unsere Papiertests „gepflegt“ werden: Dort steht insbesondere die Überarbeitung unserer Testbatterie für gewerbliche Berufe an.

Andererseits investieren wir viel Zeit in die Weiterentwicklung unserer Online-Tests. Die Pandemie hat als Beschleuniger dieser Entwicklung speziell für den öffentlichen Dienst gewirkt: Bei vielen Behörden war und ist die Online-Auswahl der Bewerber*innen mittlerweile alternativlos – trotz möglicher Bedenken und Herausforderungen. Darauf reagieren wir und optimieren unsere Online-Tests. Beispielswiese auch in Bezug auf Testsicherheit und Betrugsreduzierung werden wir weitere Möglichkeiten prüfen und bereitstellen.

Der Hauptfokus liegt für 2022 zudem in der Umstellung unserer Online-Testsystems auf das modulare Testen: Das bedeutet, dass die Tests anforderungsspezifisch in Zusammenarbeit mit den Psycholog*innen der dgp zusammengestellt werden können. Dennoch werden wir hier nicht die gewohnte Qualität der dgp verlassen und Qualitätsstandards für das modulare Testen definieren, wie beispielsweise eine theoretische Fundierung von Testmodulen.

Mittelfristig werden für die Module dann adaptive Tests entwickelt: Das heißt, dass nicht alle Bewerber*innen die gleichen Aufgaben bearbeiten, sondern passgenau, abhängig von ihren Fähigkeiten, Aufgaben zugewiesen bekommen. Die Entwicklung adaptiver Testmodule ist sehr zeit- und ressourcenaufwändig, und dafür werden wir in 2022 weitere Grundbausteine legen.

Mehr Neuigkeiten

20.01.2023

Eine neue Website für die dgp - nutzungsfreundlich, aufgeräumt und barrierefrei

Die Deutsche Gesellschaft für Personalwesen e.V. präsentiert sich mit einer runderneuerten Website. Design, Inhalte und technische Infrastruktur sind auf einen neuen Stand gebracht.
09.01.2023

Neue Ausgabe des Fachmagazins "dgp Informationen" online verfügbar

Die neuesten dgp Informationen sind erschienen. Diese Ausgabe mit spannenden Themen: Nachhaltigkeit, Datenkompetenz, Faking in Auswahlverfahren, Ethik in der Digitalisierung und vielem mehr.
04.01.2023

Personalie: Neue Gesamtleitung bei der dgp seit 1. Januar 2023

Dr. Michael Jaeger hat am 1. Januar 2023 die Gesamtleitung der dgp übernommen. Stellvertretender Gesamtleiter ist Dr. Ulrich Stadelmaier.
15.12.2022

Personalie: Abschied von Leitender Psychologin Ina Voigt

Zum Jahresende 2022 geht Frau Ina Voigt nach über 36 Jahren in den Ruhestand. Lesen Sie dazu auch das Abschiedsinterview mit vielen spannenden Einsichten.
08.09.2022

IACAT-Kongress zum Adaptiven Testen im September 2022

Im September kommt die globale Fachcommunity zum Thema „Adaptives Testen“ in Frankfurt zur IACAT-Konferenz zusammen.
07.09.2022

Austauschformat der ostdeutschen Berufsfeuerwehren

Unter dem Arbeitstitel „Ostbrand“ hat die dgp am 2. September 2022 in Leipzig erstmalig ein überregionales Treffen der ostdeutschen Berufsfeuerwehren organisiert.
16.06.2022

Einblicke in die Berufsausbildung im öffentlichen Dienst

Die dgp berät Bund, Länder und Kommunen in der Ausgestaltung ihrer beruflichen Ausbildung. Lesen Sie dazu unser Interview!
23.05.2022

Neues Veranstaltungsformat für Kund*innen: dgp im Dialog

Unter dem Motto „Neues rund um Digitalisierung und Fortbildung“ startete am 20. Mai 2022 das neue Online-Veranstaltungsformat dgp im Dialog.
18.05.2022

5 Jahre dgp-Testplattform – Aktueller Entwicklungsstand

Kognitive Leistungsfähigkeit ist ein entscheidender Baustein für Erfolg in Ausbildung, Studium und Beruf.