Hauptgütekriterien

Hauptgütekriterien

1. Objektivität

   • Durchführungsobjektivität
     • standardisierte Instruktionen & Ausschlusskriterien
   • Auswertungsobjektivität
     • alle müssen zum gleichen Ergebnis kommen; Verrechnungssicherheit
   • Interpretationsobjektivität
     • alle müssen zur gleichen Interpretation kommen

2. Reliabilität

   • Innere Konsistenz / Testhalbierungsreliabilität
     • berücksichtigt den Zusammenhang zwischen den Items und der Testlänge
       • geht von tau-äquivalenten Messungen aus
   • Retest-Korrelation
     • wiederholte Messungen ein und desselben Tests (Überprüfung von Transfer- und Übungseffekten)
   • Paralleltest-Korrelation

3. Validität

   • Inhaltsvalidität
     • auch Augenscheinvalidität; klare, eindeutige Definition des Merkmals
   • Konstruktvalidität
     • Überprüfung, welche Eigenschaft tatsächlich erfasst wird
       • konvergente Validität
         • Zusammenhang mit Test mit ähnlichem Gültigkeitsbereich
       • diskriminante/divergierende Validität
         • Zusammenhang mit Test mit anderem Gültigkeitsbereich
       • faktorielle Validität
         • theoretisch angenommene Struktur wiederfinden
       • Methoden: CFA oder MTMM-Matrix
       • Einflüsse: Unterrepräsentation des Konstrukts & konstrukt-irrelevante Varianz
   • Kriteriumsvalidität
     • theoretisch erwartete Zusammenhänge zeigbar (Zusammenhänge Testkennwerte & Kriterien)
       • Vorhersagevalidität
         • Korrelation mit zeitlich später liegenden Kriterien
       • Übereinstimmungsvalidität
         • Korrelation mit zeitlich gleich erhobenen Kriterien
       • Retrospektive Validität
         • Korrelation mit zeitlich vorher erhobenen Kriterien
       • Inkrementelle Validität
         • zeigen, dass neu konstruiertes Verfahren zusätzlichen Beitrag leisten kann
       • mildernde Faktoren: 1.unterschiedliche Erhebungsmethoden Prädiktor & Kriterium 2.Kriterium erfasst etwas anderes als erwartet 3.Messmethoden erfassen mit unterschiedlicher Breite 4.Strichprobe verzerrt 5.zu geringe Messgenauigkeit

4. Test nie valider als reliabel

5. aus hoher Kriteriumsvalidität folgt hohe Objektivität, Konstistenz & Zulängligkeit

6. aus ausreichender Validität aber geringer Konsistenz folgt hohe Zulänglichkeit

7. aus geringer Validität und hoher Reliabilität folgt geringe Zulänglichkeit

8. geringe Reliabilität & Validität = wertlos