Testtheorie? Erklärung

Was ist Testtheorie noch?

Was ist die klassische Testtheorie? Was für ein Modell? Für was Grundlage?

Warum gilt die KTT auch als Messfehlertheorie?

Was ist das E(x)istenzaxiom?

Was ist das Verknüpfungsaxiom?

Was folgt aus Axiom 1 und 2?

Was ist das unabhängigkeitsaxiom?

Zusatzannahme 2: paarweise Unkorreliertheit der Messfehler?

Was ist die Reliabilität? Was bedeutet ein Wert von 1 und 0?

Die Reliabilität ist welcher Anteil?

Was ist der Standardmessfehler? S(et)

Was sind Nebengütekriterien?

Was ist die Durchführungsobjektivität?

Was ist die Auswertungsobjektivität?

was ist die Interpretationsobjektivität?

Die Validität gilt als das wichtigste der
Hauptgütekriterien. Sie ist jedoch
abhängig von der Objektivität und der
Reliabilität.
Warum?

Die Varianz der wahren Werte (Reliabilität) wird mit Hilfe von „parallelen Messungen“ geschätzt: Was sind ihre Methoden?

Mit „paralleler Messung“ ist also nicht
notwendigerweise gemeint, dass etwas gleichzeitig parallel gemessen wird. Gemeint ist nur, dass (vermeintlich) parallele Aufgaben an derselben Stichprobe durchgeführt werden. Hierfür haben sich 4 Ansätze eingebürgert.... Welche sind das? KTPP

Was ist die Testwiederholungsmethode? Wie werden die Ergebnisse verglichen?

Was ist das große Problem an der Testwiederholungsmethode? Wie wird daher die Retestreliabilität ebenfalls bezeichnet und genutzt?

Was ist die Paralleltestmethode?

Was ist die Testhalbierungsmethode?

Der gebräuchlichste sog. Halbierungskoeffizient wird
anhand der Spearman-Brown-Formel berechnet: Wie ist sie? wie ist die allgemeine Formel?

Was ist die Konsistenzanalyse? Was ist der Berechungskoeffizient?

Was kann man tun wenn Reliabilität zu gering ausfällt?

Wozu führt eine Testverdoppelung? Was passiert mit Varianz und was mit Fehlervarianz? Was mit Reliabilität und durch welche Berechnung herleitbar?

Welches Dilemma entsteht durch Testverlängerung?

Wie funktioniert die normorientierte Testwertinterpretation?

Normorientierte Testwertinterpretation:
Je nach Datenmaterial der Eichstichprobe sind unterschiedliche Transformationen zulässig: Welche sind das?

Prozentrangnormen können nicht als intervallskaliert aufgefasst werden, da ....?durch die ____________ die
Differenzen zwischen je ______ ____________im Bereich geringer _____________(Häufigkeit gering) _____________, im Bereich
hoher Testwertdichte (Häufigkeit groß) _________________ werden. Prozentränge lassen im Bereich ______Testwertdichte
Unterschiede zwischen ______________ g_______
erscheinen als sie tatsächlich bestehen.
Tatsächlich bestehende Unterschiede im Bereich geringer Testwertdichte werden durch Prozentränge nivelliert.

Da Prozentränge nicht intervallskaliert sind dürfen????? Deshalb darf man was nicht tun?

Was ist das Vertrauens- oder Konfidenzintervall?

Wovon gehen Äquivalenzhypothese und Regressionshypothese aus?

Was gibt das Konfidenzintervall an? Mit was gibt es das Gesuchte an? Was bedeutet das Konfidenzintervall nicht?
Was wird bei der Berechnung neben dem beobachteten Wert einer Person noch berücksichtigt? Was passiert bei hoher Relibailität?

Welche Formel bestimmt das Konfidenzintervall?

Reliabilität und
Einzelfallentscheidungen Merke:
Der Verzicht auf ______________bei der _____und _________ von Testergebnissen, wie es in
der Praxis zum Teil ___ ____________ ist, stellt einen groben ________dar und ist nicht entschuldbar! Durch das ________ wird dem Umstand
Rechnung getragen, dass die Werte, die wir durch Tests erhalten, nicht perfekt gemessen werden und unter wiederholten Bedingungen nicht ___________ ausfallen würden.

Was ist die Regression zur Mitte?

was ist die kritische differenz in Worten?
Die krit. Differenz ist die?

Was ist die Formel für die kritische Differenz?

Nenne die verschiedenen Validitätsarten!

Was ist die Kriterienbezogene Validität?

Kriterienbezogene Validität:
Häufig wird ein Test an mehreren __________ und/oder mit Hilfe von mehreren _______________validiert.
Dadurch entstehen eine ganze Reihe von
___________________, die unterschiedlich
hoch sein können. Unter der Annahme, dass es sich bei den Kriterien um ______ Kriterien handelt, nähert man sich Stück für Stück der Validität des ________ an.

Was ist die Äußere kriterienbezogene Validität?

Kriterienbezogene Validität:
Was ist die Vorhersagevalidität? und was ist die Übereinstimmungsvalidität?

Was ist die inhaltliche Validität? Wie wird sie erfragt?

Was ist die Konstruktvalidität? Was gibt sie an?

Gesichtspunkte 1-3 der Konstruktvalidität: Vermitteln uns ein Bild über den
________ eines Tests im Vergleich zu __________und anderen _________(kriterienbezogene Validität):
O Mit welchen Variablen _________der Test, und – hier NEU – mit welchen nicht?
O konvergente Validität: liegt vor, wenn der zu validierende Test erwartungsgemäß ________mit
anderen ____ _________, die vorgeben, etwas ähnliches zu messen

Innerhalb der Konstruktvalidität unterscheidt man noch die diskrimante Validität: Wann ist sie gegeben?

Was sind die Kriterien 4 und 7 ? (Kriterien der Konstruktvalidität?)

Was ist eine Faktorenanalyse?

Was ist eine Faktorenanalyse? Der Begriff Faktorenanalyse umfasst eine
______multivariater___________mit denen untersucht wird, ob sich ___________ auf gemeinsame _________(Faktoren) _______ lassen. Die Faktorenanalyse führt zu einer ____________: die Varianz einer Vielzahl von ___________wird auf eine ___________ Zahl von gemeinsamen Faktoren zurückgeführt.

Faktorenanalyse:
welche beiden methoden werden dabei unterschieden? und as machen sie mit Hypothesen?

Exkurs: Faktorenanalyse (EFA)
Verfahrensschritte (Überblick) (5)

Was ist der Eigenwert eines Faktors und wie wird er berechnet?

Was ist die Kommunalität einer Variablen?

Entscheidung über die Anzahl
relevanter Faktoren: Kaiser-Kriterium: Was ist das Kaiser guttmann Kriterium?

Gesichtspunkt 4: Faktorenanalyse des zu
validierenden Tests gemeinsam mit Außenkriterien, validitätsverwandten und validitätsdivergenten Tests. Was sollte der Test den wir validieren wollen tun? (Erinnere Faktorenrotation)

Was ist eine Faktorenrotation?

Was ist eine Orthogonale Faktorenrotation?

Konstruktvalidität
Gesichtspunkt 5: Analyse interindividueller
Unterschiede in den Testresultaten. Wie kann man dies überprüfen?

Konstruktvalidität
Gesichtspunkt 6: Analyse intraindividueller
Veränderungen bei wiederholter Durchführung über was kann man dies überprüfen?

Konstruktvalidität
Gesichtspunkt 7: Inhaltlich-logische Analyse der Testelemente. Was kann man machen? und wie sollten die Testaufgaben korrelieren?

Praktische Bedeutung der Minderungskorrektur? Was liefert sie? Und was erhöht sich dadurch?

Was ist eine
Minderungskorrektur? Die beobachteten Werte ___________ meist ______als die ________Werte, da sie _________ sind. Dadurch
wird die ___________ unterschätzt. Diese __________ (durch fehlerbehaftetes Messen) wird durch ___________________ korrigiert, indem man die ___________berücksichtigt.
Eine ________ liefert eine ______für die Korrelation der ________Werte zweier ________, wenn
deren ________und die Korrelation der beobachteten Werte dieser Variablen bekannt sind.

KTT: Was ist die doppelte und die einfache Minderungskorrektur?

Testkonstruktion:
Die Minderungskorrektur hilft uns bei der Entscheidung, ob es sich lohnt, die Reliabilität des konstruierten Tests
zu erhöhen. Wie?

Effekt von Minderungskorrekturen: Die Messfehler von Test und ______ verringern die _____. Bei der Minderungskorrektur stehen die _________jeweils im ____. Deshalb fällt die Korrektur umso drastischer aus, je _____die Reliabilitätskoeffizienten sind. Umgekehrt bedeutet dies: Wenn die Reliabilitäten bereits sehr ____ sind, ändert sich durch die Minderungskorrektur ____.

Was ist eine Itemanalyse?

Wie wird die Verteilungsform (Schiefe) berechnet? Sch =
Was ist Sch < 0?
Was ist Sch > 0?
Was ist Sch = 0 ?

Was bedeutet ein Exzess von 0?
Eszess > 0?
Exzess < 0?
(Wie sieht die Verteilung dann aus?)

Wie wird eine Normalverteilung also eine Nullhypothese; Normalverteilung liegt vor, getestet? Über welchen test? Worauf hofft man? Wie muss die Wahrscheinlichkeit (p) sein um die Nullhypothese anzunehmen?

Was bedeutet eine Signifikanz des Kolmogorov-Smirnov-Tests?

Was bedeutet Schwierigkeit P eines Items?

Auf einer Skala von 0 bis 4 (0 = keine Zustimmung) sollen 100 Probanden einschätzen, ob sie „grundsätzlich ein
optimistischer Mensch“ sind.
Es ergibt sich ein Mittelwert von 3,7.
Dieses Item ist also eher ?
Auf einer Skala von 0 bis 4 (0 = keine Zustimmung) sollen 100 Probanden einschätzen, ob sie „immer in jeder noch so schlimmen Lage das Positive entdecken können“. Es ergibt sich ein Mittelwert von 1,2. Dieses Item ist also eher ? Daher.....?

Bei welchen Items spricht man von leichten Items und bei welchen Items spricht man von schwierigen Items?

Welche Schwierigkeit ist „gut“? Was können extreme Schwierigkeiten? Wozu führen sie allerdings?

Die meisten Testkonstrukteure versuchen, möglichst viele ____________ zu generieren!
Die meisten Tests differenzieren in den _________ der Merkmalsverteilung _________

Inhaltliche Definition der Trennschärfe?

Trennschärfe
Mathematisch:

Eine ____ Trennschärfe bedeutet also, dass das Item schon für sich genommen ___ zwischen Probanden mit ___________
Merkmalsausprägung ______ kann.

_____ part-whole-Korrektur kommt es zu einer _______ der Trennschärfe, da das betreffende Item _____ Bestandteil
der ______ ist, mit der man es _____. Man rechnet mittels part-whole Korrekturen den______ des Einzelitems raus. Je größer die Itemanzahl einer Skala ist, desto _______ sind
die Auswirkungen der Korrektur auf die Trennschärfe.., Je _______ eine Skala ist, desto ______ ändern sich die
Trennschärfen durch eine part-whole- Korrektur.

Einflussfaktoren auf die
Trennschärfe

Warum hängen Trennschärfen von der Reliabilität ab? und wann können hohe Trennschärfen erzielt werden?

Empirisch zeigt sich eine umgekehrt ________Beziehung zwischen Schwierigkeit und ________wobei mit __________ Schwierigkeit die höchste Trennschärfe einhergeht. Die Höhe der Trennschärfe hängt ab von der _______ der möglichen interindividuellen _______________ die eine
Aufgabe treffen kann. Diese Anzahl ist durch die ________bestimmt (siehe nächste Folie). Die ________ von Itemschwierigkeiten in einer Skala führt zu einer _______ der Interkorrelationen zwischen den Items, damit zu einer Abnahme der ________ und zu einer
Abnahme der __________ der einzelnen Items.

Beispiel für dichotome Items (richtig – falsch): O Wenn 50 von 100 Leuten ein Item richtig lösen, dann kann man anhand dieses Items jede der 50 Personen, die das Item gelöst haben, von jeder der 50 Personen, die das Item nicht gelöst haben, unterscheiden Mit diesem Item können 50 · 50 = 2500 Unterscheidungen getroffen werden das Item ist hoch _______ O Wenn nur 5 von 100 Leuten ein Item richtig lösen, dann sind nur noch 5 · 95 = 475 Unterscheidungen möglich
Item ist ___________________

Items einer mittleren Schwierigkeit haben also eine größere Chance ? als Items mit???

Was bedeutet mittlere Schwierigkeit aber nicht automtatisch?

Was spricht gegen das Argument von der Kritik gegen die Axiome?

Kritik: Die Annahme, dass sich der wahre Wert einer Person nicht verändert, ist nur vertretbar innerhalb relativ kurzer Zeiträume und auch nur für bestimmte Merkmalsbereiche. Wieso?

Kritik: Die allermeisten Berechnungen der KTT setzen voraus, dass die Datengrundlage
Intervallskalenniveau hat. Was ist aber eigentlich der Fall?

Ab wann erlaubt ein Korrelationskoeffizient die Übertragung auf einen Einzelfall? Dennoch kann eine Nullkorrelation entstehen die gar keine ist wieso?

Was bedeutet das jetzt?
Jede Korrelation kleiner 1 kann aufgrund von Einflüssen von Substichproben zustande kommen. Was ist demnach unzulässig?

Von Gruppenstatistiken kann grundsätzlich nicht auf den Einzelfall geschlossen werden, wenn die entsprechende Validität und/oder Reliabilität unter 1 liegt – also nie.

Kritik: Nach Rost (1996): Die TT beschäftigt sich mit dem
_____________ von Testverhalten und dem zu erfassenden psychischen ___________
Diesen Zusammenhang thematisiert die ______nicht ausreichend!
• betrifft das Hauptgütekriterium der Validität!
• Aussagen zur Validität sind jedoch abhängig von den Validitätskriterien, der Validierungsmethode und -
stichprobe. Die KTT ist eine _______________ keine _______________

ABER: Die Erfahrung zeigt, dass auf Basis der _____ entwickelte Tests eine
_______, objektive und _______
Beschreibung von intra- und
______________ Unterschieden
erlauben. Entscheidungen auf Basis
von Verfahren, deren _______ und
psychometrische ___________
keinerlei wissenschaftlichen
___________ standhalten, können daher keine vernünftige Alternative sein.

Ausgangsfrage: Welche ______________können auf interessierende Einstellungs- oder ________________ gezogen werden, wenn von den Probanden lediglich
__________(responses) auf diverse Items vorliegen? ⇒ Item-Response-Theorie
Diese Frage soll in der IRT mit Hilfe von bestimmten formalen mathematischen ___________beantwortet werden.

Unterschied KTT vs. IRT bei Testwerterfassung?

Wenn man davon ausgeht, dass eine latente Variable ein bestimmtes Antwortverhalten (also manifeste
Variablen) verursacht, dann muss es zwingend zu.......

Umkehrung dieses Gedankens:
Wenn man von den ________Variablen auf eine dahinterliegende _________ Variable schließen will, dann
müssen einige _________Variablen __________________
________ Variablen sind jedoch nur die notwendige, nicht aber eine hinreichende Bedingung, um von _______ Variablen auf _______Variablen schließen zu dürfen!

Beispiel: Man geht davon aus, dass eine hohe allgemeine Intelligenz (latente Variable ξ) zu _____ Ausprägungen
auf allen Subskalen des WISC (manifeste Variablen) und eine _____ Intelligenz zu ________ Ausprägungen führt. Die Subskalen des WISC korrelieren dann _____ miteinander (notwendige Bedingung). Umgekehrt bedeutet eine _____ Korrelation zwischen den Subskalen des WISC aber noch nicht, dass tatsächlich Intelligenz gemessen wurde. Eine hohe Korrelation ist zwar eine notwendige, aber keineswegs eine hinreichende Bedingung dafür, dass Intelligenz die______ für die _____ist.

Aber wann kann man nun eine latente Variable als ursächlich ansehen?

Und wann kann man von Itemhomogenität ausgehen?

Wann liegt lokale stochastische Unabhängigkeit vor?

Lokale stochastische Unabhängigkeit
Wie kann man das prüfen?

am Beispiel: Es wird eine Stichprobe von Personen gewählt, die hinsichtlich der latente Variable „Depressivität“ alle die gleiche Ausprägung aufweisen („lokal“). Betrachtet wird das Antwortverhalten auf zwei beliebige Items aus einem Depressionsfragebogen.
O Wenn die Items homogen sind, also nur der systematische Einfluss der latenten Variable wirkt, müssten diese Personen alle (theoretisch) exakt die gleichen Werte auf den beiden Items
erreichen (zB Item 1: 3; Item 2: 5). Selbst bei zusätzlichen unsystematischen Messfehlern ergäbe sich so eine
Nullkorrelation der Items (stochastische Unabhängigkeit). O Wäre die Korrelation von Null verschieden, wären die Items
bzgl. des Merkmals nicht homogen, die Items würden also neben der einen latenten Variable noch etwas anderes messen.

Lokale stochastische Unabhängigkeit
O Über eine unausgelesene Stichprobe
besteht zwar eine ____ Korrelation im
Antwortverhalten auf die Items, aber diese ist „lokal“ nicht mehr _____ weil die Ursache (lat. Variable) für diese Korrelation nicht ______
O Tritt dieses Phänomen auf, nennt man die Items _____ und bezeichnet sie als
Indikatoren für die _____ Variable.

Zentrale Idee der IRT:
Lokale stochastische Unabhängigkeit. Was bedeutet diese noch einmal?

Lokale stochastische Unabhängigkeit
(LSU)
Wie überprüft man nun, ob LSU vorliegt?

Multiplikationstheorem für unabhängige
Ereignisse: Die __________für das gemeinsame Auftreten zweier Ereignisse entspricht dem ______ihrer _______________
(Bortz, 1993)

Multiplikationstheorem für unabhängige Ereignisse in anderen Worten:

Probabilistische Modelle:

Deterministische Modelle: Das Antwortverhalten ist vollständig durch die Item- und Personenparameter bestimmt.
Ein Beispiel für ein solches deterministisches Modell ist
das....?

Probleme mit dem Skalogramm-/
Guttman-Modell: Zuviele _______________ bei der Beantwortung der Items (= leichtes Items falsch, aber schwereres Item richtig beantwortet) sprechen gegen die
__________ und damit gegen die Annahme der _____________.
Das deterministische Guttman-Modell ist in der Regel viel zu _____. Man findet nur selten Daten, die diesen Anforderungen ______. Die meisten IRT-Modelle arbeiten deshalb mit
__________ IC-Funktionen, d.h. mit
Antwortwahrscheinlichkeiten zwischen null und eins.

Probabilistische Modelle
Zwischen dem Antwortverhalten des Probanden und den Personen- und Itemparametern besteht eine stochastische
Beziehung. Drei bekannte Modelle:

Das Birnbaum-Modell
Das Birnbaum-Modell enthält die drei schon
bekannten Parameter:

Das dichotome Raschmodell enthält nur zwei Parameter:

Unterschied Rasch und Birnenbaum: Dichotomes Rasch-Modell: λ wird konstant gehalten auf _.
Birnbaum-Modell: Verschiedene ________ für die Items durch unterschiedliche λ möglich.
Rasch-Modelle sind eine ganze Gruppe von Latent-Trait- Modellen (nicht nur dichotom) und haben eine Reihe von
Vorteilen:
1. LSU
2. erschöpfende _____
3. Stichprobenunabhängigkeit der
______________________
4. Spezifische ________ der Vergleiche

Was ist lokale stochastische Unabhängigkeit?

Wie werden grundsätzlich Modellparameter für eine Modellprüfung geschätzt?

Wonach erfolgt die Schätzung im Rasch-Modell ? (Personen- und Aufgabenparameter)

Parameterschätzung:
Wie berechnet man θv (ξv) und σi?

Erschöpfende Statistiken:
Durch Umformung der Likelihoodfunktion kann gezeigt werden:

Erschöpfende Statistik: Bei _________________ hängt also die
Wahrscheinlichkeit der Daten nicht davon ab, welche Items von welchen Personen gelöst wurden, entscheidend ist nur die ______ . Die Schwierigkeit eines Items ist nur davon abhängig, von wie vielen Personen es gelöst wurde aber nicht von welchen Personen (mit hoher oder
geringer Fähigkeit). Die Fähigkeit einer Person ist nur davon abhängig, wie viele Items sie gelöst hat aber nicht welche
Items (leichte oder schwere).
= implizite, nicht geprüfte Annahme der KTT!

Vorteile von Rasch-Modellen
1. Lok.
2. Ersch
3. Stich.
4. Spez

Stichprobenunabhängigkeit der
(Item-)Parameterschätzung: In der Praxis werden die Parameter mit Hilfe der
C-M-L-M________________________
geschätzt. Dabei können die Itemparameter nämlich ohne Berücksichtigung der _________________________ geschätzt werden. ksi entfällt also aus Formel.

Was überprüft die Conditional-Maximum-Likelihood-Methode

Stichprobenunabhängigkeit der
(Item-)Parameterschätzung: Was ermöglicht die Kalibrierung von Items an repräsentativen Stichproben?

Was ist der Vorteil der Kalibrierung von Items?

Spezifische Objektivität
Itemschwierigkeit

Spezifische Objektivität
Personenfähigkeit: Auch Vergleiche zwischen Peronen sind spezifisch objektiv denn, ....................?

Wenn man die Modellkonformität numerisch erfassen möchte kann man den L-Q-T.____________________________
Testt von Andersen machen. Dieser prüft, ob ?

Was besagt die Iteminformationsfunktion?

Was folgt aus der Iteminformationsfunktion und ist gleichzeitig die Idee des adaptivemn Testens ?

Was versteht man unter adaptiver Testung?

Beim adaptiven Testen wird aus einem rasch-homogenen Itempool nur welche Items vorgegeben?

Was sind die Vorteile des adpativen Testen?

Was sind die Nachteile des adpativen Testens?
+Entw.

Vergleich KTT – IRT
Zusammenhang zwischen Messwert und Merkmal:
d
p

Latent-Trait Modelle: Was ist die latente Variable? Was hängt von ihr ab? Wie wird die Beziehung zwischen manifesten Antworten und der Ausprägung der latenten Variablen beschrieben?

Warum werden Schwierigkeit und Fähigkeit
auf gemeinsamer Skala gemessen?

Wie sieht eine Itemcharakeristische FUnktion aus? Wo liest man die Schwierigkeit der Funktion ab?

Was zeigt innerhalb der ICF die Trennschärfe?