Die Validität

Mit Validität (lateinisch validus ,kräftig‘, ,wirksam‘; englisch validity; auch: Gültigkeit) wird in erster Linie das argumentative Gewicht einer (vornehmlich wissenschaftlichen) Aussage, Untersuchung oder Theorie bezeichnet.

Wird Wissenschaft als System zur Erzeugung und Verfeinerung von Annahmen über Ursache-Wirkungs-Zusammenhänge verstanden, bezeichnet Validität die Gültigkeit bzw. Belastbarkeit dieser Annahmen. Im Gegensatz zur grundsätzlichen Falsifizierbarkeit (Widerlegbarkeit) und Verifizierbarkeit (Belegbarkeit) einer wissenschaftlichen Aussage ist Validität ein (abgestuftes) Gütekriterium für die Belastbarkeit einer bestimmten Aussage. Im Rahmen empirischer Untersuchungen bezieht sich Validität aber auch auf die Güte der Operationalisierung der in den Kausalmodellen beschriebenen einzelnen Faktoren, den Konstrukten.

Validität ist also einerseits die Belastbarkeit der Operationalisierung („Inwieweit misst das Testinstrument das, was es messen soll?“), andererseits die Belastbarkeit der auf den Messungen beruhenden Aussagen oder Schlussfolgerungen („Inwieweit trifft es zu, dass X Y beeinflusst?“).

Validität als Gütekriterium für Messinstrumente

Bei guten Messinstrumenten sind die Messwerte unabhängig vom Messenden; dieses Gütekriterium heißt Objektivität oder Beobachterübereinstimmung. Auch liefern gute Messinstrumente zuverlässig von denselben Objekten dieselben Messwerte; dieses Kriterium heißt Reliabilität oder Reproduzierbarkeit. Das dritte Gütekriterium, die Validität, ist ein Maß dafür, ob die bei der Messung erzeugten Daten wie beabsichtigt die zu messende Größe repräsentieren. Nur dann können die Daten sinnvoll interpretiert werden. Die Validität wird durch Experten-Schätzung festgelegt. Die Gütekriterien bauen aufeinander auf; ohne Objektivität keine Reliabilität, ohne Reliabilität keine Validität.
Validität als Gütekriterium für psychologische Tests

Psychologische Tests können als Messinstrumente betrachtet werden; daher sind Objektivität, Reliabilität und Validität auch die wichtigsten Gütekriterien psychodiagnostischer Verfahren. In ihren Technical recommendations for psychological tests and diagnostic techniques (1954) schlug die American Psychological Association vier Arten der Validität vor, diese sind Inhaltsvalidität, Konstruktvalidität und prognostische und diagnostische Kriteriumsvalidität, von denen „historisch und praktisch gesehen […] die kriteriumsbezogene Validität der bedeutsamste Aspekt“[1] ist. „Die Übereinkunft durch ein Rating ist wie alle Übereinkünfte nicht etwas Abgeschlossenes, sondern kann einem ständigen Wandel unterworfen sein. […] Es bleibt dabei jedem Testinterpreten überlassen, dieses Kriterium anzuerkennen oder zu verwerfen bzw. nach einem besseren zu suchen.“[2]
Beispiel

Als Standardbeispiel wird oft der Intelligenztest herangezogen. Betrachtet man die drei Gütekriterien Objektivität, Reliabilität und Validität, so sei für dieses Beispiel angenommen, dass die ersten beiden Gütekriterien gut erfüllt seien: Der Intelligenztest ist so konstruiert, dass sein Ergebnis (fast) unabhängig vom Testleiter ist (Objektivität) und das Testergebnis sich auch wiederholen lässt (Reliabilität). Die Validität, also die Gültigkeit, des Testverfahrens wird aber oft bezweifelt, wenn kritisiert wird, dass der Intelligenztest keine (genaue) Aussage über die wahre Intelligenz (das heißt das Konstrukt „Intelligenz“) mache und sich Intelligenz also gar nicht auf diese Weise messen lasse (siehe auch Kritik am Intelligenzbegriff).
Inhaltsvalidität
→ Hauptartikel: Inhaltsvalidität

Inhaltsvalidität (engl. content validity) wird angenommen, wenn ein Verfahren zur Messung eines bestimmten Konstrukts oder Merkmals die bestmögliche Operationalisierung dieses Konstrukts ist. Das ist zum Beispiel bei Interessen- und Kenntnistests der Fall: Eine Klassenarbeit oder Führerscheinprüfung repräsentieren direkt die zu messenden Fähigkeiten. Daher spricht man auch von logischer oder trivialer Validität. Ob Inhaltsvalidität gegeben ist oder nicht, entscheiden Experten per Rating.
Konstruktvalidität
→ Hauptartikel: Konstruktvalidität

Unter dem Begriff Konstrukt werden theoretische Eigenschaftsdimensionen (latente Variablen) verstanden. Konstruktvalidität bezieht sich auf die Zulässigkeit von Aussagen aufgrund der Operationalisierung über das gesamte dahinter liegende Konstrukt. Dies ist in der Regel dann der Fall, wenn der Bedeutungsumfang des Konstruktes vollständig, präzise und nachvollziehbar abgebildet ist. Als empirische Indikatoren der Konstruktvalidität gelten die konvergente und diskriminante (oder auch: divergente) Validität:

Konvergenzvalidität
Die Messdaten von Testverfahren, die dasselbe Konstrukt abbilden, müssten hoch miteinander korrelieren.
Diskriminanzvalidität
Die Messdaten von Testverfahren, die verschiedene Konstrukte abbilden, sollten nur gering miteinander korrelieren (sofern die Konstrukte auch tatsächlich voneinander unabhängig sind).

Sowohl konvergente als auch diskriminante Validität müssen gegeben sein, um einen vollständigen Nachweis der Konstruktvalidität zu gewährleisten. Das empirische Vorgehen bei der konvergenten und diskriminanten Validität sind Spezialfälle der Kriteriumsvalidität.

Bei der Multitrait-Multimethod-Analyse werden die konvergente Validität und die diskriminante Validität anhand einer einzigen Stichprobe miteinander verglichen. Dabei wird verkürzt gesagt erwartet, dass die konvergente Validität größer ist als die diskriminante Validität.

Faktoren für eine verminderte Konstruktvalidität können sein:[3]

vage Definition des Konstruktes
mono-operation bias: nur ein Aspekt des Konstruktes wird untersucht
mono-method bias: nur eine Methode wird zur Operationalisierung des Konstruktes verwendet
Hypothesenraten (Hawthorne-Effekt)
soziale Erwünschtheit
Erwartungen des Versuchsleiters (Rosenthal-Effekt)
Auslassen relevanter Faktorstufen
mehr als eine unabhängige Variable ist wirksam (siehe Konfundierungseffekt)
Wechselwirkung zwischen Messung und Behandlung
eingeschränkte Generalisierbarkeit auf ähnliche Variablen

Kriteriumsvalidität

Kriteriumsvalidität bezieht sich auf den Zusammenhang zwischen den Ergebnissen des Messinstruments und einem empirischen Kriterium (Schnell, Hill & Esser, 2005, S. 155). Zum Beispiel: Ein Forscher untersucht den Zusammenhang seines neuen Intelligenztests mit den Schulnoten der Probanden, um die Gültigkeit seines Tests zu prüfen. Von „innerer (Kriteriums)validität“ wird dabei dann gesprochen, wenn als Kriterium ein anderer, als valide anerkannter Test herangezogen wird. Sofern als Kriterium ein objektives Maß (zum Beispiel psychophysiologische Maße oder ökonomische Größen) oder ein Expertenrating herangezogen wird, wird von äußerer (Kriteriums)validität gesprochen. Auch lässt sich unterscheiden nach dem Zeitpunkt, zu dem Übereinstimmung mit dem Kriterium vorliegen soll:

Diagnostische Validität/Übereinstimmungsvalidität (concurrent validity)
Das Außenkriterium, das bereits valide sein muss (z. B. ein anderer Test) wird zeitgleich mit dem zu validierenden Messinstrument den gleichen Versuchspersonen dargeboten. Die Ergebnisse der beiden Messinstrumente werden korreliert. Die Höhe der Korrelation ist das Maß für die Übereinstimmungsvalidität. Das Vorgehen zur Ermittlung der konvergenten und der diskriminanten Testvalidität sind Spezialfälle dieser Kategorie.
Prognostische Validität/Vorhersagevalidität (predictive validity)
Die Messdaten werden zu einem Zeitpunkt erhoben, der vor der Erhebung des Außenkriteriums liegt. Im Unterschied zur Übereinstimmungsvalidität liegt bei der Bestimmung der Vorhersagevalidität das Prognoseintervall zwischen den beiden Messungen. So kann der Grad bestimmt werden, in dem die Messdaten das Kriterium vorhersagen. Zum Beispiel kann im Rahmen eines Assessment-Centers eine Prognose für beruflichen Erfolg gestellt werden, oder aus der Leistung in einem Intelligenztest wird der spätere Schulerfolg vorhergesagt. Ein Test erfüllt die Vorhersagevalidität, wenn seine Vorhersagen hoch mit dem tatsächlich später eingetretenen Ergebnis korrelieren.

Augenscheinvalidität

Augenscheinvalidität, auch als face validity bezeichnet, hängt davon ab, ob ein Messinstrument auch Laien plausibel erscheint. Augenscheinvalidität sagt nichts über die tatsächliche Validität, also die Inhalts-, Kriteriums- und Konstruktvalidität aus, sondern bestimmt über die Akzeptanz für ein Messverfahren. Auch sehr wenig valide Messinstrumente (wie z. B. unstrukturierte Einstellungsinterviews) erfreuen sich hoher Augenscheinvalidität und werden in der Praxis deshalb häufig eingesetzt.
Validität von Aussagen über Kausalzusammenhänge

Aufbauend auf den auf einzelne Konstrukte bezogenen Operationalisierungen ziehen in den meisten empirischen Studien Forscher erst in der statistischen Auswertung und danach im Hinblick auf ihre Kausalhypothesen Schlussfolgerungen über Ursache-Wirkungs-Zusammenhänge. Die Begriffe der statistischen, internen und externen Validität beziehen sich auf das Zustandekommen, die Gültigkeit und die Übertragbarkeit dieser (induktiven) Schlüsse. Der Validitätsgrad dieser Schlüsse lässt sich jeweils nur diskutieren und abschätzen, niemals beweisen, und es ist darum – wie gehabt – sinnvoller, eher vom Validitätsgrad zu sprechen als vom Vorhandensein (oder Nicht-Vorhandensein) dieser Validitätsformen.
Statistische Validität

Für Aussagen oder in empirischen Studien gezogene Schlussfolgerungen (in der Regel über Ursache-Wirkungs-Verhältnisse) wird ein hoher Grad an statistischer Validität angenommen, wenn die Reliabilität und Teststärke der Messinstrumente und gewählten statistischen Verfahren hoch ist und allgemein die Fehlervarianz begrenzt wurde, die mathematischen Annahmen der statistischen Methoden nicht verletzt wurden und nicht einzelne Signifikanzen (zum Beispiel aus einer Korrelationsmatrix) „herausgefischt“ wurden (Fishing).
Interne Validität

Für Aussagen oder in empirischen Studien gezogene Schlussfolgerungen wird ein hoher Grad an interner Validität angenommen, wenn Alternativerklärungen für das Vorliegen oder die Höhe der gefundenen Effekte weitestgehend ausgeschlossen werden können. Interne Validität (oder Ceteris-paribus-Validität) liegt vor, wenn die Veränderung der abhängigen Variable eindeutig auf die Variation der unabhängigen Variable zurückgeführt werden kann (keine Alternativerklärung). Um dies zu gewährleisten, müssen Störvariablen kontrolliert bzw. durch verschiedene Methoden wie Elimination, Konstanthaltung und Parallelisierung ausgeschaltet werden. Damit die Effekte nicht auf Merkmale der Probanden zurückgeführt werden können, müssen diese zufällig den Versuchsbedingungen zugeteilt werden.

Die interne Validität wird gefährdet durch:[3]

Geschichte. Jedes ungeplante Ereignis zwischen zwei Messungen kann einen ungewollten Einfluss auf die Probanden haben. Beispiel: Bei der ersten Messung, vor der Behandlung mit einem neuen Antidepressivum, ist das Wetter kalt und regnerisch, bei der zweiten Messung, die eine Wirkung des Medikaments prüfen soll, ist das Wetter warm und sonnig.
Reifung. Probanden ändern sich allein durchs Älterwerden zwischen zwei Messungen.
Reaktivität. Probanden reagieren eventuell auf die Messungen selbst, zum Beispiel mit Habituation oder Sensitivierung, insbesondere wenn der Messvorgang unangenehm ist.
Veränderung beim Messinstrument. Während einer Studie können sich die Eigenschaften der Messinstrumente, einschließlich der messenden Personen, ändern. Diese können zum Beispiel durch Erfahrung genauer oder durch wachsende Langeweile ungenauer messen. Auch kann die abhängige Variable durch die Behandlung in einen Wertebereich gelangen, in dem das Messinstrument weniger genau ist. Dadurch kann es zu Boden- oder Deckeneffekten kommen. Beispiel: Um die Wirkung eines kognitiven Trainings für Kinder zu messen, wird ein Intelligenztest verwendet. Das Training ist so erfolgreich, dass die Kinder bei der zweiten Messung alle die volle Punktzahl erreichen.
Regression zur Mitte. Dieses statistische Artefakt kann Behandlungseffekte überlagern, wenn man, zum Beispiel um Boden- oder Deckeneffekte zu verhindern, Probanden mit besonders hohen (oder niedrigen) Anfangswerten im betreffenden Merkmal von vornherein ausschließt.
Selektion durch mangelhafte Randomisierung. Ist die Zuordnung der Probanden zu den Versuchsbedingungen nicht zufällig, können sich Experimental- und Kontrollgruppe schon vor der Behandlung unterscheiden, sodass die Messung des Behandlungseffektes verfälscht wird. Zudem können sich Geschichts-, Reifungs- und Instrumenteneffekte auf die Gruppen in unterschiedlicher Weise auswirken.
Ausfall. Wenn Probanden während der Studie wegfallen, kann dies an der Behandlung liegen. Die bei der zweiten Messung kleineren Gruppen sind Ergebnis einer ungewollten Selektion.
Richtung des Kausalschlusses. Ein Kausalzusammenhang zwischen unabhängiger und abhängiger Variable wird zweifelhaft, wenn (in einer anderen Studie) ebenfalls ein Effekt von der abhängigen auf die unabhängige Variable gefunden wird und diese Korrelation nicht durch eine dritte Variable erklärt werden kann.
Informationsaustausch. Wenn Probanden zwischen den Messungen interagieren (zum Beispiel „Ich glaube, ich gehöre zur Placebogruppe“), kann dies Auswirkungen auf den nächsten Messvorgang haben. Effekte der Konformität können die Effekte der Behandlung überlagern; oder eine Gruppe reagiert darauf, dass ihre Versuchsbedingungen viel unangenehmer sind als die der anderen Gruppe, zum Beispiel mit Kompensation oder Demotivation.
Rosenthal-Effekte. Der Versuchsleiter verrät unbewusst durch Gestik, Mimik und Wortwahl mehr über das Experiment, als die Versuchsperson wissen darf. Dabei lassen sich Autosuggestion und Suggestion unterscheiden. Bei ersterer erhebt der Versuchsleiter bei allem bewusstem Bemühen um Neutralität tendenziell Daten, die seine Vorerwartungen und Hypothesen stützen. Bei der Suggestion teilen sich diese Erwartungen der Versuchsperson mit, die gemäß den Vorerwartungen des Versuchsleiters handelt und passende Daten liefert (good subject effect).

Im Englischen existiert hierzu die Eselsbrücke THIS MESS. Dieses Akronym bezieht sich auf acht Faktoren, die Gefährdungen der internen Validität darstellen, nämlich Testing (vgl. Reaktivität), History (Geschichte), Instrument change (Veränderung beim Messinstrument), Statistical Regression toward the mean (Regression zur Mitte), Maturation (Reifung), Experimental mortality (Ausfall), Selection (Selektion durch mangelhafte Randomisierung) und Selection Interaction (Wechselwirkung zwischen Selektion und einem anderen Faktor, z. B. Reifung nur in der Experimentalgruppe).[4]
Externe Validität

Die externe Validität – auch Allgemeingültigkeit, Verallgemeinerungsfähigkeit oder ökologische Validität (vgl. Ökologischer Fehlschluss) – bezeichnet die Übereinstimmung von tatsächlichem und intendiertem Untersuchungsgegenstand. Grundidee ist hier die Frage nach der Generalisierbarkeit (Induktion). Nach der klassischen Sicht haben Aussagen oder in empirischen Studien gezogene Schlussfolgerungen einen hohen Grad an externer Validität, wenn sich die Resultate (a) auf die Grundgesamtheit verallgemeinern lassen, für die die Studie konzipiert wurde, und (b) über das konkrete Setting der Studie hinaus auf andere Designs, Instrumente, Orte, Zeiten und Situationen übertragen lassen, also allgemeingültig, verallgemeinerungsfähig sind. Die häufigste Gefährdung der personenbezogenen externen Qualität (a) liegt in praktischen Problemen bei der Rekrutierung der Informationsträger, also der Personen, die befragt werden, oder der für ein Experiment benötigten Versuchspersonen. Ist ihre Teilnahme erzwungen oder freiwillig? Wie haben sie von der Teilnahmemöglichkeit erfahren (durch Zeitungsanzeige, Aushang usw.)? Was motiviert sie zur Teilnahme (interessiert sie das Thema, brauchen sie das Geld usw.)? Dies sind Filter, die die Qualität der Stichprobe einschränken können. Die häufigste Gefährdung der situationsbezogenen externen Qualität (b) liegt in der Künstlichkeit von Laborexperimenten.[5]

Die externe Validität erhöht sich mit jeder erfolgreichen Replikation der Befunde, denn durch die Wiederholung mit anderen Probanden (Altersgruppe, Geschlecht, Kultur usw.) oder Variationen der Versuchsbedingungen werden die Einschränkungen für die Gültigkeit der Befunde geringer. Beispiel: Solange Pawlow nur gezeigt hatte, dass Hunden beim Erklingen einer Glocke das Wasser im Munde zusammenläuft, wenn die Glocke zuvor oft genug gleichzeitig mit der Gabe von Futter erklang, hat er eben nur das gezeigt. Vom Phänomen der klassischen Konditionierung kann man erst sprechen, wenn viele Arten von Subjekten viele Arten von bedingten Reaktionen auf viele Arten von bedingten Reizen zeigen. Für die statistische Auswertung von Replikationsstudien steht die Methode der Metaanalyse zur Verfügung.

Aus dieser klassischen Sicht stehen interne und externe Validität im Widerstreit: Ein hohes Maß an interner Validität erreicht man am besten durch hochkontrollierte und deshalb recht künstliche (Labor-)Bedingungen. Besonders realitätsnahe Forschungsdesigns bergen hingegen die Gefahr unkontrollierbarer oder übersehener Störeinflüsse. Aus einer deduktivistischen Perspektive ist dies jedoch nur ein scheinbarer Widerspruch. Da beide Kriterien aus einer induktivistischen Forschungslogik heraus entwickelt wurden, steht die Generalisierung empirischer Befunde (bspw. aus einem Experiment) im Vordergrund. Hier ist die Frage nach der Replizierbarkeit der Ergebnisse unter verschiedenen Bedingungen mit verschiedenen Stichproben eine sinnvolle Frage. Eine deduktivistische Forschungslogik verfolgt jedoch ein anderes Ziel. Hier wird versucht, eine (allgemeingültige) Theorie anhand einer speziellen Vorhersage zu falsifizieren, nicht, wie in einer empiristischen Forschungslogik, eine Theorie durch genügend Beobachtungen zu verifizieren. Widerspricht nach dieser Logik die Beobachtung der Theorie, gilt diese als falsifiziert. Hierbei ist es irrelevant, ob die Ergebnisse in irgendeiner Weise „repräsentativ“ sind. Bestätigt sich die Vorhersage einer Theorie in einem Experiment, gilt die Theorie als bewährt, muss aber weiteren Prüfungen unterzogen werden. Einwände, die die Gültigkeit der Ergebnisse des Experiments in Frage stellen, sind Einwände gegen die interne Validität des Experiments.

Das Forschungsdesign hat einen großen Einfluss auf die Zulässigkeit und Gültigkeit der Kausalschlüsse, darum werden die Validitäten bei experimentellen und quasi-experimentellen Forschungsdesigns immer kritisch hinterfragt.
Validität in der biologischen Nomenklatur

Der Begriff „Validität“ bezieht sich in der biologischen Nomenklatur auf die formale Gültigkeit eines Taxons (eine systematische Einheit von Lebewesen). Die Gültigkeit ist gegeben, wenn die Erstbeschreibung des Taxons den entsprechenden formalen Ansprüchen genügt (in der Botanik als „gültige Publikation“ bezeichnet). In diesem Fall gilt auch der für das Taxon gewählte Name als „valide“ (gültig). Ist der vergebene Name des Taxons aufgrund formaler Mängel nicht valide, handelt es sich bei diesem Namen um ein Nomen nudum.

Siehe auch

Testtheorie
Erkenntnistheorie
Validierung
Datenvalidierung in der EDV

Quelle - literatur & einzelnachweise