Außenkriterium bei Sensitivitä < Psychologie < Geisteswiss. < Vorhilfe
|
Hallo,
erstmal das Formelle:Ich habe diese Frage in keinem weiteren Forum gestellt 
Ich stehe vor einem methodischen Problem, wie folgt: Wenn ich einen Test der Rechtschreibschwache Kinder erkennen soll hinsichtlich seiner Sensitivität überprüfen möchte, dann brauch ich ein Außenkriterium, daß das Testergebnis in irgendeiner Weise kontrolliert. Weiß jemand ob es reicht, wenn ich die Lehrereinschätzung erhebe. Und wenn dies reicht ist es besser Noten, die schon gegeben wurden zu skalieren der ist es objektiver, wenn ich einen neue Skala angebe, auf die Schreibleistung des jeweiligen Schülers eingerated werden soll.
Wenn jemand etwas zu diesem Problem weiß (Kontrolle des Außemkriteriums bei Prüfung der Sensitivität9, bin ich um Antwort dankbar.
Viele Grüße Christini
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 12:12 Do 16.09.2004 | | Autor: | rudolf |
Hallo Christini,
Sensititvität meint die Testempfindlichkeit. Deine Frage betrifft die Validität, d.h. die Frage, ob der Test überhaupt das mißt, was er messen möchte.
In Deinem Fall wäre das direkte Kriterium die Anzahl der Rechtschreibfehler. Der Test ist gut, wenn Leute mit wenig Fehlern gut abschneiden und Leute mit viel Fehlern schlecht abschneiden. Die Note ist z.B. insofern geeignet, als in sie viele "Realtests" gehen. Deshalb sollte zwischen Noten und Testleistung bei entsprechender Polung eine positive hohe Korrelation bestehen. Wenn man den quantitativen Beziehungen im Detail nicht so recht traut, kann man erstmal drei Gruppen bilden: gute (> 3. Quartil), mittlere (<1. und <3.Quartil), schlechte Leistung (< 1. Quartil) bilden.
Sind mehrere Kriterien leicht zu erheben, sollte man mehrere erheben, um sodann das oder die besten empirisch zu ermitteln. Die hohe Kunst der Testkonstruktion besteht praktisch meist darin, repräsentative Aufgaben zu finden. Ein Test ja so etwas wie eine Stichprobe.
So viel erst mal.
Rudolf
|
|
|
| |
|
Hallo Rudolf,
zu Anfang vielen Dank für Deine Hilfe. Trotzdem bleiben bei mir noch Fragen übrig. Vieleicht darf ich noch eine stellen oder zwei ...
Beeinhaltet die Validität dann keine Sensitivität? Denn wenn ich die Lehrereinschätzung mit dem Testergebnis korreliere erwarte ich, wie Du schon gesagt hast, eine hohe Korrelation. Und ich habe als Erläuterung für Sensitivität gefunden, daß es die Wahrscheinlichkeit ist einen rechtschreibschwachen Schüler zu haben, unter der Bedingung das der Test positiv ist. Diese Wahrscheinlichkeit will ich vergleichen indem ich zwei Rechtschreibtests durchführe und deren Ergebnisse vergleiche, dann kann ich ja nur über die Sensitivität argumentieren, welcher besser oder evtl. zu schwer ist. Das heißt ich muß irgendeine Kontrolle finden, die genau dies feststellt und es scheint schwierig Außenkriterien zu finden. Denn die Note erschien mir eben auch etwas schwammig.
Vieleicht ist es sinnvoll mehrere Außenkriterien zu erheben, die dann miteinander zu korrelieren um Variablen wie Konzentrationsleistung, Leseleistung, Legastheniediagnose, Übungsaufwand heranziehen zu können. Nur bin ich mir eben immer noch nicht sicher, ob das dann auch die Sensitivität kontrolliert und nicht wieder nur Aussagen über die Validität macht.
Wenn Dir oder jemand Anderem dazu was einfällt bin ich um eine Diskussion echt dankbar.
Grüße Christini
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 15:11 Do 16.09.2004 | | Autor: | rudolf |
Hallo Christini,
zwischendurch: das hört sich nach einem Bayes-Problem an. Wenn Du Dir mal meine Bayes-Seite anschaust, da ist ein Beispiel. Trifft es das?
http://www.sgipt.org/wisms/statm/bayes-1.htm
Frag ruhig, ich kann nur nicht immer ganz schnell antworten. Wenn's zu lange dauert: einfach meckern (ich bin da nicht empfindlich)
Rudolf
|
|
|
| |
|
moin rudolf,
von wegen es dauert bis Du antwortest
Die Seiten sind gut. Ich kann zwischendrinne immer wieder dort antworten finden. Was mich nicht losläßt ist die Frage der Kontrollmöglichkeit. Also Wenn Sensitivität > die Wahrscheinlichkeit beschreibt, daß ein Merkmalsträger im Test positiv ist < super definition übrigens, dann hieße das die Sensitivität eines Rechstschreibtests ist hoch, wenn alle Kinder die nicht gut schreiben können auch erfasst werden, durch ein schlechtes Testergebniss mit entsprechenden Vergleichen in der Normierungstabelle. Was ist dann nur der Unterschied zur Validität? Die soll ja testen wie gut schreibschwache Kinder erfasst werden. Denn mißt der Test was er messen soll, dann findet er auch die schwachen Kinder durch schlechte Testergebnisse. Wenn sich also Sensitivität und Validität bedingen, dann ist die Kontrollmöglichkeit ja relativ einfach, denn dann kann ich mich an vorgegebenen Werten orientieren, sprich Schulnote, Einschätzung durch die Lehrer und so weiter. Wenn aber die Sensitivität etwas ganz eigenständiges ist und so klingt es in der Literatur immer wieder, dann muß ich ja die Kontrolle anders umsetzten, dann muß ich eventuell, von den Normen unabhängige Daten erheben um eine möglichst Objektive Einschätzung zu kriegen. Denn wenn ein Test z. B. zu schwer ist, und er mehr Kinder, durch seine Normierung als rechtschreibschwach einschätzt als sie es sind, dann kann ich mich ja nicht nach dieser Richten. Baut sich die Normierung aber aus Schulnotenvorhersage und Lehrereinschätzung und so was auf, dann wird es schwierig eine Kontrollmöglichkeit zu finden, die nicht mit den anderen Normdaten konfundiert.
Ich bin mitlerweile soweit, daß ich nicht nur die Lehrer sondern auch Eltern und Kinder nach ihrer Einschätzung frage um mir dann die korrelativ besten Daten herauszusuchen. Nur sind diese Ratings immer so schwierig einzuschätzen und bei N>80 auch so sehr schwankend.
Je mehr man weiß, umso mehr Fragen hat man.
Vieleicht hast Du ja noch ne Idee oder Meinung.
Macht jedenfalls Spaß sich da durchzuwurschteln.
Grüße Christini
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 12:21 Fr 17.09.2004 | | Autor: | rudolf |
Hallo Christini,
der guten Ordnung halber präszisiere ich noch mal:
Mit Sensitivität ist die bedingte Wahrscheinlichkeit gemeint, unter der Bedingung Merkmalsträger zu sein im Test "positiv" abzuschneiden. Bei einem guten Test könnte diese 0,9 oder besser sein.
Um die Sensivität berechnen zu können muß man die relative Häufigkeit der Merkmalsträger kennen (oder schätzen); diese Zahlen muß man sich aus den Epidemiologieveröffentlichungen holen. Meist gibt es verschiedene, dann kann man einen Mittelwert bilden. Im Grunde wird hier vorausgesetzt, daß die Anzahl der Merkmalsträger bekannt ist (wozu braucht man dann noch einen Test könnte man etwas ketzerisch fragen).
Wir sollten in der Diagnostik ja immer vier Fälle bedenken: richtig positive, falsch positive, richtig negative, falsch negative. In der Psychologie ist diese Denkweise leider nicht verbreitet. Die Zahlen hierzu ergäben ein ziemlich vollständiges Bild der diagnostischen Leistung eines Tests.
Ich habe das allgemeine Diagnostik-Problem bearbeitet unter:
http://www.sgipt.org/diagnos/wif.htm
So viel erst mal wieder.
|
|
|
| |
|
Hallo Rudolf,
scheinbar gab es Serverschwierigkeiten ,ich kam lange nicht ins Netz.
Es hat sich viel getan. Die Sensitivität ist mir klar, habe die epidemiologischen daten gefunden, es gibt zwar keine isolierten zu Rechtschreibschwäche, kann mich aber an den der Legasthenie orientieren.
Die liegt konventioneller Weise zwischen 5 und 10 %. Ich möchte mien Testung aber konservativer haben und denke, daß die Leistungen im Schreiben der Kinder Deutschlandweit normalverteilt ist. Damit lege ich mich fest, daß ich 68% um den Mittelwert herum als nicht rechtschreibschwach ansehe, sondern nur die untersten 16 %.
Jetzt kommt meine Frage zu den Hypothesen:
Kann ich dann sagen, alles was der Test, den ich für schwer halte, liefert mir signifikant mehr als 16% rechtschreibschwache Kinder? Kann ich so argumentieren?
Vieleicht kannst Du mir darauf Antwort geben?
Danke Grüße Christini
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 00:18 Do 30.09.2004 | | Autor: | rudolf |
Guten Abend Christini,
Im Zusammenhang und in Anschluß an das Sensitivitätskriterium steht die Ermittlung an, wie viele MerkmalsträgerInnen sind im Test positiv?
Das macht man gewöhnlich so, daß man eine Gruppe von bestgesicherten MerkmalsträgerInnen auswählt und denen den Test präsentiert.
Als Ideal-Kriterium bietet sich das Minimum an, das alle der bestgesicherten MerkmalsträgerInnen zeigen. Es ist aber nicht sicher, ob es ein solches Minimum gibt. Gäbe es ein solches Minimum für alle (bezeichnet man manchmal auch als cut off) hätte der Test bezüglich des Minimums eine 100%ige Sensitivität unter der Voraussetzung, daß keine falsch positiven MerkmalsträgerInnen enthalten sind.
Rudolf
|
|
|
|
![[]](/images/popup.gif){kind=small}
http://www.medizin.fu-berlin.de/klinphys/bioinfo/v_biometrie_skript_3.pdf