Statistik: Rückmeldung zur Rücklaufquote

[Rahel]

Hallo!

Habe mich hier vor einiger Zeit beraten lassen, ob Fragebogen zeitgerecht grundsätzlich auch online zur Verfügung gestellt werden müssen und ob sich die Rücklaufquote erhöht, wenn online geantwortet werden kann (finde den ursprünglichen Thread nicht mehr, wurde damals gebeten Rückmeldung zu geben). Unterdessen habe ich die Sache durchgezogen, traditionell (Sozialwissenschaft) nur mit der Papiervariante: 80% der angesprochenen Erwachsenen haben teilgenommen (2. Befragung), 55% der Jugendlichen (1. Befragung) haben geantwortet und ich hatte Zugriff auf 90% der Registerdaten. Es wurde v.a. aus situationsbedingten und persönlichen Gründen nicht geantwortet. Den Fragebogen online zur Verfügung zu stellen, hätte mir wahrscheinlich wenig geholfen. Ich hatte in Information investiert und die Personen teilweise zweimal angeschrieben.
Die Sache ist für mich somit gut gelaufen. Danke für die Hilfe.

LG Rahel
Edit Sebastian 29.12.2007: Titel fürs Archiv leicht geändert.

[acoma]

Hallo Rahel,
ich erinnere mich noch an die Diskussion, die wir in dem Thread hatten. Du hast
es also gar nicht erst mit einer zusätzlichen Online-Umfrage für die Jugendlichen
versucht, und das Ergebnis gibt Dir wohl recht: 55% bei den Jugendlichen ist doch
ein ganz gutes Ergebnis, hätte das gesteigert werden können durch Extra-Online.

Für diejenigen, die damals noch nicht dabei waren:
Es ging um die Frage, ob sich die Rücklaufquote bei Jugendlichen verbessern
läßt, wenn man ihnen alternativ zum Papier anbietet, am PC die Fragen online
zu beantworten. (Weil die Kids das eventuell erwarten, interessanter finden etc.)

Also scheint sich der zusätzliche Aufwand für so etwas nicht zu lohnen, oder die
Zeit ist anders besser verwandt.

Viele Grüße, Acoma

[Rahel]

Hallo Acoma

Danke! Ob sich der zusätzliche Aufwand in jedem Fall nicht lohnt, kann ich nicht sagen. Für mich hätte sich dieser wahrscheinlich nicht besonders gelohnt. Die Jugendlichen habe ich auch nur einmal angeschrieben und danach in Ruhe gelassen. Meine antwortende Stichprobe scheint sich dahingehend von der Grundgesamtheit zu unterscheiden, dass ich besonders viele antwortende Gymnasiastinnen und Gymnasiasten habe!? - Der Fragebogen war relativ umfangreich (gut 100 Fragen) und fragte teilweise relativ differenziert nach den Einschätzungen der Jugendlichen.

LG Rahel

[acoma]

besonders viele antwortende Gymnasiastinnen und Gymnasiasten habe!?

Ich würd das auf jeden Fall schecken, indem Du die Differenz zwischen den
Gymnasiasten und den Realschülern bzw. Hauptschülern machst. Auch wenn
nur 5% Hauptschüler dabei sind: Wenn die stark abweichen, könnte das wichtig
sein. Ich seh das sehr häufig, daß nach dem Bildungsniveau unterschieden wird,
und daraus Schlüsse gezogen werden.
Bei dem Thema ging es, wenn ich mich richtig errinnere, um Alkoholismus der
Angehörigen? Da gibt es sicher Vegleichsdaten, um festzustellen, ob Du eine
starke Verzerrung hast.

[Rahel]

Danke. Ich weiss, dass ich damit ein Problem habe (Meine Zielgruppe hat eine andere Diagnose. Alkoholismus wurde mir hier im Forum vorgeschlagen und hat die Sache insgesamt recht gut getroffen). Direkte Vergleichsdaten aus bisherigen Studien fehlen mir weitgehend. Gewisse Hochrechnungen sind aber schon möglich. Auch auf Grundlage der Theorie ist nicht anzunehmen, dass besonders viele aus dem Gymnasium in der Population zu finden wären (eher das Gegenteil). Ich werde beschreiben, dass ich hier eine Verzerrung habe. Eine solche hat man wahrscheinlich immer ...

LG Rahel

[acoma]

Ich werde beschreiben, dass ich hier eine Verzerrung habe. Eine solche hat man wahrscheinlich immer ...

Ist wohl so. Aber kommt es nicht darauf an, zu zeigen, daß die Gültigkeit der
Resultate trotzdem bestehen bleibt?
Nehmen wir mal z.B. Du argumentiest folgend:
Bei den Erwachsenen ergibt sich sowohl in der 1. postalischen Befragung als auch
bei der 2. post. Befrag. folgendes Bild... die ergänzenden Interviews bestätigen ...,
daß, usw.
Bei den dazugenommenen Jugendlichen ergibt sich jedoch etwas völlig anderes:
Die Jugendlichen haben im Gegensatz zu den älteren eine andere Einstellung bezügl.
usw.[FN 1]

FN 1. Jedoch sind die Daten nicht repräsentativ, da fast nur Gymnasiasten geantwortet
haben, die Population enthält jedoch 80% Hauptschüler.

Da kannst Du dann ja gleich drauf pfeifen, die Gruppe der Jugendlichen mit einzubeziehen.

Ich glaube, da sind Argumente wie: Hätten mehr Hauptschüler geantwortet, sie
würden das gleiche geantwortet haben wie die Gymnasiasten, erforderlich.
Es muß plausibel gemacht werden, daß von den erhaltenden Daten auf die gesamten
Jugendlichen geschlossen werden kann. Sonst ist das ein Punkt, der Deine Arbeit
angreifbar macht.

[Rahel]

Acoma, natürlich hast du recht. Ich weiss noch nicht, wie weit sich die antwortenden Hauptschüler von den Gymnasiasten unterschieden. Das habe ich alles noch vor mir. Es wäre schön, wenn ich die Repräsentativität auch bei den Jugendlichen aufzeigen könnte. Bei den Erwachsenen ist sie durch die hohe Rücklaufquote weitgehend gegeben; bei den Jugendlichen habe ich immerhin mehr als die Hälfte, was für solche sozialwissenschaftliche Studien bereits viel ist und auf jeden Fall relevante Aussagen zulässt. Wenn es mir jedoch nicht gelingt, schlüssig aufzuzeigen, dass die antwortenden Jugendlich repräsentativ für alle angeschriebenen sind, so denke ich, dann kritisiere ich mich schon lieber gleich selbst ...?

[acoma]

Also ich weiß nicht, Selbstkritik würde ich möglichst vermeiden, sondern
unangebrachter Kritik anderer vorbeugen. Wenn die Daten nicht repräsentativ sind,
(und ersatzweise eine Plausibilisierung nicht klappt) dann kannst Du
meiner Meinung nach nicht so tun, als ob es doch so wäre.
Aber deswegen sind die Daten ja nicht wertlos. Oft ist Repräsentativität gar nicht nötig.
Ich würde aus den Interviews von den Jugendlichen rausholen, was
irgend geht. Wenn Du z.B. vermeidest, zu schreiben: Alle Judendlichen, und statt
dessen z.B.: Bei den Jugendlichen, die ich diesmal ergänzend befragt habe, zeigt
sich auch xy. , jedoch andererseits unterscheidet sich ....etc. Das kann sehr wertvoll sein:
Die Resultate vorzustellen, zu interpretieren, mit dem anderen zu kontrastieren usw.
Dann machst Du bei Gelegenheit eine Fußnote mit einer Einschränkung.
Vermeide dort Wörter wie z.B. "leider". Sondern da schreibst Du z.B.: Die Daten sind
zwar nicht repräsentativ, wegen xy, aber trotzdem scheint es mir erlaubt, die und
die Schlüsse gezogen zu haben. Laber Laber.
(Was bei solchen Sachen immer gefährlich ist, ist der weitgehende Schluß, auf den sich
viel baut, was dann alles zusammenfallen würde, wenn die Gültigkeit der Daten
wegfällt.)

Außerdem gibt es noch die Möglichkeit, selber die Wahrheit über die Jugendlichen
zu kennen, (z.B. auf Grund einer nicht repräsentativen Umfrage in Ergänzung mit
persönlicher Erfahrung.), aber dieses Wissen kannst Du nicht direkt als Argument
einbringen, sondern die Wahrheit anders begründen, mit anderen Daten, woher
auch immer, die den Ansprüchen oder Vorschriften besser genügen.) Du kannst
die gesamte Interpretation Deiner Daten (obwohl offiziell nur die Erwachsenen
Berücksichtigung finden) eventuell tendenziell so hinziehen, daß die Ergebnisse
von den Jugendlichen Berücksichtigung finden. Statistik ist doch sowieso alles
Hokospokus.

[Rahel]

Ich stelle mir das Ganze ziemlich genau so vor, wie du das auch schreibst. Repräsentativ steht ja immer im Zusammenhang mit "Repräsentativ wofür". Ich brauche die Jugendlichen als Ergänzung zu den Erwachsenen. Im Sinne von, wo sie sich unterscheiden und was in Zukunft noch genauer zu betrachten wäre ...

Sorgfältig mit der Selbstkritik zu sein, ist sicher wichtig und solche "Leiders" werde ich auch nicht brauchen. Die Wertung werde ich selbst besser nicht vornehmen. Ich möchte vor allem beschreiben: Wer die Antwortenden sind und wie viele von Ihnen was sagen/ankreuzen usw.

Jetzt versuche ich erst Mal den Hokuspokus ...

Herzlich Danke, Rahel

[acoma]

Was vielleicht aus diesem Dialog für alle interessant ist (abgesehen davon,
ob sich online-befragung lohnt):
Die Rücklaufquote für sich allein bedeutet nicht viel. Davor liegt die Auswahl
derjenigen, die angeschrieben werden, oder sonst wie zur Teilnahme motiviert
werden.
Ich hab diesbezüglich nur theoretische Kenntnisse, aber soviel ich weiß,
je strenger die Auswahl der Interviewten ist, desto dünner fällt die Rücklauf-
quote aus.
Letzlich, egal wie die Daten beschafft wurden, und welches ihre Qualität ist:
Kann ich interpretieren, bin ich in der Lage, zu urteilen, und Urteile mittels der
Daten zu begründen? Darauf allein kommt es an.
Manchmal genügt allein die Nase, und ein bißchen Beischaffung von Material,
und schon steht die These, sowie empirischer "Beipack", an dem die Kritiker dann lange
knappern, macht nicht viel Spaß das Knappern, wenn es sich um Granit handelt ...