Eine Verschriftlichung der Interviews war notwendig, um eine interpretative Auswertung des Datenmaterials zu ermöglichen. Das Transkript enthält neben dem Interviewtext Informationen über prägnante Merkmale des Gesprächsverlaufs (redebegleitendes, nichtsprachliches Verhalten wie: lachen oder räuspern, gleichzeitiges Sprechen mehrerer Personen, Pausen etc.), die für die spätere Interpretation von Bedeutung seien können. In der Transkription wird versucht, Merkmale des Gesprächsverhaltens so zu verschriftlichen, dass eine Ähnlichkeitsbeziehung zwischen dem Verhalten im Interview und der Notation auf dem Papier entsteht (Kowal & O'Connell 2004). Zur Kennzeichnung dieser verbalen und nonverbalen Äußerungen werden festgelegte Transkriptionszeichen verwendet (s. Anhang).
Da auch quantifizierbare Aussagen über die durchgeführten Triadengespräche an-gestrebt wurden, war es notwendig Skalen zu entwickeln, die eine Transformation der qualitativen Interviewaussagen in quantitative Daten ermöglichten. Die Zuord-nung von Texteinheiten zu skalierbaren Kategorien ist eine Form der Kodierung (Bortz & Döring 2002). Die Skalen wurden in der Projektgruppe gemeinsam mit einer Forscherin aus dem Pilotprojekt sowie einer projekt-externen Studentin ent-wickelt. Dabei wurde wie folgt vorgegangen: Die Fragen des Interviewleitfadens (insgesamt 27) wurden zuerst in eine Kurzform umgewandelt, um einen besseren Überblick zu erhalten. Anschließend wurden für jede Frage Kategorien entwickelt, durch die das Antwortspektrum der Interviewteilnehmer auf einer Skala abgebildet werden konnte. Als letzter Schritt wurde jede Skala mit Codes versehen (Tabelle 1).
Tab. 1: Entwicklung der Skalenformate für die freien Antworten
Frage aus dem Leitfaden
Kurzform
Skala
Code
Haben sie durch die Triade etwas gelernt?
Lernen
ja
ja, mit Einschränkung
nein
kein Angabe
1
2
3
0
Haben sie ihr neu erworbenes Wissen bereits anwenden können?
Bereits angewendet
ja
ja, mit Einschränkung
nein
kein Angabe
1
2
3
0
3.3 Kodierung der Interviews mit Hilfe des Gruppenratingverfahrens
Im Anschluss daran wurden die qualitativen Aussagen gemeinsam vom Forscherteam und einer projekt-externen Person kodiert. Dazu wurden die Aussagen in abgestuften Kategorien mit den dazugehörigen Merkmalsausprägungen zusammen-gefasst. Im anschließenden Rating ordnete der Forscher jede Aussage einer aus seiner Sicht passenden Stufe der Skala zu (Abbildung 1).
Abb. 1 : Beispiel für eine Rating-Skala
Haben sie in der Triade etwas gelernt?
Ja
Ja, mit Einschränkungen
Nein
Keine Angabe
Dieses Rating wurde im Rahmen der Evaluationsstudie als Gruppenverfahren durchgeführt. Die Zuordnung eines Skalenwertes zu einer Antwort ergab sich aus dem Durchschnitt der Beurteilung aller Beteiligten einschließlich einer projekt-externen Person. Durchschnittliche Urteile sind valider und reliabler als Individualurteile, setzen allerdings eine hinreichende Übereinstimmung der individuellen Urteile voraus (Bortz & Döring 2002). Die ständige Beteiligung des externen Beurteilers erwies sich als sehr hilfreich, denn dadurch konnte eine unabhängige Außenperspektive gewonnen werden, durch die eine subjektive Einschätzungen der Forscher relativiert wurden. Die Einschätzung der Merkmalsausprägung erfolgte weitgehend in Übereinstimmung aller Urteile. Im Folgenden wird das Vorgehen der Forscher in einer Übersicht (Abbildung 2) und an einem Beispiel verdeutlicht:
Abb. 2 : Beurteilungsschritte im Gruppenrating
1. Verlesen der Frage
6. Ableiten des Gesamturteils
5. Abgabe der Individualurteile
2. Verlesen der Interviewpassage
3. Verlesen der Skalen und Merkmalsausprägungen
4. Kurze Pause zur Urteilsfindung
1. Schritt: Frage aus dem Fragebogen:
Haben sie durch die Triade etwas gelernt?
2. Schritt: Verlesen des Interviewmaterials:
...aus technischer Sicht, als ich Zuhörer war ja - also da war viel Neues dabei, dass fand ich gut und was ich auch gut fand, dass kann ich jetzt auch noch mal sagen, dass man sich wirklich mal Zeit gelassen hat, um über diese Technik zu reden und sich auch Zeit gelassen hat, den Zuhörer Fragen stellen zu lassen und dadurch noch mal nachzuhaken..(I10)
3. Schritt: Verlesen der Skala für die entsprechende Merkmalsausprägung
Ja
ja - mit Einschränkung
nein
Keine Angabe
4. Schritt: Kurze Pause zur Urteilsfindung
Jeder Beurteiler bildet in diesem Zeitraum sein Individualurteil. Um Beeinflussung der Individualurteile zu vermeiden wird erst zum nächsten Schritt übergegangen, wenn alle Individualurteile gebildet wurden.
5. Schritt: Abgabe der Individualurteile
Tab. 2: Abgabe der Individualurteile
Skala
Beurteiler 1
Beurteiler 2
Beurteiler 3
Ja
X
X
X
ja mit Einschränkung
Nein
Keine Angabe
6. Schritt: Übereinstimmung der Individualurteile
In diesem Beispiel stimmen die Beurteiler zu 100 % überein. Das Gesamturteil (ja) kann kodiert in die Tabelle eingetragen werden. Stimmen die Beurteiler nicht zu 100% überein, wird mit Hilfe eines Gespräches versucht das abweichende Individualurteil zu modifizieren. Ist keine Annäherung möglich, bzw. sind mehre Urteile unterschiedlich, werden die Merkmalsausprägungen in der gesamten Projektgruppe besprochen
Die Daten wurden im Anschluss daran in eine Matrix eingetragen, die neben dem Interviewmaterial als Grundlage für die Datenauswertung diente.
3.4 Illustration der numerischen Skalenverhältnisse anhand konkreter Textbeispiele
Die Korrespondenz der offenen Aussagen der Befragten mit den durch das Forscherteam festgelegten Skalenwerten ist ein zentrales Kriterium für die Qualität der Auswertung. Die Erfahrung zeigt, dass diese Korrespondenz mit der Trainiertheit der Rater und der Dauer des Verfahrens zunimmt. Da uns dieses Kriterium wichtiger erscheint als das Maß der Konkordanz (Übereinstimmung) zwischen den Urteilern (Fleiss 1971), möchten wir an einem Beispiel die Zuordnung von verbalen zu numerischen Merkmalsausprägungen illustrieren.
Frage aus dem Fragebogen:
Haben sie durch die Triade etwas gelernt?
Skala der Merkmalsausprägung:
Tab. 3 : Skala der Merkmalsausprägung
Ja
1
Ja - mit Einschränkung
2
Nein
3
keine Angabe
0
Interviewbeispiel 1:
...aus technischer Sicht, als ich Zuhörer war ja - also da war viel Neues dabei, dass fand ich gut und was ich auch gut fand, dass kann ich jetzt auch noch mal sagen, dass man sich wirklich mal Zeit gelassen hat, um über diese Technik zu reden und sich auch Zeit gelassen hat, den Zuhörer Fragen stellen zu lassen und dadurch noch mal nachzuhaken ... (I10)
Gesamturteil: Ja (1)
Interviewbeispiel 2:
...hab ich damals schon. Damals hab ich etwas gelernt, was ich dann auch danach hab, verwenden können. Aber heute nach zwei Jahren, ist davon eigentlich nichts mehr übrig geblieben ...(I29)
Gesamturteil: Ja mit Einschränkung (2)
Interviewbeispiel 3:
...explizit sag ich jetzt mal so direkt, würde ich sagen – nö. Da fällt mir jetzt nichts dazu ein, wo ich jetzt sagen würde, das ich nach dem Gespräch das und das gelernt, beziehungsweise das umgesetzt habe und diesen Fehler damit beseitigen konnte oder so. So etwas hatte ich nicht ... (I27)
Gesamturteil: nein (3)
Interviewbeispiel 4:
Frage nicht oder abweichend gestellt oder durch Auskunftsperson übergangen:
