Systematic Reviews für Einsteiger

Angesichts stetig steigender Publikationszahlen im Wissenschaftsbereich wird es immer wichtiger, vorhandenes Wissen systematisch aufzubereiten und zu verarbeiten. In der Medizin und Psychologie sind systematische Literaturstudien, sogenannte Meta-Analysen, keine Seltenheit. Der Frage „What works?“ nachgehend werden zahlreiche Experimentalstudien zu einem Thema anhand nachvollziehbarere Kriterien ausgewählt und Effektstärken miteinander verrechnet. Letztendlich können damit validere Aussagen über die Wirkung von Interventionen oder Medikamenten getroffen werden.

In den letzten 20 Jahren haben sich die Ansätze für Systematic Reviews, so der Sammelbegriff, der auch Synthesen qualitativer Studien umfasst, methodisch immer weiter geöffnet. Damit konnte diese Methode auch für Disziplinen jenseits der Medizin und Psychologie fruchtbar gemacht werden. Beispiele finden sich inzwischen in der Sozialen Arbeit und auch in der soziologischen Stadtforschung zu Nachbarschaftseffekten.

Systematic Reviews, gleich ob sie quantitative, qualitative oder mixed-methods Studien betreffen, erfordern sieben Arbeitsschritte.

1. Formulierung einer Forschungsfrage

Eine Forschungsfrage bzw. das Ziel der Untersuchung sollte wie üblich festgelegt werden.

2. Definition des Forschungsbereichs

Eher seltener wird ein gesamter Forschungszweig systematisch untersucht. Vielmehr kann eine Abgrenzung des interessierenden Bereichs dabei helfen, die Analyse konsistenter zu gestalten. Ein solider Grundstock an Vorkenntnissen über die Besonderheiten des Forschungsfelds können sich als nützlich erweisen, weil sie dem Forscher erlauben, von vornherein strukturierend zu wirken. Möchte man z. B. alle Arbeiten zur gewerblichen Aufwertung von Wohngebieten systematisch analysieren, so kann es von Vorteil sein, auch die Synonyme für die Bezeichnung dieses Prozesses zu kennen (Retail-Gentrification) und den selbigen in seinen Kontext einordnen zu können (Gentrification-Forschung).

3. Verfahren zur Recherche der Arbeiten

Aus der inhaltlichen Abgrenzung kann eine Schlagwortliste generiert werden, die, sofern es sich um publizierte Literatur handelt, bei der systematischen Suche in wissenschaftlichen Bibliotheksverzeichnissen hilft. Die aus dieser Suche resultierenden Arbeiten stellen den ersten Grundstock für die weiterführende Analyse dar. Die Recherche muss nicht zwingend derartig linear erfolgen. Lässt sich der Forschungsgegenstand nicht von vornherein klar abgrenzen, kann auch eine Schneeballverfahren über die Literaturverzeichnisse der ersten Funde der richtige Weg sein. Es sollte jedoch deutlich werden, wann die Suche beendet wurde.

4. Anwendung der Selektionskriterien

Nach dem Abschluss der Recherche steht man in der Regel noch vor einer sehr heterogenen Masse an Arbeiten, die nur bedingt mit dem interessierenden Thema in Verbindung stehen. Weiteres Filtern der Arbeiten, z. B. über Abstract oder Inhaltsverzeichnis, ist nötig. Dies kann über Methoden (z. B. nur qualitative Studien), nach Zeiträumen (erschienen nach 2000), nach Publikationstyp (z. B. publiziert vs. nicht publiziert), nach Disziplinen (z. B. nur Soziologie) und/oder noch einmal inhaltlich (gewerbliche Aufwertung) erfolgen. Letzteres insbesondere dann, wenn der Forschungsbereich im zweiten Schritt noch relativ weit gefasst war. Über die Strenge der Selektion lässt sich der Aufwand in den nachfolgenden Schritten kontrollieren. Bei entsprechender Anlage ist diese Methode daher auch sehr gut zur Durchführung in Haus- und Abschlussarbeiten geeignet und leistet durch ihren systematisierenden Charakter einen wertvollen Beitrag.

5. Qualitätseinschätzung

Ein weiteres Selektionskriterium kann die Qualität der vorliegenden Studien sein. Im Zuge der methodischen Öffnung von Systematic Reviews entstand eine rege Debatte um die Frage ob, und wenn ja, wie Qualitätseinschätzungen bei qualitativen und auch mixed-method Arbeiten durchzuführen seien. Während sich quantitative Meta-Analyse den gängigen statistischen Indikatoren zur Messung der Güte bedienen können, geschieht die Qualitätseinschätzung bei qualitativen Arbeiten häufig über Checklisten (siehe Abbildung) oder Critical Assessment Frameworks (CAFs).

Screen CAf
Quelle: Dixon-Woods (2004)

6. Extraktion

Nach dem Filtern liegt in der Regel noch ein Bruchteil von Arbeiten vor. Durch die Anwendung der Selektions- und Qualitätskriterien handelt es sich bei entsprechender Anlage der Untersuchung um einen methodisch und inhaltlich eher homogeneren Bruchteil des interessierenden Forschungszweigs. Im Falle einer quantitativen Meta-Analyse erfolgt nun die Extraktion der statistischen Kennwerte (z. B. Korrelationskoeffizienten) und Randbedingungen der Untersuchung (Stichprobengröße, etc.), sodass diese im Anschluss in einem statistischen Modell verrechnet werden können. Eine Synthese qualitativer Befunde hingegen sucht in den Abschnitten der Arbeit nach empirischen Befunden und extrahiert diese in entsprechende inhaltliche Kategorien. Der Kategorienbaum kann dabei während der Untersuchung entstehen, aber auch vorab aus der Kenntnis des Forschungsstands formuliert wurden sein. Eine gute Übersicht über die Vielfalt möglicher Methoden der qualitativen und mixed-methods Review geben Dixon-Woods et al. (2005).

7. Synthese und Präsentation

Die Synthese und Präsentation von Meta-Analyse geschieht über statistische Methoden und entsprechende Tabellen. In qualitativen Synthesen sind die extrahierten „Puzzlestücke“ noch zusammenzufügen. Dies geschieht meist in narrativer Form, sollte aber durch entsprechende Visualisierungen (z. B. des Kategorienbaums) unterstützt werden. Software wie z. B. MAXQDA bieten hierzu eine Reihe von Werkzeugen an und sollten auch beim Extraktionsprozess verwendet werden.

Systematic Reviews haben im Gegensatz zur klassischen, narrativen Aufbereitung des Forschungsstands den Vorteil, dass sie sehr nachvollziehbar darstellen, auf welchen Studien genau die nachfolgend abgeleiteten Annahmen basieren. Befürworter betonen außerdem, dass auch nicht publizierte Untersuchungen stärkeren Eingang in die Diskussion finden müssen, um aus möglichen Fehlern und schlichtweg nicht bestätigten Hypothesen zu lernen.

Weiterführende Literatur

Dixon-Woods, Mary (2004): The problem of appraising qualitative research. 

Dixon-Woods et al. (2005): Synthesising qualitative and quantitative evidence: a review of possible methods.

Petticrew, Mark; Roberts, Helen (2006): Systematic Reviews in the Social Sciences. A Practical Guide.

Wagner, Michael; Weiß, Bernd (2014): Meta-Analyse. In: Baur, Nina; Blasius, Jörg: Handbuch Methoden der empirischen Sozialforschung.

Advertisements

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s