Aktionsforschung und Evaluation: Methoden, Phasen und Berichtswesen

Merkmale der Zielformulierung

• Beschränkung im Sinne der allgemeinen Ziele.
• Akzeptanz nur einer Interpretation.
• Beinhaltung von Optionen vor den möglichen Interpretationen der allgemeinen Ziele.
• Formulierung in Form von messbaren, beobachtbaren Manifestationen, die den gestellten Fragen gleichwertig sind.
• Erleichterung eines strukturierten sozialen Projekts.
• Möglichkeit der Aufschlüsselung für die Analyse.
• Allgemein gut formulierte Ziele führen zu einer besseren Kohärenz der gesamten Kategorisierung.

3.4. Ansatz für die Szenario-Aktion

Eine Hypothese stellt eine Erklärung über die angebliche Ursache der Probleme bei der Auswahl eines Themas dar. Sie gibt eine vorläufige Antwort auf das Problem. Sie zeigt dem Forscher genau auf, was herauszufinden ist; wir klären dies mit den Variablen, die gefunden werden, und den Beziehungen zwischen ihnen. Sie sind der Kernpunkt im Forschungsprozess. Dieser Prozess dient dazu, Hypothesen zu bestätigen oder zu widerlegen, um herauszufinden, ob sie wahr oder falsch sind. Ihre Formulierung beinhaltet vorläufige Vorstellungen über die Faktoren, die wir als entscheidend erachten. In der Aktionsforschung ist für die Gruppe ein Prozess des Nachdenkens über die Ziele und Themen notwendig, bevor die Hypothese geklärt wird. Eine Aktionshypothese zeigt eine Handlung vor allem als Reaktion auf Selbstreflexion und Selbstverständnis der Situation auf. Sie bildet die Substanz der Studie.

3.5. Dynamik der Aktionshypothesen (Design)

Wie man ein gutes Design für die Datenerhebung entwickelt

Ein gutes Design muss Folgendes bieten:

• Datenerhebung: Wie werden Daten erhoben (Instrumente)?
• Organisation: Wie wird die Datensammlung organisiert, um den Einfluss einiger Faktoren auf andere zu zeigen? Es ist notwendig, die Daten durch Beobachtung, Befragung oder Dokumententests zu vergleichen.
• Stichprobenauswahl: Wie erfolgt die Auswahl der Stichprobe?
• Methodik: Welche Methoden werden verwendet (quantitativ oder qualitativ)?

Das Forschungsteam sollte sich bewusst sein, dass quantitative Daten (Experimentierfeld) durch folgende Merkmale charakterisiert sind:

• Kontrolle der intervenierenden Variablen.
• Manipulation der unabhängigen Variablen.
• Zufallsauswahl von Proben.

Die Unterschiede der Forschung in Bezug auf qualitative und quantitative Methoden umfassen folgende Schritte:

• Reduzierung und Operationalisierung von Variablen versus ganzheitliche Betrachtung des eigentümlichen Lebens.
• Kontrollvariablen versus offene und flexible Beobachtung der natürlichen Lebensgrundlagen.
• Aseptisch distanzierte Forscher versus aktive Teilnahme an den Ereignissen.
• Objektive Techniken versus interaktive Beobachtung und Interviews.
• Pre-Design versus Konstruktion von flexiblen, emergenten Designs.
• Anekdotische Berichte, die die Geschichte lebendig machen.

Der Forscher muss beide Methoden kennen und sie dort einsetzen, wo er sie für geeignet hält.

Vertiefung in Phasen des Forschungsprozesses

3.5.1. Wahl der Instrumente

Um die Realität zu erkennen, müssen wir uns ihr mit verschiedenen Methoden und Instrumenten nähern, da die Realität von innen und von außen erkannt werden kann. Wir versuchen zu beschreiben, zu analysieren, zu bewerten oder zu interpretieren, was passiert. Die Vielfalt der Methoden nach Selltiz führt zu mehr Glaubwürdigkeit der Ergebnisse. Die Instrumente sind die technischen Mittel, um die Behandlung spezieller Daten der jeweiligen Kategorisierung zu erleichtern und das Ziel zu verfolgen, Aufzeichnungen über das resultierende Verhalten zu erstellen. Sie werden verwendet, um die im Studium erworbenen Daten zu sortieren, zu verarbeiten und zu interpretieren. Sie müssen Objektivität, Repräsentativität und Genauigkeit anstreben.

3.5.2. Datenanalyse

Diese ist nach LaTorre und Gonzalez die Stufe der systematischen und reflektierenden Suche nach Informationen aus den Instrumenten. Es ist eines der wichtigsten Verfahren der Forschung und umfasst die Bearbeitung der gesammelten Daten, deren Organisation in überschaubare Einheiten, die Synthese und die Suche nach Gesetzmäßigkeiten. Es ist wichtig zu entdecken, wozu die Kategorisierung beitragen wird. Durch die Analyse der Daten beabsichtigen wir, unsere Kategorisierung zu präzisieren und sie numerisch sowie grafisch auszudrücken.

Techniken und Verfahren für die Datenanalyse

Die qualitative Analyse hat den Vorteil der Flexibilität, erfordert aber große Strenge, um jeden Schritt der Forschung zu rechtfertigen. Klären Sie die Zwecke der Analyse und erkunden Sie die vorhandenen Daten:

• Alle Daten sammeln.
• Unvollständige Daten vervollständigen.

Hier können wir die wichtigsten Aspekte der Forschung entlasten. Wir können eine erste Zusammenfassung der Daten erstellen, die uns hilft, eine Reihe von Fragen zu formulieren:

• Was passiert oder wie passiert es? (Erste Kategorisierung und Interpretation).
• Warum geschieht es? (Erste explizite Assoziationen).
• Falls mehr Daten benötigt werden, können wir die Suche fortsetzen.

Überprüfungsverfahren

Ein kritischer Moment im Analyseprozess der Aktionsforschung kann durch verschiedene Ansätze durchgeführt werden: deduktiv und induktiv. Dabei wird versucht, Kategorien und Begriffe zu bilden oder die Häufigkeiten der beobachteten Erscheinungen aufzulisten, um die Theorie zu verifizieren oder aufzubauen. Als Analyseverfahren nach Bartholomäus können wir nennen:

• Standardisierte Beobachtung und Protokolle: Stammen aus einer bereits entwickelten Theorie (z. B. Beobachtungsskala nach Flanders), wobei Häufigkeiten in jeder Kategorie erfasst werden. Es handelt sich um Verhaltensmuster, und die Daten werden durch die Ordnung innerhalb jedes Zeitintervalls in der Reihenfolge ihres Auftretens gewonnen.
• Inhaltsanalyse: Wird oft für die systematische Analyse von schriftlichen Unterlagen, Feldnotizen, aufgezeichneten Interviews, Tagebüchern usw. verwendet. Sie untersucht im Detail den Inhalt der schriftlichen, mündlichen und visuellen Kommunikation durch technische Analyse und Quantifizierung der Materialien.

3.6. Interpretation und Integration der Ergebnisse

Sobald die Daten gesammelt und analysiert wurden, kann der Forscher die Probleme beantworten. In der Forschung gilt es, Bildungsziele der Realität zu verstehen, aber nicht beim bloßen Verstehen stehen zu bleiben. Um dies zu überwinden, müssen wir:

• Die Arbeit in einen breiteren Rahmen integrieren, der unsere Aktionshypothese beleuchtet. Dies hilft dem Forscher, aus seiner eigenen Theorie eine praktische Theorie (nach Kemmis) zu entwickeln.
• Zwei Ebenen der Analyse nutzen: Die erste Ebene und eine weitere, die einen Vergleich ermöglicht und sie in einen theoretischen Rahmen integriert.

Die Interpretation der Daten erfordert eine systematische und kritische Reflexion des gesamten Forschungsprozesses, um ihn im Kontrast zur Theorie und Praxis zu verbessern. Im Rahmen einer pädagogischen Realität bedeutet dies, Szenarien zu kontrastieren, Glaubwürdigkeit zu prüfen und die Praxis durch einen theoretischen Rahmen zu unterstützen.

3.7. Bericht über die Aktionsforschung

Der Prozess sollte dokumentiert werden, um die Arbeit für alle Beteiligten bekannt zu machen. Es ist das Aufzeichnen dessen, was getan wurde, wie es geschah und welche Ergebnisse erzielt wurden. Ziele und Forschung müssen klar dargestellt werden, ebenso ob die vorgeschlagenen Ziele erreicht wurden. Die Aktionshypothese (was wir zur Verbesserung der Situation planen) sowie die Art der Datensammlung und -analyse müssen enthalten sein. Der Bericht sollte sich auf die Ergebnisse beziehen und Vorschläge zur Veränderung der Realität sammeln.

Lewin schlug vor, einen Bericht über alle Stufen auszuarbeiten, um den Zyklus der Aktionsforschung zu vervollständigen. Hopkins vertritt die Ansicht, dass der Bericht Daten so sammeln sollte, dass:

• Die Forschung zu einem anderen Zeitpunkt wiederholt werden kann.
• Beweismittel zur Generierung von Hypothesen und Handlungen klar dokumentiert sind.
• Die Klage als Ergebnis der Forschung kontrollierbar bleibt.

Zur Erleichterung der Berichterstellung weisen wir auf folgende Phasen hin:

• Entwicklung der allgemeinen Idee im Laufe der Zeit.
• Entwicklung des Verständnisses der Problemsituation.
• Maßnahmen, die im Lichte dieser Entwicklungen getroffen wurden.
• Umfang und Wirkung der vorgeschlagenen Maßnahmen.
• Beabsichtigte oder unbeabsichtigte Auswirkungen der eigenen Handlungen und Erklärungen dafür.
• Gewählte Techniken zur Informationsgewinnung über die Problemsituation und die Maßnahmen.
• Probleme bei der Nutzung bestimmter Techniken und deren Lösung.
• Ethische Probleme beim Zugriff auf Informationen.
• Probleme mit Zeit, Ressourcen und Zusammenarbeit.

3.8. Veränderungen in der Praxis

Die Aktionsforschung endet nicht mit der Formulierung von Schlussfolgerungen oder Berichten; sie soll schließlich die Praxis beeinflussen. Wir müssen uns fragen: Welche Auswirkungen hat die Aktionsforschung auf das Team? Wie und warum hat sie gewirkt? Was können wir tun, um die Situation weiter zu verbessern? Dies erfordert einen ständigen Feedback-Prozess, weshalb die Forschung eigentlich nie endet.

4. Evaluation der Forschung

Einführung

Bewertung: Dies ist keine bloße Qualifikation am Ende eines Zeitraums, sondern ein Prozess, um den Nutzen eines beliebigen Objekts zu überprüfen – sei es der Fortschritt der Schüler, eine Klasse oder eine Bildungseinrichtung.

1. Was ist Evaluation?

Definition: Evaluation ist die systematische Untersuchung des Wertes oder Nutzens eines Objekts (Joint Committee on Standards for Educational Evaluation). Ziel ist es, durch objektive Verfahren zuverlässige und unparteiische Informationen zu erhalten. Ihr oberstes Ziel ist die Bestimmung des Wertes.

Die Begriffe Wert und Verdienst definieren unser Konzept der Bewertung. Wir müssen drei Kriterien berücksichtigen:

• Die unterschiedlichen Erwartungen der Kunden.
• Der Verdienst und die herausragenden Leistungen des Service.
• Der Bedarf an Service (gültiges Potenzial).

Zusätzlich sind Durchführbarkeit und Gerechtigkeit entscheidend. Ein Programm muss lebensfähig sein und Chancengleichheit (Fairness) bieten. Nach Kellaghan gibt es 7 Zeichen der Fairness, darunter der gleichberechtigte Zugang zu Diensten und ähnliche Ergebnisse für alle gesellschaftlichen Gruppen.

Wir unterscheiden drei Hauptanwendungen der Evaluation:

• Formative Evaluation: Dient der Verbesserung der Qualität während des Prozesses.
• Summative Evaluation: Retrospektive Analyse abgeschlossener Projekte für Sponsoren und Verbraucher.
• Exemplifikation: Untersuchung bestimmter Variablen mit theoretischem Interesse.

3. Typen oder Modelle der Evaluation

3.1. Klassifikation nach Stufflebeam

Es gibt drei große Gruppen:

• Pseudoevaluationen: Nutzen die Bewertung für eigene Zwecke (z. B. verdeckte Ermittlungen oder reine PR-Studien).
• Quasi-Evaluationen: Zielorientierte Studien (Tyler) oder experimentelle Studien, die oft kausale Zusammenhänge prüfen, aber manchmal zu eingeschränkt für soziale Programme sind.
• Echte Evaluationen: Basieren auf Fragen von Wert und Verdienst. Dazu gehören entscheidungs-orientierte Studien (Cronbach), kundenorientierte Studien (Stake), politische Studien oder verbraucherorientierte Studien (Scriven).

3.2. Klassifikation nach De Ketele

De Ketele unterscheidet Funktionen der Evaluation in Bezug auf die Aktion und die Leistung der Auszubildenden:

• Orientierung: Entscheidung über den Start neuer Phasen oder Lernprozesse.
• Regulative Evaluation: Maßnahmen während des Prozesses zur Optimierung von Strategien und Ressourcen (formative Evaluation).
• Zertifizierung: Bestätigung des Erfolgs oder Misserfolgs am Ende einer Maßnahme (summative Evaluation).

4. Ziel der Evaluation

Nach Stufflebeam ist der Kern der Bewertung, nützlich zu sein. Sie muss ein wissenschaftliches Verfahren sein, das die Wirksamkeit bei der Durchführung eines Programms erhöht.

5. Der Prozess der Evaluationsforschung

Es ist ein systematischer und vorsätzlicher Prozess, um den Nutzen eines Objekts zu erkennen und es zu verbessern. Dies erfordert Strenge im Vorgehen.

5.1. Der Prozess nach verschiedenen Autoren

Unterschiede der evaluativen Forschung zur strikten Forschung:

• Werturteile werden explizit gemacht.
• Präzise Hypothesen sind oft unangemessen.
• Replikation ist meist nicht möglich.
• Daten werden durch Wirtschaftlichkeit bestimmt.
• Berichte müssen auf Entscheidungsträger zugeschnitten sein.

5.2. Verschiedene Stadien

Nach De Ketele gültige Etappen für alle Arten der Bewertung:

1. Artikulierung der Evaluationsziele.
2. Festlegung von Sub-Zielen oder Kriterien.
3. Bestimmung der zu sammelnden Informationen.
4. Festlegung einer Strategie zur Informationserhebung.
5. Zuverlässige Sammlung der Informationen.
6. Vergleich der Informationen mit den Kriterien.
7. Formulierung der Schlussfolgerungen.

6. Evaluationsmethoden

Wir empfehlen einen eklektischen Ansatz. Bewerter sollten eine breite Palette von Techniken beherrschen: Interviews, Inhaltsanalyse, Beobachtung, Fallstudien, statistische Analysen und Projektmanagement.

7. Der Bericht

Das Dokument für die Auftraggeber muss klar geschrieben sein und folgende Punkte enthalten:

• Beschreibung des Objekts.
• Untersuchungspunkte und deren Begründung.
• Verwendetes Modell oder Design.
• Techniken der Datensammlung.
• Übersichtliche Darstellung der Ergebnisse.
• Bewertung des Prozesses und Handlungsempfehlungen.

8. Entscheidungsfindung

Dies ist die letzte Stufe. Sie beinhaltet eine seriöse Planung zur Verbesserung oder die Annahme bzw. Ablehnung des objektiven Wertes der untersuchten Maßnahme.