Herausforderungen und Ethik in der Evaluation sozialer Interventionen

Herausforderungen der externen Evaluation

Es können Drücke entstehen, sowohl bei allen Beteiligten als auch von der Verwaltung. Unvoreingenommene Informationen sind schwer und schnell zu erhalten, was Probleme verursachen kann. Ungelegene Aufforderungen zur Einreichung von Informationen können den Zustand der Bewerter in eine bestimmte Richtung lenken oder die Realität verfälschen. Dies führt zu einem verzerrten Bild. Die vom Evaluator erhaltenen Informationen können parteiisch, willkürlich und eigennützig sein, da oft nur Informationen zu bestimmten Orten oder Personen von Interesse abgerufen werden. All dies kann dazu führen, dass die Behörden die Bewertung des Assessors bürokratisch annehmen und Informationen bereitstellen, die ihnen helfen, ihre politischen Ziele durchzuführen. Ich erwähne auch die von McDonald genannten Empfehlungen zur selbstkritischen Bewertung, bei der Bewerter eine externe Validierung ihrer Politik im Austausch für die Annahme seiner [der Bewertung] erhalten.

2. Externe Evaluation auf Wunsch der Beteiligten

Wenn die externe Evaluation durch die an der sozialen Intervention beteiligten Personen erbeten wird, gelten dieselben Ansätze der Administration wie für die am Programm Beteiligten. Bei der Entscheidung, ob das Team die Bewertung durchführen soll, können Gutachter, die mit der Philosophie des Programms verbunden sind, eher einen konformen Bericht wählen und Informationen zurückhalten, wenn die Prüfung über unerwünschte Kanäle läuft. Die Verwendung der Berichte sollte daher aus demokratischen Überlegungen heraus erfolgen, um Selbstkritik und konsistente Entscheidungsfindung zu erleichtern.

Risiken für den Evaluator in der qualitativen Bewertung

Die Herausforderungen, denen sich der Evaluator (aus qualitativer Perspektive) vor, während und nach einer qualitativen Bewertung stellen muss, sind laut einigen Autoren (Woods, Scriven und Sabirón Sierra) folgende:

• Der Evaluator läuft Gefahr, dass Probleme von einem der Beteiligten instrumentalisiert werden, besonders wenn es sich um interne Probleme handelt. Die Informationen des Gutachters werden zu Informationen für eine mächtige Person, auf die einige Beteiligte Einfluss nehmen können.
• Einige Beteiligte könnten voreingenommene Informationen liefern oder durch Gefühle (z. B. Feindseligkeit) gegenüber dem Evaluator beeinflusst sein. Der Evaluator muss daher intelligent, diskret und freundlich agieren.

Planung und ethische Anforderungen der Evaluation

• Bei der Planung muss der Evaluator arbeiten, um Starrheit und Verheimlichung zu vermeiden, indem klargestellt wird, was beabsichtigt ist und wie.
• In Bezug auf die bestehende Hierarchie der öffentlichen Intervention (vertikal) muss in den anfänglichen Verhandlungen festgelegt werden, wie, wann und an wen Berichte geliefert werden.
• Die Entnahme oder Aufnahme von Hinweisen muss diskret erfolgen, um die Spontaneität so wenig wie möglich zu beeinträchtigen. Die Bewertung sollte weder zu kurz noch zu lang sein, um eine oberflächliche Annäherung an die Wirklichkeit zu vermeiden.
• Es ist wünschenswert, dass sich das Evaluationsteam häufig trifft, um auftretende Probleme zu lösen. Die Ethik verlangt die Vertraulichkeit der Daten.

Angueras Analyse qualitativer Probleme

Anguera analysiert das Problem aus der Perspektive der Qualität und verbindet diese mit folgenden Problemen der Bewerter:

1. Subjektivität, wodurch die Gruppe ihre eigenen Gefühle oder Vorurteile einbringt.
2. Mangelnde Spontaneität.
3. Verlust der Kritikfähigkeit durch Absorption in der Gruppe.
4. Möglicher Einfluss auf das Leben der Gruppe.
5. Mangel an Standardisierung.
6. Die üblichen Repliken existieren.
7. Repliken können nur Voreingenommenheit sein.

3.2 Schwierigkeiten der internen Selbstbewertung

Die interne Evaluation wird von den an der Konzeption und Umsetzung sozialer Interventionen beteiligten Personen durchgeführt. Dabei können folgende Probleme auftreten:

• Widerstand von Fachleuten, die evaluiert werden sollen.
• Der individualistische Charakter der Fachkräfte und fehlende berufliche Motivation.
• Mangel an Zeit, mangelnde technische Unterstützung und Glaubwürdigkeit.
• Verzögerung des kritischen Moments, Verschleierung von inhaltlichen Problemen.
• Ungeduld bezüglich der Ergebnisse.

Bei der Verbesserung der Qualität öffentlicher Interventionen finden wir möglicherweise Schwierigkeiten individueller und organisatorischer Natur, die der Selbstbewertung im Wege stehen. Mangelnde Motivation, schlechte Vorbereitung des Teams, die den Mangel an Objektivität fördern kann, sowie die Tatsache, dass nicht in einer Gruppe gearbeitet wird, stellen weitere Schwierigkeiten dar. Ein weiteres Hindernis könnte die Tendenz von Institutionen sein, menschliche Probleme bei der Initiierung und Organisation der Arbeit zu ignorieren.

Hemmnisse nach Simons: Hierarchie und Territorialität

Andere Hemmnisse, die laut Simons überwunden werden müssen: Die klare Rangordnung macht es unmöglich, die Prozesse bei der Arbeit zu analysieren, und neigt dazu, die Linien des Widerstands, der Territorialität und der Privatsphäre zu verstärken. Fachkräfte dominieren ihren Raum, ohne dass Beobachter die normale Aktivität verändern, zu der sie verpflichtet sind.