Effektive Evaluierung in der sozialen Intervention

Herausforderungen und Methoden der Evaluierung in der sozialen Intervention

Professor Sancho Gil sieht eines der gravierendsten Probleme der Evaluierung in der Untersuchung eines Ereignisses oder Zustandes, um diesen im Ermittlungsverfahren zu verhindern. Andere Autoren weisen auf die Herausforderung hin, dass die öffentliche Verwaltung oft gravierende Fehler und Mängel aufweist, und die Evaluierung aufgrund gesetzlicher Verpflichtungen zu oberflächlicher Reflexion führt. Wenn die Evaluierung am Ende durchgeführt wird, verhindert sie, dass sie als potenzieller Generator des Wandels dient, und wird zu einem bürokratischen Dokument.

Probleme der Unparteilichkeit und Abneigung gegen Evaluierung

Die Unparteilichkeit der Evaluierung wird in Frage gestellt, da sie selten neutral ist und eine oder mehrere Personengruppen betrifft. Dies könnte durch alternative Wege gelöst werden. Laut Kanal und Noval gibt es folgende Gründe für die Abneigung des öffentlichen Systems gegen eine Evaluierung:

• Der akademische Status fast aller Arbeitnehmer, der nach dem Durchlaufen so vieler Filter Widerstand gegen eine weitere Untersuchung hervorruft, die ihren Status gefährden könnte.
• Die Seltenheit von Selbstbewertungsübungen, die als Modeerscheinung mit geringer Wirkung angesehen werden, und der Mangel an praktischen und operationellen Programmen zur professionellen Bewertung und Inspektion.

Weitere Faktoren sind die begrenzte Kapazität der öffentlichen Verwaltung und die Unbeliebtheit, die Beiträge vor Ort zu prüfen. Eine Voraussetzung für die Durchführung institutioneller Evaluierungen ist die Schaffung eines günstigen Klimas und die Sensibilisierung aller Beteiligten.

Die acht Fragen nach Evert Verdung für eine erfolgreiche Evaluierung

Evert Verdung nennt acht Fragen, die für die Durchführung einer Evaluierung und deren erfolgreiche Lösung besonders relevant sind:

1. Zweck der Evaluierung: Welche Ziele werden insgesamt verfolgt?
2. Durchführung der Evaluierung: Wer soll die Evaluierung durchführen und wie soll sie organisiert werden (intern oder extern)?
3. Intervention: Wie kann eine Evaluationskultur geschaffen werden? Wie kann die Intervention beschrieben werden, wenn die Beteiligten mit dem Programm vertraut sind, aber in der Bewertung Nebenwirkungen auftreten können? Wie verhält sich die Intervention in Bezug auf die Auffassung von Medien und Zwecken?
4. Durchführung: Welchem Druck unterliegt der Evaluierungsplan? Die Gutachter folgen dem Programm von der Quelle bis zum Punkt unmittelbar vor den Ergebnissen.
5. Ergebnisse: Was sind die unmittelbaren und langfristigen Ergebnisse der Intervention? Handelt es sich nur um Ergebnisse oder auch um Folgen?
6. Variablen: Welche Variablen erklären die kausalen Faktoren des Ergebnisses?
7. Bewertung: Es gibt keinen Konsens über die Kriterien zur Messung des Interventionswertes. Welche Maßnahmen und Stützpunkte in der Interventionsgruppe können für eine retrospektive Bewertung der Ergebnisse herangezogen werden?
8. Verwendung: Wie soll die Evaluierung eingesetzt werden und wie kann sie laut Stufflebeam tatsächlich genutzt werden?

Arten von Evaluierungen nach Shinkfield

Shinkfield unterteilt Evaluierungen in drei Kategorien:

1. Pseudoevaluierung: Der Versuch, durch verdeckte Ermittlungen oder Untersuchungen aufgrund von Rechtsbeziehungen irrezuführen.
2. Quasievaluierung: Beantwortung bestimmter Fragen von Interesse, ohne den Wert zu ermitteln, z. B. zielbasierte Studien, Experimente, Verantwortungsstudien oder Studien zu Programm- und Informationssystemen.
3. Echte Evaluierung: Der Versuch, den Wert und die Vorzüge eines Objekts zu ermitteln, z. B. in Studien, die auf den Kunden, die Ausrichtung der Entscheidungsträger oder die Verbraucher ausgerichtet sind.

Schwierigkeiten bei der externen Evaluierung

Unter externer Evaluierung versteht man die Evaluierung, die von externen Akteuren der sozialen Intervention durchgeführt wird. Es gibt zwei Situationen:

1. Wenn die Initiative von der Leitung der öffentlichen Verwaltung ausgeht, kann die Evaluierung von den Beteiligten als Kontrollmechanismus wahrgenommen werden.
2. Politische oder wirtschaftliche Machtinhaber können die Evaluierung auf eine Person ausrichten, die als Vertreter der Hierarchie geschützt werden muss. Dies kann zu einer verzerrten Darstellung der Realität des Programms führen.