Evaluierung von Projekten: Grundlagen, Arten und Methodik

Evaluierung eines Gesundheitsprojekts

Voraussetzungen für ein Projekt

Ein Projekt muss folgende Bedingungen erfüllen: klare und messbare Ziele sowie Interventionen, die bestimmte erwartete Effekte modellieren.

Wichtige Fragen zur Projektdefinition

• Ist das Projekt klar definiert?
• Sind die Ziele klar definiert?
• Gibt es Indikatoren?
• Was sind die Kernaufgaben der Intervention?

Grundsätze der Evaluierung

Die Durchführung der Evaluierung

Die Evaluierung sollte als eine weitere Aktivität des Projekts betrachtet werden, die alles umfasst, was sie impliziert.

• Reflexion über das Vorgehen: Die Evaluierung dient dazu, zu analysieren, was getan wird und ob dies der gewünschten Ausrichtung entspricht.
• Basierend auf systematischen Verfahren: Es werden Verfahren und Techniken zur Erfassung von Informationen verwendet, die Reflexion und informierte Entscheidungen ermöglichen.

Evaluative Urteile (Werturteile)

Dies ist der Kern jeder Beurteilung. Es beinhaltet die Zuschreibung eines Wertes, um zu messen oder zu beurteilen, ob:

• Maßnahmen planmäßig umgesetzt werden.
• Die Ergebnisse den Zielsetzungen und vorgeschlagenen Zielen entsprechen.
• Der Status der Empfänger sich aufgrund der Intervention verbessert hat.

Definition der Evaluierung

Die Evaluierung ist eine geplante Tätigkeit der Reflexion über das Vorgehen. Sie basiert auf systematischen Verfahren zur Sammlung, Analyse und Interpretation von Informationen, um fundierte und übertragbare Werturteile über Aktivitäten, Ergebnisse und Auswirkungen von Projekten oder Programmen abzugeben. Ziel ist es, Empfehlungen für Entscheidungen zur Anpassung der aktuellen Maßnahmen und zur Verbesserung künftiger Maßnahmen bereitzustellen.

Integration der Evaluierung in den Projektzyklus

Die Evaluierung sollte bereits bei der Konzeption des Projekts beginnen. Neben der Ermittlung und Operationalisierung der Ziele, Ergebnisse und Aktivitäten müssen die Evaluierungsaktivitäten festgelegt werden, um Fortschritte und Schwierigkeiten bei der Projektdurchführung zu berücksichtigen.

Die Projektevaluierung ist eine kontinuierliche Maßnahme, die von der Diagnose bis zum Ende ihrer Umsetzung erfolgen muss. Bereits bei der Diagnose werden Informationen ohne Intervention erfasst, die später zum Vergleich der Veränderungen bis zum Projektende dienen.

Risiken bei Nicht-Einbeziehung der Evaluierung in die Projektplanung

• Fehlende finanzielle Ressourcen für notwendige Evaluierungen.
• Mangelnde Gelegenheit zur Erstellung von wertenden Informationen.
• Mangel an grundlegenden Informationen für die Planung und Durchführung der Evaluierung.

Arten der Evaluierung

Evaluierung nach Zeitpunkt der Durchführung

Ex-ante-Evaluierung (Vorevaluierung)

Sie erfolgt, bevor das Programm oder Projekt umgesetzt wird, um eine Entscheidung über die Durchführung zu treffen. Sie bewertet die wirtschaftliche Effizienz der Maßnahmen zur Erreichung der angestrebten Ziele. Bei einer Intervention wird die Prüfung vor der Anwendung bei der Planung und dem Entwurf eines Projekts durchgeführt. Sie bewertet die Wirtschaftlichkeit, die Relevanz und die Passfähigkeit zwischen den eingesetzten Mitteln, Zielen, Aktivitäten und der Machbarkeit (d.h. der Verfügbarkeit der benötigten Ressourcen und dem Vorliegen der Voraussetzungen für die geplante Maßnahme).

Laufende Evaluierung (Begleitevaluierung)

Die Beurteilung erfolgt im Zuge der Umsetzung und ist eine festgelegte, regelmäßige Überprüfung des Projekts. Ihr Ziel ist es, festzustellen, inwieweit die Aktivitäten, der Zeitplan, die Leistungen und Ergebnisse den Plänen entsprechen und zur Erreichung der Ziele beitragen. Sie ermöglicht die rechtzeitige Erkennung von Problemen, die bei der Umsetzung entstehen.

Ex-post-Evaluierung (Nachevaluierung)

Dies ist die Bewertung, die nach Abschluss des Projekts durchgeführt wird, manchmal auch Jahre nach dessen Ende. Sie konzentriert sich auf die Bewertung der Ergebnisse, inwieweit die geplanten Ziele erreicht wurden, welche gesuchten und unbeabsichtigten Wirkungen auf die Ausgangssituation, die verändert werden sollte, zurückzuführen sind.

Evaluierung nach Personal

Interne Evaluierung

Die Durchführung erfolgt durch Einzelpersonen oder Gruppen aus der Einrichtung, die das Projekt verwaltet, aber nicht direkt an der Durchführung beteiligt sind. Darüber hinaus gibt es die Selbstevaluierung, die vom Projektteam selbst durchgeführt wird.

Externe Evaluierung

Die Gutachter sind außerhalb der Organisation angesiedelt, die das Programm oder Projekt durchführt. Sie wird in der Regel von externen Evaluierungsexperten und anderen Fachleuten durchgeführt.

Gemischte Evaluierung

Die Evaluierung wird von Projekt-Insidern geleitet und durch speziell beauftragtes externes Personal konzipiert und durchgeführt.

Evaluierungstechniken und Methodik

Die Methodik umfasst die Erstellung fundierter und übertragbarer Werturteile. Für die Analyse, Systematisierung und Verarbeitung von Informationen wird empfohlen, quantitative und qualitative Methoden anzuwenden.

Qualitative Techniken

Sie ermöglichen es den Evaluatoren, Fälle, Fakten und Probleme detailliert und in der Tiefe zu untersuchen.

Quantitative Techniken

Sie verwenden zuvor standardisierte Parameter, um Reaktionen und Wahrnehmungen einer größeren Anzahl von Personen zu messen. Dies erleichtert statistische Vergleiche und die Aggregation der erhaltenen Antworten.

Techniken zur Sammlung und Analyse von Informationen

Analyse quantitativer Informationen

Dies ist die Anwendung von Algebra und/oder Statistik (Summen, Differenzen, Verhältnisse, Raten, Prozente, Mittelwerte, Median, Varianz usw.) auf bestehende statistische, demografische, wirtschaftliche und soziale Daten oder auf solche, die speziell für den Zweck der Evaluierung gesammelt wurden.

Analyse qualitativer Informationen (Dokumentenanalyse)

Diese beinhaltet die Sammlung und Auswertung vorhandener Unterlagen. Dazu gehören Regeln, Pläne, Handbücher, Broschüren usw., die für die Evaluierung nützlich sein können.

Der Evaluierungsbericht

Die gesammelten Informationen müssen verarbeitet und analysiert werden, um anschließend einen Bericht zu verfassen. Dieser Bericht muss Beschreibungen und Erläuterungen enthalten, die als Grundlage für Werturteile, Dimensionen und Variablen dienen.

Inhalt des Berichts

Bei der Ausarbeitung des Berichts ist eine Synthese über den Gegenstand der Evaluierung erforderlich, d.h.:

• Die wichtigsten Merkmale des Programms oder Projekts, seine Zielgruppen und seine Lage.
• Das Problem, das gelöst werden soll, die Grundzüge der Maßnahmen, Ziele und erwarteten Ergebnisse.
• Die Art der angewandten Evaluierung und der Zeitraum, in dem die Beurteilung durchgeführt wurde.
• Die wichtigsten Errungenschaften oder der erreichte Umfang des Projekts.

Schließlich ist es wichtig, Empfehlungen dazu abzugeben, wie Einschränkungen oder Schwierigkeiten, die im evaluierten Programm oder Projekt festgestellt wurden, beseitigt oder überwunden werden können.

Funktion und Notwendigkeit der Evaluierung

Die Evaluierung als Tätigkeit und als Projekt

Die Evaluierung erleichtert die Entscheidungsfindung, beinhaltet Reflexion und ist eine zyklische Methodik. Sie ermöglicht die Programmierung von Maßnahmen im Voraus, hilft, negative Aspekte zu korrigieren, positive Aspekte zu stärken und interne Informationen anzureichern.

Warum ist Evaluierung notwendig?

Evaluierung ist notwendig, weil sie:

• Organisationales Lernen ermöglicht (ethischer und demokratischer Aspekt).
• Informierte Entscheidungen ermöglicht.
• Getroffene Entscheidungen rechtfertigen kann.
• Die Messung der Maßnahmen und Auswirkungen der durchgeführten Interventionen ermöglicht.