Path:

Full text: Kursbuch Wirkung / Kurz, Bettina

KURSBUCH WIRKUNG
Titel / Umschlag sind jetzt eigene Datei

Stand: 19.10.2013 / RZ final

1

KURSBUCH WIRKUNG
DAS PRAXISHANDBUCH FÜR ALLE, DIE GUTES NOCH BESSER TUN WOLLEN

tchrit Mit S hrittc für-S ngen & u t Anlei pielen eis B

In Kooperation mit

KOOPERATIONSPARTNER DIESER PUBLIKATION

Bertelsmann Stiftung
Die 1977 von Reinhard Mohn gegründete Bertelsmann Stiftung setzt sich für das Gemeinwohl ein. Sie fördert die Zivilgesellschaft und engagiert sich in den Bereichen sowie internationale Verständigung und Bildung, Wirtschaft und Soziales, Gesundheit fördert das friedliche Miteinander der Kulturen. Durch ihr gesellschaftliches Engagement will sie alle Bürger ermutigen, sich

Impressum
1. Auflage, November 2013 © PHINEO gAG, Berlin

Autoren: Bettina Kurz, Doreen Kubek

Gestaltung & Illustrationen: Stefan Schultze Kontakt

PHINEO gAG 10178 Berlin

ebenfalls für das Gemeinwohl einzusetzen. www.bertelsmann-stiftung.de

Anna-Louisa-Karsch-Str. 2 Tel. +49.30.52 00 65 – 400 info@phineo.org www.phineo.org Für inhaltliche Fragen zu diesem Kursbuch Doreen Kubek, Doreen.Kubek@phineo.org stehen Ihnen gerne zur Verfügung:

Fax +49.30.52 00 65 – 403

Philipp.Hoelscher@phineo.org Nutzung dieser Publikation:

Dr. Philipp Hoelscher,

Bettina Kurz, Bettina.Kurz@phineo.org

wir antworten gern!

teilweise nutzen? Bitte fragen Sie uns,

Sie möchten die Publikation ganz oder

ISBN 978-3-00-043516-4

Verantwortung

Klimaneutraler Druck

durch DBM Druckhaus Recyclingpapier

Berlin Mitte GmbH auf

EDITORIAL

Die Themen „Wirkung“ und „Wirkungs-

orientierung“ werden im gemeinnützigen Projekte möchten mit ihrer Arbeit so viel Positives wie möglich für ihre Zielgruppen erreichen, und gleichzeitig fordern

als sperrige Aufgabe wahrgenommen, die umsetzen lässt.

Sektor viel diskutiert. Organisationen und

sich angesichts begrenzter Ressourcen nicht

In unseren Workshops versuchen wir zu

Geldgeber vermehrt Nachweise darüber, ten Projekte haben. Die Beschäftigung

zeigen, dass sich Wirkungsorientierung für

welchen Nutzen die von ihnen unterstützmit dem Thema Wirkung ist für gemeindenen Gründen wichtig.

gemeinnützige Organisationen jeder Größe

und jeden Alters eignet, auch wenn nur weaußerhalb der Workshops wurde deutlich,

nige Mittel dafür zur Verfügung stehen. Auch dass es einen Bedarf nach einer praxisnahen Handreichung zum Thema Wirkungsorientierung gibt. So entstand gemeinsam mit der Bertelsmann Stiftung die Idee für das

Bettina Kurz

nützige Organisationen also aus verschie-

Bei unserer Arbeit haben wir viele gemeingelernt, die mit ihrer Arbeit Großartiges

nützige Projekte und Organisationen kennenleisten. Sie arbeiten mit viel Wissen, Engagement und Ressourcen unter anderem dafür, dass es Menschen besser geht, die Natur

„Kursbuch Wirkung“, das einen Einstieg ins

Thema bietet und mit vielen praxisnahen InWirkungsorientierung als festen Bestandteil in den Projektalltag zu integrieren.

strumenten, Tipps und Beispielen dabei hilft,

Doreen Kubek
sind verantwortlich für das seit der Gründung 2010 im

geschützt oder der gesellschaftliche Zusam-

„Kursbuch Wirkung“. Beide sind PHINEO-Team. Die Politikwissenin zahlreichen Projekten zum

menhalt in ihrem Stadtteil gestärkt wird. Mit ihrer Arbeit leisten sie damit jeden Tag einen Dabei versuchen sie, so viel Wirkung wie unverzichtbaren Beitrag für die Gesellschaft. möglich zu erzielen. Doch Wirkung tritt nicht gesamten Projektverlaufs darauf geachtet werden, ob das Projekt auf dem richtigen

Wir würden uns freuen, wenn dieses Kurs-

buch Ihnen dabei hilft, Ihre Arbeit wirkungsorientiert zu gestalten, und wünschen Ihnen eine interessante und wirkungsvolle Lektüre.

schaftlerin Bettina Kurz war zuvor Thema Zivilgesellschaft in der

Bertelsmann Stiftung tätig. Ihr Themen Wirkungsanalyse und Qualitätsentwicklung.

von alleine ein, sondern es muss während des Bettina Kurz

Arbeitsschwerpunkt liegt auf den

Doreen Kubek hat Politikwissenschaften studiert und war in Bereichen wie Internationale

Weg ist, um die gewünschten Wirkungsziele zu erreichen. Vielen Organisationen fehlen Instrumente, um Wirkungsorientierung allerdings das Wissen und die geeigneten systematisch in ihre Projektarbeit zu integ-

Politik und Soziale Arbeit tätig. Bei PHINEO gehören Monitoring und Evaluation zu ihren Aufgaben.

Doreen Kubek

rieren. Wirkungsorientierung wird daher oft

Weitere kostenfreie Publikationen von PHINEO

finden Sie unter www.phineo.org/publikationen

1

INHALT
	Editorial		 	 	 	 	Inhaltsverzeichnis	 1.	

Zur Einführung	

2.	

Einführung ins Thema 	 Über das Kursbuch	

4 4 9

2

1

TEIL 1: WIRKUNG PLANEN 	
1.	 Herausforderungen und Bedarfe verstehen	
	 	 1.1	 1.2	 Die Bedarfs- und Umfeldanalyse in der Praxis 	 Vom „Bauchgefühl“ zum Wissen 	

10 12	 14 25 27 13

2. Die Wirkung in den Blick nehmen – Wirkungsziele setzen	
	 	 	 2.1	 Wirkungsziele setzen: notwendig und nützlich	 2.2	 Wirkungsziele erarbeiten und formulieren	

26

2.3	 Den richtigen Handlungsansatz für das Projekt wählen	

31

3. Auf dem Weg zur Wirkung – die Wirkungslogik 	
	 	 	 	 	 3.2	 Die Wirkungslogik und ihre Bestandteile	 3.3 	 Die Erstellung einer Wirkungslogik	

3.1	 Was sind Wirkungslogiken und wofür werden sie genutzt?	

33 34 33

3.4	 Wirkungsziele im Rahmen der Wirkungslogik detailliert ausarbeiten	 3.5	 Wirkungsorientierte Planung im Überblick: Der Wirkungskreislauf	

44 45

40

TEIL 2: WIRKUNG ANALYSIEREN 	
4. Die Wirkungsanalyse vorbereiten	
	 	 	 4.1	 Wirkungsanalyse, Monitoring und Evaluation	 4.2	 Logistische Fragen zur Wirkungsanalyse	 4.3	 Welche Fragen sollen durch die Wirkungsanalyse beantwortet werden?	

46 48 48 54 58 50

5.	 Wirkung überprüfbar machen – Indikatoren entwickeln	
	 	 	 	 5.1.	 Was sind Indikatoren und wofür braucht man sie?	 5.2	 Arten von Indikatoren	 5.3	 Schritte zur Indikatorenentwicklung	

60 66

59 63

5.4	 Wie viel soll’s denn sein? Baselines und Soll-Werte	

6.	Daten für die Wirkungsanalyse erheben	
	 6.1	 Datenerhebung – die praktischen Schritte	

70 70

2

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Tue erst das Notwendige, dann das Mögliche, und plötzlich schaffst du das Unmögliche.
Franz von Assisi (* ca. 1181 / 1182 –✝1226)

	 	

6.2	 Schwer zu erhebende Wirkungen	

6.3	 Qualitätskriterien für die Datenerhebung	

82 85

7.	 Datenaufbereitung und -analyse	
	 	 	 7.1	

7.2	 Wer ist für die Datenauswertung und -analyse zuständig?	

Wann und wie oft sollten die Daten ausgewertet und analysiert werden?	

86 87 87

7.3	 In vier Schritten von der Datenaufbereitung zur Erarbeitung von Handlungsempfehlungen	

88 98 100 102

TEIL 3: WIRKUNG VERBESSERN 	
8.	Lernen und verbessern	
	 	 	 	 8.1	 Voraussetzungen für eine „lernende Organisation“	 8.2	 Lernen in der Organisation	 8.3	 Lernen von und mit anderen Organisationen 	 8.4	 Gute Entscheidungen treffen	

101

104

105

9. Über Wirkung berichten	
	 	 9.2	 Berichte schreiben	

9.1	 Eine Kommunikationsstrategie für das Projekt entwickeln	

108 108 111

10.(Noch) weiter wirken – Wirkung verbreiten	
	 	 	 	 	 	 10.2	Verbreitungsmethoden	 10.1	 Kriterien für die Verbreitung von Projekten	

116 116 120 122 117

10.3	 Wirkungsanalyse bei der Verbreitung von Projekten	 Zum Schluss 	 Weiterführende Literaturhinweise	 Herzlichen Dank	

	Glossar			

124 126 127

	Literaturverzeichnis	

128

3

ZUR EINFÜHRUNG

Stellen Sie sich vor, Sie wollen eine Seereise unternehmen. Wie planen Sie Ihre Reise? Zuerst überlegen Sie wahrscheinlich, wo es wollen und wie Sie Ihre Passagiere sicher entscheiden, welches Schiff und welche

Rückblickend würden Sie aber vielleicht noch einige Dinge anders machen. Vielleicht war einer der Passagiere seekrank und es gab oder ein anderer bekam einen starken

überhaupt hingehen soll, wen Sie mitnehmen an den Zielort bringen können. Sie müssen Mannschaft Sie dafür brauchen, planen Ihre Route und denken darüber nach, wie viel Proviant Sie mit an Bord nehmen müssen. und Passagiere die Reise gebucht haben,

keine entsprechenden Medikamente an Bord, Sonnenbrand. Bei der nächsten Reise würden Sie darauf achten, ein Reisemedikament und ausreichend Sonnenschutz dabeizu­

haben, um auf verschiedene Wetterlagen und Bedürfnisse Ihrer Passagiere reagieren zu erfolgreicher. Aber was hat das alles mit kungsorientierung zu tun? können. Dann wird die Reise sicher noch ­diesem Kursbuch und mit dem Thema Wir-

Nachdem Sie alles Nötige organisiert haben kann es losgehen. Unterwegs überprüfen Sie

gemeinsam mit Ihrer Mannschaft laufend, ob Sie noch auf dem richtigen Weg sind oder der Kurs angepasst werden muss. Sie sorgen für für sie da. Es wird eine schöne Reise, die die Passagiere und sind als Ansprechpartner Passagiere loben den Service und die Auskommen alle wohlbehalten an und gehen

1. EINFÜHRUNG INS THEMA
Genau wie Sie bei Ihrer Reise bestrebt sind, der Arbeit in einer gemeinnützigen Organisation, mit Ihren Projekten die größtmögliche Wirkung zu erzielen. Sie stecken viel dass alles optimal verläuft, versuchen Sie bei

stattung Ihres Schiffes. Am Ende der Reise zufrieden von Bord. Auch Sie selbst sind mit dem Verlauf der Reise insgesamt zufrieden.

Ressourcen und Herzblut in die Planung und

4

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Die Wirkungstreppe

Ab dieser Stufe spricht man von Wirkung

1 Aktivitäten finden wie geplant statt
Durchführung Ihrer Projekte und arbeiten ne Wirkungsebenen unterscheiden, z.B. die der Lebenslage der Zielgruppen, wie in der oben stehenden Grafik anhand der „WirAbb.: Eigene Darstellung nach Univation 2007

2

Zielgruppen werden erreicht

3

Zielgruppen akzeptieren Angebote
OUTPUT

4

Zielgruppen verändern ihre Fähigkeiten

5 Zielgruppen ändern ihr Handeln

6

Lebenslage der Zielgruppen ändert sich
OUTCOME

7 Gesellschaft verändert sich

IMPACT

tagtäglich mit viel Energie und persönlichem Engagement daran, dass sich Dinge zum Podafür, dass es benachteiligten Menschen sitiven verändern. Sie sorgen unter anderem besser geht, Bildung gefördert, die Natur menhalt gestärkt wird.

Veränderung von Fähigkeiten, Verhalten oder

kungstreppe“ veranschaulicht ist. Wirkungen treten in Folge von Leistungen, d.h. Angebospricht man von Outputs. Diese sind noch um diese zu erreichen. ten, Maßnahmen oder Produkten ein. Hierbei keine Wirkungen, aber eine Voraussetzung,

geschützt oder der gemeinschaftliche ZusamWas bedeutet in diesem Kontext der Be-

griff „Wirkungsorientierung“? Dazu muss

zunächst dargestellt werden, was in diesem Zusammenhang mit dem Begriff „Wirkung“ gemeint ist.

Ein Beispiel: Will ein Projekt Jugendlichen dabei helfen, einen Ausbildungsplatz zu bekommen, bestehen seine Leistungen

Was sind Wirkungen?
Wirkungen sind Veränderungen, die Sie mit Ihrer Arbeit bei Ihren Zielgruppen, deren Lebensumfeld oder der Gesellschaft erreichen. Gesellschaftliche Wirkung wird als Impact, Wirkungen bei den Zielgruppen

(„Outputs“) aus durchgeführten Nachhilfe­ stunden und Bewerbungstrainings. Die Durchführung allein oder eine hohe Teilnehmerzahl sagen jedoch nichts über die Wirkung des Projekts aus. Denn die Teilnahme sich Veränderungen bei den Jugendlichen eingestellt haben, die ihnen beim Finden

am Projekt bedeutet nicht automatisch, dass

werden als Outcomes bezeichnet. Bei den

Outcomes lassen sich wiederum verschiede-

eines Ausbildungsplatzes helfen. Die Outputs

5

sind aber andererseits eine wichtige Voraussetzung, um Wirkungen erzielen zu können. Denn: Würde niemand die Angebote wahrnehmen, könnte man durch dieses Angebot erreichen. Haben die Jugendlichen durch

auf dem richtigen Weg ist, muss während des Projektverlaufs überprüft werden, ob es sich in Richtung der formulierten Wirkungsziele bewegt. Dies ist die Aufgabe der Wirkungsanalyse (Teil 2 des Kursbuchs). Instrumente der Wirkungsanalyse sind Monitoring und durch Monitoring- und Evaluationsmaß-

auch keine Veränderung bei den Zielgruppen die Teilnahme an den Bewerbungstrainings

etwa relevante Kenntnisse und Fähigkeiten baut und können nun selbstständig gut

Evaluation. Die Überprüfung von Wirkungen nahmen nimmt eine zentrale Rolle bei der

erworben, haben sie Selbstvertrauen aufgeformulierte Bewerbungen erstellen, so sind der Vermittlung in Ausbildung beitragen.

wirkungsorientierten Projektsteuerung ein. Die Ergebnisse der Wirkungsanalyse bilden die Grundlage, um Schlussfolgerungen für falls Verbesserungen zu implementieren. Entsprechend bildet der Themenbereich

dies Wirkungen („Outcomes“), die zum Ziel Schafft es das Projekt, seine Teilnehmer in

die Projektarbeit zu ziehen und gegebenen-

Ausbildung zu vermitteln, und trägt dies zu sigkeit in der Region, in der es tätig ist, bei,

einem allgemeinen Rückgang der Arbeitslohätte es eine Veränderung auf gesellschaftliausführliche Darstellung der verschiedenen Wirkungsstufen → Kap. 3)

„Wirkung verbessern“ den dritten Kernschritt bei der wirkungsorientierten Arbeit (Teil 3 des Kursbuchs). Anhand der Erkenntnisse aus der Wirkungsanalyse, dem daraus Gelernten nun erneut geplant werden, und es beginnt ein neuer Kreislauf. sowie den abgeleiteten Verbesserungen kann

cher Ebene („Impact“) bewirkt. (vgl. für eine

Was ist Wirkungsorientierung?
Wirkungsorientierung bedeutet, dass ein

Die Wirkungsanalyse, das Lernen daraus und das Ableiten von Schlussfolgerungen bilden zudem eine wichtige Grundlage, wenn ein (Kapitel 10 des Kursbuchs).

Projekt darauf ausgelegt ist, Wirkungen zu erzielen, und es entsprechend geplant und umgesetzt wird. Erwünschte Wirkungen werden als konkrete Ziele formuliert, an denen sich die gesamte Arbeit des Projekts ausrichsich drei Kernschritte mit Unterschritten

Projekt erweitert oder verbreitet werden soll

Warum ist Wirkungsorientierung wichtig?

tet. Für die wirkungsorientierte Arbeit lassen identifizieren, die einen Kreislauf ergeben. Wirkungsorientiert vorzugehen bedeutet für ein Projekt, dass es zunächst auf die muss. Damit beschäftigt sich Teil 1 des erwünschte Wirkung hin geplant werden Kursbuchs. Um festzustellen, ob das Projekt

Warum sollten Sie wirkungsorientiert ar-

beiten und Ihre Wirkungen analysieren? Sie

wollen mit Ihrer Arbeit die Situation für Ihre

Zielgruppen verbessern und den Teilnehmern Ihrer Projekte eine hohe Qualität bieten. Dabei Ihren Zielgruppen erreichen wollen, und für müssen Sie sich genau überlegen, was Sie überprüfen, ob Sie dies auch tatsächlich tun.

6

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

K

U

N

G

VE

R

S BES

ERN

TE
Herausforderungen und Bedarfe verstehen

IL

L3 –W

Über Wirkung berichten

1

–
W

IR

IR
KU

NG

TEI

Lernen und anpassen

9 8

1 2 3

Wirkungsziele setzen

PLA

NEN

Daten auswerten und analysieren

7 6 5 4

Wirkungslogik erarbeiten

Daten erheben

Wirkungsanalyse vorbereiten

Immer mehr gemeinnützige Organisationen bemühen sich darum, die Resultate und Wirkungen ihrer Projekte zu analysieren und zu belegen. Dies ist jedoch noch nicht gängige Praxis und wird oft als große Herausforderung angesehen. Häufig wird die Beschäftigung mit dem Thema Wirkung zudem eher einseitig im Sinne der Außendarstellung und Legitimation gedacht. Die wesentliche

Bedeutung von Wirkungsorientierung liegt

TE
IL
2

–

W

IR

KU

Indikatoren entwickeln

NG

A N A LY S I E R E N

aber im Lernen, in der kontinuierlichen Ver-

besserung der eigenen Arbeit. Nur wer seine chen kennt, kann diese Erkenntnisse nutzen, systematisch näherzukommen.

Arbeitsergebnisse, seine Stärken und Schwäum sich weiterzuentwickeln und seinen Zielen

Abb. Wirkungsorientierung im Steuerungskreislauf: Die Schritte der wirkungsorientierten Steuerung vgl. Studie „Wirkungsorientierte Steuerung in Non-Profit-Organisationen – Wirkung und Transparenz schaffen“, PHINEO gAG (2013 : 8)

Um nun auf das Eingangsbeispiel der Seereise zurückzukommen: Es ist Ihnen wahrscheinlich gar nicht aufgefallen, aber Sie

7

... Ihr Projekt von Anfang an wirkungsvoll zu gestalten.

... die Ergebnisse Ihrer Arbeit besser zu kommunizieren.

... Ihre Arbeit gegenüber Geldgebern zu legitimieren.

Wirkungsanalyse hilft Ihnen dabei ...

... festzustellen, was Sie mit Ihrer Arbeit bewirken.

... Ihre Mitarbeitenden zu motivieren. ... die Wirkung Ihrer Arbeit kontinuierlich zu verbessern.

... aus Fehlern zu lernen.

haben auf Ihrer Reise auch die verschiedenen Schritte unter­nommen. Sie haben sich überlegt, wohin Sie wollen und warum, haben die Schifffahrt geplant, durchgeführt und

Die wirkungsorientierte Projektarbeit von

gemeinnützigen Organisationen ist natürlich komplexer, aber sie folgt im Wesentlichen ebenfalls diesen Schritten. Lassen Sie sich sondern sehen Sie sie als Möglichkeit, Ihr

laufend überprüft, ob die Richtung stimmt.

Die lobenden Worte der Passagiere haben Sie zur Kenntnis genommen, aber auch gesehen, dass es Dinge gibt, die Sie in Zukunft anders machen würden. Ganz nebenbei haben Sie so eine „Analyse“ Ihrer Reise gemacht. Sich Ziele zu setzen, Ergebnisse und Prozesse zu analysieren ist etwas, das wir in unserem Alltag ständig machen. Wir sammeln InformaBedeutung und handeln entsprechend. tionen, wir bearbeiten sie, geben ihnen eine

von Herausforderungen nicht abschrecken, Projekt voranzubringen. Die Zeit und der Aufeine durchdachte Wirkungsanalyse stecken, werden sich auf jeden Fall lohnen. Warten Sie nicht darauf, dass Ihnen Berichts- und werden, sondern nehmen Sie die Zügel in wirkungsorientiert!

wand, die Sie in ein gut geplantes Projekt und

Nachweispflichten von außen vorgegeben die Hand und gestalten Sie selbst Ihr Projekt Wie kann Ihnen dieses Kursbuch dabei helfen?

8

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

2. ÜBER DAS KURSBUCH
Was ist Ziel dieses Kursbuchs?
Das „Kursbuch Wirkung“ möchte einen

bisher noch wenig mit dem Thema Wirkungsorientierung und Wirkungsanalyse beschäftigt haben. Und wir möchten zeigen: Auch Organisationen mit geringen Ressourcen für Monitoring und Evaluation können mit

niedrig­schwelligen Einstieg in das Thema

„Wirkungsorientierung“ bieten. Wir möchten Ihnen zeigen, wie Sie mit einfachen Schritten Ihr Projekt wirkungsorientiert planen,

einfachen kleinen Schritten die Wirksamkeit ihrer Arbeit überprüfen und die Ergebnisse zum Lernen nutzen.

umsetzen und Wirkungen analysieren können. Es werden alltagstaugliche Instrumente zur Verfügung gestellt, die Ihnen bei der prakti-

Wie ist das Praxishandbuch aufgebaut?
Der Aufbau des Handbuchs orientiert sich am vorgestellten wirkungsorientierten Steuerungskreislauf und untergliedert sich analysieren“ und „Wirkung verbessern“.

schen Umsetzung von Wirkungsorientierung in Ihrer Projektarbeit helfen und den Austausch zum Thema Wirkungsorientierung innerhalb Ihrer Organisation unterstützen. Vor allem Thema auseinanderzusetzen.

in die drei Teile „Wirkung planen“, „Wirkung Der Schwerpunkt dieses Kursbuchs liegt auf der Wirkungsorientierung im Rahmen der Projektarbeit. Auch wenn organisatorische

aber möchten wir Sie motivieren, sich mit dem

An wen richtet sich das Kursbuch?
Das Kursbuch richtet sich an Projekte,

Prozesse einen entscheidenden Einfluss auf nicht Inhalt des Handbuchs.

die Wirkung von Projekten haben, sind diese

Programme und Organisationen, die sich

Veranschaulicht wird die Theorie anhand eines fiktiven Patenschaftsprojekts: „PAFF – Paten für Ausbildung und Förderung in Frankfurt“ ist ein Patenprojekt in einem Stadtteil von Frankfurt, das seit fast fünf Jahren besteht. Die Jugendlichen aus dem Stadtteil haben eine deutlich geringere Erfolgsquote, nach dem Schulabschluss einen Ausbildungsplatz zu bekommen, als Jugendliche aus anderen Stadtteilen. Einige haben einen Migrationshintergrund, und bei vielen sind die Schulleistungen nicht ausreichend, um einen qualifizierten Schulabschluss zu erlangen. Ziel des Projekts ist es, Jugendliche fit für die Ausbildung zu machen und sie beim Schritt ins Arbeitsleben zu unterstützen. Dazu werden sie von ehrenamtlichen Paten begleitet, überwiegend bestehend aus ehemaligen Führungskräften, die mit den Jugendlichen lernen und ihnen mit Rat und Tat zur Seite stehen. Zusätzlich zu der Begleitung durch Paten bietet PAFF Nachhilfestunden und Bewerbungstrainings an, die von professionellen Kräften durchgeführt werden. Bislang ist PAFF an zwei Schulen im Stadtteil aktiv. Das Projekt wird durch eine haupt­ amtliche Projektleitung und ehrenamtliche Paten getragen. Die Paten treffen sich regelmäßig, um sich auszutauschen. Hierfür haben einige Paten die Aufgabe als Patengruppenbetreuer übernommen. Es stehen relativ wenig finanzielle Ressourcen zur Verfügung.

9

TEIL 1: WIRKUNG PLANEN

Wer nicht weiß, wohin er segeln will, für den ist kein Wind der richtige.
Seneca (*4 v.Chr. –✝65 n.Chr.)

Das sind die Inhalte von Teil 1 des Kursbuchs:

In Kapitel 1 erfahren Sie, wie Sie durch die Bedarfs- und Umfeldanalyse wichtige Infor­ erhalten, die Ihnen helfen, Ihr Projekt wirkungsorientiert zu planen.

mationen über die Bedarfe Ihrer Zielgruppe und das Umfeld Ihres (geplanten) Projekts

1

In Kapitel 2 erfahren Sie, wie Sie auf Basis der Bedarfs- und Umfeldanalyse die Wirkungsziele und den Handlungsansatz des Projekts entwickeln können.

In Kapitel 3 erfahren Sie, wie Sie den Weg, auf dem die Wirkungsziele erreicht werden sollen, im Rahmen einer „Wirkungslogik“ systematisch erarbeiten können.

Ergänzende Materialien – Direktdownload Im Anhang zu diesem Praxishandbuch haben wir Ihnen ein Glossar der www.phineo.org/publikationen unser kleines Nachschlagewerk

wichtigsten Begriffe zusammengestellt. Zusätzlich können Sie sich unter „Social – Deutsch / Deutsch – Social“ als kostenloses PDF herunterladen.

10

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

K

U

N

G

VE

R

S BES

ERN

TE
Herausforderungen und Bedarfe TE verstehenI L 1
–
W

WIRKUNG PLANEN

IL

L3 –W

IR

K

U

N

G

Über WirkungN SER BES berichten R VE
Über Wirkung berichten

1
–

L3 –W

TEI

Lernen und anpassen
TEI

Lernen und anpassen

9

Herausforderungen und Bedarfe verstehen

WIRKUNG ANALYSIEREN

8

9

1

1

8

2 3

Wirkungsziele setzen

2

Wirkungsziele setzen
KU
NG

WIRKUNG VERBESSERN

Daten Daten 7 7 auswerten und auswerten und analysieren analysieren

Wirkungslogik Wirkungslogik erarbeiten

3

Daten erheben

6

6

5

4

erarbeiten

1 2 3

W

IR

IR
KU

NG

IR

PLA

PLA

NEN

NEN

5

Wirkungsanalyse vorbereiten

4

TE

2

2 Daten–erheben W IR KU N

Indikatoren entwickeln

Wirkungsanalyse vorbereiten

IL

TE

–

KU Bevor Sie in See stechen, machen Sie sich N
Ihre Reise. Dabei werden Sie und Ihre Fragen stellen:

W

IR

G AN A LY S I E R E N Indikatoren entwickeln

IL

G AN wahrscheinlich einige Gedanken S I E R E N A L Y über
Mannschaft sich unter anderem folgende

Doch was bedeutet dies für bereits bestehende Projekte? Vielleicht sind Sie schon „auf hoher See“, also mitten in der Umsetpen erfolgreich umschifft und viele Passaes auch in diesem Fall Sinn, sich über die

zung Ihres Projekts, haben schon viele Klipgiere erfolgreich an ihr Ziel gebracht. Macht wirkungsorientierte Planung Gedanken zu See das Wetter umschlagen kann oder die

•	Was ist der Grund unserer Reise? •	Welches Ziel möchten wir mit unseren
	 Passagieren erreichen? Wenn Sie nun statt einer Schiffsreise ein gemeinnütziges Projekt planen, werden

•	Auf welchem Weg kommen wir dorthin?
die Fragen, die Sie sich stellen, nahezu die gleichen sein. So wie die Planung der Seereise einen großen Einfluss auf den Erfolg die Basis für eine wirkungsvolle Projektarbeit. Die drei Kapitel in Teil 1 des Kurs-

machen? Auf jeden Fall, denn wie auf hoher Passagiere seekrank werden können, können sich die Rahmenbedingungen für ein Projekt und die Bedarfe der Zielgruppen ändern.

Wenn ein Projekt auch weiterhin erfolgreich arbeiten möchte, muss wie beim Schiff der Kurs, auf dem man unterwegs ist, überdacht und gegebenenfalls angepasst werden. Die Planungsphase bezieht sich also nicht nur auf den Beginn eines Projekts, verlauf wiederholen. sondern sollte sich regelmäßig im Projekt-

der Überfahrt hat, legt die Planungsphase

buchs folgen daher diesen drei Fragen und erläutern, wie Projekte wirkungsorientiert geplant werden.

11

1. HERAUSFORDERUNGEN UND BEDARFE VERSTEHEN

In diesem Kapitel …

nung einer Seereise mit Passagieren doch etwas anders ab. Wahrscheinlich werden Sie überlegen, in welchem Rahmen die Reise stattfinden soll: Ist es eine Kreuzfahrt durch planen Sie eine Expedition mit dem Eisbredie Karibik mit dem Ziel, sich zu erholen, oder cher in die Antarktis? Und mit Blick auf Ihre

•	erfahren Sie, warum eine Analyse der
	 gesellschaftlichen Herausforderung, 	 der Bedarfe der Zielgruppe und des 	 same Projektarbeit bildet. 	 Projektumfelds die Basis für eine wirk-

•	lernen Sie die für die Bedarfs- und
	 und Fragestellungen kennen.

	 Umfeldanalyse relevanten Aspekte

Passagiere: Wen haben Sie an Bord? Und wie muss die Reise gestaltet sein, dass sie Ihren besten Hafen von Bord gehen? Sind Ihre Passagieren gefällt und diese nicht am erstGäste vielleicht etwas nervös, weil dies ihre erste Schiffsreise ist und einige von ihnen nicht schwimmen können? Gibt es Personen, die leicht seekrank werden? Sie sehen: Bei der Planung einer Schiffsreise gilt es also, sowohl den Kontext der Reise im Auge zu

Wie entscheiden Sie, wie die Seereise gestaltet sein soll, wen Sie mitnehmen und welche Ausrüstung an Bord sein muss? Buchen Sie für die gesamte Gruppe eine Atlantikübereiner gelungenen Schiffsreise entspricht? von Ihrem Reiseziel und Ihrer Route mit

querung, weil dies nun mal Ihrer Vorstellung Oder statten Sie alle Passagiere unabhängig Regenmänteln aus, weil Sie davon gera-

haben, als auch die individuellen Bedarfe der Passagiere. Nicht anders ist das bei der Planung und Umsetzung von sozialen Projekten.

de eine größere Menge günstig erwerben konnten? Nun, vermutlich läuft die Pla-

12

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Gesellschaftliche Herausforderungen und die Situation vor Ort Ursachen und Auswirkungen des Problems Zielgruppen und ihre Bedarfe

1

Perspektiven der Bedarfs- und Umfeldanalyse

Bisherige Angebote und Förderlücken im Angebot

Stakeholder identifizieren und einbeziehen

1.1 VOM „BAUCHGEFÜHL“ ZUM WISSEN
Warum ist der Blick auf die (Ausgangs-) Situation, die Bedarfe und das Projekt­um­feld wichtig? Um die erwünschte Wirkung entfalten zu können, müssen Projekte auf die konkrete Situation vor Ort und die Bedarle gemeinnützige Organisationen, die schon lange in einem Themenfeld tätig sind, mag
Abb.: Dimensionen

diese Erkenntnis ein wenig banal erscheinen. stehende Projekte ist es sinnvoll, sich mit der Analyse der Bedarfe der Zielgruppe(n) sowie des Projektumfelds zu beschäftigen.

der Bedarfsanalyse

Doch nicht nur für neue, sondern auch für be-

fe der Zielgruppe zugeschnitten sein. Für vie-

Wichtig zu wissen: Die Bedarfs- und Umfeldanalyse hilft Ihnen dabei,
… die Prioritäten in Ihrer Projektarbeit richtig zu setzen. libusae reperi tet vellitat atem Die Bedarfs- und Umfeldanalyse dient dazu, festzustellen, ob für ein Projekt überhaupt Bedarf elluptatus velliquas apientorro besteht und falls ja, wie dieser genau aussieht. Auf der Grundlage dieser Informationen sollten Organisationen und auch Geld­ iunt, ipsunt minciam facipiet lab geber entscheiden, welche Projekte sie aufsetzen, unterstützen oder eben nicht mehr unterstützen. nihilitatus antio. optiore … der Zielgruppe Ihrer Arbeit ein „maßgeschneidertes“ Projekt zur Verfügung zu stellen.harchilia excereperum. Die Menschen, an die sich soziale Projekte wenden, sollten das Angebot bekommen, das bestmöglich auf ihre Situation und individuellen Bedarfe abgestimmt ist. Ein Programm, das genau auf die Bedarfe der Zielgruppe reagiert, hat gute Chancen, die erwünschte Wirkung zu erzielen.
Iciassitem. Em ut plandant Headline Marginalie

… die wichtigen Stakeholder zu identifizieren und in Ihre Arbeit einzubeziehen. Für eine wirkungsorientierte Projektumsetzung ist es entscheidend, dass von Beginn an die wichtigen Stakeholder – also diejenigen Personen, Personengruppen oder Institutionen, die von dem Projekt (positiv oder negativ) betroffen sind und/oder es beeinflussen können – eingebunden werden. Die Bedarfs- und Umfeldanalyse ist der ideale Zeitpunkt, die Stakeholder an Bord zu holen.
Fortsetzung auf S.14

13

Fortsetzung von S.13

… die Grundlagen für Monitoring und Evaluation zu legen. Im Rahmen von Monitoring und Evaluation werden die Informationen, die zu Beginn des Projekts erhoben wurden, als Referenzpunkt für die im Projektverlauf erhobenen Daten genutzt. … Ihre Ressourcen effizient und effektiv einzusetzen. In der Projektumsetzung trägt eine Bedarfsanalyse dazu bei, die Ressourcen an der richtigen Stelle und in der richtigen Höhe einzusetzen. … die Qualität der Arbeit in Ihrem Themenfeld und Projektumfeld voranzubringen. Wenn die erhobenen Informationen mit anderen Akteuren im Umfeld geteilt werden, kann dies auch bei anderen Organisationen zur höheren Wirkungs­ orientierung ihrer Arbeit führen. … die Qualität Ihrer Arbeit gegenüber Geldgebern darzustellen. Es spricht für eine hohe Qualität der Arbeit einer Organisation, wenn sie vor Beginn ihrer Arbeit die Bedarfe ihrer Zielgruppe identifiziert und analysiert. Nutzen Sie daher die Bedarfs- und Umfeldanalyse als Grundlage für die Mittelakquise.

1.2 DIE BEDARFS- UND UMFELDANALYSE IN DER PRAXIS
Aufgabe der Bedarfs- und Umfeldanalyse ist es also, systematisch Informationen zusammenzustellen und zu analysieren, um auf der Grundlage dieser Informationen das Projekt zu planen und umzusetzen.

keinen Einfluss hat (zum Beispiel die Zahl

der angebotenen Ausbildungsplätze)? Wie verändert sich das Projektumfeld? Entstehen neue Projekte im Themenfeld? Fallen bisherige Angebote weg?

Wann sollte eine Bedarfs- und Umfeldanalyse durchgeführt werden?

Zu folgenden Zeitpunkten ist es sinnvoll, führen:

eine Bedarfs- und Umfeldanalyse durchzu-

Eine Bedarfs- und Umfeldanalyse bildet

nicht nur die Grundlage für die Konzeption eines neuen Projekts, sondern auch für die sinnvolle Weiterentwicklung bestehender Projekte. Nicht selten kommt es im Laufe eines Projekts zu Veränderungen, auf die in der Projektgestaltung reagiert werden muss. Wird zum Beispiel die Zielgruppe größer oder kleiner? Ändern sich ihre

•	vor Beginn eines Projekts, •	im regelmäßigen Turnus während der
	Projektumsetzung, 	 wie geplant läuft,

•	wenn Daten aus Monitoring und Evalu•	wenn überlegt wird, ob das Projekt an
	 andere Orte verbreitet werden soll,

	 ation darauf hinweisen, dass etwas nicht

Zusammensetzung und damit ihre Bedarfe, mit Migrationshintergrund im Stadtteil gestiegen ist? Wie entwickeln sich die

weil zum Beispiel die Zahl der Jugendlichen

•	wenn innerhalb des bestehenden Pro	 entwickelt werden sollen, um Lücken 	 zu schließen.

	 jekts zusätzliche Angebote passgenau

Faktoren, von denen der Projekterfolg (mit) abhängt, auf die das Projekt selbst aber
14 © PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

WIRKUNG ANALYSIEREN

Für wen und zu welchem Zweck soll die Analyse durchgeführt werden?

Wie viel Aufwand bedeutet eine Bedarfs- und Umfeldanalyse?
WIRKUNG VERBESSERN

Das Ziel der Bedarfs- und Umfeldanalyse wohl es bei der Analyse immer um die

sollte von Anfang an klar sein, denn ob­ Bedarfe der Zielgruppen und das Projekt­ umfeld geht, kann sich je nach ErkenntWird ein bundesweites Projekt geplant, nisinteresse der Fokus der Analyse ändern: bei dem der Initiator wissen möchte, wo

Bei der Bedarfs- und Umfeldanalyse geht es nicht darum, mit hohem Aufwand so viele Informationen wie möglich zu erhe-

ben. Sie müssen, zumindest in den meisten Fällen, keine umfangreiche wissenschaftliche Studie in Auftrag geben, bevor Sie Ihr Projekt konzipieren können. Es geht vielmehr darum, gezielt die In-

1 2 3

der erste Standort errichtet werden soll?

Möchte eine Förderstiftung wissen, wie die Informationsgrundlage ihre Förderent-

formationen zu sammeln, die notwendig sind, um darauf eine bedarfsorientierte Projektplanung aufzusetzen. Die Höhe des Aufwands ist vor allem davon abhängig, mationen zu bekommen. wie schwer es ist, die notwendigen Infor-

Bedarfslage vor Ort aussieht, um auf dieser scheidung zu treffen? Möchte eine bestenoch zeitgemäß ist? Ist eine Verbreitung und es soll festgestellt werden, ob und

hende Organisation wissen, ob ihr Projekt des Projekts an andere Standorte geplant wie das Projekt auch an anderen Stand-

Woher kommen die Informationen? Grundsätzlich gibt es zwei Möglichkei-

orten seine Wirkung entfalten kann? Will eine neue Initiative vor Ort verstehen, an angebot noch Lücken gibt, die sie schlieAnalyse, zu welchem Zweck die Analyse welcher Stelle es im vorhandenen Projekt­ ßen könnte? Überlegen Sie daher vor der durchgeführt wird und wie die gesammelten Informationen genutzt werden sollen, und investieren Sie genügend Zeit in die Erarbeitung der Fragestellungen.

ten, Informationen für eine Bedarfs- und Umfeldanalyse zu sammeln. Es kann auf werden. Diese Möglichkeit sollten Sie, bereits vorhandene Daten zurückgegriffen wenn Informationen aus zuverlässiger

Quelle vorliegen, auf jeden Fall nutzen.

Wenn keine Daten existieren oder die be-

stehenden Informationen nicht ausreichen, müssen neue Daten erhoben werden. Die Möglichkeiten hierzu sind vielfältig und

reichen von sehr komplexen wissenschaft-

lichen Erhebungen bis hin zu Instrumenten, die vom Projektteam selbst auch mit wenig Vorkenntnissen und wenig Ressourcen angewendet werden können. In → Teil 2

dieses Kursbuchs lernen Sie eine Reihe von Instrumenten der Datenerhebung kennen.

15

Fragestellungen der Bedarfsund Umfeldanalyse

Möglichkeit zu kooperieren? Wo kann es zu Konkurrenzsituationen kommen? 		 5

Um ein umfassendes Bild von der Ausgangsjektumfeld zu bekommen, sollten verschiewerden. Die folgenden Fragen sind für die Bedarfs- und Umfeldanalyse zentral: 	 1	 Was ist die gesellschaftliche

situation, den Bedarfen vor Ort und dem Prodene Fragestellungen in den Blick genommen

der gesellschaftlichen Herausforderung gibt es, und wie hängen sie zusammen? Im Folgenden wird auf diese fünf Fragen praxisnahe Tipps für ihre Beantwortung gegeben.

Welche Ursachen und Auswirkungen

im Einzelnen eingegangen und es werden

Herausforderung, auf die das Projekt reagieren möchte? Ist diese so groß Situation vor Ort dar? wie angenommen? Wie stellt sich die

Das Ausmaß der gesellschaftlichen Herausforderung und die Situation vor Ort

2 		

jekts? Was brauchen die Leute?

Wer sind die Zielgruppen des Pro-

In einem ersten Schritt ist es sinnvoll, sich

einen Überblick über den Umfang der gesellund zum Beispiel festzustellen, wie viele

schaftlichen Herausforderung zu verschaffen Personen von dem Problem betroffen sind.

3 		

einbezogen werden?

Welche Akteure sollten in das Projekt

Informationen liefern hier zum Teil bereits bestehende Datenquellen. Dazu gehören unter anderem offizielle Statistiken und Erhebungen. Regelmäßig erhobene Daten (z. B. Arbeitslosenzahlen) können zur Einschät-

4 		

Umfeld? Welche Ergebnisse haben diese geschlossen werden? Wo ergibt sich die

Welche Angebote gibt es bereits im

bisher erzielt? Welche Förderlücken sollten

zung der aktuellen Situation genutzt werden,

16

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

aber auch problematische Entwicklungen und Trends aufzeigen. Oft liegen diese Informationen jedoch nur in stark zusammengefasster Form vor, zum Beispiel als Durchschnittswerte für die Bundesebene. Um Aussagen für kleinere Einheiten wie Städte oder Stadtteile treffen zu können, müssen Daten für die

Projektbeispiel PAFF Die Initiatoren von PAFF haben bei den ersten Überlegungen für das Projekt unterschiedliche Informationsquellen genutzt. Zum einen

WIRKUNG PLANEN

verfolgten sie regelmäßig die Entwicklung der Jugendarbeitslosigkeit in Deutschland und in Ausbildungsmarkt. Gleichzeitig informierten sie sich intensiv über die Situation im Stadtder Region sowie die Situation am regionalen

WIRKUNG ANALYSIEREN

jeweilige Situation vor Ort vorliegen, denn

diese kann sich von Ort zu Ort ganz erheblich unterscheiden. Neben der Anzahl der Betroffenen sollten Sie noch weitere Informationen wie demografische Daten und Informationen zur Infrastruktur sammeln, damit Sie sich sagekräftiges Bild machen können. über den künftigen Projektstandort ein aus-

teil. Hier konnten sowohl die Schulen als auch die örtlichen Jobcenter sowie das Jugendzentrum im Stadtteil eine Einschätzung der Lage vor Ort abgeben.

WIRKUNG VERBESSERN

1 2 3

Zum Teil können die Daten als direkte Ant-

Die Analyse der Informationen machte

worten auf die Fragestellung genutzt werden, manchmal liefern die vorliegenden Informadie Menge der kostenlos verteilten Schulessen ein Hinweis für die soziale Situation der Kinder im Stadtteil sein. Hier die richtigen tionen nur Hinweise. So kann beispielsweise

deutlich, dass die Jugendarbeitslosigkeit im Stadtteil überdurchschnittlich hoch ist und gleichzeitig das Ausbildungsplatzangebot aufgrund der strukturellen und konjunktu-

rellen Situation vergleichsweise niedrig ist. Das Jugendzentrum vor Ort konnte weitere Informationen dazu liefern, wie sich diese

und für die eigene Arbeit relevanten Informationen zu bekommen, kann zum Teil eine HeAustausch mit Organisationen, die bereits vor Ort tätig sind. rausforderung sein. Sehr hilfreich ist hier der

Situation auf die Lage im Stadtteil auswirkt, sigkeit gekennzeichnet ist.

die durch hohe Frustration und Perspektivlo-

Hier finden Sie Daten und Hintergrundinformationen
	 Sozialberichterstattung der amtlichen Statistik Die Sozialberichterstattung der amtlichen Statistik liefert vergleichbare Daten für Bund und Länder aus den Bereichen soziale Mindestsicherung sowie Armut und soziale Ausgrenzung. www.amtliche-sozialberichterstattung.de Sozialatlas Viele der großen Städte (u. a. Berlin, München, Hamburg, Stuttgart) veröffentlichen im Rahmen eines „Sozialatlasses“ Daten über die sozialräumlichen Entwicklung in den einzelnen Stadtteilen. Diese lassen sich im Internet finden, wenn man nach dem Schlagwort Sozialatlas und dem Namen der Stadt sucht. Daten des Statistischen Bundesamts (Destatis) Das Statistische Bundesamt stellt auf seiner Webseite eine Vielzahl von Daten bereit, unter anderem die Schulstatistik, die Berufsbildungsstatistik, die Kinder- und Jugendhilfe-Statistik und den Mikrozensus, der Daten zur Bevölkerungsstruktur sowie zur wirtschaftlichen und sozialen Lage der Bevölkerung liefert. www.destatis.de Statistiken der Bundesagentur für Arbeit Daten zur Entwicklung des Arbeits- und Ausbildungsmarktes finden sich auf der Webseite der Bundesagentur für Arbeit. http://statistik.arbeitsagentur.de Wegweiser Kommune Der Wegweiser Kommune stellt für alle Kommunen Deutschlands mit mehr als 5.000 Einwohnern Daten zu den Themen demografischer Wandel, Wirtschaft & Arbeit, Wohnen, Bildung, Finanzen, soziale Lage und Integration sowie eine Bevölkerungsprognose bis 2030 auf Gemeinde- und Kreisebene bereit. www.wegweiser-kommune.de

17

Die Zielgruppe(n) und ihre Bedarfe

bei der direkten Zielgruppe bei und sollten

Stärken und Potenziale im Blick haben
Situations- und Bedarfsbeschreibungen fokussieren häufig sehr stark auf die Probleme und Defizite, auf die das Projekt mit seiner Arbeit reagiert. Natürlich ist es die Aufgabe von sozialen Projekten, Not zu lindern, Probleme anzupacken und in Situationen tätig zu sein, die oft alles andere als erfreulich sind. Fragen Sie aber auch:

Die Zielgruppe von Projekten sind EinzelOrganisationen) zumeist in geografisch eingegrenzten Bereichen wie Städten,

daher mitberücksichtigt werden. So können die direkte Zielgruppe und deren Eltern die indirekte Zielgruppe sein.

personen oder Gruppen (Familien, Teams,

zum Beispiel in einem Patenprojekt die Kinder

Stadtteilen oder Landkreisen. Im Rahmen

der Bedarfsanalyse sollten Sie versuchen, die Zielgruppe Ihres Projekts so gut wie möglich einzugrenzen und zu beschreiben. Denn so können Projekte passgenau geplant und umgesetzt werden und die größtmögliche

Die Definition der Zielgruppe sollte nicht so weit gefasst sein, dass es schwerfällt, ein passgenaues Projekt aufzusetzen, aber Zielgruppe auf kaum jemanden zutrifft (es Projekt). Viele Projekte setzen auf untermehr als nur eine Zielgruppe (z. B. ein

auch nicht so eng, dass die Beschreibung der sei denn, es geht um ein sehr spezialisiertes schiedlichen Ebenen an und haben dadurch Projekt, das sich mit seiner Arbeit an Kinder

Wirkung erreichen. Bei der Beschreibung der Zielgruppe sollten Sie zum Beispiel folgende Fragen stellen: Wer sind die Mitglieder der Zielgruppe? Wie alt sind sie? Aus welchem

• Wo liegen in einer

Situation und bei der Zielgruppe die Potenziale und Entwicklungsmöglichkeiten?

Einzugsgebiet (Stadtteil, Landkreis) kommen sie? Wie ist ihre soziale Situation? Welchen Bildungsstatus haben sie? Haben sie einen Migrationshintergrund? Wie ist ihre finangen sehen sie sich gegenüber? Wie ist ihre und Stärken? zielle Situation? Welchen Herausforderunfamiliäre Situation? Wo liegen ihre Potenziale

richtet und gleichzeitig Lobbyarbeit für Kinderrechte macht).

Weitere Stakeholder identifizieren und einbeziehen

• Wo haben die Teil­-

nehmenden Stärken und Ressourcen, die genutzt werden können?

Soziale Probleme sind meist komplex und

• Was sind ihre Wünsche und Hoffnungen?
Die positive Sicht auf die Potenziale der Zielgruppe spielt eine wichtige Rolle bei der wirkungsorientierten Projektgestaltung.

werden von verschiedenen Stakeholdern unterschiedlich definiert und eingeschätzt. Die Problemdefinition, die Zieldefinition und die Projekt können daher ein komplexer Prozess sein. Für eine erfolgreiche Planung und Umsetzung eines Projekts ist es daher wichtig, die relevanten Personen, Gruppen oder InsDurch eine Stakeholderanalyse finden Sie

Sinnvoll ist die Unterscheidung zwischen der direkten und der indirekten Zielgruppe. Bei der direkten Zielgruppe handelt es sich um des Programms direkt hinzielen und bei

Entwicklung einer Handlungsstrategie für ein

diejenigen Personen, auf die die Aktivitäten denen die Wirkung erzielt werden soll. Dabei kann es innerhalb der Zielgruppe Unterzielgruppen geben, die eine weitere Ausdifferenzierung des Angebots innerhalb des Projekts sinnvoll bzw. notwendig machen (z. B.

titutionen von Beginn an mit einzubeziehen. heraus, wer die relevanten Stakeholder für Ihr Projekt sind und in welchem Verhältnis sie zu Ihrem Projekt stehen. Welche Erwartungen, Was sind die positiven oder negativen EinHoffnungen oder Befürchtungen haben sie? flüsse, die sie auf das Projekt haben können?

Zusatzangebote für Kinder mit speziellen Förderbedarfen). Die indirekte Zielgruppe sind die Personen im Umfeld der direkten Ziel-

gruppe. Sie tragen oft zum Erfolg des Projekts

18

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Projektbeispiel PAFF Die direkte Zielgruppe bei PAFF sind die Jugendlichen, die das Projekt auf ihrem Weg in

WIRKUNG ANALYSIEREN

die Ausbildung begleitet. PAFF wendet sich dabei gezielt an die Schüler der Hauptschule im Stadtteil, bei denen davon auszugehen ist, dass sie ohne individuelle Unterstützung den Schritt in den Beruf nicht schaffen würden. Die Einschätzung der Bedarfe stammt von den Lehrern und der Selbsteinschätzung der Jugendlichen. Die meisten der Jugendlichen stammen aus bildungsfernen Familien, viele von ihnen haben einen Migrationshintergrund. Bewusst hat sich PAFF dafür entschieden, bereits Schüler in der vorletzten Klasse zu betreuen, weil die Erfahrung in anderen Projekten gezeigt hat, dass der Zeitraum des letzten Schuljahrs oft zu kurz ist, um den individuellen Bedarfen gerecht zu werden.

WIRKUNG VERBESSERN

1 2 3

Wichtig für den Projekterfolg von PAFF ist es, dass die Bedarfsanalyse für jeden Teilneh-

menden individuell erfolgt. Vor Beginn der Patenschaft werden die individuellen Bedarfe zeitig verfolgen die Projektverantwortlichen aber auch, wie sich die Bedarfe der Schüler an Nachhilfe im Fach Deutsch höher als in anderen. PAFF versucht, mit entsprechenden Angeboten darauf zu reagieren.

der Jugendlichen detailliert im Rahmen von Gesprächen und Fragebögen erhoben. Gleichvon Jahrgang zu Jahrgang verändern. So ist in einigen Jahrgängen zum Beispiel der Bedarf

Nach Beginn des Projekts wurde schnell deutlich, dass PAFF seine Wirkung nur entfalten

kann, wenn die Eltern der Jugendlichen deren Teilnahme am Projekt unterstützen. Daher nahmen umgesetzt, um sie „mit an Bord“ zu haben.

wurden die Eltern als indirekte Zielgruppe identifiziert, und es werden verschiedene Maß-

Neben den Zielgruppen sind weitere Stake­ holder innerhalb des Projekts die Projektleitung und die Projektmitarbeitenden. Stakeholder außerhalb des Projekts sind

Vorlage Stakeholderanalyse:

Die Tabelle auf der folgenden Seite hilft Ihnen dabei, einen Überblick über Ihre Stakeholder zu gewinnen und darüber, welchen Einfluss für das Projektbeispiel PAFF beispielhaft ausgefüllt.

Geldgeber, politische Entscheidungsträger, Organisationen, Personen, die von dem

Vertreter der öffentlichen Verwaltung, andere Projekt indirekt betroffen sind, Bürgerinitiativen, Vertreter von Interessengruppen und Betroffenenvereinigungen.

sie auf Ihr Projekt haben (können). Sie wurde

Unter www.phineo.org/publikationen finden Sie im Download zu diesem Kursbuch ein leeres Template zum Ausfüllen für Ihr eigenes Projekt.

19

Stakeholder

Auf welche Weise sind diese Personen/Gruppen mit dem Projekt verbunden? Welche Erwartungen haben sie an das Projekt?

Welchen positiven Einfluss können sie auf den Projekterfolg haben? Wo liegen ihre Potenziale?

Welchen negativen Einfluss können sie auf den Projekterfolg haben? Wo liegen ihre Schwächen?

Welche Konsequenzen ergeben sich für das Projekt? Wie soll dieser Stakeholder eingebunden werden?

Zielgruppen
Jugendliche (direkte Zielgruppe)
•	 	 	 •	 	 1:1 Patenschaft und Teilnahme an Angeboten des Projekts (Nachhilfe, Bewerbungstraining etc.) erwarten Unterstützung beim Schritt in die Ausbildung •	 	 	 •	 	 zum Teil hohe Motivation, den Schritt in die Ausbildung zu schaffen und Projektangebote zu nutzen äußern sich gegenüber Dritten positiv über das Projekt •	 	 	 	 zum Teil evtl. niedrige Motivation, geringe Frustrationstoleranz kann sich negativ auf Projekterfolg und auf Motivation der Paten auswirken •	 regelmäßige Feedback	 möglichkeit geben

(indirekte Zielgruppe)

Eltern

•	 	 •	 	 •	 	

müssen der Teilnahme ihrer Kinder am Projekt zustimmen Im positiven Fall erwarten sie, dass das Projekt ihren Kindern hilft. Im negativen Fall haben sie keine Erwartungen an das Projekt.

•	 	 	 	

können ihre Kinder darin bestärken, am Projekt teilzunehmen und sich um ihre berufliche Zukunft zu kümmern

•	 	 •	 	 	

können die Teilnahme der Kinder am Projekt verhindern Ihre Haltung zum Projekt kann sich negativ auf die Motivation der Kinder auswirken.

•	 	 	 	 	

müssen einbezogen werden, damit sie ein Verständnis für das Projekt entwickeln und die Teilnahme ihrer Kinder fördern oder zumindest nicht behindern

weitere Stakeholder
•	 	 •	 •	 	 •	 	 •	 	 •	 	 übernehmen die Patenschaft für Schüler möchten Jugendliche unterstützen möchten ihre Freizeit sinnvoll durch Ehrenamt gestalten schlagen Schüler aus ihrer Klasse für die Teilnahme am Projekt vor tauschen sich mit Paten über die Jugendlichen aus erwarten vom Projekt, dass Schüler individuell gefördert werden •	 sind als Paten zentral an der 	 individuellen Entwicklung der 	 Jugendlichen beteiligt •	 können weitere Paten anwerben 	 und positiv über das Projekt 	berichten •	 	 •	 	 	 können Schüler motivieren, am Projekt teilzunehmen können durch ihr Wissen über die Schüler deren individuelle Förderung unterstützen •	 	 	 	 	 •	 	 	 •	 	 Wenn den Paten die Kompetenzen und die Vorbereitung für ihre Tätigkeit fehlen, kann sich das negativ auf die Jugendlichen und den Projekterfolg auswirken. Wenn sie nicht vom Projekt überzeugt sind, stellen sie ihre Unterstützung ein. haben wenig Ressourcen, sich für das Projekt zu engagieren •	 	 •	 	 	 müssen vor Übernahme einer Patenschaft geschult werden müssen während der Patenschaft Unterstützung und die Möglichkeit zu Austausch und Feedback haben

Paten

•	 müssen regelmäßig einbe	 zogen werden (durch Paten und 	Projektleitung)

Lehrer

(potenzielle) Ausbildungsbetriebe

Geldgeber

•	 sichern Finanzierungsbedarf 	 des Projekts

•	 können weitere Finanzierungsmittel 	 zur Verfügung stellen •	 können positiv über das Projekt 	berichten

•	 Streichung oder Kürzung 	 der Unterstützung

•	 müssen regelmäßig einbezogen 	 und informiert werden

•	 stellen Ausbildungsplätze 	 zur Verfügung

•	 geben Jugendlichen aus Projekt 	Ausbildungsplätze •	 ermöglichen Praktika

•	 kooperieren nicht

•	 	 	 	 	

müssen vom Mehrwert des Projekts überzeugt werden, mit Paten zusammenarbeiten und, wo gewünscht, von der Projektleitung unterstützt werden

andere Organisationen im Themenfeld / vor Ort

•	 bieten Angebote im gleichen 	 Themenfeld an

•	 Synergien durch Kooperation

•	 Konkurrenz

•	 Austausch in regelmäßigen 	 Abständen bzw. bei Bedarf

STAKEHOLDERANALYSE
•	 stellt Büroraum für die Projekt	 leitung zur Verfügung •	 stellt Ressourcen zur Verfügung •	 berichtet über das Projekt •	 Streichung oder Kürzung der 	Unterstützung •	 kein inhaltlicher Einfluss auf 	 das Projekt •	 Austausch in regelmäßigen 	 Abständen bzw. bei Bedarf

Stadtverwaltung
20

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Bisherige Angebote und Förderlücken im Umfeld

Practices“) in den Blick genommen werden, und man sollte überlegen, ob das bereits voll an den eigenen Standort übertragen werden kann (→ Kap. 10). bewährte Konzept (oder Teile davon) sinn­-

WIRKUNG ANALYSIEREN

Kaum ein Projekt findet „auf der grünen Wiese“ statt. In sehr vielen Fällen gibt es vor Ort schon Organisationen, die in Ihrem der Bedarfe bei den Zielgruppen sollten

WIRKUNG VERBESSERN

Themenfeld tätig sind. Neben der Erfassung Sie auch diese bereits bestehenden Angebote und deren Lösungsansätze in den Blick nehFörderlücken zu identifizieren und diese men. Neue Projekte sollten versuchen, gezielt zu schließen. Dabei kann es sich sowohl um inhaltliche Lücken als auch um die unzureihandeln. Hier stellt sich die Frage, an chende quantitative Abdeckung des Bedarfs welchen Stellen es sinnvoll ist, Kooperationen aufzubauen. Gleichzeitig herrscht aufgrund der hohen Projektdichte an nicht wenigen

Ursachen und Auswirkungen des

Problems verstehen: der Problembaum
In den meisten Fällen sind soziale Probleme

1 2 3

so vielschichtig, dass sich ein Projekt nur mit der Lösung eines seiner Teilaspekte beschäftigen kann. Diese Fokussierung ist sinnvoll, denn so können Ressourcen und Kompetenwirkungsorientierte Steuerung des Projekts ist es jedoch wichtig, das Problem in seiner Wann und wie werden die Stakeholder einbezogen?

zen zielgerichtet eingesetzt werden. Für die

Komplexität zu erfassen und sich darüber im

Stellen auch Konkurrenzdruck zwischen den Organisationen, und es müssen hier individuelle Wege gefunden werden, wie damit sinnvoll umgegangen werden kann.

Klaren zu sein, welchen Einfluss die einzelnen Faktoren eines Problems aufeinander haben. So wird beispielsweise der Erfolg eines ProSchule in die Ausbildung unterstützt, ganz

jekts, das Jugendliche auf ihrem Weg von der entscheidend davon abhängen, ob in der Region überhaupt Ausbildungsplätze in ausreichender Zahl vorhanden sind. Ein nützliches Werkzeug zur Analyse eines Problems mit

Auf der Suche nach einem passenden Projektkonzept sollten auch bestehende erfolgreiche Lösungsansätze im Themenfeld („Best

Projektbeispiel PAFF Die Projektverantwortlichen von PAFF haben sich vor Projektbeginn einen Überblick verschafft, welche berufsvorbereitenden Projekte es für die Schüler der örtlichen Hauptschule bereits gibt. Die Projektverantwortlichen haben dafür im Internet recherchiert und sich mit anderen Organisationen sowie der Schulleitung der Hauptschule im Stadtteil ausgetauscht. Dabei wurde deutlich, dass es bislang an einer individuelle Förderung fehlte, wie PAFF dies mit seinem Patenschaftsmodell tut. Anregungen für das Projektkonzept holte sich PAFF bei bereits erfolgreich umgesetzten Patenschaftsprojekten. Die Projektverantwortlichen nutzten hier neben dem persönlichen Austausch Leitfäden, die im Internet zur Verfügung stehen, und besuchten einige Konferenzen zum Thema „Unterstützung von Jugendlichen beim Übergang von der Schule in den Beruf“.

Versuchen Sie, Ihre Zielgruppen und die weiteren Stakeholder so früh wie möglich in das Projekt einzubeziehen. Das trägt zum einen dazu bei, dass Sie das Wissen und die Erfahrung der Stakeholder sowie die Bedarfe und Wünsche der Zielgruppe in die Projektkonzeption einbeziehen können. Zum anderen identifizieren sich die Stakeholder leichter mit einem Projekt, wenn sie von Anfang an „mit an Bord“ sind. Dies steigert auch die Bereitschaft, sich für das Projekt zu engagieren. Geben Sie den Zielgruppen und den weiteren Stakeholdern also eine aktive Rolle sowohl bei der Planung als auch in regelmäßigen Abständen bei der Umsetzung des Projekts. Im Kapitel zur Datenerhebung werden verschiedene Möglichkeiten vorgestellt, wie Sie Ihre Zielgruppe und die Stakeholder systematisch einbeziehen können.

21

„Problembaum“
Auswirkungen
Steigende Soziale Probleme im Stadtteil Vermehrter Drogenmissbrauch

Sozialausgaben

Hoher Prozentsatz an gern im Stadtteil

Sozialleistungsempfän-

Erhöhte Gewaltbereitschaft Abwanderung Psychische Probleme

Erhöhte

Suchtgefahr

Prekäre finanzielle

Lage der Jugendlichen Problem auf gesellschaftlicher Ebene

Jugendliche haben keine Perspektive

Problem / Herausforderungen

Hohe Jugendarbeitslosigkeit im Stadtteil Jugendliche bekommen keinen Ausbildungsplatz
Jugendliche wissen nicht, wie man sich richtig Jugendliche haben keinen oder schlec hten Schulabschluss
Wenig Ausbildungsplätze in der Gegend

Problem auf Ebene der Zielgruppe

bewirbt

Jugendlichen fehlen die nötigen Sozialkompetenzen

Es werden keine angeboten

Bewerbungstrainings

Erziehungs Mangelnde Eltern der kompetenz

Schlechte schulische Leistungen

Geringe aft Bereitsch auszubild

en

Betrieben

Schließung und Abwanderung von

de KapaMangeln , der Schule zitäten dliche um Jugen erbungen auf Bew ten vorzuberei

vorzubereiten

um Jugendliche auf Bewerbungen

lischen Angebote,

Keine außerschu-

Gering e Unte rstützung b ei Belang schulischen en durc h Familie n

Keine erschwinglichen Nachhilfeangebote im Stadtteil

Schlechte Erfahrung mit Azubis

konjunkschlechte d strukturelle un der lle Lage in ture n Regio

Niedriger Bildung sstand bei den Familie n

Familien mit Migrationshintergrund

Keine Unterstützung der Unternehmen bei

der Arbeit mit Azubis

Ursachen

StellenNiedriger ung t von Bild wer Familie in der

“ „Lösungsbaum auf Seite 29

22

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN seinen Ursachen und Auswirkungen ist der

so genannte „Problembaum“. Auf der linken

Seite zeigen wir am Projektbeispiel PAFF, wie

ein solcher Problembaum entwickelt wird. Die für die Erstellung des Problembaums notwendigen Informationen ergeben sich dabei aus analyse gesammelt wurden. Im darauffolden Daten, die bei der Bedarfs- und Umfeldgenden Kapitel stellen wir dar, wie auf der

Probleme richtig formulieren

1

Basis des Problembaums der „Lösungsbaum“ erarbeitet wird, der eine gute Grundlage für der Ziele des Projekts ist. die Entwicklung des Handlungsansatzes und

Das Kernproblem sollte als eine bestehende negative Situation aus Sicht der Zielgruppe formuliert werden: „Die Jugendlichen finden nach ihrem Schulabschluss keinen Ausbildungsplatz.“ Ein häufiger Fehler bei der Formulierung von Problemen ist, dass das Problem als ein Fehlen einer bestimmten Lösung ausgedrückt wird, z. B. der Mangel an Ausbildungsplätzen. Solch eine Problemformulierung sollte deswegen vermieden werden, weil sie bereits eine bestimmte Problemlösung vorgibt (in diesem Fall: mehr Ausbildungsplätze zu schaffen), ohne geprüft zu haben, ob dies überhaupt der (einzige) Erfolg versprechende Lösungsweg ist oder ob der Mangel an Ausbildungsplätzen nur eine von mehreren Ursachen des Kernproblems darstellt. Quelle: vgl. VENRO (2002: 9)

So geht´s: Die Erstellung des Problembaums
Schritt 1: Das Kernproblem / die zentrale Herausforderung definieren Im ersten Schritt sollten Sie fragen, was das „Kernproblem“/die zentrale Herausforderung ist, zu dessen/deren Lösung Ihr Projekt beitragen soll. Hier ist es wichtig, dass Sie mit den beteiso spezifisch wie möglich zu beschreiben. Das Problem „Hohe Arbeitslosigkeit bei jungen ligten Stakeholdern Einigkeit darüber erzielen, was das Kernproblem ist. Versuchen Sie, dieses Menschen“ kann zu breit sein, um ein spezifisches Projekt dagegen aufzusetzen. Besser wäre hier: „Jugendliche finden nach ihrem Schulabschluss keinen Ausbildungsplatz. Damit ist die Zielgruppe schon etwas eingegrenzt und ein relativ konkreter Zeitraum (zwischen letztem Teilnehmende: Bei der Erarbeitung des Problembaums sollten die relevanten Stakeholder und, falls notwendig, Fachleute einbezogen werden. Zeitbedarf: einige Stunden bis ein Tag

Schuljahr und Beginn der Ausbildung) festgelegt, innerhalb dessen das Projekt ansetzen kann. Schritt 2: Ursachen und Auswirkungen identifizieren

Im zweiten Schritt erarbeiten Sie die Ursachen und Auswirkungen des Kernproblems. Dabei

müssen die einzelnen Ursachen und Auswirkungen als negative Aussagen formuliert werden

(z. B. „Jugendliche haben keine ausreichenden Sozialkompetenzen“, „wenig Ausbildungsplätze in der Region“, „Perspektivlosigkeit“, „hohe Gewaltbereitschaft“). Die direkten Ursachen des Kernproblems werden in der Zeile unterhalb des Kernproblems festgehalten. In der Zeile

darunter werden die „Ursachen der Ursachen“ angebracht. Die direkten Auswirkungen werden in der Reihe oberhalb des Kernproblems festgehalten. Die „Auswirkungen der Auswirkungen“ werden in einer zweiten Reihe darüber angebracht. Insofern „wächst“ der Problembaum so lange nach oben und unten, bis keine weiteren Ursachen bzw. Auswirkungen identifiziert werauf Zetteln (z.B. mit Post-It-Stickern) an die Wand geklebt. Wo es Zusammenhänge zwischen den Ursachen beziehungsweise Auswirkungen gibt, werden diese mittels Querverbindungen lichen Lücken hin überprüft und gegebenenfalls überarbeitet werden.

den können. Dabei werden das zentrale Problem sowie die Ursachen und Auswirkungen jeweils

dargestellt. Der fertige Problembaum muss nun auf seine logischen Zusammenhänge und mög-

Quelle: http://evaluationtoolbox.net.au

23

Mit folgender Checkliste können Sie überprüfen, ob Sie die zentralen Fragen der Bedarfs- und Umfeldanalyse beantwortet haben: ja Wurde das Problem klar definiert? Ist vollständig klar geworden, wo die Ursachen des Problems liegen? Wurde deutlich, welche Auswirkungen das Problem hat? Wurden der Umfang und das Ausmaß des Problems klar? Wurde deutlich, wer die Zielgruppe ist? Wurde die Situation der Zielgruppe vollständig verstanden? Wurden die Bedarfe der Zielgruppe vollständig verstanden? Wurden das Problem und die Bedarfe so gut verstanden, dass auf dieser Grundlage das Projekt entwickelt werden kann? Wurden Erfahrungen aus früheren Programmen genutzt? Wurden die Förderlücken identifiziert? nein Bemerkung

24

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

2. DIE WIRKUNG IN DEN BLICK NEHMEN – WIRKUNGSZIELE SETZEN

In diesem Kapitel erfahren Sie, …

nicht erreichen. Ob Sie in die Antarktis oder zu einer Südseeinsel segeln wollen, macht Reise und auch deren Umsetzung. Und Sie einen großen Unterschied für die Planung der können die Segel erst dann richtig setzen und die Ausrüstung für die Reise erst dann passend auswählen, wenn Sie wissen, welches

•	warum die Zielklärung wichtig für die
	 führung des Projekts ist.

	 wirkungsorientierte Planung und Durch-

•	warum der Unterschied zwischen
	 Wirkungszielen es gibt. 	 liert werden.

	 Aktivitäten und Wirkungen wichtig ist

	 und welche verschiedenen Ebenen von

Ziel Sie ansteuern wollen und welchen Kurs

•	wie Wirkungsziele erarbeitet und formu•	wie aus den verschiedenen Möglich	 ausgewählt werden kann. 	 keiten, die Wirkungsziele zu erreichen, 	 der Handlungsansatz für das Projekt

Sie wählen müssen, um dort hinzugelangen. Im vorhergehenden Kapitel wurde beschrieben, wie Bedarfe erhoben und analysiert werden. Durch die Bedarfs- und Umfeldgegen das sich das Projekt wendet oder

analyse wurde festgestellt, ob das Problem, wenden möchte, so groß und relevant ist, wie angenommen, und wie es sich genau darstellt. Auf Grundlage dieser Informatio-

Würden Sie in See stechen, bevor Sie wissen, wohin die Reise gehen soll? Wenn Sie sich über ihr Ziel erst klarwerden, wenn Sie bereits unter vollen Segeln unterwegs sind, riskieren Sie, dass Sie mit hohem Aufwand den Kurs anpassen und Umwege in Kauf nehmen müssen oder schlimmstenfalls Ihr Ziel überhaupt

nen werden die Ziele des Projekts erarbeitet. einigen, wohin die „Reise“ des Projekts

Hier geht es darum, dass sich die Stake­holder führen soll: Wo wollen wir hin? Was soll für

die Zielgruppe(n) erreicht werden? Wann sind
25

Wichtig zu wissen: Die Auseinandersetzung mit Wirkungszielen hilft Ihnen dabei …
… Orientierung zu gewinnen Wenn im Rahmen des Planungsprozesses formuliert wurde, was das Projekt bewirken soll, fällt es leichter, das Projekt „auf Kurs“ zu halten. Denn wenn Wirkungsziele partizipativ erarbeitet werden, schafft dies bei den Projektbeteiligten ein gemeinsames Verständnis für das Projekt und gibt Orientierung für die Projektarbeit. Wichtig ist das sowohl bei strategischen Entscheidungen als auch in Entscheidungssituationen im Projektalltag. … die Grundlagen für die Wirkungsanalyse zu legen Ohne Wirkungsziele sind ein wirkungsorientiertes Monitoring und Evaluation nicht möglich. Die gesetzten Ziele helfen, im Rahmen der Wirkungsanalyse die richtigen Fragen zu stellen und die richtigen Indikatoren zu finden. … Ihre Mitarbeitenden zu motivieren Innerhalb des Projekts geben klare und realistische Wirkungsziele den hauptund ehrenamtlichen Mitarbeitenden und auch den Teilnehmenden Orientierung und Motivation. Denn wenn die „Mannschaft“ das Ziel des Projekts kennt und sich damit identifiziert, hilft dies, auch bei „Durstrecken“ die Kräfte zu bündeln und „dranzubleiben“. Und „Passagiere“, die das Ziel der Reise kennen, können sich besser auf die Reise einstellen und aktiv zu deren Gelingen beitragen. … die Qualität Ihrer Arbeit „nach außen“ darzustellen Die Stakeholder (darunter vor allem auch die Geldgeber) haben ein Interesse daran und ein Recht darauf, zu erfahren, was in dem von ihnen unterstützten Projekt passiert und wofür die zur Verfügung gestellten Mittel verwendet werden. Inspirierende Ziele können dabei helfen, neue Förderer oder ehrenamtliche Mitar­ ei­ b tende zu gewinnen. Nutzen Sie daher die Wirkungsziele Ihres Projekts für die Öffentlichkeitsarbeit und die Mittelakquise.

wir mit unserer Arbeit erfolgreich? Und vor bei der Zielgruppe bewirkt? Der Fokus bei

allem: Wann hat unsere Arbeit wirklich etwas

Wichtig zu wissen: Ziele in bestehenden Projekten
Die Auseinandersetzung mit den Wirkungszielen ist keine einmalige Aufgabe in der Planungsphase eines Projekts. Auch für bestehende Projekte ist es wichtig, ihre Wirkungsziele regelmäßig zu reflektieren. Denn die Bedarfe der Zielgruppen und das Umfeld des Projekts können sich ändern und es notwendig machen, dass die Ziele hinterfragt und eventuell angepasst werden müssen.

der Zielfindung liegt also auf den sogenannten „Wirkungs­zielen“. Im darauf folgenden Schritt wird dann festgelegt, auf welchem Weg die Wirkungsziele zu erreichen sind. Dies geschieht durch die Erarbeitung der (→ Kap. 3 ).

sogenannten „Wirkungslogik“ für das Projekt

2.1 WIRKUNGSZIELE SETZEN: NOTWENDIG UND NÜTZLICH
Bei einem Projekt verhält es sich ähnlich wie orientiert ausgerichtet und umgesetzt werbei der Seereise: Es kann nur dann wirkungsden, wenn klar ist, „wohin die Reise gehen“, beziehungsweise was das Projekt bewirken trivial erscheinen. Oft wird stillschweigend davon ausgegangen, dass die Ziele eines Projekts so offensichtlich sind, dass ein soll. Die Erkenntnis mag auf den ersten Blick

Prozess der Zielfindung gar nicht notwendig

ist. In der Realität trifft man jedoch häufig auf Projekte, bei denen die Frage nach den Zielen nicht ausreichend geklärt ist.

Die Erarbeitung von Wirkungszielen ist ein sehr wichtiger Schritt im Rahmen der wirkungsorientierten Projektarbeit. Widmen

Sie ihm daher besondere Aufmerksamkeit! Denn der Aufwand, der in eine sorgfältige Erarbeitung der Wirkungsziele fließt, wird lauf auszahlen.

sich auf jeden Fall im gesamten Projektver-

26

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

2.2 WIRKUNGSZIELE ERARBEITEN UND FORMULIEREN
Vom Problembaum zum Lösungsbaum
Wirkungsziele lassen sich gut anhand des so

Wirkungszielen aber zwei Unterscheidungen von zentraler Bedeutung: Zum einen fällt es vielen Organisationen oft

WIRKUNG ANALYSIEREN

schwer, ihre Wirkungsziele von ihren (geplanten) Aktivitäten abzugrenzen. Zum anderen nen Ebenen der Wirkungsziele, nämlich den und den Wirkungszielen auf gesellschaftliist es wichtig, zwischen den zwei verschiedeWirkungszielen auf Ebene der Zielgruppe(n) cher Ebene, zu unterscheiden. Beide Unter-

WIRKUNG VERBESSERN

genannten „Lösungsbaums“ erarbeiten. Der Lösungsbaum entsteht, indem die negativen Aussagen aus dem Problembaum (→ Kap. 1) in positive Aussagen der angestrebten

1 2 3

Situation umgewandelt werden. So wird zum chenden Sozialkompetenzen“ „Jugendliche haben ausreichende Sozialkompetenzen“. Wenn der Lösungsbaum fertiggestellt ist, sollte er auf Lücken und Unklarheiten überprüft werden und gegebenenfalls überarbeitet werden, wobei hier auch ein nochmaliger Blick auf den Problembaum hilfreich sein kann.

Beispiel aus „Jugendliche haben keine ausrei-

scheidungen werden im Folgenden erläutert: Von den Aktivitäten zu den Wirkungen In der Projektarbeit lag der Fokus lange auf des Projekts, also dem, „was im Projekt tut“. Nicht zuletzt deshalb fällt vielen

Stakeholder einbeziehen!
Nur wenn die Stakeholder ein gemeinsames Verständnis der Wirkungsziele haben und diese von allen mitgetragen werden, kann ein Projekt dauerhaft wirkungsorientiert umgesetzt werden. Bei der Erarbeitung der Wirkungsziele zu Beginn des Projekts sowie deren regelmäßiger Reflexion während des Projekts sollten die Stakeholder des Projekts unbedingt einbezogen werden! Zum einen bringen sie Wissen und unterschiedliche Perspektiven ein und können so zu einer reflektierten und realistischen Zielsetzung beitragen. Zum anderen ist es für die Motivation der Stakeholder und ihre Identifikation mit dem Projekt und seinen Zielen sehr wichtig, dass Ziele nicht „von oben“ gesetzt, sondern partizipativ erarbeitet werden. Besonders gilt dies für die haupt- und ehren­ amtlichen Mitarbeitenden. Gleichzeitig sollten die Zielgruppen des Projekts so stark wie möglich eingebunden werden: Die Ziele sollten nicht für sie, sondern mit ihnen erarbeitet werden!

dem Bereich der Aktivitäten und Leistungen passiert“ beziehungsweise „was das Projekt Projekten die Unterscheidung zwischen den

Wirkungsziele erarbeiten
Auf Grundlage des Lösungsbaums lassen sich nun die Wirkungsziele für Ihr Projekt ableiten und formulieren. Wenn über Ziele gesprochen wird, werden Beispiel: Oberziele, Unterziele, Leitziele,

Aktivitäten (Leistungen) und den Wirkungen, also dem, „was das Projekt durch seine Aktivitäten (Leistungen) bewirkt“, oft schwer. Gegenüber den Stakeholdern (und hier vor

allem den Geldgebern) wird daher in vielen Fällen berichtet, welche und wie viele Leiswerden beschrieben und in einigen Fällen tungen das Projekt anbietet, die Aktivitäten die Teilnehmenden gezählt. Es ist richtig und wichtig, diese Informationen aufzubereiten und zu kommunizieren. Aus der Sicht der

oft verschiedene Begriffe genutzt wie zum Mittlerziele, Detailziele, Projektziele, gesellschaftliche Ziele etc. Gerade beim Ausfüllen von Projektanträgen können diese Unterscheidungen sehr relevant sein, und leider

wirkungsorientierten Projektarbeit fehlt hier jedoch die Antwort auf die entscheidende unserer Arbeit? Das ist die Frage nach der Frage: Welchen Unterschied machen wir mit Wirkung des Projekts. Nachweise für die Wirkung eines Projekts sind nicht immer leicht zu finden und zu erheben. Aus diesem Grund tendieren Organisationen dazu, sich auf die Beschreibung von Aktivitäten zu konzen­

kann Ihnen niemand die Aufgabe abnehmen, fen und für den Einzelfall herauszufinden,

sich durch den „Begriffsdschungel“ zu kämpwie die Begriffe im jeweiligen Zusammen-

hang genutzt werden. Unabhängig von der

verwirrenden Nutzung der Begrifflichkeiten

sind für die Erarbeitung und Darstellung von

27

trieren. Doch Organisationen, die mit ihrer Arbeit wirklich einen Unterschied machen wollen, müssen sich mit ihren Wirkungszielen auseinandersetzen. Gut formulierte und klar von den Aktivitäten abgegrenzte Wirkungsentierte Projektumsetzung und -steuerung. Gleichzeitig werden auch im Rahmen von ziele sind die Grundlage für die wirkungsori-

erreicht wurde, so kann dieser Erfolg (zumindes Projekts zurückgeführt werden.

dest zu einem großen Teil) auf die Leistungen

Wichtig zu issen:

Aktivität Wirkung

Wirkungsziele auf gesellschaftlicher Ebene

beschreiben die langfristigen Wirkungen, die weise beeinflusst werden. Wirkungen auf dieser Ebene können in den allermeisten

durch das Projekt (mit) ausgelöst beziehungs­

Projektanträgen und Projektberichten zusätzlich zu den Beschreibungen der Aktivitäten und Leistungen immer mehr Informationen erreicht wurden, verlangt.

Fällen nicht ausschließlich auf die Leistungen des Projekts zurückgeführt werden, sondern unterliegen verschiedenen Einflussfaktoren. In Bezug auf das einzelne Projekt können Wirkungsziele auf gesellschaftlicher Ebene Projekt trägt dazu bei, dass…“. Die Wir­kungsziele auf gesellschaftlicher Ebene

über die Wirkungsziele und darüber, ob diese

Verschiedene Arten von Wirkungszielen
Wenn Sie sich mit den Wirkungszielen Ihres de Fragen stellen:

demnach wie folgt formuliert werden:„Das

Projekts beschäftigen, sollten Sie sich folgen-

stehen in engem Zusammenhang mit der des Projekts.

Vision der Organisation beziehungsweise

•	Welche Zielgruppe(n) wollen wir erreichen? •	Was soll das Projekt bei der Zielgruppe
	verändern?

Wirkungsziele formulieren
Nachdem Sie die Wirkungsziele identifiziert in Ihrer wirkungsorientierten Projektarbeit nutzen können. Das bedeutet, dass die Wirkungsziele in eine Form gebracht entwickelt werden können (→ Kap. 5), ana­lyse (→ Kap. 6) bilden.

•	Zu welchen Zielen auf gesellschaftlicher
	 Ebene soll das Projekt beitragen? Anhand dieser Fragen wird deutlich, dass sich Wirkungsziele auf unterschiedliche Ebenen beziehen können. Es lassen sich

haben, formulieren Sie diese so, dass Sie sie

Wirkungsziele auf Ebene der Zielgruppe und unterscheiden.

werden müssen, auf deren Basis Indikatoren welche die Grundlage für die Wirkungs­-

Wirkungszielen auf gesellschaftlicher Ebene

Wirkungsziele auf Ebene der Zielgruppe be-

schreiben die erwünschten Wirkungen bei der Zielgruppe des Projekts. Sie beschreiben den Nutzen des Projekts für die Zielgruppe und

Bei der Formulierung der Wirkungsziele Sie Folgendes beachten:

für die Zielgruppe(n) Ihres Projekts sollten

die Veränderungen, die durch das Projekt bei der Zielgruppe erreicht werden sollen. Wenn ein Wirkungsziel auf Ebene der Zielgruppe

•	Konzentrieren Sie sich an dieser Stelle

zunächst auf das zentrale Wirkungsziel Ihres Projekts. Damit ist das Ziel gemeint, auf das

28

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

„Lösungsbaum“
Sinkende Wenig soziale Weniger Drogenmissbrauch

Sozialausgaben

Probleme im Stadtteil

Niedriger Prozentsatz im Stadtteil

an Sozialhilfeempfängern Jugendliche bleiben in der Region

Niedrigere Gewaltbereitschaft Weniger psychische Probleme

Niedrigere Suchtgefahr

Stabilere finanzielle

Lage der Jugendlichen

haben Perspektiven Wirkungsziel auf gesellschaftlicher Ebene Wirkungsziel auf gesellschaftlicher Ebene

Jugendliche

Niedrigere Jugendarbeits­losigkeit im Stadtteil
Wirkungsziel auf Ebene der Zielgruppe

Jugendliche bekommen einen Ausbildungsplatz

Boxen mit grüner Kontur: Projektansätze unseres Beispielprojektes „PAFF“

Jugendliche wissen , wie man sich richtig bew irbt

Sozialkompetenzen

die notwendigen

Jugendliche haben

besseren Schulabsc hluss

Jugendliche haben einen bzw. einen

Mehr Ausbildungsplätze in der Gegend

Es werden Bewerbungstrainings angeboten

gse Erziehun Verbessert der Eltern kompetenz

Verbesserte schulis che Leistungen

Höhere aft, Bereitsch en auszubild

Betriebe bleiben in der Region

Höherer Bildungsstand bei den Familie n

Familien mit Migrationshintergrund

Unterstützung der Unternehmen bei der Arbeit mit Aziubis

„Problembaum “ auf Seite 22

ellenHöherer St n Bildung wert vo ilie in der Fam

Mittel für die Zielerreichung
29

de KapaAusreichen , er Schule zitäten d liche d um Jugen bungen auf Bewer ten vorzuberei

vorzubereiten

Jugendliche auf Bewerbungen

Angebote, um

Ausserschulische

Stärke re Unte rstützung b ei Belang schulischen en durc h Familie n

Erschwingliche Nachhilfeangebote im Stadtteil

Gute Erfahrung mit Azubis

njunkBessere ko tuelle und le Lage strukturel er Region in d

Lösung / Ziel

Übergeordnete Ziele

M A R T

S

spezifisch

Wirkungsziele müssen klar und eindeutig sein. Versuchen Sie daher, die Wirkungsziele so präzise und verständlich wie möglich zu formulieren, sodass sie auch von Dritten verstanden werden können. Wirkungsziele müssen „messbar“ sein. Damit ist gemeint, dass festgestellt werden kann, ob die Wirkung eingetreten ist oder nicht.

messbar

akzeptiert

Die Wirkungsziele müssen von den Stakeholdern akzeptiert werden. Das bedeutet, dass ein gemeinsames Verständnis über die Wirkungsziele besteht und dass diese von allen Beteiligten mitgetragen werden. Es muss möglich sein, die Wirkungsziele zu realisieren. Das bedeutet nicht, dass Sie sich sicher sein müssen, dass Sie dieses Ziel auf jeden Fall erreichen werden, aber es sollte zumindest im Bereich des Möglichen liegen, dass Sie das Wirkungsziel im Rahmen des Projekts erreichen. Bei der Zielformulierung ist es in vielen Fällen schwierig, einen festen Zeitpunkt zu definieren, an dem das Ziel erreicht sein „muss“. Dem Wirkungsziel sollte aber zumindest ein Zeitrahmen zugeordnet werden, bis wann es erreicht sein sollte. Denn ob die Wirkung während des Projekts oder erst viel später eintreten soll/kann, macht zum Beispiel für die Wahl des Zeitpunkts der Wirkungsanalyse einen wichtigen Unterschied. Ein Zeitrahmen bietet hier Orientierung.

realistisch

terminierbar

Abb. oben: Die SMARTKriterien sind hilfreich für die gute Formulierung von Wirkungszielen.

Sie hinarbeiten, das heißt die Verän­der­ung der Lebenslage der Zielgruppen Ihres Projekts, die sie letztendlich erreichen

•	Obwohl es sich bei dem Ziel eigentlich
tiver „Ist-Zustand“ formuliert werden, eingetreten ist.

um einen „Soll-Zustand“ handelt, der erst

wollen (grüner Kasten im Lösungsbaum). Im nächsten Schritt (→ Kap. 3) werden Sie Ziele für die verschiedenen Stufen

erreicht werden muss, sollte das Ziel als posiin dem die erwünschte Wirkung bereits

der Wirkungslogik formulieren, die not­ ziel zu gelangen.

wendig sind, um zu eben diesem Wirkungs-

•	Die Wirkungsziele sollten „positiv“ formuliert werden, das heißt, sie sollen beschreiben, welcher erwünschte Zustand erreicht rung Verneinungen, da dadurch die Aufwerden soll. Vermeiden Sie bei der Formuliemerksamkeit eher auf die negative Situation gelenkt wird, statt sie auf einen positiven Zielzustand zu fokussieren und positive Energien für die Projektarbeit freizusetzen. Statt: „Die teilnehmenden Schüler sind nach ihrem Schulabschluss nicht arbeitslos“ wäre die bessere Formulierung: „Die teilnehmenden Schüler finden nach ihrem Schulabschluss einen Ausbildungsplatz.“

Als Wirkungsziel auf Ebene der Lebenslage der Zielgruppe hat PAFF formuliert: „Die teilnehmenden Jugendlichen haben spätestens ein halbes Jahr nach ihrem Schulabschluss einen Ausbildungsplatz gefunden.“

•	Nennen Sie die Zielgruppe, bei der die
Beginn des Satzes.

Wirkung eintreten soll, am besten gleich zu

•	Nutzen Sie bei der Formulierung Verben,
der Zielgruppe verändert hat, wenn die er-

um zu beschreiben, wie sich die Lebenslage wünschte Wirkung eingetreten ist. Folgende Fragen können Ihnen bei der Formulierung helfen: Welche neuen Möglichkeiten haben teilnehmen? Wie hat sich die soziale und/ lage der Teilnehmenden verändert?

die Personen der Zielgruppe, die am Projekt oder die finanzielle Situation oder die Lebens-

30

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Bei der Formulierung der Wirkungsziele auf gesellschaftlicher Ebene sollten Sie Folgendes beachten: Die Wirkungsziele auf gesellschaftlicher

gestaltet sein soll, und zum anderen die

WIRKUNG ANALYSIEREN

bestehenden äußeren Rahmenbedingungen fes sowie die Erfahrung Ihrer Mannschaft. Ihrer Projektplanung nun darauf an, den

für die Reise und die Ausrüstung Ihres SchifAnalog zum Seefahrerbeispiel kommt es bei „Weg“ zu den Wirkungszielen festzulegen.

Ebene, zu denen das Projekt einen Beitrag

leistet, sind meist abstrakter formuliert als Wirkungsziele auf der Ebene der Zielgruppe. Statt den Fokus auf die Zielgruppe zu legen, beziehen sie sich auf die „Gesamtgesellschaft“ beziehungsweise auf einen Ausschnitt der Gesellschaft, zum Beispiel die angestrebten Veränderungen hängen meist von vielen verschiedenen Faktoren ab und

WIRKUNG VERBESSERN

Die Zusammenhänge innerhalb des Lösungsschiedene mögliche Handlungsoptionen auf. Handlungsansatz für das Projekt auswählen. Wie auch bei den Wirkungszielen haben hier

baums bieten einen Überblick und zeigen verAuf dieser Grundlage lässt sich der passende

1 2 3

Bevölkerung in einer bestimmten Region. Die

sind oft von langfristiger Natur. Daher ist es aus Sicht des Projekts meist nicht sinnvoll, dessen diese Ziele erreicht werden sollen. einen Zeitrahmen zu formulieren, innerhalb Wirkungsziele auf gesellschaftlicher Ebene

die Vision und die Mission des Projekts beziehungsweise der Organisation einen entscheidenden Einfluss auf die Auswahl. Weitere Kriterien, die berücksichtigt werden müssen, sind bereits vorhandene Kompetenzen und Erfahrungen im Team, die erwarteten Kosten im Verhältnis zu den zur Verfügung stehenden Ressourcen und die Wahrscheinlichkeit, Wirkung erzielen wird.

lassen sich erarbeiten, indem das identifizierte gesellschaftliche Problem in eine positive Aussage umgewandelt wird: Wenn das

identifizierte gesellschaftliche Problem nicht mehr existieren würde, wie würde sich die Situation darstellen?

mit dem der Handlungsansatz die erwünschte

2.3. DEN RICHTIGEN HANDLUNGSANSATZ FÜR DAS PROJEKT WÄHLEN
Nachdem Sie sich bei der Planung Ihrer Seereise auf ein Reiseziel geeinigt haben, Wahrscheinlich gibt es mehrere mögliche

Wichtig zu wissen:
Wie auch die Auseinandersetzung mit den Wirkungszielen ist die Auseinandersetzung mit dem Handlungsansatz des Projekts keine einmalige Aufgabe in der Planungs­ phase eines Projekts. Auch für bestehende Projekte ist es wichtig, ihren Handlungsansatz regelmäßig zu hinterfragen und, wo notwendig, anzupassen.

Als Wirkungsziel auf Ebene der Gesellschaft hat PAFF formuliert: „PAFF trägt mit seiner Arbeit zur Verringerung der Jugendarbeitslosigkeit im Stadtteil X von Frankfurt bei.“

stellt sich die Frage, wie Sie dorthin kommen. Reiserouten, und es gilt nun, diejenige zu finden, deren Verlauf Ihren gemeinsamen Ideen für die Reise am besten entspricht und die mit größtmöglicher Sicherheit ans Ziel führt. einen Ihre Vorstellung davon, wie die Reise

Kriterien für die Auswahl der Route sind zum

31

Checkliste für die Formulierung von Wirkungszielen
ja Statt Aktivitäten/Leistungen zu beschreiben, wird benannt, welche Wirkungen durch die Aktivitäten/Leistungen bei der Zielgruppe ausgelöst werden sollen. In der Formulierung des Wirkungsziels wird deutlich, bei wem die erwünschte Wirkung eintreten soll. Das Wirkungsziel beschreibt einen erwünschten Zustand in der Zukunft. Das Wirkungsziel ist so formuliert, dass man sich die Veränderung konkret vorstellen kann. Das Wirkungsziel ist positiv formuliert. Ein Zeitrahmen, in dem das Ziel erreicht werden soll, ist angegeben oder zumindest eingegrenzt. Es lässt sich überprüfen, ob das Ziel erreicht wurde. Das Wirkungsziel zu erreichen stellt für uns eine positive Herausforderung dar. Das heißt, dass wir uns aktiv dafür einsetzen müssen, es gleichzeitig aber realistisch ist, dass wir das Ziel erreichen können. Bei der Erarbeitung der Wirkungsziele wurden die Stakeholder einbezogen, und die Wirkungsziele werden von allen Beteiligten akzeptiert und mitgetragen. Die Wirkungsziele und der Handlungsansatz unseres Projekts stehen im Einklang mit unserer Vision und Mission. Unsere Wirkungsziele motivieren uns bei unserer Arbeit. nein Bemerkung

PAFF Projektbeispiel Im Lösungsbaum auf → Seite 29 ist der Handlungsansatz von PAFF farblich hervorgehoben. PAFF setzt direkt bei den Jugendlichen an und versucht, durch die Verbesserung der schulischen Leistungen, der Sozialkompetenzen und der Bewerbungskompetenzen den Jugendlichen den Schritt in die Ausbildung zu erleichtern. Alternative Handlungsansätze wären zum Beispiel die Arbeit mit den Eltern, damit diese ihre Kinder besser unterstützen können, oder eine Kampagne bei Unternehmern für mehr Lehrstellen in der Region. Bei PAFF hat man sich bewusst für diesen Handlungsansatz entschieden, weil zum einen den Projektgründern die direkte Arbeit mit den betroffenen Jugendlichen wichtig ist und man sich zum anderen hiervon die beste und direkteste Wirkung verspricht. Gleichzeitig kennen die Organisatoren viele Personen, die sich gerne als Paten für das Projekt engagieren möchten. Die fachlichen Kompetenzen sind unter anderem deshalb vorhanden, weil ehemalige Lehrer im Projekt mitarbeiten.

Nachdem Sie nun die Wirkungsziele auf gesellschaftlicher Ebene und in Hinblick auf die Lebenslage der Zielgruppe für Ihr

für das Projekt identifiziert haben, gilt es

im nächsten Schritt, beide im Rahmen der

Projekt bestimmt und den Handlungsansatz

Wirkungslogik detaillierter auszuarbeiten.

32

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

3. AUF DEM WEG ZUR WIRKUNG – DIE WIRKUNGSLOGIK

WIRKUNG PLANEN

1

In diesem Kapitel erfahren Sie, …

•	was Wirkungslogiken sind und

3.1 WAS SIND WIRKUNGSLOGIKEN UND WOFÜR WERDEN SIE GENUTZT?
Wirkungslogiken werden seit den 1970er Jahren in den Bereichen der Projektplaim Rahmen der Projektplanung ist es, nung und Evaluation genutzt. Ihre Aufgabe die geplanten Wirkungsziele und die zur

	 warum sie für die wirkungsorien-

	 tierte	 Projektarbeit nützlich sind.

•	wie eine einfache Wirkungslogik
	 nen Bestandteile kennen. 	erarbeitet.

	 aufgebaut ist und lernen ihre einzel-

•	wie man eine Wirkungslogik
Mit Ihren Passagieren und Ihrer Mannschaft haben Sie sich darauf geeinigt, wohin die Reise gehen soll. Mit dem Ziel im Blick geht

Erreichung dieser Ziele notwendigen Res-

sourcen und die Leistungen, die das Projekt erbringt, in eine systematische Beziehung zueinander zu setzen und dadurch das Prohin zu überprüfen. Eine Wirkungslogik

es nun darum, den besten Weg zu finden, auf dem Sie Ihr Ziel erreichen können. Während Sie bei Ihrer Seereise dafür Seekarten und Ihre Erfahrung als Seefahrer nutzen, helfen Ihres Projekts sogenannte „Wirkungslogiken“, den erfolgversprechendsten und zu finden.

jekt auf seine Plausibilität und Machbarkeit stellt also dar, wie ein Projekt funktioniert

beziehungsweise funktionieren soll. Sie ist bietet so eine Grundlage für die Überprüfung, ob das Projekt (noch) auf dem richtigen Weg ist. Damit bildet die WirkungsProjektarbeit und -steuerung.

Ihnen bei der wirkungsorientierten Planung

eine „Reiseroute“ für die Projektarbeit und

gleichzeitig machbarsten „Weg zur Wirkung“

logik die Basis für die wirkungsorientierte
33

	

Wichtig zu wissen: Wirkungslogiken unterstützen Sie …

	 … bei der Überprüfung der Wirkungsannahmen für Ihr Projekt In den allermeisten Fällen haben wir eine Vorstellung davon, wie ein Projekt „funktioniert“. Das heißt, wir haben Annahmen darüber, wie ein Projekt mit seiner Arbeit Wirkung erzielt. Oft haben sich diese Annahmen bereits in der Praxis bestätigt. Dennoch lohnt es sich auf jeden Fall, hier einen Schritt zurückzutreten und die Wirkungsannahmen hinter dem Projekt nochmals zu überdenken. Unerlässlich ist dies im Rahmen der Projektplanung, aber auch im laufenden Projekt sollten Sie die Wirkungslogik vor dem Hintergrund der Erfahrungen immer wieder einem „Praxis­ check“ unterziehen und gegebenenfalls Änderungen vornehmen. … bei der detaillierten Ausarbeitung von Wirkungszielen: Entlang der Wirkungslogik lassen sich die Wirkungsziele für die einzelnen Stufen der Wirkungslogik systematisch erarbeiten. … beim Projektmanagement: Die Wirkungslogik beschreibt die Zusammenhänge der verschiedenen Stufen auf dem „Weg zur Wirkung“ (Inputs, Outputs, Outcomes, Impacts) in ihrer logischen Abfolge. Auf dieser Grundlage kann ein detailliertes Projektmanagement erfolgen. … bei der Wirkungsanalyse: Die Wirkungslogik hilft, festzulegen, was Gegenstand bei der Wirkungsanalyse sein soll, die richtigen Fragen zu stellen und die richtigen Indikatoren für die Beantwortung dieser Fragen zu finden. … beim internen Lernen: Eine gemeinsam mit den relevanten Stakeholdern erarbeitete Wirkungslogik schafft unter den Projektmitarbeitern ein gemeinsames Verständnis des Projekts und schafft somit eine Grundlage für gemeinsames Lernen. … bei der Kommunikation nach außen und beim Fundraising: Eine gut ausgearbeitete Wirkungslogik hilft Ihnen dabei, Ihr Projekt gegenüber Geldgebern und anderen Stakeholdern überzeugend darzustellen. Sie verdeutlicht, dass die Projektverantwortlichen einen durchdachten Plan für ihr Projekt und für die dazu benötigten Ressourcen haben.

Vorsicht vor Begriffsverwirrung!
Wie bei den Wirkungszielen trifft man auch bei den Wirkungslogiken auf eine große Vielfalt der Begriffe, die – ebenfalls – nicht einheitlich verwendet werden. Im Kursbuch Wirkung werden die englischen Begriffe „Inputs“, „Outputs“, Outcomes“ und „Impacts“ genutzt, weil diese in der Literatur und in den Diskussionen über Wirkungsorientierung sehr häufig verwendet werden. Gleichzeitig werden jeweils die Begriffe angegeben, die im Social Reporting Standard (SRS) genutzt werden (→ Kap. 9).

3.2 DIE WIRKUNGSLOGIK UND IHRE BESTANDTEILE
Wirkungslogiken gibt es in verschiedenen Bekannt sind hier vor allem die Begriffe Varianten und unter verschiedenen Namen. „Programmlogik“, „Theory of Change“, Gemeinsam ist ihnen ihre Aufgabe, die

„Wirkungsketten“ oder „Logische Modelle“. Funktionsweise eines Projekts schematisch und in vereinfachter Form abzubilden. Im Folgenden wird die Wirkungslogik in Form

Als „Übersetzungshilfe“ ist folgende Übersicht hilfreich: (englische) Fachbegriffe Inputs Outputs Outcomes Impacts Im SRS verwendete Begriffe Ressourcen Leistungen Wirkungen

des sogenannten „Logischen Modells“ (im handelt es sich um eine der am weitesten

Englischen: logic model) beschrieben. Dabei verbreiteten Versionen der Wirkungslogik,

34

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Ab dieser Stufe spricht man von Wirkung

1 Inputs
Ressourcen „Das, was wir in das Projekt investieren“

2

3

4

5

6

7

Outputs
Leistungen „Das, was wir in unserem Projekt tun bzw. anbieten und wen wir damit erreichen“

Outcomes
Wirkungen auf Ebene der Zielgruppe „Das, was wir bei unserer Zielgruppe durch unser Projekt bewirken wollen“

Impact
Wirkungen auf gesellschaftlicher Ebene „Das, wozu wir auf gesellschaft­ licher Ebene mit unserem Projekt beitragen wollen“

1

4

7

•	Mitarbeitende •	Zeit

•	Ehrenamtliche •	Geld

Erbrachte Leistungen: •	Workshops

Angebote / Produkte z.B. •	Dienstleis	tungen •	Training

Erreichte Personen verfügen über neues Wissen oder neue Fertigkeiten, ha­ben iihre Fähigkeiten gefestigt/ver-

Es gibt erwünschte soziale, ökono­ mische ...Veränderungen für die Gesamtgesellschaft bzw. die Bevöl­ kerung einer bestimmten Region oder eines bestimmten Stadtteils.

•	Materialien / 	Ausstattung •	Räumlichkeiten •	Projektpartner

•	Produkte 	(z.B. Printmaterialien, Ratgeber) •	Beratung

ändert, sich eine Meinung gebildet etc.

2 3

5
Es gibt erwünschte Veränderungen im Handeln der erreichten Personen.

Nutzung der Leistungen durch die Zielgruppe(n)

6

Zufriedenheit der Teilnehmenden mit dem Angebot

Die Lebenslage der erreichten Personen wurde in wünschenswerter soziale Sicherheit etc.). Weise verändert (finanzielle Situation,

„Was wir tun“
die für die meisten Projekte nutzbar ist. Für das Verständnis der Wirkungslogik ist es wichtig, die einzelnen Bestandteile zu kennen und zu wissen, wie diese zusammenhängen.

„Was wir bewirken wollen“
hauptamtlichen und ehrenamtlichen Mitarellen Mittel, die Räumlichkeiten und die
Vgl. mit Abbildung „Wirkungstreppe“ im Kapitel „Zur Einführung“ auf → S.5 dieses Kursbuches

beitenden und deren Arbeitszeit, die finanzifür die Projektumsetzung benötigte Ausstattung. Für eine realistische Projektplanung müssen hier alle notwendigen Ressourcen aufgelistet werden. In unserem Projektbeispiel sind die Ressourcen die Projektleitung

Inputs (Ressourcen)

Die Inputs (Ressourcen) umfassen alle Mittel, zu können. Dazu gehören in erster Linie die

die notwendig sind, um das Projekt umsetzen

(20 Stunden pro Woche), die 50 ehrenamtli-

35

chen Paten und 4 Patengruppenbetreuer (pro Person ca. 5 Stunden pro Woche), die finanziellen Mittel, der Raum im Gemeindezentrum, die Materialien für die Nachhilfe und das Bewerbungstraining sowie der Computer,

die Anzahl der Jugendlichen, die an den verschiedenen Angeboten (Patenschaft, Nachhilfe und Bewerbungstraining) teilnehmen.

der von der Projektleitung genutzt wird. Da

Die Outputs auf den Stufen 1 und 2 lassen sich mit den eingesetzten Inputs (Ressourcen) in direkten Zusammenhang bringen, wodurch Projekts möglich werden. So kann bei PAFF

für PAFF die Kooperation mit den Schulen für auch die beiden Schulen, mit denen PAFF Ressourcen.

den Projekterfolg besonders wichtig ist, sind zusammenarbeitet, Teil der notwendigen

Aussagen über die effiziente Umsetzung des beispielsweise festgestellt werden, wie viel kostet.

das Projekt pro teilnehmendem Jugendlichen

Outputs

Outputs (Leistungen)

Die Outputs (Leistungen) umfassen die Angebote und Produkte eines Projekts, also das, was ein Projekt tut beziehungsweise anbie-

• STUFE 3

Die Outputs auf Stufe 3 beinhalten die

tet, sowie die Nutzung der Leistungen durch von Outputs unterscheiden (Stufen 1 – 3 in der Wirkungslogik).

Zufriedenheit der Teilnehmenden mit den

die Zielgruppe. Dabei lassen sich drei Stufen

Angeboten und den Produkten. In unserem Zufriedenheit der Jugendlichen mit der Be-

Projektbeispiel sind die Outputs auf Stufe 3 die treuung durch die Paten beziehungsweise mit dem Nachhilfeangebot und übernehmen eine „Scharnierfunktion“ zwischen der Teilnahme am Projekt und der Wirkung, die bei der

• STUFE 1

Die Outputs auf Stufe 1 sind die (zählbaren) Angebote und Produkte eines Projekts, die der Zielgruppe zur Verfügung gestellt

Zielgruppe durch die Teilnahme erzielt wird. Denn erst wenn die Teilnehmenden mit dem Angebot zufrieden sind, das heißt, wenn sie und wenn sie den Eindruck haben, dass das

werden. In unserem Projektbeispiel sind die Outputs auf Stufe 1 die geleisteten Patenund Nachhilfestunden, die durchgeführten geber mit Tipps für Berufsanfänger.

sich gut betreut und ernstgenommen fühlen Angebot für sie nützlich ist, werden sie sich lungen bei ihnen anstoßen kann. Durch die Zufriedenheit der Teilnehmenden mit dem die erbrachten Leistungen des Projekts zu

Bewerbungstrainings und die erstellten Rat-

für das Projekt so „öffnen“, dass es Entwick-

• STUFE 2

Nur weil eine Organisation ihre Angebote

(Outputs auf Stufe 1) zur Verfügung stellt,

Angebot ist die Basis dafür geschaffen, dass einer Wirkung bei den Teilnehmenden führen. Gleichzeitig bedeutet Zufriedenheit jedoch Teilnehmenden die angestrebte Wirkung nicht zwangsläufig, dass das Projekt bei den erzielen wird. Denn es ist gut möglich, dass sich die Teilnehmenden beim Bewerbungs-

bedeutet das noch nicht, dass diese „autoDaher wird die Nutzung der Angebote und

matisch“ von der Zielgruppe genutzt werden. Produkte durch die Zielgruppe auf der Ebene der Outputs auf Stufe 2 erfasst. In unserem Projektbeispiel sind die Outputs auf Stufe 2

36

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

training von PAFF zwar wohlfühlen und damit zufrieden sind, weil sie zum Beispiel nette Gespräche mit anderen Teilnehmenden führen können, das Essen gut ist und sie in der Zeit nicht in die Schule gehen müssen, aber die sie bei ihren künftigen Bewerbungen

der Ebene der Zielgruppe (Outcomes) und

WIRKUNG ANALYSIEREN

Wirkungen auf gesellschaftlicher Ebene (Impacts) unterscheiden. Im Folgenden werden beide im Detail dargestellt: WIRKUNG VERBESSERN

vom Training selbst keine Inhalte mitnehmen, unterstützen würden. Die Zufriedenheit der Teilnehmenden ist somit eine notwendige, aber nicht die hinreichende Bedingung für das Erzielen von Wirkungen.

Wirkungen auf Ebene der Zielgruppe (Outcomes)

Outcomes sind die Wirkungen des Projekts auf Ebene der Zielgruppe(n). Sie verdeutlibei den am Projekt Teilnehmenden das chen, auf welche positiven Veränderungen

1 2 3

Outcomes und Impacts (Wirkungen)

sich dabei in drei Stufen (Stufen 4 – 6 in der Wirkungslogik):

Der Schritt von den Outputs (Leistungen) zu den Outcomes und Impacts (Wirkungen) ist für den Projekterfolg entscheidend. Daher ist die Unterscheidung zwischen diesen Ebenen für die wirkungsorientierte Projektarbeit sehr wichtig. Der Unterschied zwischen den erbrachten Leistungen und Wirkungen lässt sich anhand des Praxisbeispiels PAFF gut verdeutlichen: Die Projektverantwortlichen von PAFF setzen ihr Projekt mit viel Engagement um. Sie initiieren und begleiten die Patenschaften, erstellen Infomaterialien und füh-

• STUFE 4

Die Wirkungen auf Stufe 4 der Wirkungslogik beinhalten die Veränderung auf Ebene des Wissens, der Fertigkeiten und der Einstellungen. So wissen die Jugendlichen in unserem Projektbeispiel nach dem Bewerbungstraining unter anderem, wie wichtig eine gute Bewerbungsmappe für eine erfolgreiche enthalten muss.

Bewerbung ist und welche Inhalte die Mappe

ren Nachhilfeangebote und BewerbungstraiHauptschulen nutzen diese Angebote. Doch bei den Teilnehmenden erzielt? Die Outputs (Leistungen) sind die Voraussetzung dafür, dass ein Projekt mit seiner Arbeit Wirkung

nings durch. Die Jugendlichen aus den beiden wurde dadurch bereits eine positive Wirkung

• STUFE 5

Die Wirkungen auf Stufe 5 der Wirkungslogik bauen auf der vorherigen Outcome-Stufe auf und beschreiben die Veränderungen auf Ebene des Verhaltens und des Handelns der Teilnehmenden. So wissen die Jugendlichen keit von guten Bewerbungsunterlagen und deren Bestandteilen, sondern sie erstellen diese auch selbstständig.

erzielt. Wirkungen selbst treten jedoch erst

im Projektbeispiel nicht nur um die Wichtig-

auf, wenn sich bei den Jugendlichen positive lich den Schritt in die Ausbildung ermögli-

Veränderungen einstellen, die ihnen schließchen. Wie schon im Kapitel zu den Wirkungszielen dargestellt, lassen sich Wirkungen auf

Outcomes
37

Von den Outputs (Leistungen) zu den

Projekt abzielt. Die Outcomes untergliedern

Warum ist die Unterteilung in die verschiedenen Outcomestufen und die Darstellung der erreichten Fortschritte besonders wichtig?

Damit Sie feststellen können, ob Sie mit Ihrem Projekt auf dem richtigen Weg sind, und um die Wirkung(en) Ihres Projekts differenziert darstellen zu können, ist es wichtig, dass Sie Wirkungsziele für die verschiedenen Outcome-Stufen der Wirkungslogik formulieren. Denn dadurch schaffen Sie die Grundlage, um die Fortschritte der Teilnehmenden nachvollziehen zu können. Wenn sich beispielsweise die Projektverantwortlichen von PAFF als einziges Erfolgskriterium für ihr Projekt anschauen würden, ob und wie viele Ju-

gendliche nach Ende der Betreuungsphase einen Ausbildungsplatz gefunden haben, dürften sie ihr Projekt als gescheitert ansehen, wenn ihnen dies nicht oder nicht bei allen Teilnehmenden gelingt. Vielleicht hat die Teilnahme bei PAFF aber bei vielen der Jugendlichen erreicht, dass diese ihre schulischen Defizite aufgeholt haben, sich stärker mit ihren Bewerbungsunterlagen beschäftigen oder sicherer in Vorstellungsgespräche gehen, weil sie sich gut vorbereitet fühlen und mehr Selbstvertrauen gewonnen haben. All dies sind

• STUFE 6

Die Wirkungen auf Stufe 6 der Wirkungslogik bauen ihrerseits auf den Outcomes auf Stufe 5 auf. Das veränderte Verhalten bildet die Grundlage für die erwünschten Veränderunmenden aus der Zielgruppe. Dies beinhaltet

sind, sondern eine Ausbildung absolvieren und ihr Leben selbst in die Hand nehmen können. Auf Basis des Lösungsbaums wurden für diese Stufe der Wirkungen bereits ein identifiziert und formuliert (→ Kap. 2). Wirkungsziel oder mehrere Wirkungsziele

gen in Hinblick auf die Lebenslage der Teilnehzum Beispiel die Verbesserung ihrer finanziel-

len und/oder sozialen Situation. So hat sich die Situation der Jugendlichen im Projektbeispiel insofern verbessert, als dass sie nicht mehr arbeitslos und auf externe Hilfe angewiesen

Wirkungen auf Ebene

der Gesellschaft (Impact)

38

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

1

wichtige Voraussetzungen für den erfolgreichen Schritt in eine Ausbildung. Und auch wenn ein Teilnehmer diesen letzten Schritt zunächst einmal nicht geschafft hat, so haben sich die Grundvoraussetzungen dafür, dass er den Sprung in den Beruf schafft, deutlich verbessert. Veränderungen passieren nicht „vom einem Tag auf den anderen“, sondern es handelt sich dabei um einen Prozess. Genauso wie ein Bergsteiger nicht mit einem Sprung den Gipfel erreichen wird, sind Jugendliche nicht von einem Tag auf den anderen ausbildungsreif und bekommen eine Lehrstelle. Damit dies geschehen kann, müssen davor eine Reihe an Veränderungen schrittweise durchlaufen werden. Diese Abfolge von erzielten Fortschritten wird im Englischen als „distance travelled“ bezeichnet, was sehr schön bildhaft ausdrückt, dass es sich bei den erzielten Fortschritten um „Meilensteine“ auf dem Weg zum (eigentlichen) Ziel handelt. Dabei wird davon ausgegangen, dass Verhaltensänderungen einem bestimmten Muster folgen: Zunächst muss das Wissen vorhanden sein (Stufe 4), dann muss dieses Wissen genutzt werden (Stufe 5), und dann schließlich tritt die Veränderung in der Lebenssituation ein (Stufe 6). Oft sind es jedoch die messbaren, „harten Fakten“ auf Ebene der Wirkungen (im Englischen: „hard outcomes“), die zählen: Hat der Bergsteiger den Gipfel erreicht? Hat der Jugendliche nach dem Projekt einen Job? Hat ein Obdachloser wieder eine Wohnung? Das sind die „harten

Fakten“, die oft von Geldgebern gefordert und in Berichten abgefragt werden. Das ist an sich nicht falsch, allerdings sollte der Fokus nicht ausschließlich auf dieser Art der Wirkungen liegen, denn die Schritte, die zur Erreichung dieser Ziele zurückgelegt werden müssen, sind mindestens genauso wichtig. Denn die Veränderungen im Wissen, in den Einstellungen und den Handlungen der teilnehmenden Personen (im Englischen: „soft outcomes“) sind die eigentlich ausschlaggebenden Faktoren, dass das Ziel – die Verbesserung der Lebenssituation (zum Beispiel durch einen Ausbildungsplatz) – überhaupt aus eigener Kraft erreicht werden kann. Wenn man dagegen einen Bergsteiger einfach mit der Seilbahn oder einem Hubschrauber auf dem Gipfel absetzt, wird er beim nächsten Mal, wenn er diesen oder einen anderen Berg alleine bezwingen muss, nicht dazu in der Lage sein, weil ihm das Wissen fehlt, wie man zum Beispiel den Klettergurt anlegt oder wie man die Routenbeschreibung liest. Wahrscheinlich fehlt ihm auch die körperliche Ausdauer, um den Aufstieg zu bewältigen. Sollte also ein Jugendlicher einen Ausbildungsplatz „auf dem Silbertablett serviert bekommen“, wäre das Projektziel demnach zwar „offiziell“ erreicht, aber es bestünde die Gefahr, dass der Jugendliche, wenn er sich wieder um einen Job bemühen muss, an den Herausforderungen der Bewerbung scheitern wird. Denn er hat nicht die notwendigen Entwicklungsschritte durchlaufen, die es ihm ermöglichen, auch langfristig den Anforderungen, die im Berufsleben an ihn gestellt werden, gerecht zu werden. Deshalb macht es Sinn, ein großes Augenmerk auf die Fortschritte zu legen, die auf den verschiedenen Outcome-Stufen beschrieben werden. Dies beeinflusst übrigens auch die Art, wie das Projekt gesteuert wird und wie die Teilnehmenden eingebunden werden. Die Teilnehmenden werden hier nicht nur als „Leistungsempfänger“ verstanden, sondern der Veränderungsprozess wird gemeinsam mit den Teilnehmenden geplant, umgesetzt, überprüft und daraufhin überlegt, was noch / als Nächstes zu tun ist, um das Ziel zu erreichen. Die Darstellung der einzelnen Fortschritte hat neben der wirkungsorientierten Projektsteuerung aber noch eine andere wichtige Funktion: Sie motiviert Projektmitarbeitende, Teilnehmenden und auch Geldgeber, „dranzubleiben“ und den Prozess weiter zu unterstützen. Denn es ist für alle am Projekt Beteiligten motivierend, Fortschritte zu sehen und diese gemeinsam zu feiern!

Während sich bei den Outcomes die Wirkunhen, beschreiben die Impacts die erwünschten Veränderungen auf gesellschaftlicher

rung in einem Stadtteil oder einer Region. Auf Basis des Lösungsbaums wurden für diese Stufe der Wirkungen bereits ein identifiziert und formuliert (→ Kap. 2). Im Projektbeispiel soll die Arbeit von PAFF auf Impact-Ebene zur Ver­

gen auf die Zielgruppe(n) des Projekts bezie-

Wirkungsziel oder mehrere Wirkungs­ziele

Ebene. Dies sind zum Beispiel Veränderungen Gesellschaft. Da der Bezug auf die „Ge-

der sozialen oder ökonomischen Situation der samtgesellschaft“ hier in den meisten Fällen weder sinnvoll noch möglich ist, beziehen sich die Impacts meist auf einen Teil

ringerung der Jugendarbeitslosigkeit im Stadtteil beitragen. Bei Wirkungen auf Ebene der Impacts müs­ sen die Menschen, die von den Wirkungen profitieren, nicht notwendigerweise in

der Gesellschaft zum Beispiel die Bevölke-

Impacts
39

• STUFE 7

direkten Kontakt mit den Aktivitäten der Or-

ganisation gekommen sein. Sie können auch

3.3 DIE ERSTELLUNG EINER WIRKUNGSLOGIK
Die Erstellung einer Wirkungslogik kann „in zwei Richtungen“, „von den Impacts

Stakeholder mit einbeziehen!
Wie bei der Erarbeitung der Projektziele sollten Sie auch bei der Erstellung der Wirkungslogik die relevanten Stakeholder und, falls notwendig, Experten mit einbeziehen.

nur mittelbar an sozialen und ökonomischen Veränderungen teilhaben, wie zum Beispiel an den positiven Folgen einer niedrigeren Wohnqualität im Stadtteil. Das bedeutet Arbeitslosenquote oder einer verbesserten gleichzeitig, dass der Einfluss des Projekts

(Wirkungen) zu den Inputs (Ressourcen)“ und von den „Inputs (Ressourcen) zu den Impacts (Wirkungen)“ erfolgen. Dabei macht es Sinn, beide Vorgehensweisen zu nutzen, denn die Planungsrichtung „von den Wirkungen

auf das Eintreten der Wirkungen auf ImpactEbene geringer ist als auf die Wirkungen auf Outcome-Ebene. Denn neben dem Projekt beeinflussen noch viele andere Faktoren die Daher spricht man auch davon, dass das

(Impacts) zu den Ressourcen (Inputs)“ eignet sich gut für Ihre wirkungsorientierte Projektplanung. Der Vorteil dieses Vorgehens liegt darin, dass bei der Planung der Fokus auf

Entwicklungen auf gesellschaftlicher Ebene. Projekt zu den Wirkungen auf Impact-Ebene beitragen will, während man auf Outcomedas Projekt erreicht werden sollen. Auch Ebene von den Wirkungen spricht, die durch treten Impacts meist erst nach einiger Zeit

den Wirkungen liegt, die das Projekt erzielen möchte. Dagegen laufen Projekte, die bei Gefahr, den Blick auf die zur Verfügung der Planung von den Ressourcen ausgehen, stehenden Ressourcen und bereits beste-

ein, sodass sich der kausale Zusammenhang nur mit relativ aufwändigen Datenerhebung).

zwischen dem Projekt und dem Impact meist Methoden nachweisen lässt (→ Kap. 6:

hende Aktivitäten zu verengen und sich eher des „Status Quo“ zu versichern als über den Ideen oder Projektkonzepte zu öffnen. Tellerrand hinauszuschauen und sich für neue

Die Verbindungen zwischen den einzelnen Bestandteilen der Wirkungslogik

Die Planungsrichtung „von den Inputs zu

den Impacts“ hilft Ihnen dann im zweiten tätscheck“ zu unterziehen.

Schritt, Ihre Wirkungslogik einem „Plausibili-

Die Pfeile zwischen den einzelnen Elementen der Wirkungslogik repräsentieren die (kausalen) Zusammenhänge und die dahinter liegenden Annahmen darüber, wie ein Projekt funktioniert. Was sich

Schritt 1: Wirkungsorientiert planen Inputs (Ressourcen)

– Von den Impacts (Wirkungen) zu den

zunächst recht abstrakt anhört, wird bei der Erarbeitung einer Wirkungslogik deutlich.

Beim Planungsprozess von den Impacts

(Wirkungen) zu den Ressourcen (Inputs) wird die Wirkungslogik „von rechts nach links“ wird gefragt, „was getan werden muss, erstellt. In den einzelnen Planungsschritten beziehungsweise was passieren muss, um die jeweilige Wirkung bzw. Leistung zu erzielen“.

40

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

1

Inputs
Ressourcen „Das, was wir in das Projekt investieren“

Outputs
Leistungen „Das, was wir in unserem Projekt tun bzw. anbieten und wen wir damit erreichen“

Outcomes
Wirkungen auf Ebene der Zielgruppe „Das, was wir bei unserer Zielgruppe durch unser Projekt bewirken wollen“

Impact
Wirkungen auf gesellschaftlicher Ebene „Das, wozu wir auf gesellschaft­ licher Ebene mit unserem Projekt beitragen wollen“

1
•	Mitarbeitende •	Zeit •	Ehrenamtliche •	Geld Erbrachte Leistungen: •	Workshops Angebote / Produkte z.B. •	Dienstleis	tungen •	Training •	Materialien / 	Ausstattung •	Räumlichkeiten •	Projektpartner •	Produkte 	(z.B. Printmaterialien, Ratgeber) •	Beratung

4
Erreichte Personen verfügen über neues Wissen oder neue Fertigkeiten, ha­ben ihre Fähigkeiten gefestigt/verändert, sich eine Meinung gebildet etc.

7
Es gibt erwünschte soziale, ökonomigesellschaft bzw. die Bevölkerung bestimmten Stadtteils. sche...Veränderungen für die Gesamteiner bestimmten Region oder eines

2 3

5
Es gibt erwünschte Veränderungen im Handeln der erreichten Personen.

Nutzung der Leistungen durch die Zielgruppe(n)

6

„Zäumen Sie das Pferd von hin­ ten auf!“Beginnen Sie bei Punkt 7 dieser Tabelle und gehen rück­ wärts bis Punkt 1 vor, um Ihre eigene Wirkungslogik zu erfassen.

Der beste Weg, Ihre eigene Wirkungslogik aufzustellen:

Zufriedenheit der Teilnehmenden mit dem Angebot

Die Lebenslage der erreichten Personen wurde in wünschenswerter soziale Sicherheit etc.). Weise verändert (finanzielle Situation,

„Was wir tun“

„Was wir bewirken wollen“

Den Ausgangspunkt für diese Planung bilden die Wirkungsziele auf gesellschaftlicher Ebene (Stufe 7) und die Wirkungsziele auf

Projektbeispiel: Was muss passieren, damit die Jugendarbeitslosigkeit im Stadtteil vereinen Ausbildungsplatz bekommen. ringert wird? Die Jugendlichen müssen (u.a.)

Ebene der Lebenslage der Zielgruppe (Stufe

6), die Sie auf Grundlage des Lösungsbaums nen heißt das:

identifiziert haben. Für die Schritte im Einzel-

2. Was muss passieren, damit sich an der
Lebenslage der einzelnen Personen der Zielgruppe etwas verändert? Es muss sich Personen der Zielgruppe ändern!

1. Was muss passieren, um die Situation auf
gesellschaftlicher Ebene zu verbessern? Es muss sich etwas an der Lebenslage der ein-

etwas am Verhalten/Handeln der einzelnen

zelnen Personen der Zielgruppe verändern!
41

Abbildung rechte Seite: Wirkungsziele entlang der Wirkungslogik für das Projektbeispiel PAFF

Projektbeispiel: Was muss passieren, damit die Jugendlichen einen Ausbildungsplatz bekommen? Die Jugendlichen müssen (u.a.) qualitativ hochwertige Bewerbungsunterlagen erstellen.

6. Was ist die Voraussetzung dafür, dass das
Angebot genutzt werden kann? Das Angebot muss zur Verfügung stehen!

Projektbeispiel: Was ist die Voraussetzung training teilnehmen können? Das Training muss angeboten werden.

3. Was muss passieren, damit sich am Verhalten /Handeln der einzelnen Pers­onen der Zielgruppe etwas verändert? Es muss sich etwas am Wissen/an den Zielgruppe ändern! Ein­stellungen der einzelnen Personen der

dafür, dass die Jugendlichen am Bewerbungs-

7. Was sind die Voraussetzungen dafür, dass
das Angebot zur Verfügung steht? Es müssen ausreichend Ressourcen anbieten zu können!

Projektbeispiel: Was muss passieren, damit die Jugendlichen qualitativ hochwertige wissen, wie man diese erstellt. Bewerbungsunterlagen erstellen? Sie müssen

vorhanden sein, um die Leistungen

Projektbeispiel: Was sind die Vorausset-

zungen dafür, dass das Training angeboten werden kann? Es müssen die notwendigen finanziellen und personellen Ressourcen dafür zur Verfügung stehen.

4. Was muss passieren, damit sich etwas am
den Personen aus der Zielgruppe ändert? Die teilnehmenden Personen müssen mit dem Angebot, das sie nutzen, zufrieden sein!

Wissen/an den Einstellungen der teilnehmen-

Schritt 2: Der Plausibilitätscheck Impacts (Wirkungen)

– Von den Inputs (Ressourcen) zu den

Projektbeispiel: Was muss passieren, damit die Jugendliche gelernt haben, wie man Bewerbungsunterlagen erstellt? Sie müssen mit dem Bewerbungstraining, an dem Sie teilgenommen haben, zufrieden sein.

Beim Plausibilitätscheck von den Inputs links nach rechts“ auf die Plausibilität

zu den Impacts wird die Wirkungslogik „von der zwischen den einzelnen Schritten

5. Was ist die Voraussetzung dafür, dass
die Personen aus der Zielgruppe mit dem Angebot zufrieden sind? Sie müssen das Angebot nutzen!

liegenden „wenn–dann“– Zusammenhänge überprüft. Im Einzelnen kann dies wie folgt „übersetzt“ werden:

1. Wenn die notwendigen Ressourcen/

Projektbeispiel: Was ist die Voraussetzung

Inputs zur Verfügung stehen und investiert werden, dann können die geplanten Aktivitäten umgesetzt und die Angebote und Produkte erstellt werden (Stufe 1).

dafür, dass die Jugendlichen mit dem Bewerdem Bewerbungstraining teilnehmen.

bungstraining zufrieden sind? Sie müssen an

42

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Inputs
Ressourcen „Das, was wir in das Projekt investieren“

Outputs
Leistungen „Das, was wir in unserem Projekt tun bzw. anbieten und wen wir damit erreichen“

Outcomes
Wirkungen auf Ebene der Zielgruppe „Das, was wir bei unserer Zielgruppe durch unser Projekt bewirken wollen“

Impact
Wirkungen auf gesellschaftlicher Ebene „Das, wozu wir auf gesellschaft­ licher Ebene mit unserem Projekt beitragen wollen“

1

4

7

•	hauptamtliche 	Projektleitung 	(20h/ Woche) •	50 ehrenamt	5h/Woche)

Erbrachte Leistungen: •	Patenschulungen •	Patensupervision •	Schulworkshops

•	 Jugendliche haben im Rahmen ihrer

	 Projektteilnahme soziale Kompeten	 chen Berufseinstieg notwendig sind 	verbessert

	 zen erworben, die für einen erfolgrei•	 Jugendliche haben ihr Lernverhalten •	 Jugendliche haben ihre Kenntnisse

	 liche Paten (je •	4 Patengruppen	 betreuer (je 5h/ 	Woche) •	45.000 € / Jahr •	Raum im Ge•	Laptop 	meindezentrum •	2 Schulen als

•	Treffen mit Paten und Schülern •	Nachhilfe	für Schüler •	Bewerbungstraining für Schüler •	Weiterbildung für Paten •	Projektflyer •	Projektleitfaden

	 in den Kernschulfächern verbessert 	 wollen/haben eine berufliche 	Perspektive

•	 Jugendliche wissen, was sie werden

•	Beratungen für Schüler

•	Ratgeber	mit Tipps für Berufsanfänger

•	 Jugendliche wissen, wie man sich bewirbt

PAFF trägt mit seiner Arbeit zur

	Projektpartner

2
Nutzung der Leistungen Hauptschulen durch 50 Schüler der beiden örtlichen

5
•	 die teilnehmenden Jugendlichen 	 haben bis Ende des Schuljahres 	 werbungsunterlagen erarbeitet •	 Jugendliche können ein Vor	bewältigen 	 stellungsgespräch erfolgreich •	 die teilnehmenden Jugendlichen 	 haben während ihrer	Teilnahme 	 tungen verbessert 	 am Projekt ihre schulischen Leis	 selbstständig qualitativ gute Be-

Verringerung der JugendarbeitsMain bei.

losigkeit im Stadtteil x von Frankfurt/

3
Zufriedenheit der teilnehmenden Jugendlichen mit dem Angebot

io o i
•	 die teilnehmenden Jugendlichen ha	 ten Abschluss verlassen 	 ben die Schule mit einem qualifizier•	 die teilnehmenden Jugendlichen 	 haben spätestens ein halbes Jahr nach 	 ihren Schulabschluss einen Ausbil	 dungsplatz gefunden. •	 Jugendliche haben ihren sozioökono	 mischen Status verbessert

6

„Was PAFF tut“

„Was PAFF bewirken will“

43

Checkliste: Die Wirkungslogik im Qualitätscheck
ja Stehen der Organisation die notwendigen Ressourcen zur Verfügung (beziehungsweise ist absehbar, dass die notwendigen Ressourcen im Laufe des Projekts zur Verfügung stehen werden), um die Aktivitäten umzusetzen, die die erwünschte Wirkung erzielen sollen? Sind alle Outputs (Leistungen), die für den Erfolg des Projekts notwendig sind, einbezogen? Sind die Outputs (Leistungen) und Wirkungen (Outcomes und Impacts) klar voneinander unterschieden? Sind auf Ebene der Outcomes die einzelnen Stufen der Veränderungen (Outcomes 1-3) ausdifferenziert? Sind die verschiedenen Bestandteile der Wirkungslogik durch „logische“ Zusammenhänge verbunden? Sind die Wirkungsziele auf Outcome- und Impact-Ebene im Sinne einer Veränderung formuliert? Wurden bei der Erstellung der Wirkungslogik die relevanten Stakeholder eingebunden beziehungsweise um Feedback gebeten? nein Bemerkung

2. Wenn die Angebote und Produkte zur
Zielgruppe genutzt werden (Stufe 2).

Verfügung stehen, dann können sie von der

6. Wenn dieses Handeln umgesetzt wird,
Lebenslage der teilnehmenden Personen ändert (Stufe 6).

dann ermöglicht dies, dass sich die Situation/

Wann ist genug geplant?
In der Planungsphase eines Projekts wird die Basis für eine wirkungs­ olle Projektarv beit gelegt. Daher sollten Sie sich für die Planung ausreichend Zeit nehmen. Dabei sollten Sie jedoch im Hinterkopf behalten, dass Planen kein einmaliger Vorgang ist, sondern sich in der wirkungsorientierten Projektsteuerung immer wiederholt. Daher sollte man an einem Punkt mit der Umsetzung anfangen und dann im Prozess auf der Grundlage der gesammelten Erfahrungen erneut planen beziehungsweise

3. Wenn die Angebote und Produkte ge-

nutzt werden, dann ist damit die Voraussetzung geschaffen, dass die Nutzer/Teilnehmenden damit zufrieden sind (Stufe 3).

7. Wenn sich die Lebenslage der am

Projekt Teilnehmenden ändert, dann trägt

dies dazu bei, dass sich Veränderungen auf gesellschaftlicher Ebene ergeben (Stufe 7).

4. Wenn die die Teilnehmenden mit dem
setzung geschaffen, dass sich dadurch

Angebot zufrieden sind, dann ist die Vorausdie erwünschten Veränderungen im Wissen und bei den Einstellungen der Zielgruppe (Stufe 4) ergeben.

3.4 WIRKUNGSZIELE IM RAHMEN DER WIRKUNGSLOGIK DETAILLIERT AUSARBEITEN
Im Rahmen der Erstellung der Wirkungslogik denen Stufen der Wirkungslogik erarbeitet. haben Sie nun Wirkungsziele für die verschieFormulieren Sie diese nun anhand der Krite(→ Kap. 2). Im nächsten Schritt werden für

5. Wenn sich die erwünschten Veränderungen im Wissen und bei den Einstellungen der Zielgruppe einstellen, dann ergibt sich dadurch (die Möglichkeit für) neues/anderes Handeln bei der Zielgruppe (Stufe 5).

rien für die Formulierung von Wirkungszielen

→ S.45

44

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Gesellschaftl. Probleme
soziale, ökologische (...)

Beitrag zur Lösung

Wirkungen

Impact

Bedürfnisse
Bedarf, Zielgruppen

Vision & Ziele
Strategie, Konzept, Ansatz

NPO
Leistungen

Umfeld
Zielgruppen
Adressaten

Ressourcen

Input

Output

Outcome
Wirkungen

die einzelnen Wirkungsziele Indikatoren entwickelt, die es erlauben, festzustellen, ziele erreicht werden (→ Kapitel 5). ob beziehungsweise inwieweit, die Wirkungs-

ergeben sich die Outputs (die erbrach-

ten Leistungen des Projekts). Werden die

angebotenen Leistungen von der Zielgruppe genutzt, ist die Grundlage für das Erreichen von Wirkungen auf Ebene der Zielgruppe

Fortsetzung von S.44: die ursprüngliche Planung anpassen. Denn genauso, wie man zu wenig planen kann, kann man auch vor lauter Planen den richtigen Zeitpunkt verpassen, um mit der Umsetzung des Projekts zu beginnen. Hier gilt es, die richtige Balance zwischen Planen, Tun, Reflektieren und Anpassen zu finden. Die lernorientierte Wirkungsanalyse unterstützt Sie dabei, die relevanten Informationen zu bekommen, die Sie für die wirkungsorientierte Steuerung Ihres Projekts benötigen. Wie Sie eine lernorientierte Wirkungsanalyse umsetzen und in die Arbeit Ihrer Organisation/Ihres Projekts integrieren, erfahren Sie nun in → Teil 2 dieses Kursbuchs.

3.5 WIRKUNGSORIENTIERTE PLANUNG IM ÜBERBLICK: DER WIRKUNGSKREISLAUF
Wie die einzelnen Teile zusammenhängen, lässt sich gut am sogenannten „Wirkungs-

(Outcomes) gelegt. Wirkungen auf der Ebene der Zielgruppe können im nächsten Schritt (Impact) beitragen. Aus der sich dadurch veränderten gesellschaftlichen Situation zu Wirkungen auf gesellschaftlicher Ebene

kreislauf“ verdeutlichen (Abbildung oben). Aus den gesellschaftlichen Herausforderungen und den sich daraus ergebenden Hintergrund der Vision der Organisation Bedarfen der Zielgruppen werden vor dem Wirkungsziele und ein Handlungsansatz definen, müssen bestimmte Inputs (Ressourcen)

ergeben sich nun neue Bedarfe, die wiederum die Anpassung der Ziele und der benötigten Ressourcen und der angebotenen Leistungen Anpassung ist somit ein kontinuierlicher Prozess während des gesamten Projektverlaufs.

des Projekts notwendig machen. Planung und

niert. Um die Wirkungsziele erreichen zu könzur Verfügung stehen. Aus diesen Ressourcen

45

TEIL 2: WIRKUNG ANALYSIEREN

„Nicht alles, was zählt, kann gezählt werden, und nicht alles, was gezählt werden kann, zählt.“
Albert Einstein (* 1879 – † 1955)

Das sind die Inhalte von Teil 2 des Kursbuchs:

In Kapitel 4 erfahren Sie, wie Sie die logistischen Grundlagen für die Wirkungsanalyse legen und wie Sie die Fragen für Ihre Wirkungsanalyse entwickeln.

2

In Kapitel 5 erfahren Sie, wie Sie Indikatoren entwickeln, die Sie als Grundlage für die Daten­ erhebung benötigen.

In Kapitel 6 lernen Sie verschiedene Methoden der Datenerhebung kennen und erfahren, wie Sie die passende Erhebungsmethode für Ihre Wirkungsanalyse finden.

In Kapitel 7 erfahren Sie, wie Sie die erhobenen Daten auswerten und analysieren können, sodass Sie Informationen erhalten, die Sie nutzen können, um daraus Schlussfolgerungen und Handlungsempfehlungen abzuleiten.

46

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

K

U

N

G

R VE

BE
RN

TE
Herausforderungen TE und Bedarfe I L verstehen 1

IL

L3 –W

K

U

SE Über Wirkung BES ER berichten V G N

1

WIRKUNG PLANEN

TEI

TEI

Lernen und anpassen Lernen und
anpassen

L3 –W

Über Wirkung berichten

9
8 7 6

Herausforderungen und Bedarfe verstehen

8

9

1

1

2 3 5 4

2

Wirkungsziele setzen Wirkungsziele
NG
setzen

WIRKUNG ANALYSIEREN

Daten auswerten und 7 analysieren auswerten und analysieren
TE

Daten

3Wirkungslogik erarbeiten Wirkungslogik
erarbeiten

6 Daten erheben

2 – Daten erheben W IR KU

5
Indikatoren entwickeln

4 Wirkungsanalyse
vorbereiten

WIRKUNG VERBESSERN

2

NG

Wirkungsanalyse vorbereiten

–

A N A LY S I E R E N

1 2 3

–
W

IR

IR
KU

–
W

IR

IR

NG

KU

PLA

PLA

NEN

NEN

IL

Nachdem Sie entschieden haben, wohin Ihre Seereise gehen soll, und Sie Ihre Reiseroute festgelegt haben, machen Sie sich auf den Weg. Allerdings laufen die meisten Reisen

nicht „einfach so“ nach Plan, und deshalb

müssen Sie unterwegs regelmäßig überprü-

fen, ob Sie auf dem richtigen Weg sind, ob Sie Ihre Ziele erreichen und ob es Ihren Passagieren gut geht. Auf Basis dieser Informationen können Sie reflektieren, ob Sie die eingeSie den Kurs anpassen müssen.

schlagene Route beibehalten können oder ob

Wie bei der Seereise werden Sie auch in Ihrer was tatsächlich passiert: Was war geplant und was haben wir getan? Was haben wir

Projektarbeit Ihren Plan mit dem abgleichen,

damit erreicht? Funktioniert das Projekt wie angenommen? Warum oder warum nicht?

TE
IL

W

IR

KU

Indikatoren entwickeln

NG

A N A LY S I E R E N

In Teil 2 des Kursbuchs wird gezeigt, wie Sie mittels der „Wirkungsanalyse“ die notwendigen Informationen erheben können, die Sie benötigen, um (unter anderem) diese Fragen zu beantworten.

Im Idealfall wird die Wirkungsanalyse mitentwickelt. Aber auch wenn es Ihr

schon im Planungsprozess des Projekts Projekt bereits einige Zeit gibt, ist es jeder­zeit möglich und sinnvoll, Monitoring und Evaluation einzuführen und umzusetzen.

47

4. DIE WIRKUNGSANALYSE VORBEREITEN
Wichtig zu wissen: Die zentrale Rolle von Monitoring in der wirkungsorientierten Projektsteuerung
In der Diskussion um das Thema Wirkungsanalyse liegt oft ein starker Schwerpunkt auf dem Thema „Evaluation“. Doch obwohl die Evaluation im Rahmen der Wirkungsanalyse natürlich eine wichtige Funktion hat, sollten Sie darüber das Monitoring nicht aus den Augen verlieren. Denn: Monitoring ist das „Frühwarnsystem“, das feststellt, wenn es im Projekt zu unerwarteten Entwicklungen kommt. Ein gutes Monitoring ist unabdingbar, wenn Sie früh auf Probleme reagieren möchten, bevor das ganze Projekt in Gefahr gerät. Gleichzeitig trägt Monitoring auch dazu bei, festzustellen, wenn sich Erfolge einstellen. Das bedeutet, dass auch Projekte, die sich keine aufwändigen Evaluationen leisten können, im Rahmen eines systematischen Monitorings Aussagen über Resultate ihres Projekts treffen können. Wirkungsorientiertes Monitoring leistet einen zentralen Beitrag zum Lernen, dient der Steuerung des Projekts und legt gleichzeitig die Grundlage für Evaluationen. Denn Evaluatoren sind häufig mit dem Problem konfrontiert, dass es keine oder keine qualitativ ausreichenden Monitoringdaten gibt, die sie als Grundlage für die Evaluation nutzen können. Dies beeinträchtigt damit die Qualität und Aussagekraft der Evaluation negativ, und der Aufwand für die Evaluation steigt.

In diesem Kapitel erfahren Sie, …

legen, bevor Sie mit der Erhebung der Daten für die Wirkungsanalyse beginnen können. Bevor auf die logistischen Fragen der Wir-

•	was die Begriffe Wirkungsanalyse,
	 durchführen sollten.

	 Monitoring und Evaluation bedeuten.

•	wann Sie Monitoring und Evaluation •	wer Monitoring und Evaluation
	 einbinden sollten. 	 holder Sie in die Wirkungsanalyse

kungsanalyse eingegangen wird, sollen die Begriffe Wirkungsanalyse, Monitoring und Evaluation geklärt werden.

	 durchführen sollte und welche Stake-

•	wie viel Monitoring und Evaluation
	 analyse entwickeln.

4.1 WIRKUNGSANALYSE, MONITORING UND EVALUATION
Was verstehen wir unter Wirkungsanalyse?

	 kostet und woher dafür das Geld kommt.

•	wie Sie die Fragen für die Wirkungs-

Um beurteilen zu können, ob Sie auf Ihrer ReiInformationen erheben, die Sie benötigen,

Der Begriff „Wirkungsanalyse“ kann in einem engeren und in einem weiten Sinn verwendet werden. Wirkungsanalyse im engen Sinn bedeutet, dass die Erhebung der Daten auf die

se auf dem richtigen Kurs sind, müssen Sie die um dies festzustellen. Dafür müssen Sie zuschaffen. Wer von der Mannschaft sitzt im

nächst die Voraussetzungen für die Erhebung Ausguck und beobachtet kontinuierlich die

Outcomes und Impacts eines Projekts abzielt. Im Rahmen der wirkungsorientierten Pro-

Reiseroute? Hat diese Person genügend Wissen und Erfahrung für diese Aufgabe? Wann und wie oft führt man am besten eine Befraob ihnen die Reise gefällt und inwiefern sie von der Reise profitiert haben? Müssen Sie

jektsteuerung ist ein weites Verständnis von Wirkungsanalyse sinnvoll. Denn hier ist es wichtig, nicht nur zu fragen, ob ein Projekt

gung der Passagiere durch, um festzustellen,

wirkt, sondern auch festzustellen, welches

die ausschlaggebenden Faktoren sind, die zu den Wirkungen führen. Wirkungsanalyse im hier verwendeten, weiten Sinn umfasst daher neben der Analyse der Wirkungen (Outcomes und Impacts) selbst auch die erbrachten Leistungen des Projekts (Outputs) und deren

dafür vielleicht einen externen Fachmann an Sammeln der Informationen für Sie, und woher kommen die notwendigen Ressourcen? Und vor allem müssen Sie festlegen, welche

Bord holen? Welchen Aufwand bedeutet das

Qualität. Die Wirkungsanalyse im weiten Sinn hinterfragt auch die Wirkungsannahmen, auf denen das Projekt aufbaut.

Informationen Sie eigentlich erheben wollen. Denn aus dem „Meer an Daten“ müssen Sie die Informationen „herausfischen“, die für Sie relevant sind.

Im Rahmen der Diskussion um Wirkung

Wie bei der Seereise müssen Sie im Rahmen der wirkungsorientierten Projektsteuerung die Grundlagen für die Wirkungsanalyse

wird auch der Begriff der Wirkungsmessung genutzt. Der Begriff Messung suggeriert, messen lässt. Wirkungen in dass sich Wirkung quantifizieren und exakt

48

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Monitoring
Was wollen Sie wissen? Warum?
Was passiert?

Evaluation

WIRKUNG PLANEN

Wie gut und warum passiert etwas und welche Änderungen kommen dadurch zustande? Fortschritte und Resultate beschreiben und bewerten, Schlussfolgerungen und Empfehlungen ableiten zu einem bestimmten Zeitpunkt während des Projekts, zum Ende des Projekts oder einige Zeit nach Abschluss des Projekts intern oder extern Schwerpunkt auf Wirkungen (Outcomes und Impact)

Fortschritte überprüfen, Informationen für Entscheidungsfindungen und Anpassungen zur Verfügung stellen, Grundlage für weitere Analysen (z.B. Evaluation) schaffen durchgehend während des Projekts

Wann?

Wer? Wo in der Wirkungslogik genutzt?

intern, Projektmitarbeitende Schwerpunkt auf Inputs, Aktivitäten, Outputs und leicht zu messenden Wirkungen (Outcomes)

der sozialen Arbeit sind in der Realität

allerdings komplexer und lassen sich oft nicht „messen“. Der Begriff Wirkungs­der passendere. analyse scheint in diesem Kontext daher

Bei der Schiffsreise sind Beispiele für Moni­ toring das kontinuierliche Beobachten der Reiseroute aus dem Ausguck des Schiffes oder die Erfassung der zurückgelegten

Abb. Monitoring und Evaluation im Vergleich; Quelle: vgl. International Federation of Red

Cross and Red Crescent Societies (2011: 20).
1

Seemeilen. Das Monitoring eignet sich vor

Ähnlich, aber doch verschieden:

allem dafür, Inputs (Ressourcen) und Outputs (Leistungen) eines Programms sowie leicht erhebbare Wirkungen zu erfassen.

Stockmann (2007: 18).

„Monitoring“ und „Evaluation“ Monitoring und Evaluation sind unterschiedliche Arten der Erfassung und Auswertung Beide werden – als „M&E“ – oft in einem Atemzug genannt und in der Tat gibt es von Daten im Rahmen der Wirkungsanalyse.

Anspruchsvoller zu erfassende Wirkungen

werden dagegen meist im Rahmen von Evanicht nur wie das Monitoring Daten für die

luationen erhoben. Evaluation liefert dabei Frage, ob man sich noch auf dem ‚richtigen‘

zwischen beiden einen engen Zusammen-

hang. Beide erfüllen wichtige Aufgaben im Rahmen der wirkungsorientierten Projektund Unterschiede? steuerung. Wo liegen die Gemeinsamkeiten

Weg befindet, sondern auch, ob es sich denn überhaupt um den ‚richtigen‘ Weg handelt.1 Wenn die im Rahmen des Monitorings erhobenen Daten Anzeichen dafür geben, dass das Projekt nicht wie geplant läuft, kann

Monitoring ist die regelmäßige Erhebung von Informationen mit dem Ziel, die Fortschritte des Projekts gegenüber der Planung sowie das Einhalten von (Qualitäts-)Standards zu überprüfen.

eine Evaluation dazu beitragen, herauszufin-

den, warum dies so ist. Bei der Schiffsreise ist der Passagiere nach der Reise, um festzuprofitiert haben.

ein Beispiel für eine Evaluation die Befragung stellen, ob und inwieweit sie von der Reise

49

4.2 LOGISTISCHE FRAGEN ZUR WIRKUNGSANALYSE
Abschlussevaluation oder Zwischenevaluation?

aufwändiger als bei den Outputs. Daten auf ben und analysiert. Allerdings gibt es

Outcome-Ebene werden daher seltener erhoauch auf dieser Ebene Informationen, die sich relativ leicht und regelmäßig erheben den Schulnoten. lassen, wie zum Beispiel die Veränderung bei

Wann sollte M&E durchgeführt werden?
Damit die Informationen bestmöglich genutzt werden können, müssen sie zum richtigen Zeitpunkt erhoben werden. Der richtige

Gerade bei befristeten Projekten finden Evaluationen oft am Ende des Projekts statt. Natürlich ist es sinnvoll, nach Projektabschluss Bilanz zu ziehen, und die erhobenen Informationen werden oft für die Abschlussberichte an die Geldgeber benötigt. Doch abgesehen von der Erfüllung der Berichtspflichten hat eine Evaluation am Ende des Projekts oft wenig Nutzen. Denn wenn die Ergebnisse vorliegen, sind die Projektmitarbeitenden bereits mit anderen Pro­ j ­ekten beschäftigt, und selbst wenn die Evaluation noch zu Kenntnis genommen wird, ist es in Retrospektive nicht mehr möglich, auf die Erkenntnisse zu reagieren. Wenn Sie die Möglichkeit haben, sollten Sie daher versuchen, die Evaluation Ihres Projekts zu einem Zeitpunkt zu machen, an dem Sie die Ergebnisse noch für die wirkungsorientierte Projektsteuerung nutzen können (Zwischeneva­ luation). Sprechen Sie daher mit Ihren Geldgebern und überlegen Sie gemein­ sam, wann für das Projekt sinn­ olle Zeitpunkte für eine v Evaluation sind.

Zeitpunkt für die Datenerhebung wird zum überhaupt erheben lassen, zum anderen

einen dadurch bestimmt, wann sich die Daten muss der Zeitpunkt der Datenerhebung je festgelegt werden.

Datenerhebungen sollten nicht nur am Ende eines Projekts stattfinden, denn es geht vor allem darum, aus den Erkenntnissen zu

nach Fragestellung und Erkenntnisinteresse

lernen, um während des Projekts steuern zu

können. Die Wirkungsanalyse sollte daher ein kontinuierlicher Prozess während der gesamten Projektlaufzeit sein.

Auf der Ebene der Prozesse und Outputs (Leistungen) stellt sich die Frage, ob die Angebote entsprechend dem zeitlichen und

Die Evaluation zu Beginn des Projekts

finanziellen Plan durchgeführt werden. Diese Informationen sind vor allem für die Projektverantwortlichen interessant. Die Erhebung der Daten sollte hier regelmäßig (je nach Bedarf wöchentlich, monatlich, vierteljährdamit bei Bedarf zeitnah eingegriffen und gegengesteuert werden kann.

ermöglicht Ihnen, im Rahmen einer Bedarfsten und die Bedarfe der Zielgruppe mit den weise des Projekts abzugleichen.

und Umfeldanalyse einen Schritt zurückzutreProjekt-Zielen und der geplanten Vorgehens-

lich) im Rahmen des Monitorings stattfinden,

Durch kontinuierliches Monitoring und

Zwischenevaluationen lässt sich feststellen, ist. Auf der Grundlage dieser Erkenntnisse sungen vorzunehmen.

ob das Projekt (noch) auf dem richtigen Weg besteht dann die Chance, wo nötig, Anpas-

Auf der Ebene der Wirkungen (Outcomes und Impacts) werden eher mittel- und langfristig eintretende Resultate erhoben.

Die Erhebung der Daten ist in vielen Fällen

50

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Projektbeispiel PAFF: Im Rahmen des Monitorings werden bei PAFF fortlaufend Daten Patenstunden, Nachhilfestunden und auf Ebene der Wirkungen die Veränderungen bei den Schulnoten festgehalten. Um festzustellen, wie sich die Projetteilnahme auf das Sozialverhalten der Jugendlichen auswirkt, wurde nach 2,5 Jahren Projektlaufzeit eine Evaluation durchgeführt. Nächstes Jahr feiert PAFF sein 5-jähriges Bestehen. Die Projektverantwortlichen haben dies als sinnvollen Zeitpunkt für eine Evaluation identifiziert, bei der systematisch festgestellt werden soll, wie sich der berufliche Werdegang der ehemaligen Patenkinder entwickelt hat. gesammelt. Hierbei werden vor allem die erbrachten Leistungen, wie die Anzahl der

WIRKUNG PLANEN

WIRKUNG ANALYSIEREN

Welche Maßnahmen der Datenerhebung PAFF im Einzelnen durchführt, erfahren Sie in → Kap. 6.

WIRKUNG VERBESSERN

1 2 3

Am Abschluss eines Projekts

steht die (Ab-)Schlussevalu-

Jugendlichen, die vor einiger Zeit das Projekt abgeschlossen haben, geworden ist.

ation. Hier wird (zumeist) das

ganze Projekt bewertet. Natürlich gibt es

Projekte, die kein (geplantes) Ende haben. es sollten Zeitpunkte identifiziert werden, an denen eine umfassende Auswertung

Unabhängig vom Zeitpunkt sollten Sie über eine Evaluation nachdenken, wenn die Monitoringdaten auf signifikante Abweichungen gegenüber Ihrer Planung hinweisen.

Hier gibt es keine Abschlussevaluation, aber

Wo findet man gute externe Evaluatoren?

• •

An Hochschulen in den jeweiligen Fachbereichen (z.B. Pädagogik) Bei Firmen oder Freiberuflern, die auf Evaluation spezialisiert sind

stattfindet. Möglich Zeitpunkte hierfür sind zum Beispiel, wenn ein neues Projektmodul andere Orte übertragen werden soll. entwickelt werden oder wenn das Projekt an

Wer soll die Wirkungsanalyse durchführen?

Während das Monitoring im Rahmen des internen Projektmanagements verankert durchgeführt werden. ist, können Evaluationen intern oder extern Wenn Evaluation eher als unliebsamer

• Durch Empfehlungen von
anderen Organisationen im Themenfeld

Eine Ex-Post-Evaluation findet einige Zeit nach Abschluss des Projekts statt und hat zum Ziel, herauszufinden, welche Wirkunentfaltet. Ein Beispiel für eine Ex-Post-

• •

Auf Fachtagungen

gen ein Projekt auch über sein Ende hinaus Evaluation wäre eine Verbleibstudie, in der herausgefunden werden soll, was aus den

Zeiträuber angesehen wird, ist man schnell Dabei sollte jedoch bedacht werden: Zum einen verursachen externe Evaluationen

Auf Empfehlung von Geldgebern (z.B. Förderstiftungen, die ihre Projekte regelmäßig evaluieren lassen) Achtung: Empfehlungen ersetzen nicht das persönliche Kennenlernen!

versucht, diese Aufgabe abgeben zu wollen.

•	Projektverständnis •	Zugang zu den Informationen •	kaum Einarbeitungszeit •	kostensparend •	Expertenwissen •	Methodenwissen •	Neutralität •	Akzeptanz durch Stakeholder

Vorteile

Interne Evaluartion

•	fehlende Distanz und Neutralität •	Rollenkonflikte •	mangelnde Kompetenzen •	inhaltliche Distanz •	Kosten •	evtl. aufwändige Absprachen
	erforderlich

Nachteile

+

–

Externe Evaluartion

Vor- und Nachteile interner und externer Evaluation

51

Projektbeispiel PAFF: Im Rahmen des Monitorings ist es bei PAFF die Aufgabe der Patengruppenbetreuer, die Daten von den Paten, Patenkindern und Lehrern zusammenzutragen. Die Daten werden dann von der hauptamtlichen Projektleitung aufbereitet und ausgewertet. Für die Evaluation wurde ein Wissenschaftler vom Pädagogik-Lehrstuhl der Universität gewonnen, dessen Studenten die Evaluation als einen Teil ihrer Abschluss­ arbeit umgesetzt haben.

meist höhere Kosten als Evaluationen, die

von Projektmitarbeitenden durchgeführt werden, zum anderen braucht nicht jedes Projekt unbedingt eine externe Evaluation. Gleichzeitig erfordert Evaluation an vielen

Wichtig zu wissen: Ein Evaluator sollte folgende Qualifikationen mitbringen

Stellen natürlich fachliche und methodische oft nicht zur Verfügung stehen. Manchmal macht es Sinn, diese aufzubauen, aber

Kompetenzen, die innerhalb der Organisation

• Erfahrung und Wissen im Themengebiet und Erfahrung mit Evaluationen im Themengebiet Qualitätsbewusstsein

• gutes Methodenwissen und ein hohes • Objektivität (wobei auch der Evaluator nie vollständig objektiv sein kann, denn auch er hat eine Meinung und Wertehaltung und arbeitet vor dem Hintergrund früherer Erfahrungen. Daher muss in der Evaluation deutlich gemacht werden, an welchen Stellen der Evaluator seine persönliche Meinung einbringt.)

manchmal ist es sinnvoller, die Expertise von außen hinzuzuziehen. Hier muss von Fall zu Fall abgewogen werden.

Die Unabhängigkeit eines externen Evalua-

tors kann dann zum Nachteil werden, wenn die Erhebung relevanten Informationen zu

er deswegen Schwierigkeiten hat, an die für kommen. Für den Erfolg der Evaluation ist es extrem wichtig, dass eine gute ZusammenDie Rolle der Stakeholder bei der Wirkungsanalyse klären arbeit zwischen dem externen Evaluator und den Stakeholdern stattfindet. Dafür muss er aber gleichzeitig seine Neutralität waren. das Vertrauen der Stakeholder besitzen, muss Bei der Wirkungsanalyse sollte es nicht um

• eine gute Kommunikationsfähigkeit
(mündlich und schriftlich)

• eine vertrauenswürdige und angenehme Persönlichkeit sowie Sensibilität im Umgang mit der Zielgruppe (z.B. bei Genderfragen)

• • •

Welche Rolle spielen die Stakeholder bei der Durchführung der Wirkungsanalyse? Welche Informationen aus der Wirkungsanalyse sind für die Stakeholder relevant? Können sie unterstützen, beeinflussen, bremsen, verhindern? Haben sie besondere Hoffnungen, Interessen oder Befürchtungen hinsichtlich der Datenerhebung oder bestimmter Fragestellungen darin?

das Abarbeiten von Berichtspflichten gehen,

sondern darum, die Erkenntnisse aus der Wirkungsanalyse als Grundlage für ein kritisches Nachdenken und Lernen über das Projekt zu verstehen und zu nutzen. Und das kann

Rahmen der Wirkungsanalyse zusammenlaufen, und die Person sollte Ansprechpartner sein, wenn es bei M&E Probleme gibt. Für diese koordinierenden Aufgaben müssen

nur bis zu einem gewissen Grad nach außen abgegeben werden. Bei der Mischform aus der internen und externen Evaluation führen mit einem externen Berater, der Expertise

natürlich ausreichende Ressourcen zur Verfügung gestellt werden. Wo notwendig, muss teamintern Wissen aufgebaut werden.

Projektmitarbeiter die Evaluation gemeinsam und den Blick von außen mitbringt, durch. zen zusammen.

Wer muss in den Prozess der Wirkungsanalyse einbezogen werden?

•

Falls ja, ergeben sich daraus Konsequenzen für die geplante Erhebung? Müssen zum Beispiel andere Fragestellungen oder andere Beteiligungsformen gewählt werden?

Hier kommen die Vorteile aus beiden AnsätUnabhängig davon, ob Evaluationen intern oder extern durchgeführt werden, sollte innerhalb des Projekts klar sein, wer für die Wirkungsanalyse die Hauptverantwortung hat. Hier sollten die Fäden aller Prozesse im

Grundsätzlich gilt: Wirkungsorientierte

Projektsteuerung, die nicht von der Organi-

sations- bzw. Projektleitung mitgetragen und aktiv gefördert wird, ist zum Scheitern verurteilt! Wirkungsorientierte Projektsteuerung ist eine Aufgabe im Rahmen der Organisati-

onsentwicklung, die aktiv gefördert werden

52

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

muss, für die die notwendigen Ressourcen zur Verfügung stehen müssen und für die werden müssen. Prozesse und Verantwortlichkeiten festgelegt Die Festlegung von Verantwortlichkeiten für die Wirkungsanalyse sollte aber nicht dazu den das Gefühl entsteht, dass jemand für führen, dass bei den anderen Mitarbeitendie Wirkungsanalyse zuständig ist und man sich selbst nicht mehr darum zu kümmern braucht. Alle Mitarbeitenden sollten in M&E der Wirkungsanalyse ist es, gemeinsam aus den Ergebnissen zu lernen!

bewegen sollte. Die Kosten beinhalten dabei vor allem die Personalkosten, die entweder intern oder für einen externen Evaluator

WIRKUNG ANALYSIEREN

anfallen. Dazu kommen Druckkosten für den Evaluationsbericht, Kosten für die Kommunikation der Ergebnisse, Bürokosten und eventuell Reisekosten. WIRKUNG VERBESSERN

Während Monitoringaufgaben in den Projektmanagementkosten enthalten sein sollten, sind (externe) Evaluationen meist eigene

1 2 3

einbezogen werden, denn der primäre Zweck

Posten im Budget. In einigen Fällen ist ein Teil der Fördersumme explizit für M&E und die sind dafür jedoch überhaupt keine Mittel Berichterstattung ausgewiesen. Nicht selten eingeplant. Welche Möglichkeiten haben Sie, Maßnahmen umzusetzen?

Wer sollte außer den Mitarbeitenden se mit einbezogen werden?

noch in den Prozess der Wirkungsanaly-

auch mit wenigen Ressourcen nützliche M&E-

Im Rahmen der Projektplanung haben Sie

bereits die Stakeholder Ihres Projekts identifiist nicht nur bei der Planung und Umsetzung analyse wichtig. Die Wirkungsanalyse muss

Angesichts eines kleinen Budgets ist es oft

ziert (→ Kap. 1 ). Der Einfluss der Stakeholder des Projekts, sondern auch bei der Wirkungsvon den Stakeholdern mitgetragen werden.

sinnvoll, lieber einen kleinen, aber relevan-

ten Teil des Projekts gut zu evaluieren, statt und dabei starke Abstriche bei der Qualität der Evaluation in Kauf nehmen zu müssen. Einige Methoden der Datenerhebung sind

Daten für das komplette Projekt zu erheben

Folgende Fragen können Ihnen helfen, die Kosten überschaubar zu halten

• • • • •

Es empfiehlt sich, die wichtigen Stakeholder

regelmäßig in den Prozess der Wirkungsanader Ergebnisse und des Prozesses sicherzustellen und Widerständen vorzubeugen.

aufwändiger und damit auch kostspieliger als andere. Hier gilt es, die Methode zu wählen, send ist und gleichzeitig den Kostenrahmen dene Erhebungsmethoden finden Sie in → Kap. 6 des Kursbuchs. die für das jeweilige Erkenntnisinteresse pasnicht sprengt. Einen Überblick über verschie-

Sind die Informationen, die gesammelt werden sollen, wirklich notwendig? Liegen die Daten vielleicht schon an anderem Ort vor? Ist die Anzahl der Befragten (Stichprobengröße) angemessen oder zu groß? Gibt es kostengünstigere Erhebungsinstrumente, die genutzt werden können? Welche Aufgaben müssen vom externen Evaluator durchgeführt werden und welche können auch von den Projektmitarbeitenden übernommen werden?

lyse mit einzubeziehen und damit die Qualität

Und was kostet das Ganze?
Wenn Sie Ihre Wirkungsanalyse planen,

stellt sich natürlich auch die Frage nach den kommt das Geld dafür?

Übrigens: Oft sind im Budget keine ausreichenden Mittel für die Auswertung der erhobenen Daten und deren Nutzung für die Weiterentwicklung des Projekts und für die Kommunikation vorhanden. Planen Sie auch für diese

Aufwänden: Wie viel kostet M&E und woher

Generell kann man sagen, dass sich das

Bud­get für die Wirkungsanalyse zwischen drei und zehn Prozent des Projektbudgets

wichtigen Schritte genügend Ressourcen ein!

53

Realistisches Erwartungsmanagement bei der Wirkungsanalyse
Mit der Wirkungsanalyse sind häufig hohe Erwartungen verbunden. Zum einen wollen die Projektverantwortlichen selbst wissen, ob ihr Projekt die erwünschten Wirkungen zeigt. Zum anderen steigen seitens der Geldgeber die Anforderungen an die Wirkungsnachweise der Projekte. Zum Teil sind diese Erwartungen aus methodischen Gründen schwer zu erfüllen, oft sind aber auch die für die Wirkungsanalyse zur Verfügung stehenden Ressourcen der begrenzende Faktor. Was können Sie tun, wenn Sie feststellen, dass die Beantwortung einer bestimmten Fragestellung einen überproportionalen Aufwand bedeuten würde? Tauschen Sie sich mit Ihrem Geldgeber aus. Zeigen Sie auf, welche Kosten die Erhebung der Informationen mit sich bringt, und überlegen Sie gemeinsam, ob dies im Verhältnis zu den erwarteten Erkenntnissen steht und ob es möglicherweise Alternativen gibt. Wenn Geldgeber Wert auf Informationen legen, die nur mit hohem zusätzlichem Aufwand erhoben werden können, sollte Sie gemeinsam überlegen, woher die hierfür notwendigen Ressourcen kommen können. wissen möchte. Auf dieser Grundlage lassen sich die Fragen erarbeiten, welche durch die Wirkungsanalyse beantwortet werden sollen, und für diese Fragen können dann die geeigausgewählt werden. neten Indikatoren und Erhebungsinstrumente

Welche Erkenntnisinteressen werden im Rahmen der Wirkungsanalyse verfolgt?
Die Wirkungsanalyse soll…

Projektbeispiel PAFF: Ein großer Teil des Monitorings bei PAFF wird im Rahmen der ehrenamtlichen Tätigkeit durch die Paten und die Patengruppenbetreuer durchgeführt. Die hauptamtliche Projektleitung trägt die Informationen zusammen und bereitet sie auf. Die Evaluation wurde zum Teil durch Studierende des Pädagogik-Lehrstuhls im Rahmen ihrer Abschlussarbeit durchgeführt, die Kosten waren daher überschaubar. Die geplante Verbleibstudie soll von einem externen Evaluator durchgeführt werden, die Finanzierung hat die Förderstiftung, die Hauptgeldgeber für PAFF ist, zugesagt.

•	 feststellen, auf welche Herausforderungen
und Bedarfe das Projekt reagiert (→ Kap. 1)

•	 feststellen, welche Leistungen (Outputs)
die Projektumsetzung treffen. Die (quantitative) Erhebung der Leistungen/Outputs

das Projekt erbracht hat, und Aussagen über

beantwortet die Frage: Was haben wir getan? Diese Frage lässt sich in den meisten Fällen relativ leicht beantworten. Im Rahmen der

Wirkungsanalyse möchten Sie aber auch wissen, wie gut Sie etwas getan haben und ob und innerhalb des geplanten Zeitrahmens und Budgets umgesetzt haben. Sie Ihre Aktivitäten in der geplanten Qualität

4.3 WELCHE FRAGEN SOLLEN DURCH DIE WIRKUNGSANALYSE BEANTWORTET WERDEN?
Nachdem die logistischen Fragen geklärt wurden, geht es nun in Richtung Datener-

•	 feststellen, ob und in welchem Maß das

Projekt seine Wirkungsziele auf den verschiedenen Stufen der Wirkungslogik erreicht hat.

•	 feststellen, ob die Wirkungslogik funktioniert. Hier werden die (logischen) Grundannahmen, die hinter dem Projektkonzept abgeglichen und hinterfragt. stehen, mit den Erfahrungen aus der Praxis

hebung. Die Wirkungsanalyse kann wie eine riesige und komplexe Aufgabe einschüchternd wirken. Sie kann aber auch eine bewältigbare Aufgabe sein, wenn man sich vorab genau überlegt, für wen und für welchen

Zweck man die Analyse macht und was man

Im Rahmen der Wirkungsanalyse sollten Sie dabei alle Aspekte im Blick haben. Je nach

54

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Tipps für die Entwicklung der Fragestellungen

WIRKUNG PLANEN

•

Denken Sie bei der Entwicklung der Fragestellungen daran, dass Sie Informationen für verschiedene Zwecke brauchen: Welche Informationen brauchen Sie für Ihre Berichterstattung? Welche Informationen brauchen Sie, um daraus zu lernen und gegebenenfalls Verbesserungen in der Projektarbeit umzusetzen?

WIRKUNG ANALYSIEREN

•

Die Entwicklung der Fragestellungen für die Wirkungsanalyse ist kein einmaliger Prozess. Fragen, die zu Beginn des Projekts erstellt werden, können im Laufe des Projekts noch angepasst werden, einige können wegfallen und andere können dazukommen.

WIRKUNG VERBESSERN

Interessenschwerpunkt wird sich aber der Fokus der Wirkungsanalyse verschieben. Angesichts der Menge an möglichen Fragen

Sie die Fragen ihrer Evaluation vor dem HinIhnen das helfen, Ihre Wirkungsanalyse zu strukturieren und zu priorisieren.

tergrund der Wirkungslogik erarbeiten, wird

1 2 3

Abb. Überblick Fragestellungen der Wirkungslogik

muss eine Auswahl getroffen werden. Wenn

für die Wirkungsanalyse entlang

Inputs
Ressourcen Was investieren wir in unser Projekt?

Outputs
Leistungen Welche Leistungen bieten wir in unserem Projekt an und wen erreichen wir damit?

Outcomes
Wirkungen auf Ebene der Zielgruppe Was bewirkt unser Projekt bei unserer Zielgruppe? Auf welcher Stufe und in welchem Maß?

Impact
Wirkungen auf gesellschaftlicher Ebene Zu welchen gesellschaftlichen Entwicklungen trägt das Projekt bei?

1
•	Wie viele Ressourcen sind in das Projekt eingeflossen? •	Reichen die vorhandenen Ressourcen aus, um das Projekt erfolgreich durchzuführen? Anzahl der Leistungen (Produkte, Seminare etc.)? Wie passen die einzelnen Projektbausteine zusammen?

4
Verändert sich das Wissen? In welchem Maß? Wie ändern sich die Meinungen? Inwiefern?

7
Hat sich der Lebensstandard der Gesellschaft vor Ort verbessert? Hat sich der Gesundheitszustand der Gesellschaft vor Ort verbessert? Hat der Wohlstand der Gesellschaft vor Ort zugenommen? Wer hat – über die Zielgruppe hinaus – vom Projekt profitiert? Welche Ziele auf Ebene der Impacts konnten erreicht werden und welche nicht?

2

5

Werden die Zielgruppen erreicht? Anzahl der Teilnehmenden?

3

Verändert sich das Verhalten? Inwiefern?

6

Sind die Teilnehmenden mit dem Projekt zufrieden? Fragen zur Effizienz: In welchem Verhältnis stehen Inputs (Ressourcen) und Outputs (Leistungen)? Haben die Dinge so viel gekostet wie geplant? Frage nach der Qualität: Wurden die Leistungen in der Qualität erbracht wie geplant?

Ändert sich die individuelle Lebenssituation? Inwiefern?

Fragen bezüglich der Wirkungslogik: Funktioniert die Wirkungslogik in der Praxis? Führen die eingesetzten Ressourcen und erbrachten Leistungen zu den erwünschten Wirkungen? Welche Teile des Projekts erweisen sich als nützlich, um die Bedarfe der Zielgruppe zu unterstützen (z.B. Ausstattung, Personal, Räumlichkeiten, Öffnungszeiten)? Was funktioniert? Was funktioniert nicht? Warum?

55

Prozesse und Wirkungen zusammen denken!
Während sich früher die Evaluation und die Berichterstattung eher auf die Aktivitäten des Projekts konzentrierten, geht die Entwicklung heute immer stärker dahin, dass gemeinnützige Organisationen die Wirkung ihrer Arbeit nachweisen müssen, während der Prozess nicht mehr so stark im Zentrum des Interesses steht. Im Sinne einer wirkungsorientierten Umsetzung und Steuerung eines Projekts ist es wichtig, sowohl die Prozess- als auch die Wirkungsebene zu beachten und im Rahmen der Wirkungsanalyse zu erfassen. Denn Sie möchten wissen, welche Wirkung Sie erzielen, aber Sie möchten auch wissen, welche Teile des Projekts dazu beitragen oder wo es Hindernisse gibt, die es verhindern, (noch) bessere Resultate zu erzielen.

Negative und unerwartete Wirkungen im Blick behalten!
Im Rahmen der Wirkungsanalyse versuchen Sie festzustellen, was Sie in Ihrem Projekt „geschafft“ haben und welche positiven Veränderungen für die Zielgruppe erreicht wurden. Vergessen Sie darüber aber nicht, dass im Rahmen eines Projekts auch Effekte eintreten können, die nicht geplant waren. Diese können positiv und negativ sein. Fragen Sie daher auch:

• Wer profitiert nicht von unserem • Welche Ziele wurden nicht
erreicht? Wirkungen sind aufgetreten?

Projekt? Welche (Unter-)Zielgruppen haben wir nicht erreicht?

• Welche unerwarteten positiven • Gab es negative Wirkungen?

Nachdem Sie die Fragen für die Wirkungsanalyse erarbeitet haben, entwickeln Sie im nächsten Schritt Indikatoren, mit deren Hilfe Sie die Fragen, die Sie im Rahmen der Wirkungsanalyse die Erhebung der Daten (→ Kap. 6). stellen, beantwortbar machen (→ Kap. 5), und identifizieren die passenden Instrumente für

56

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Fragen für Monitoring und Evaluation entlang der Wirkungslogik für das Projektbeispiel PAFF

WIRKUNG ANALYSIEREN

1 2

Inputs
Ressourcen „Das, was wir in das Projekt investieren“

Outputs
Leistungen „Das, was wir in unserem Projekt tun bzw. anbieten und wen wir damit erreichen“

Outcomes
Wirkungen auf Ebene der Zielgruppe „Das, was wir bei unserer Zielgruppe durch unser Projekt bewirken wollen“

Impact
Wirkungen auf gesellschaftlicher Ebene „Das, wozu wir auf gesellschaft­ licher Ebene mit unserem Projekt beitragen wollen“

1
• Haben die 	 Ressourcen aus	 gereicht, um die 	 gesetzten Ziele 	 zu erreichen? • Konnten die 	Ressourcen 	 wie geplant 	eingesetzt 	werden? • Wie ist das 	 Verhältnis von 	eingesetzten 	 Ressourcen zu 	 Leistungen und 	Wirkungen? •	Wurden die Leistungen wie geplant 	 umgesetzt und angeboten? •	Wurden die Nachhilfestunden / 	 Bewerbungstrainings wie geplant 	durchgeführt? •	Wie viele Bewerbungstrainings wurden 	durchgeführt? •	Sind die Inhalte der Trainings für die 	 Kompetenzentwicklung geeignet? •	Sind die Paten qualifiziert für die 	Aufgaben? •	Ist die Betreuung der Jugendlichen 	 durch die Paten zielführend? •	Funktioniert die Patenvermittlung?

4
•	 Wissen Jugendliche durch das Angebot, 	 wie man sich richtig bewirbt? •	 Haben die Jugendlichen durch die Trai	 nings berufsrelevante soziale Kompe	 tenzen erworben? •	 Haben die Jugendlichen ihr Wissen in 	 den Schulfächern, in denen sie Proble	 me haben, verbessert?

7
•	 Hat sich die Übergangsquote von 	 der Schule in die Ausbildung bei 	 den Schülern im Stadtteil erhöht? 	 Inwiefern hat das Projekt dazu 	beigetragen? •	 Leistet das Projekt einen Beitrag zur 	 Reduktion von Armut im Stadtteil?

5
•	 Sind die Jugendlichen in der Lage, 	 passgenaue Bewerbungsunterlagen 	 zu erstellen? •	 Verhalten sie sich selbstsicher und sozial 	 kompetent bei Vorstellungsgesprächen? •	 Haben sich die Noten der Jugendlichen 	verbessert?

2
•	 Werden Jugendliche durch das Angebot 	erreicht? •	 Wie viele Jugendliche nehmen an den 	 einzelnen Angeboten teil? •	 Welcher Teil des Angebots wird stark/ 	 weniger stark genutzt?

6
•	 Hilft das Projekt den Teilnehmenden 	 beim Finden eines Ausbildungsplatzes? •	 Wie viele der Teilnehmer konnten in 	 Ausbildung vermittelt werden? •	 Trägt das Projekt dazu bei, den sozio	 ökonomischen Status der Jugendlichen 	 zu verbessern? •	 Hilft das Projekt den Jugendlichen, 	 einen qualifizierten Schulabschluss 	 zu erlangen?

io o i
3
•	 Sind die Jugendlichen mit dem 	 jeweiligen Angebot zufrieden? •	 Sind die Jugendlichen mit ihrem 	 Paten zufrieden? •	 Warum sind die Jugendlichen ggf. 	 unzufrieden und womit? •	 Wo besteht Verbesserungspotenzial?

57

5. WIRKUNG ÜBERPRÜFBAR MACHEN – INDIKATOREN ENTWICKELN

In diesem Kapitel erfahren Sie, …

•	was Indikatoren sind und wozu man
	 sie braucht.

Auch in Ihrer Projektarbeit müssen Sie kontinuierlich feststellen, ob Sie mit dem, was Sie brauchen Sie, wie bei der Seereise, Anhaltstun, auf dem richtigen Weg sind. Und hierfür punkte, anhand derer Sie feststellen können, ob Sie sich den Zielen Ihres Projekts nähern. sich mit den Wirkungszielen, der Wirkungslogik und relevanten Fragestellungen für die Wirkungsanalyse auseinandergesetzt. Nun geht es darum, zu überlegen, wie Sie feststellen können, ob Sie die Wirkungsziele erreichen und wie Sie die Evaluationsfragen beantworten können. Für beides benötigen ckeln müssen, um dann im nächsten Schritt lyse Daten erheben zu können (→ Kap. 6). In den vorangegangenen Kapiteln haben Sie

•	welche Arten von Indikatoren es gibt. •	was gute Indikatoren ausmacht und
	 wie man sie entwickelt.

•	was Baseline und Soll-Werte sind und
	 wofür sie genutzt werden können.
Woran machen Sie fest, ob Sie bei Ihrer Seereise auf dem richtigen Weg sind? Vielleicht an den Küsten und LeuchttürAnzeige des GPS-Systems und der Zahl

men, an denen Sie vorbeikommen? An der der zurückgelegten Seemeilen? Oder auch an den sich verändernden Temperaturen herauszufinden, ob Sie mit Ihrem Schiff messbare und fühlbare Hinweise. oder dem Auftauchen von Eisbergen? Um „auf Kurs“ sind, nutzen Sie also sichtbare,

Sie sogenannte „Indikatoren“, die Sie entwiauf dieser Basis im Rahmen der Wirkungsana-

58

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

5.1 WAS SIND INDIKATOREN UND WOFÜR BRAUCHT MAN SIE?
Was sind Indikatoren?
Auch wenn Wirkungsziele so konkret wie

getroffen werden können. Genauso geht es rechtzeitig die Informationen zu haben, rung ermöglichen.

WIRKUNG ANALYSIEREN

während des gesamten Projektzyklus darum, die eine wirkungsorientierte ProjektsteueWIRKUNG VERBESSERN

möglich formuliert sind, lässt sich daraus in

In der Planungsphase werden Indikatoren zur Beschreibung der Situation und der Beder Wirkungsziele. Für die wirkungsoriendarfe genutzt und dienen der Konkretisierung tierte Projektsteuerung ist es wichtig, dass während der Planungsphase festgelegt

den meisten Fällen nicht ohne weiteres ableinotwendig, mit Indikatoren zu arbeiten. Der Begriff „Indikator“ kann übersetzt werden

1 2 3

ten, ob das Ziel erreicht wurde. Deshalb ist es

mit „Hinweis“. Anhand von Indikatoren lässt sich feststellen, ob ein bestimmter Sachverhalt oder ein bestimmtes Ereignis eingetreten ist. So sind gelbe Blätter an den Bäumen ein ten hat, und herumwirbelndes Laub ist ein Indikator dafür, dass der Herbst Einzug gehalIndikator für Wind. Ein Indikator dafür, dass könnte zum Beispiel der Leuchtturm an der

die Indikatoren (so weit wie möglich) bereits werden, damit während der Projektumset-

zung klar ist, welche Aspekte während des

gesamten Projektzyklus relevant sind: Welche Wirkungsziele wollen und können wir regelmäßig beobachten? Woran stellen wir den unseres Projekts fest?

Sie auf Ihrer Seereise Ihr Ziel erreicht haben, Einfahrt zum Hafen sein, den Sie angesteuert ren, die Frage, ob das Schiff auf dem richtigen Kurs ist, in konkrete und überprüfbare Dimensionen wie die Küstenformationen, die Temperatur, Strömung und Geschwin-

Projektfortschritt und schließlich die Wirkung

haben. Aber auch unterwegs helfen Indikato-

Bei der Projektumsetzung sind Indikatoren trolle, des Lernens und der Steuerung. Mit Hilfe der Indikatoren lässt sich feststellen,

ein wichtiges Instrument der Fortschrittskon-

ob das Projekt noch „auf Kurs“ ist und seine Ziele entlang der Stufen der Wirkungslogik erreicht. Die regelmäßige Beobachtung der die wirkungsorientierte Steuerung.

digkeit oder den Stand der zurückgelegten

Seemeilen herunterzubrechen. Die Bildung

von Indikatoren für Ihr Projekt ist sicherlich zip her gleich.

Indikatoren ist daher die Voraussetzung für

komplexer, funktioniert aber vom Grundprin-

Im Rahmen einer abschließenden Betrachlage für die Analyse und Bewertung des

Wofür braucht man Indikatoren?
Um zu wissen, ob man auf dem richtigen

tung des Projekts sind die Indikatoren GrundErreichten. Die Resultate lassen sich mit der und Sie können feststellen, ob Sie die Ziele, die Sie sich für Ihr Projekt gesteckt haben, erreicht haben (→ Kap 5.4.).

Weg ist, und um zu entscheiden, ob auf der Seereise der Kurs angepasst werden muss, müssen die notwendigen Informationen vor-

Situation zu Beginn des Projekts vergleichen

liegen, auf deren Grundlage Entscheidungen

59

5.2 ARTEN VON INDIKATOREN
Direkte und indirekte Indikatoren
Direkte Indikatoren beziehen sich direkt auf das, was sie beschreiben wollen. Sie lassen sich besonders für zählbare Sachverhalte und Veränderungen wie Outputs, aber auch leicht messbare Wirkungen formulieren und lassen Sie sich, wie im Projektbeispiel, vor, dass eidurch die Teilnahme an Ihrem Projekt einen

die Erhebung der Bevölkerungszahl in einem

großen und schwer zugänglichen, von Nomaden besiedelten Gebiet. Statt einer praktisch entschied man sich dafür, nachts über das kaum durchzuführenden Zählung „pro Kopf“ Land zu fliegen und, als indirekten Indikator, die erleuchteten Feuerstellen zu zählen. Aus Erfahrung wusste man, wie viele Mitglieder

einer Familie durchschnittlich um eine Feuerstelle ihr Lager errichtet hatten, und konnte bestimmen. Ein anderes Beispiel: Wenn Sie so die Bevölkerungszahl ausreichend genau wissen möchten, wie hoch die Zahl der von ist, wäre ein möglicher indirekter Indikator die Anzahl der Kinder des Stadtteils, die nutzen.

sich oft direkt aus den Zielen ableiten. Stellen nes Ihrer Wirkungsziele ist, dass Jugendliche Ausbildungsplatz bekommen. Wenn Sie nun erreicht – woran würden Sie das erkennen? An den Jugendlichen, die nach Teilnahme an Ihrem Projekt einen Ausbildungsplatz

Armut betroffenen Kinder in einem Stadtteil

wissen wollen, ob das Projekt diese Wirkung

das Angebot eines kostenlosen Mittagessens

bekommen haben. Der Indikator ist also die

„Anzahl der Jugendlichen, die nach Teilnahbekommen haben“.

Indirekte Indikatoren werden vor allem auch beschrieben werden sollen, zum Beispiel Lebensumstände oder Veränderungen in

me an Ihrem Projekt einen Ausbildungsplatz

dann genutzt, wenn qualitative Sachverhalte

Was bei den direkten Indikatoren zum Teil so offensichtlich. Denn nicht immer sind Indikatoren so klar und direkt ableitbar.

Hinblick auf Einstellungen, Motivation oder klar ist, wie sie sich ausdrücken. Vielleicht

recht simpel erscheint, ist jedoch oft nicht

Verhalten – also Dinge, bei denen nicht direkt wollen Sie mit Ihrer Erhebung herausfinden, selbstbewusster werden. Hier gilt es zu

Das führt dazu, dass viele Sachverhalte und Veränderungen auf den ersten Blick nicht überprüfbar erscheinen. In diesen Fällen werden sogenannte „indirekte Indikato-

ob die Jugendlichen im Rahmen Ihres Projekts überlegen, woran ein gestärktes Selbstbe-

wusstsein festzustellen ist. Dies kann sich unliche vielleicht nun öfter seine Meinung in der Gruppe? Hat er mehr soziale Kontakte mit den anderen Teilnehmern? Hat sich vielleicht seine Körperhaltung verbessert und geht er jetzt aufrechter? Sie sehen also, hier lässt

ren“ genutzt. Indirekte Indikatoren (in der weisen nur mittelbar auf den zu beobachwenn es nicht oder nur mit unvertretbar

terschiedlich ausdrücken: Vertritt der Jugend-

Fachsprache auch Proxy-Indikatoren genannt) tenden Sachverhalt hin. Sie werden genutzt, hohem Aufwand möglich ist, den Sachverhalt die Nutzung eines indirekten Indikators ist

selbst zu erheben. Ein klassisches Beispiel für

sich nicht so klar und direkt ein Indikator zu-

ordnen. Es werden sogar mehrere Indikatoren nötig sein, um die Veränderungen abzubilden

60

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

und Aussagen über die Zielerreichung treffen zu können. Dabei ist auch zu beachten, dass indirekte Indikatoren sehr kontextabhängig

Output-Indikatoren

WIRKUNG ANALYSIEREN

Outputs sind zwar noch keine Wirkungen, sie sind aber die Grundlage und die Bedingung dafür, dass Wirkungen überhaupt entstehen können. Besonders zu Beginn eines Projekts sind, die sich erheben lassen, da Wirkungen oftmals erst nach einiger Zeit zu ermitteln sind. Wenn Sie die Wirkungen Ihres Projekts kaum überprüfen können, sollten Sie daher zumindest Aussagen über Ihre Outputs treffen können und hierfür entsprechend kann es sein, dass Outputs die einzigen Dinge WIRKUNG VERBESSERN

sind und vor dem Hintergrund des jeweiligen

Projekts und dem sozialen und gesellschaftlichen Hintergrund erarbeitet werden müssen.

Indikatoren für die verschiedenen Stufen der Wirkungslogik

1 2 3

Wie bei der Seereise Indikatoren notwendig sind, um festzustellen, ob die einzelnen (Etappen-)Ziele der Reise erreicht wurden, müssen auch für die verschiedenen Stufen der Wirkungslogik Indikatoren gebildet werden, um feststellen zu können, ob das

Indikatoren bilden. Andersherum kann der Ziele auf Output-Ebene einfach zu finden

Umstand, dass Indikatoren für leicht zählbare sind, auch dazu verleiten, vor allem OutputIndikatoren zu formulieren. Wenn Sie aber müssen Sie auch auf der Wirkungsebene Indikatoren entwickeln. Input-Indikatoren wissen wollen, ob Ihr Projekt Wirkung erzielt,

Projekt auf dem richtigen Weg ist. Die Indikatoren entlang der Wirkungslogik sind damit quasi „Meilensteine“ für die Steuerung Ihres Projekts. Indikatoren können, entsprechend der Wirkungslogik, in Impact-, Outcome-,

Output- und Input-Indikatoren unterschieden werden. Für die wirkungsorientierte Projektarbeit sind außerdem Indikatoren für die Qualität der Projektarbeit wichtig. Wirkungsindikatoren

Auch Input-Indikatoren sind relevant, da

sie zum einen Auskunft über die Ressourcen

geben, die in das Projekt einfließen, und zum

anderen, weil sich auf dieser Grundlage Rückeines Projektes ziehen lassen. Wenn man

Um feststellen zu können, ob und inwieweit Ihr Projekt Wirkung entfaltet, müssen Sie Indikatoren) bilden. Um den Fortschritt Ihrer Projektteilnehmer nachvollziehen Wirkungsindikatoren (Outcome- und Impact-

schlüsse über die Effizienz und die Effektivität die Inputs in Relation zu den Outputs und

Wirkungen setzt, können nach der Daten-

erhebung Fragen beantwortet werden wie: erbracht (Effizienz) beziehungsweise mit erzielt (Effektivität)?

und darstellen zu können, ist es dabei auch

Mit wie viel Inputs wurden wie viele Outputs wie vielen Inputs wurden welche Wirkungen

wichtig, nicht nur Indikatoren für langfristige Wirkungen, sondern auch für die Outcomes logik zu formulieren. auf den verschiedenen Stufen der Wirkungs-

Qualitätsindikatoren

Eine weitere Art von Indikatoren, die sich aber für die wirkungsorientierten Pro-

nicht direkt auf die Wirkungslogik bezieht,

61

Inputs
Ressourcen „Das, was wir in das Projekt investieren“

Outputs
Leistungen „Das, was wir in unserem Projekt tun bzw. anbieten und wen wir damit erreichen“

Outcomes
Wirkungen auf Ebene der Zielgruppe „Das, was wir bei unserer Zielgruppe durch unser Projekt bewirken wollen“

Impact
Wirkungen auf gesellschaftlicher Ebene „Das, wozu wir auf gesellschaft­ licher Ebene mit unserem Projekt beitragen wollen“

1

4

7

Menge der eingesetzten Ressourcen: •	Anzahl der 	hauptamtlichen 	Mitarbeiter •	Anzahl der Paten • 	 nzahl der A 	Patengruppen	betreuer •	Eingesetzte Zeit 	 je Mitarbeiter •	Höhe der 	finanziellen 	Ressourcen •	zur Verfügung 	 stehende Räum	lichkeiten •	zur Verfügung 	stehende 	Materialien 	 (Computer etc.)

Anzahl der … •	Nachhilfestunden • Bewerbungstrainings • Beratungen für Jugendliche • Treffen mit Paten und Jugendlichen • Patenvermittlung • Patenschulungen • Patensupervision • Patenweiterbildung • Projektflyer • Projektleitfaden • Ratgeber mit Tipps

Anzahl der Jugendlichen, die … •	 wissen, wie man sich richtig bewirbt •	 soziale Kompetenzen erworben haben, 	 die für einen erfolgreichen Berufsein	 stieg notwendig sind •	 ihre Kenntnisse in den Kernschulfächern 	 verbessert haben

5
Anzahl der Jugendlichen, die … •	 selbstständig qualitativ gute 	 Bewerbungsunterlagen erstellen •	 sich bei Vorstellungsgesprächen sozial 	 kompetent verhalten •	 angeben, selbstsicherer in Vorstellungs	 gespräche zu gehen •	 Verbesserung der Schulnoten innerhalb 	 eines bestimmten Zeitraums •	 Übergangs- und 	 Ausbildungsquote im Stadtteil •	 Veränderung der Jugendarbeits	 losenquote im Stadtteil

2
•	 Anzahl der Jugendlichen, 	 die am Projekt teilnehmen •	 Anzahl der Jugendlichen, die an 	 den einzelnen Angeboten des Projekts 	teilnehmen.

io o i
3 6
•	 Anzahl der Jugendlichen, 	 die mit dem Projekt und den 	 Angeboten zufrieden sind •	 Anzahl der Jugendlichen, die einen quali	 fizierten Schulabschluss erreicht haben •	 Anzahl der Jugendlichen, die inner	 halb von x Monaten nach Teilnahme 	 am Projekt einen Ausbildungsplatz 	 bekommen haben. •	 Veränderung des sozioökonomischen 	 Status der Jugendlichen (Einkommen etc.)

jektsteuerung wichtige Hinweise auf die

Qualität der angebotenen Leistungen gibt, sind Qualitätsindikatoren. Im Rahmen der
Abb. Indikatoren für

sorin begleitet werden. Die Qualitätskriterien werden später im Rahmen des Monitorings mit der Realität abgeglichen. Wie bei den Output-Indikatoren gilt auch hier: Gerade

Projektplanung sollten Sie Qualitätsstandards formulieren, die Sie an Ihr Projekt

das Projektbeispiel PAFF

anlegen, und hierfür Indikatoren entwickeln. dass Nachhilfestunden nur von Lehrern oder Lehramtsstudenten der jeweiligen Fachrichtung durchgeführt werden oder dass Paten

wenn Sie ein Projekt umsetzen, bei dem sich

Solche Standards können beispielsweise sein,

Wirkungen schwer nachweisen lassen, sollten Sie versuchen, die Qualität Ihres Projekts mit Hilfe aussagekräftiger Qualitätsindikatoren zu belegen.

regelmäßig von einer ausgebildeten Supervi-

62

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

5.3 SCHRITTE ZUR INDIKATORENENTWICKLUNG
Idealerweise sollten Indikatoren so früh wie möglich – am besten während der Planungsphase des Projekts – erarbeitet werden. Das bedeutet allerdings nicht, dass im Projektvernicht noch Indikatoren dazukommen können. Indikatoren werden auf der Grundlage von Fragestellungen entwickelt, und es ist gut erst im Projektverlauf auftauchen. möglich, dass spezifische Fragestellungen

Schritt 1: Ideen sammeln
Grundlage und Ausgangspunkt für die

WIRKUNG ANALYSIEREN

Entwicklung von Indikatoren sind die Ziele

des Projekts, die für die verschiedenen Stufen der Wirkungslogik festgehalten wurden, und die für die Wirkungsanalyse entwickelten Fragestellungen (→ Kap. 2). Schreiben Sie

WIRKUNG VERBESSERN

lauf oder bei einer abschließenden Evaluation

diese für alle sichtbar, zum Beispiel an einem Flipchart, auf. Gehen Sie die Punkte einzeln Sie erkennen würden, dass ein bestimmtes durch und überlegen Sie gemeinsam, woran Ziel erreicht wurde, oder wie Sie die Fragen für die Wirkungsanalyse beantworten würIdeen zu sammeln, und noch nicht darum, den. Es geht in diesem ersten Schritt darum, diese zu bewerten. Sammeln Sie daher alles, ohne sich von vornherein zu beschränken. Notieren Sie die Vorschläge der Gruppenmitglieder oder lassen Sie diese ihre Ideen auf und Fragestellungen zuordnen. Kärtchen schreiben, die Sie dann den Zielen

1 2 3

In die Entwicklung der Indikatoren sollten die Personen, die an der Planung, Durchführung und Wirkungsanalyse des Projekts beteiligt tern im Projekt sollten auch Vertreter Ihrer

sind, eingebunden sein. Neben den MitarbeiFörderer einbezogen werden. Diese können Erwartungen hilfreich bei der Entwicklung und Priorisierung der Indikatoren sein.

mit ihren spezifischen Sichtweisen, aber auch

Grundsätzlich sollten Sie für alle Stufen

Schritt 2: Strukturierung und Verfeinerung der Ideen

Ihrer Wirkungslogik Indikatoren entwickeln, da für eine wirkungsorientierte Steuerung die Erhebung von Daten zu allen Bereichen alle Bereiche Daten erheben – weil sich Ihr Erkenntnissinteresse auf eine bestimmte

Im zweiten Schritt werden die Ideen struk-

wichtig ist. Dies gilt auch, wenn Sie nicht für

turiert und verfeinert. Schauen Sie sich die

zusammengetragenen Ideen an, fassen Sie diese sinnvoll zusammen, ergänzen Sie wo notwendig und streichen Sie Doppelungen.

Fragestellung richtet oder Ihre Ressourcen

eine umfassende Betrachtung nicht zulassen. Wie gehen Sie nun konkret vor, um die Indikaden finden Sie vier Schritte, an denen Sie sich orientieren können.

Zum Teil können die Wirkungsziele mit einem Indikator erfasst werden, vor allem, wenn es sich um quantitative Merkmale handelt, wie zum Beispiel die Anzahl der Jugendlichen, die nach Teilnahme am Projekt einen AusbilWirkungsziele sind zumeist mehrere Indi-

toren für Ihr Projekt zu erarbeiten? Im Folgen-

dungsplatz gefunden haben. Für komplexere katoren notwendig, um mit einer Mischung

aus qualitativen und quantitativen Aussagen

63

Ziel

Jugendliche haben nach Teilnahme am Projekt einen Ausbildungsplatz (direkt überprüfbar)

Dimension
zählbar

Indikatoren

Anzahl der Jugendlichen, die innerhalb von 6 Monaten nach Teilnahme am Projekt einen Job haben Anzahl der Teilnehmenden an Trainings Anzahl der nach der Bewerbung erhaltenen Jobzusagen Jugendliche wissen, wie eine gute Bewerbung aufgebaut ist

zählbar Jugendliche verfügen über höhere Bewerbungskompetenzen (nicht direkt überprüfbar) beschreibbar

Jugendliche haben eine klare berufliche Perspektive Qualität der erstellten Bewerbungsunterlagen (Aussehen, Formulierung, Vollständigkeit) Jugendliche erstellen selbstständig eine Bewerbung

die Zielerreichung oder eine Entwicklung zu

beschreiben. Überlegen Sie, ob die Indikatoren die verschiedenen Dimensionen, die Ihre Indikatorensets als Anregung nutzen! Ziele und Evaluationsfragen haben können, die Erreichung eines Ziels wie „Jugendliche haben höhere Bewerbungskompetenzen“ ausdrücken? Gibt es eine zählbare Dimengibt es?

lichkeiten sind hier unter anderem: Anzahl, Summen, Durchschnitte, der Prozentsatz Veränderung etc. einer (Gesamt-)Menge, der Prozentsatz einer

Bei der Entwicklung Ihrer Indikatoren können Sie sich auch an anderen Organisationen in Ihrem Themenfeld orientieren oder bereits vorhandene Indikatorensets (die Sie in der Fachliteratur, aber auch im Internet finden) für einen bestimmten Themenbereich zur Anregung nutzen. Einfach übernehmen sollten Sie diese aber nicht – schließlich ist kein Projekt genau wie Ihres, und die Entwicklung der Indikatoren ist ein wichtiger Schritt in der Projektentwicklung.

abdecken. Wodurch kann sich beispielsweise

Die Herausforderung, Indikatoren SMART

zu formulieren, kann unter Umständen dazu verleiten, vor allem Indikatoren auf OutputEbene und Indikatoren für Wirkungen, die „gezählt werden können“, zu formulieren.

sion? Welche beschreibbaren Dimensionen

Schritt 3: Indikatoren formulieren
Damit ein Indikator aussagekräftig und

Hier gilt es jedoch, eine gute Mischung aus

Indikatoren zu finden, die sowohl quantitative als auch qualitative Aspekte beleuchten. Im Kapitel zur Wirkungslogik wurde dargestellt, wie wichtig es in der wirkungsorientierten Projektarbeit ist, die sogenannten schritte zu berücksichtigen (→ Kap. 3). Indikatoren erarbeitet werden. „Soft Outcomes“ und die erreichten FortUm diese zu erheben, müssen auch hierfür

messbar wird, sollte er wie die Ziele SMART, das heißt Spezifisch, Messbar, Akzeptiert, Realistisch und Terminierbar formuliert sein

(→ Kap. 2). Formulieren Sie den Indikator so, Zeitraum erreicht werden soll. Je nach-

dass er verdeutlicht, bei wem was in welchem
Projektbeispiel PAFF Anstatt also zu formulieren: „Ein Großteil der Jugendlichen hat einen Ausbildungsplatz“, ist die bessere Formulierung für diesen Indikator: „Die Anzahl der arbeits­losen Jugendlichen im Stadtteil xy, die innerhalb von 6 Monaten nach der Teilnahme am Bewerbungstraining einen Ausbildungsplatz haben“.

dem, von welchem Erkenntnisinteresse Sie

ausgehen, kann die Frage noch um Wo (zum Beispiel in einem bestimmten Stadtteil) und Wie gut (Qualität) ergänzt werden. Bei den auch bei der Zielformulierung) nicht immer sinnvoll oder möglich ist, einem Indikator eine zeitliche Komponente hinzuzufügen.

Schritt 4: Auswahl der zu erhebenden Indikatoren

SMART-Kriterien ist zu beachten, dass es (wie

Sind die Indikatoren formuliert, kann es sein, dass Sie recht viele davon haben, sodass Sie diese noch einmal priorisieren müssen. Denn es geht nicht darum, möglichst viele Indikatoren zu haben, sondern ein kleines,

Überlegen Sie bei der Formulierung auch, in welcher Form beziehungsweise Maßeinheit Sie den Indikator sinnvoll darstellen. Mög-

aber dafür aussagekräftiges Indikatorenset. Denken Sie daran, dass Sie pro Ziel und Fra-

64

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

	 	 	 	

•

Erheben Sie sowohl Indikatoren, die quantitative, als auch solche, die qualitative Aspekte Ihres Projekts beleuchten. Denn, „nicht alles, was zählt, kann gezählt werden und nicht alles, was gezählt werden kann, zählt.“ (Albert Einstein).

•

Tipps für die Auswahl von Indikatoren

WIRKUNG PLANEN

Denken Sie daran, dass das zentrale Ziel der Wirkungsanalyse ist, aus den Ergebnissen zu lernen und, wo notwendig, daraufhin Veränderungen am Projekt vorzunehmen. Fragen Sie sich daher bei der Auswahl der Indikatoren: Welche Informationen brauchen wir, um festzustellen, dass es bei unseren Projektteilnehmern zu den erwünschten Entwicklungen kommt? Welche Informationen brauchen wir, um festzustellen, ob und wie wir unser Projekt anpassen müssen beziehungsweise (noch) weiter verbessern können? Woran würden wir merken, dass in unserem Projekt etwas schiefläuft?

WIRKUNG ANALYSIEREN

•

Neben Lernen und Verbessern spielen bei der Auswahl der Indikatoren natürlich auch die Berichtsanforderungen eine wichtige Rolle. Beziehen Sie Ihre Stakeholder und dabei vor allem Ihre Geldgeber so früh wie möglich in das Projekt ein und tauschen Sie sich über Ihre gegenseitigen Erwartungen sowohl bezüglich der Ziele des Projekts aus auch im Hinblick auf die Wirkungsnachweise aus. Überlegen Sie gemeinsam, zu welchen Indikatoren sinnvollerweise Daten erhoben werden sollen.

1 2

Projektbeispiel PAFF In der untenstehenden Tabelle haben wir in unserem Projektbeispiel mögliche Indikatoren für Soft Outcomes für Sie zusammengefasst. Bei Indikatoren für Soft Outcomes handelt es sich zumeist um indirekte Indikatoren. Diese sind sehr kontextabhängig und müssen für jedes Projekt individuell ent­ wickelt werden. Dennoch können Beispiele aus anderen Projekten hier hilfreiche Anregungen geben.

gestellung mindestens einen Indikator braunotwendig sein können, um sinnvolle und

chen, zum Teil aber auch mehrere Indikatoren substanzielle Aussagen möglich zu machen. Um sicherzugehen, dass ein Indikator auch tatsächlich überprüfbar ist, muss zunächst überlegt werden, ob sich die Daten für den

stellt werden, ob eine Datenquelle vorhanden und ob diese auch zugänglich ist. Ist dies der Fall, muss im nächsten Schritt überlegt werder Daten ist. Hier ist es unter Umständen den, wie hoch der Aufwand für die Erhebung notwendig abzuwägen: Steht der Aufwand für die Erhebung angesichts des zu erwartenden Nutzens durch die erhobenen Informationen

Indikator erheben lassen. Dazu muss festge-

in einem angemessenen Verhältnis? (→ Kap. 6)

Kategorien

Verhaltensweisen, Einstellungen, persönliche Fähigkeiten und Kompetenzen (u.a. Motivation, Selbstbewusstsein, Selbstvertrauen, Verantwortungsbewusstsein, Zuverlässigkeit)

Beispiele für Indikatoren

Anzahl / Prozentsatz der Jugendlichen, die … •	 regelmäßig an den Projektangeboten teilnehmen •	 sich selbstständig um die Terminabsprachen mit ihren Paten kümmern •	 pünktlich zu Terminen erscheinen •	 mit einem positiven Gefühl in Vorstellungsgespräche gehen •	 über sich selbst sagen, dass sie sich mehr zutrauen •	 eine selbstbewusstere (aufrechtere) Körperhaltung haben •	 in Gesprächen den Blickkontakt halten •	 in Gesprächen ihre eigene Meinung vertreten •	 ihre Verantwortung für ihre eigenen Leistungen (z.B. Schulnoten) erkennen •	 offen über ihre Probleme, Wünsche etc. sprechen •	 auf ein gepflegtes Äußeres achten •	 sich auf eine Aufgabe konzentrieren können Anzahl / Prozentsatz der Jugendlichen, die … •	 qualitativ gute Bewerbungen schreiben können •	 verantwortungsvoll mit Geld umgehen können •	 ihre Rechte und Pflichten kennen und diese wahrnehmen können •	 Anzahl der (angefangenen, beendeten) Jobs •	 Abwesenheitsquote bei der Arbeit Anzahl / Prozentsatz der Jugendlichen, die … •	 mit ihren Kollegen im Team zusammenarbeiten •	 Aufgaben und Probleme selbstständig lösen bzw. gezielt nach Hilfe fragen •	 verständlich und höflich mit ihren Kollegen/Vorgesetzten/ Kunden kommunizieren •	 die für ihren beruflichen Kontext relevanten IT-Anwendungen kompetent nutzen

Praktische Fähigkeiten und Kompetenzen

Berufliche Fähigkeiten und Kompetenzen

65

Was tun, wenn keine Baseline erhoben wurde?
	 Um einen Eindruck über die 	 Situation der Teilnehmenden vor Beginn des Projekts zu bekommen, kann zum Beispiel gefragt werden, wie eine Person ihre Situation jetzt (nach beziehungsweise während des laufenden Projekts) einschätzt. Die Antwort wird auf einer Skala festgehalten. Daraufhin fragt man, wie die Person ihre Situation vor Teilnahme am Projekt rückwirkend einschätzt, und lässt die Antwort auf der gleichen Skala einordnen. Diese „rückwirkende Baseline“ kann gerade bei individuellen und Soft Outcomes recht aussagekräftig sein, denn oft haben die Teilnehmenden im Rahmen der Inter­ vention gelernt, ihre Situation besser einzuschätzen, und können daher auch realistischer beurteilen, wie ihre Situation vor Beginn des Projekts war. Auch können beteiligte Dritte, zum Beispiel die Eltern, befragt werden, wie sie die Situation ihrer Kinder vor und nach dem Projekt einschätzen. Wenn erst während des laufenden Projekts klar wird, welche Indikatoren wichtig sind, müssen vor dem Hintergrund dieser Indikatoren rückwirkend Informationen generiert werden. Hierfür können zum Beispiel alte Aufzeichnungen nützlich sein oder das Sammeln von Anekdoten und Situationsbeschreibungen von Personen, die seit Beginn des Projekts dabei waren. Wenn Ihr Projekt bereits läuft und es nicht möglich ist, im Nachhinein Daten zu erheben, können Sie auch den Zeitpunkt, an dem Sie beginnen, Daten zu erheben, als Punkt für die Erhebung der Baseline nehmen und die hier gewonnen Informationen als Bezugspunkt für die künftigen Erhebungen nutzen.

Die Entscheidung, welche Indikatoren wichtig für Ihre wirkungsorientierte Projektsteuerung sind und eine höhere Priorität haben als andere, die auch interessant und relevant

sind, müssen Sie selbst treffen. Im Ergebnis sollten Sie ein „SMARTes“, übersichtliches und aussagekräftiges Indikatorenset haben, nen können.

dem Sie im nächsten Schritt Soll-Werte zuord-

5.4 WIE VIEL SOLL’S DENN SEIN? – BASELINES UND SOLL-WERTE
Baselines Baseline-Daten sind Informationen über

die Ausgangssituation vor Beginn des Profestgestellt werden, ob beziehungsweise

jekts. Ohne diese Informationen kann nicht welche Entwicklungen seit Projektbeginn gen durch das Projekt erzielt wurden. Ein Beispiel hierfür ist die Übergangsquote

stattgefunden haben und welche Wirkun-

von der Schule in eine Ausbildung an einer Hauptschule vor und nach der Einführung eines Projekts zur Unterstützung von Jugendlichen bei ihrem Weg in den Beruf. Wenn hier vor Beginn des Projekts nicht festgestellt wird, wie hoch die Übergangsquote ohne die unterstützende IntervenProjekts kaum möglich, festzustellen, ob sich die Quote verändert hat. Im Idealfall werden Baseline-Daten im Rahmen tion ist, ist es während oder am Ende des

eine Baseline zu bekommen. Auch kann es vorkommen, dass zu Beginn des Projekts die sich im Laufe des Projekts als wichtig noch nicht alle Indikatoren bekannt waren, herausstellen. Welche Möglichkeiten gibt es, um im Nachhinein Vergleichsmöglichkeiten zu schaffen?

der Bedarfs- und Umfeldanalyse und bis erhoben. Je länger das Projekt bereits

spätestens einem Jahr nach Projektbeginn läuft, umso schwieriger wird es, Daten für

66

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Die Daten der Baseline werden den Ergebnissen aus Monitoring und Evaluation, die im Projektverlauf und am Ende des Projekts erhoben werden, gegenüber­ gestellt. Dadurch können Aussagen

teilnahme natürlich alle Jugendlichen einen Ausbildungsplatz haben. Zum anderen ist realistischen Erwartungsmanagement zu sich aus der eigenen Erfahrung, aus der 7 „Benchmarks“) oder einem Abgleich es aber notwendig, den Idealfall mit einem verbinden. Realistische Soll-Werte ergeben Erfahrung aus anderen Projekten (→ Kap. zwischen der Baseline und Zwischenresultaten, die während des Projektverlaufs erhoben wurden. Wenn es bei Projektbeginn gibt, sollte der Soll-Wert zunächst „nach bestem Wissen und Gewissen“ und vor dem Hintergrund der für das Projekt vor-

WIRKUNG ANALYSIEREN

über Entwicklungen getroffen werden

WIRKUNG VERBESSERN

( → Kap. 7). Neben der Baseline sind die

sogenannten „Soll-Werte“ ein wichtiger tierte Projektsteuerung. Soll-Werte

Orientierungspunkt für die wirkungsorien-

1 2 3

weder eine Baseline noch Erfahrungswerte

Hat PAFF sein Ziel erreicht, wenn die Hälfte der Patenkinder einen Ausbildungsplatz bekommen hat? Oder bereits, wenn nur hat? Oder sind die Projektverantwortlieines den Sprung in den Beruf geschafft chen erst zufrieden, wenn so gut wie alle

handenen Ressourcen selbst gesetzt und entsprechend angepasst werden, sobald die notwendigen Informationen vorliegen. Soll-Werte setzen: Risiko oder Ansporn? Projektverantwortliche zögern oft, wenn es darum geht, Soll-Werte zu setzen. Denn es kann sein, dass diese nicht erreicht kungen ist es oft schwer, vorher zu sagen, Sinnvoll gesetzte Soll-Werte helfen, die
Nicht vergessen:
Soll-Werte können (und sollen) als positive Herausforderungen motivieren! Setzen Sie die Sollwerte für Ihr Projekt also nicht zu hoch, aber auch nicht zu niedrig!

Teilnehmenden eine Lehrstelle haben? Um Aussagen über die Zielerreichung treffen festgelegt sein. Zum anderen muss aber zu können, müssen zum einen Indikatoren auch klar sein, welche „Soll-Werte“ (auch

„Ziel-Werte“ genannt) angestrebt werden, sprechen würde. Was sich zunächst recht ist im Grunde genommen nur die Konkretisierung der gesetzten Ziele. Auf dieser Grundlage kann das Projekt konkret ge-

bei denen man von der Erreichung des Ziels technisch und „zahlengetrieben“ anhört,

werden, und gerade auf der Ebene der Wirwas realistisch erreicht werden kann. Aber: Erwartungen an das Projekt realistisch zu sich die Soll-Werte während des Projekt-

halten und Ressourcen zu planen. Können verlaufs verändern? Ja, auf jeden Fall! Vor

plant werden. Denn es macht, alleine was die benötigten Ressourcen angeht, einen Unterschied, ob PAFF mit seinem Patenerreichen möchte.

dem Hintergrund der während des Projekts gesammelten Daten können die Soll-Werte korrigiert werden, oder aber das Projekt beziehungsweise die eingesetzten Ressourcen können so angepasst werden,

schaftsprojekt 10 oder 100 junge Menschen

Soll-Werte ergeben sich zum einen aus den Bedarfen. Im Idealfall sollen nach Projekt-

dass die Soll-Werte erreichbar werden.

67

68
Bisher wurden noch keine Bewerbungstrainings durchgeführt. Im nächsten Schuljahr werden 2 Bewerbungstrainings angeboten. Es wurde der Bedarf für 5 Bewerbungstrainings festgestellt. Vor dem Hintergrund der vorhandenen Ressourcen wurde der Soll-Wert aber (zunächst) auf 2 Trainings festgelegt. 10 vermittelte Paten in den ersten 6 Monaten des Projekts 25 vermittelte Paten bis Ende des Jahres Aus der bisherigen Erfahrung bei der Patenvermittlung wird der Soll-Wert festgelegt, den die Projektverantwortlichen in einem bestimmten Zeitraum erreichen wollen. Im Durchschnitt wurden die sozialen Kompetenzen der Jugendlichen vor Projektteilnahme auf einer Skala von 1-10 bei 5,2 eingeschätzt. Wenn die Jugendlichen das Projekt abschließen, sollen die sozialen Kompetenzen auf der gleichen Skala im Durchschnitt bei 7,0 eingeschätzt werden. Der Soll-Wert lehnt sich an die Erfahrungen aus einem vergleichbaren Projekt an, die diesen Wert im Rahmen einer Evaluation ermittelt haben. Befragt wurden hier die Lehrer zu ihrer Einschätzung der Jugendlichen. Das Projekt hat es sich selbst zum Ziel gesetzt, dass zu Projektabschluss so gut wie alle Jugendlichen in der Lage sind, „ordentliche“ Bewerbungsunterlagen zu erstellen. Die Kriterien für gute Bewerbungsunterlagen sind in einer Checkliste festgehalten. Nach zwei Jahren Projektlaufzeit bekommen 70% der Projektteilnehmenden direkt nach Schulabschluss einen Ausbildungsplatz. Das Projekt hat die Übergangsquote gemeinsam mit den am Projekt beteiligten Unternehmen gesetzt. Sie soll als gemeinsamer „Ansporn“ dienen, auch wenn es wahrscheinlich schwer sein wird, sie zu erreichen. Zu Projektbeginn können 30% der Jugendlichen Bewerbungsunterlagen in guter Qualität erstellen (Ergebnis wurde beim „Eingangstest“ festgestellt). Wenn die Jugendlichen das Projekt abschließen, können 85% von ihnen Bewerbungsunterlagen in guter Qualität erstellen (Ergebnis wurde anhand der Bewerbungen für Ausbildungsplätze gegen Ende des Projekts festgestellt). 47% aller Schulabgänger aus den kooperierenden Hauptschulen bekommen direkt nach Schulabschluss einen Ausbildungsplatz. Bei der Gruppe der Jugendlichen, für die eine Teilnahme bei PAFF sinnvoll erscheint, sind es nur 35%. Die Jugendarbeitslosigkeitsquote im Stadtteil xy von Frankfurt beträgt 30% *. ___
*

Ebene

Ziel

Indikator

Baseline-Daten

Soll-Wert

Grundlage für den Soll-Wert

Bewerbungstrainings werden durchgeführt.

Anzahl Bewerbungstrainings

Output
Für dieses Ziel auf gesellschaftlicher Ebene einen Soll-Wert festzulegen erschien den Projektverantwortlichen von PAFF als wenig hilfreich und sinnvoll, da die Höhe der Jugendarbeitslosigkeit vielen verschiedenen Einflussfaktoren unterliegt und der Einfluss von PAFF darauf schwer zu bestimmen ist. fiktiver Wert für dieses Projektbeispiel Bislang werden die Hälfte aller Nachhilfestunden, von Lehrkräften oder Lehramtsstudenten des entsprechenden Fachs durchgeführt (die andere Hälfte der Nachhilfestunden wird von Personen durchgeführt, die keine ausgebildeten Lehrkräfte sind). Alle Nachhilfestunden, werden von Lehrkräften oder Lehramtsstudenten des entsprechenden Fachs durchgeführt. Qualitätsstandard ist im Projektkonzept festgelegt.

Die teilnehmenden Jugendlichen haben einen Paten vermittelt bekommen.

Anzahl der vermittelten Paten

Output

Outcome

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Die teilnehmenden Jugendlichen haben soziale Kompetenzen erworben, die für einen erfolgreiche Berufseinstieg notwendig sind.

Indikatoren zu „sozialen Kompetenzen“ (u.a.: zu Zuverlässigkeit, Pünktlichkeit, Konfliktlösungsfähigkeit, Teamfähigkeit)

Die teilnehmenden Jugendlichen erarbeiten selbstständig qualitativ gute Bewerbungsunterlagen.

Prozentsatz der Jugendlichen, die Bewerbungsunterlagen in guter Qualität erstellen

Outcome

Die teilnehmenden Jugendlichen haben einen Ausbildungsplatz.

Prozentsatz der teilnehmenden Jugendlichen, die einen Ausbildungsplatz haben

Outcome

Die Jugendarbeitslosigkeit im Stadtteil sinkt.

Jugendarbeitslosigkeitsquote für den Stadtteil xy von Frankfurt

Impact

Qualifizierte Nachhilfe wird durchgeführt.

Qualität

Prozentsatz der gesamten Nachhilfestunden, die von Lehrkräften oder Lehramtsstudenten des entsprechenden Fachs durchgeführt werden

WIRKUNG PLANEN

WIRKUNG ANALYSIEREN
Projektbeispiel PAFF: Anhand des nebenstehenden Projektbeispiels werden einige Beispiele für Indikatoren und die dazugehörigen Baseline-Daten und Soll-Werte gezeigt, und es wird beschrieben, auf welchen Grundlagen die SollWerte gesetzt wurden. Sie finden diese Tabelle auch als Template für Ihr eigenes Projekt im Download zu diesem Kursbuch: www.phineo.org/publikationen

WIRKUNG VERBESSERN

1 2 3

Individuelle Soll-Werte gemeinsam mit den Teilnehmenden setzen
Soll-Werte lassen sich nicht nur auf Ebene des Projekts setzen, sondern auch für die individuellen Ziele der Teilnehmenden. Wo immer möglich, sollten diese individuellen Soll-Werte gemeinsam mit den einzelnen Teilnehmenden gesetzt werden. So können Pate und Paten„kind“ im Projekt PAFF zum Beispiel gemeinsam planen, welche Notenverbesserung sie bis Ende des Schuljahres erreichen wollen. Gemein­ sam gesteckte Ziele motivieren und ermöglichen eine teilnehmerbezogene und indivi­duelle Projektsteuerung.

Checkliste für die Indikatorenentwicklung Jedem Ziel beziehungsweise jeder Evaluationsfrage ist mindestens ein Indikator zugeordnet. Die Indikatoren erfüllen die SMART-Kriterien. Die unterschiedlichen Aspekte eines Ziels werden durch Indikatoren abgedeckt. Es gibt nicht mehrere Indikatoren, die dasselbe messen. Den Indikatoren sind (soweit möglich und sinnvoll) Soll-Werte zugeordnet. Bei der Erarbeitung der Indikatoren wurden die Stakeholder eingebunden.

ja

nein

Bemerkung

69

6. DATEN FÜR DIE WIRKUNGSANALYSE ERHEBEN

In diesem Kapitel erfahren Sie, …

Sie über Funk empfangen, lesen die Seekar-

•	wie Sie die passenden Datenquellen
	 für Ihre Erhebung identifizieren.

ten und befragen Ihre Passagiere. Es gibt also verschiedene Möglichkeiten, Informationen zu den Indikatoren zu erheben. Auch in Ihrem Projekt haben Sie festgelegt, welche Informationen Sie für die wirkungsorientierte Projektsteuerung benötigen. Sie haben Fragen für die Wirkungsanalyse

•	welche Datenerhebungsmethoden es •	welche Möglichkeiten Sie haben,
	ermitteln.

	 gibt und wie Sie die passende Metho-

	 de für Ihren Bedarf auswählen können. 	 schwer zu erhebende Wirkungen zu

erarbeitet und Indikatoren entwickelt. Nun nen erheben.

•	auf welche Qualitätskriterien Sie bei
	 der Datenerhebung achten sollten.
Unter vollen Segeln und mit den Passagieren an Bord, sind Sie auf dem Weg zum Ziel Ihrer Reise. Mit Hilfe der Indikatoren wissen Sie

müssen Sie überlegen, wie Sie die Informatio-

6.1 DATENERHEBUNG – DIE PRAKTISCHEN SCHRITTE
Im Folgenden wird in drei Schritten das Vorgehen bei der Datenerhebung erläutert.

auch, auf was Sie achten müssen, um festzustellen, ob Sie auf dem richtigen Kurs sind. stehen im Ausguck und schauen durch das Aber wie beobachten Sie die Indikatoren? Sie Fernglas, Sie messen Ihre Position mit Hilfe

Im ersten Schritt sollten Sie einen DatenerheDatenerhebung zu strukturieren, die weiteren Schritte zu planen und den Überblick zu behalten. Im zweiten Schritt müssen Sie die

bungsplan erstellen, der Ihnen dabei hilft, die

des Sextanten, hören die Informationen, die

70

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Datenquellen identifizieren, das bedeutet,

Sie müssen feststellen, woher Sie die Daten, Im dritten Schritt geht es dann darum, die Daten zu erheben. Für die Datenerhebung stehen verschiedene Methoden bereit, und

Zielgruppe und andere Stakeholder sowie

WIRKUNG ANALYSIEREN

die Sie erheben möchten, bekommen können.

interne und externe Dokumente. Für jeden

Indikator muss mindestens eine Datenquelle identifiziert werden. Dabei sollten folgende Fragen berücksichtigt werden:

WIRKUNG VERBESSERN

es gilt hier, die für die jeweilige Fragestellung und den jeweiligen Kontext passende Methode zu finden. Es geht im Folgenden nicht darum, Sie zu

•	 Ist die Datenquelle leicht und regel	 mäßig zugänglich?

•	 Sind die Kosten hierfür in einem
	 vertretbaren Rahmen?

1 2 3

Experten für Datenerhebung zu machen, sondern es soll ein Überblick über die verschiedenen Möglichkeiten der Datenerhebung

•	 Kann die Datenquelle qualitativ hoch	 wertige Daten zur Verfügung stellen? Haben Sie die Datenquelle identifiziert, müssen Sie im nächsten Schritt herausfinden, mittels welcher Methode die Informa­tionen erhoben werden können.

gegeben werden. Die verschiedenen Methokomplex. Einige davon können auch mit

den der Datenerhebung sind unterschiedlich relativ wenig Vorkenntnissen und Ressourcen angewendet werden. Bei vielen Methoden ist es jedoch hilfreich, Fachleute hinzuzuziehen ( → Kapitel 4.2 „Wer soll die Wirkungsanalyse durchführen?“).  

Schritt 3: Daten erheben
Grundsätzlich gibt es zwei Möglichkeiten, Daten zu sammeln. Zum einen kann auf bereits vorhandene Daten zurückgegriffen werden, zum anderen können Daten neu erhoben werden.

Schritt 1: Einen Datenerhebungsplan erstellen

Der Datenerhebungsplan auf → S. 72 hilft Ihnen, die Datenerhebung zu strukturiebehalten. ren und zu planen sowie den Überblick zu

Blockieren Sie Ihr Projekt nicht mit exzessivem Datensammeln!
Grundsätzlich gilt für die Sammlung der Daten: So viel wie nötig und so wenig wie möglich! Sammeln Sie nicht zu viele Informationen, die dann als ungenutzte Datenberge enden, da niemand die Kapazitäten hat, diese auszuwerten. Überlegen Sie daher vor Beginn der Date­ ­ nerhebung, welche Informationen gebraucht und genutzt werden.

Vorhandene Daten nutzen

Viele Informationen liegen bereits vor. Neben den Daten aus externen Quellen, wie zum Beispiel offizielle Statistiken und Erhebungen, gibt es oft auch innerhalb der Organisation bereits Informationen, auf die zurückgegriffen tionen und Projektunterlagen, in Evaluationen mationen über die Teilnehmer, vor allem aber in den Köpfen der Mitarbeiter. Letztere sind

Schritt 2: Datenquellen identifizieren
Nachdem Sie den Datenerhebungsplan

erstellt haben, stellt sich die Frage, woher Sie die Daten für Ihre Wirkungsanalyse bekommen. Denn bevor Sie Daten erheben können, müssen Sie feststellen, aus welchen Quellen ben werden können. die Daten für die einzelnen Indikatoren erhoDatenquellen sind vor allem Mitglieder der

werden kann. Diese finden sich in Dokumentaund Jahresberichten, in Dokumenten mit Infor-

eine unverzichtbare Quelle für Informationen und sollten von Anfang an in die Wirkungsanalyse mit einbezogen werden.

71

72 Wie viele Bewerbungstrainings wurden durchgeführt? Wie viele Jugendliche nehmen an den einzelnen Angeboten teil? Sind die Jugendlichen mit den jeweiligen Angeboten zufrieden? Haben die Jugendlichen ihre sozialen Kompetenzen verbessert? Können die Jugendlichen qualitativ hochwertige Bewerbungsunterlagen erstellen? Qualität der erstellten Bewerbungsunterlagen Anzahl der Jugendlichen, deren Schulnoten sich verbessert haben Lehrer teilnehmende Jugendliche Anzahl der Jugendlichen, die einen Ausbildungsplatz gefunden haben. keine Indikatoren festgelegt Haben sich die Schulnoten der Jugendlichen verbessert? Wie viele der Teilnehmer konnten in Ausbildung vermittelt werden? Welche Verbesserungsvorschläge für das Projekt haben Paten, Lehrer und Patengruppenbetreuer? Anzahl der durchgeführten Bewerbungstrainings Anzahl der Jugendlichen, die im Zeitraum x an dem jeweiligen Angebot teilnehmen Anmeldeformular, Teilnehmerlisten teilnehmende Jugendliche teilnehmende Jugendliche Leiter der Bewerbungstrainings, Paten, Projektleitung nein ja Anzahl der Jugendlichen, die mit dem Angebot zufrieden sind Anzahl der Jugendlichen, die ihre sozialen Kompetenzen verbessert haben Projektdokumentation Paten, Lehrer, Patengruppenbetreuer ja ja nein nein nein nein Projektmonitoring Projektmonitoring Fragebogen Beobachtung Analyse der Bewerbungs­ unterlagen Telefoninterview Interview, Projektmonitoring Fokusgruppen fortlaufend fortlaufend jährlich bislang einmalige Evaluation vierteljährlich vierteljährlich vierteljährlich halbjährliche Sitzungen der Fokusgruppen Projektleitung Projektleitung und Kursleiter Projektleitung externer Evaluator Paten, Kursleitung des Bewerbungstrainings ja ja ja ja Projektleitung Projektleitung Projektleitung ja ja ja ja

Erläuterung

Datenerhebungsplan1 am Projektbeispiel „PAFF“

Fragestellung

Hier listen Sie die Fragestellungen für Ihre Wirkungsanalyse auf.

Indikator

Hier tragen Sie den Indikator ein, der Ihnen hilft, die Fragestellung zu beantworten.

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Datenquelle

In diesem Feld tragen Sie ein, wer Ihnen die zur Beantwortung der Fragestellung nötigen Informationen liefern kann.

Liegen bereits Daten vor?

In vielen Fällen gibt es durch bereits bestehendes Material, wie z.B. Anmeldeformulare, Teilnehmerlisten schon Informationen.

Datenerhebungsinstrument

Hier tragen Sie ein, mit welchem Datenerhebungsinstrument Sie Ihre Fragestellung beantworten wollen.

Wann und wie oft wird erhoben?

Wann sind Zeitpunkte für die Erhebung, die in den Projektablauf und zur Fragestellung passen? Wann müssen Sie Daten vorlegen können?

Wer erhebt?

Wer ist kompetent, autorisiert und hat die notwendigen zeitlichen Ressourcen, um die Daten zu erheben?

Durchführbarkeit: ja/nein?

Ist die geplante Erhebung zeitlich und finanziell möglich, sowie ethisch vertretbar?

WIRKUNG PLANEN
Einen Datenerhebungsplan zum Ausfüllen finden Sie auch im PHINEO-DownloadCenter unter www.phineo.org/publikationen
1

vgl. BMFSFJ (2000: 39f.)

WIRKUNG ANALYSIEREN

Neue Daten erheben
Wenn die bestehenden Daten nicht ausreichen oder keine Daten existieren, müssen neue Daten erhoben werden. Dafür gibt es viele verschiedene Möglichkeiten. Hier

Quantitative Methoden sind unter ande-

rem Messungen, Zählungen, Analyse von

quantitativen Sekundärdaten (zum Beispiel aus Statistiken), verschiedene Formen von Beobachtungen. Befragungen und Tests sowie strukturierte

WIRKUNG VERBESSERN

muss genau überlegt werden, welcher Ansatz sinnvoll und umsetzbar ist. Dies hängt zum einen von den zur Verfügung stehenden

1 2 3

Qualitative Methoden helfen dabei, qualitative Daten zu erheben. Qualitative Daten lassen sich nicht in Zahlen ausdrücken. Sie haben eine beschreibende Funktion und Situation oder einem Sachverhalt zu be-

Ressourcen ab, vor allem aber davon, welche Daten erhoben werden müssen und in welInformationen benötigt werden. cher Detailtiefe und in welchem Umfang die

helfen, ein vertieftes Verständnis von einer kommen. Qualitative Aussagen sind für die

Fragen, die bei der Auswahl der Datenerhebungsmethode helfen
Bei der Entscheidung, welche Methode(n) der Datenerhebung genutzt werden soll(en), sollten Sie sich folgende Fragen stellen: Welche Informationen brauchen wir? Die Wahl der Methode richtet sich nach Ihrem Erkenntnisinteresse. Um festzustellen, welche Informationen Sie brauchen, überlegen Sie, was genau Sie wissen möchten. Wollen Sie beispielsweise wissen, wie groß die erreichte Zielgruppe ist, oder wollen Sie wissen, warum das Projekt gerade bei einer bestimmten Gruppe von Personen eine besonders gute Wirkung (oder aber nicht die erhoffte Wirkung) erzielt? Wofür brauchen wir die Informationen? Im nächsten Schritt sollten Sie überlegen, wofür Sie die Informationen brauchen. Wenn es darum geht, die Relevanz eines Problems zum Beispiel gegenüber Gebern darzustellen, eignen sich besonders quantitative Daten. Qualitative Methoden eignen sich besonders dann, wenn es darum geht, Details und Unterschiede herauszuarbeiten, und helfen dabei, ein tieferes Verständnis des Projekts zu bekommen. Wenn es um die Qualitätsentwicklung in einem Projekt geht, sind daher qualitative Zugänge unabdingbar.

Methoden der Datenerhebung
Abhängig von der jeweiligen Fragestellung

wirkungsorientierte Steuerung von Projekten Aussagen muss herausgefunden werden, wo lungen liegen. Die qualitativen Erhebungsmethoden sind dadurch gekennzeichnet, dass sie sich mit dem „Wie“ und „Warum“

wichtig, denn zusätzlich zu den quantitativen Ursachen und Zusammenhänge von Entwick-

und dem dazugehörigen Indikator muss die passende Methode der Datenerhebung gewählt werden. Dabei wird zwischen quantitativen und qualitativen Erhebungsmethoden unterschieden.

eines Sachverhalts oder einer Entwicklung sich vor allem, wenn es darum geht, text genau zu verstehen.

Quantitative Methoden werden genutzt, die sich in Zahlen ausdrücken lassen. ders dann, wenn:

beschäftigen. Qualitative Methoden eignen

wenn Informationen erhoben werden sollen, Quantitative Methoden eignen sich beson-

•	 eine Situation in einem bestimmten Konpen ihr Situation einschätzen und welche Erwartungen und Wünsche sie haben. und zu verfolgen.

•	 präzise Daten vorgelegt werden müssen. •	 ein Überblick gegeben werden soll. •	 Vergleiche zwischen verschiedenen Gruppen oder Personen gezogen werden sollen.

•	 herauszufinden, wie Personen oder Grup•	 qualitative Entwicklungen nachzuweisen •	 Projekte wirkungsorientiert zu planen.
Qualitative Methoden sind unter anderem

•	 statistische Abhängigkeiten zwischen
überprüft werden sollen. Projekt (zählbare) Erfolge erzielt.

dem Problem und angenommenen Ursachen

•	 der Beweis erbracht werden soll, dass ein

verschiedene Formen von Interviews (Einzelinterviews, Fokusgruppen, etc.), Beobachtungen und Dokumentenanalysen.

73

Auswahl der Erhebungsmethoden

Aufwand: Zeit, Kosten, Expertise

Längsschnittstudien mit Kontrollgruppen Wiederholte standardisierte Tests Standardisierte Befragungen Teilnehmende Beobachtung durch externe Fachleute Fokusgruppen Strukturierte Interviews mit Fachexperten Monitoring von Teilnehmerzahlen, Anfragen etc. Foto- und Videodokumentation Fallstudien Anekdotensammlung

Methode liefert eher „emotional überzeugende Daten“ Methode liefert eher „faktenbezogene Daten“

Belastbarkeit der Aussage

Abb.: Übersicht zur Wahl der richtigen Erhebungsmethoden

Wahl der geeigneten

Erhebungsmethode(n) Die Entscheidung für die passende Er-

nicht um eine abschließende Auflistung der handelt es sich nicht um eine detaillierte Handlungsanweisung, wie die einzelnen

möglichen Datenerhebungsmethoden. Auch

hebungsmethode ist oft nicht einfach zu

treffen und erfordert in vielen Fällen eine mit Fachleuten oder Organisationen mit ähnlichen Projekten auszutauschen. Im

Methoden durchzuführen sind. Die Methoden werden kurz vorgestellt, ihre Vor- und Nachteile erläutert und am Praxisbeispiel PAFF dargestellt, wie sich die Methode in der Praxis nutzen lässt. In den Literaturtipps finden Sie Verweise auf PublikatioErhebungsmethoden befassen.

gewisse Erfahrung. Hier ist es sinnvoll, sich

Folgenden werden einige der wichtigsten Erhebungsmethoden im Überblick dargestellt. Es handelt sich dabei bei weitem

nen, die sich detailliert mit den einzelnen

Man muss nicht „Evaluationsprofi“ sein,

Auch für kleine Organisationen gibt es Methoden der Datenerhebung, die sich mit wenigen Ressourcen anwenden lassen. Lassen Sie sich also nicht „einschüchtern“, sondern beginnen Sie mit kleinen, übersichtlichen Maßnahmen, die Sie dann ausweiten können.

Zu Beginn ist weniger mehr

um im Rahmen der Wirkungsanalyse Daten zu erheben. Die Erhebungsmethoden unterscheiden sich stark hinsichtlich des ihre Anwendung notwendig sind, sowie Belastbarkeit der Aussage (Validität). Überblick.

Aufwands und der Vorkenntnisse, die für ihrer Aussagekraft beziehungsweise der Die obige Grafik gibt hierzu einen ersten

74

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Sie müssen also überlegen, wofür Sie die Informationen brauchen und wie aussagekräftig und belastbar die Daten für den jeweiligen Fall sein müssen. Bei der Seereise macht es zum Beispiel einen großen Unterschied, ob Sie sehr genaue Koordinaten brauchen, um den sicheren Weg

nützlich, um auf dieser Basis zu diskutie-

WIRKUNG ANALYSIEREN

ren und Lern- und Verbesserungsprozesse weitreichende Entscheidungen wie zum Veränderung oder die Beendigung des

anzustoßen. Wenn Sie auf der Datenbasis Beispiel die Fortführung, eine bedeutende Projekts treffen wollen, sollten Sie aber

WIRKUNG VERBESSERN

zwischen zwei gefährlichen Riffen hindurch zu finden, oder ob Sie Ihre persönlichen karte an Ihre Freunde zu schreiben. Eindrücke zusammenstellen, um eine PostEinige der Datenerhebungsmethoden

darauf achten, dass die Daten belastbar

sind. Dafür müssen Sie Erhebungsmetho-

1 2 3

den wählen, die wissenschaftlich fundiert Experten durchführen lassen.

sind, und die Erhebung gegebenenfalls von Eine weitere Entscheidungsgrundlage für die passende Erhebungsmethode ergibt sich aus den jeweiligen Fragestellungen für die Wirkungsanalyse und den Indikatoren. Folgende Übersicht hilft Ihnen dabei, die geeignete Methode zu finden:

können Sie selbst umsetzen. Die Ergeb-

nisse sind dabei nicht so „genau“ wie die von wissenschaftlich fundierteren, aber gleichzeitig in der Anwendung anspruchsErgebnisse aber ausreichend genau und

volleren Methoden. In vielen Fällen sind die

Abb. Übersicht

vgl. Schmidt (2012: 79)

Fragestellung
Ausprägung des zu untersuchenden Gegenstands

Kann ich es erfragen?

Kann ich es beobachten?

Kann ich es ausprobieren?

Kann ich es herauslesen?

Befragung

Beobachtung

Test / Experiment / Messung

Dokumentenanalyse

•	 Gestalten Sie den Fragebogen übersichtlich und geben Sie genaue Hinweise, wie der Fragebogen auszufüllen ist. •	 Formulieren Sie die Fragen kurz und verständlich. •	 Achten Sie darauf, dass die Fragen nur eine Fragestellung beinhalten. •	 Formulieren Sie die Fragen nicht negativ (z.B. „Sind Sie mit dem Angebot unzufrieden?“) •	 Vermeiden Sie Begriffe wie „manchmal“, „oft“, „selten“ oder „normalerweise“, da Personen darunter oft unterschiedliche 	 Dinge verstehen. •	Vermeiden Sie Formulierungen, die die Befragten von vornherein beeinflussen (z.B. „Inwiefern hat die Teilnahme am Projekt 	 Ihre Lebenssituation verbessert ?“). •	Bei der Erstellung von Fragebögen lohnt es sich, Personen mit Fachkompetenz hinzuzuziehen. Dies gilt vor allem dann, wenn
	 Sie einen Fragebogen entwickeln, den Sie über längere Zeit immer wieder nutzen möchten.

Tipps für die Erstellung von Fragebögen (mehr dazu: nächste Seite)

75

Überblick über die wichtigsten Erhebungsmethoden

Fragebögen
Beschreibung: Die schriftliche Befragung mittels eines Fragebogens ist die mit am meisten verwendete Art der Datenerhebung. Durch Fragebögen kann beispielsweise die Zufriedenheit von Teilnehmenden an einem Projekt oder einer Aktivität erhoben werden. Auch kann gefragt werden, welches Wissen und welche Kenntnisse die Teilnehmenden gewonnen haben und ob beziehungsweise wie sie dieses Wissen anwenden. Befragungen vor und nach dem Projekt oder einem Workshop ermöglichen es, die Veränderungen festzustellen, die sich bei den Teilnehmenden ergeben haben. Fragebögen können vor Ort, postalisch oder online ausgefüllt werden. Da die Antworten der Ausfüllenden entscheidend von den Fragestellungen abhängen, sollte bei der Erstellung des Fragebogens ein hoher Qualitätsanspruch angelegt werden. Ein Fragebogen kann geschlossene und offene Fragen enthalten. Bei geschlossenen Fragen sind die Antwortmöglichkeiten, aus denen der Befragte die zutreffende auswählen muss, vorgegeben. Geschlossene Fragen sind auch bei einer größeren Menge an Befragten leicht auszuwerten. Allerdings bieten geschlossene Fragen dem Befragten keine Möglichkeit, Informationen zu geben, die in den Antwortmöglichkeiten nicht vorgesehen sind. Offene Fragen ermöglichen es dem Befragten dagegen, ausführlichere Antworten zu geben, die nützliche Informationen beinhalten können.

+	Vorteile: •	 viele Befragungen in kurzer Zeit möglich

•	 Daten können gut zusammengefasst werden •	 Anonymität der Befragten

Nachteile –	•	 Erarbeitung der Fragebögen erfordert Zeit und Wissen •	 evtl. niedrige Rücklaufquoten •	 keine Möglichkeit für Nachfragen •	 Antwortmöglichkeiten eingeschränkt

Projektbeispiel PAFF: PAFF nutzt einmal im Jahr einen Fragebogen, um die Zufriedenheit der teilnehmenden Jugendlichen mit dem Projekt zu erheben. Ein weiterer Fragebogen wird genutzt, um die Zufriedenheit der Paten mit ihrer Betreuung abzufragen.

Einzelinterviews
Beschreibung: Einzelinterviews mit Stakeholdern helfen dabei, verschiedene Sichtweisen zu einem Thema zu erheben. Semistrukturierte Interviews (das heißt, Interviews mit offenen und geschlossenen Fragen) sind eine gute Methode, um einen vertieften Einblick in ein Thema zu bekommen. Einzelinterviews eignen sich beispielsweise für Befragungen im Rahmen der Bedarfsanalyse oder wenn ein Konzept für ein Projektmodul erarbeitet werden soll. Sie eignen sich auch, um während oder nach einem Projekt die individuelle Meinung der Teilnehmer zu erfragen. Interviews eignen sich gut, um Verbesserungspoten­ ziale für ein Projekt zu identifizieren, denn im Vergleich zur schriftlichen Befragung kann während eines Gesprächs nachge­ fragt werden. Es gibt viele verschiedene Möglichkeiten, Interviews zu führen. Welche Interviewform sich eignet, hängt von den zu befragenden Personen, der Fragestellung und dem Ziel des Interviews ab. Lassen Sie sich bei der Auswahl, wo notwendig, von Fachleuten beraten. Abzuwägen ist auch, wer die Interviews durchführt. Wenn die Interviews von Projektmitarbeitenden geführt werden, besteht möglicherweise die Gefahr, dass die Befragten „erwünschte“ Antworten geben. Werden die Interviews durch eine externe Person durchgeführt, ist es wichtig, dass die Befragten zu dieser Person ein Vertrauensverhältnis haben, sodass sie bereit sind, ihre Informationen zu teilen. Gleichzeitig ist bei der Auswahl der Befragten darauf zu achten, dass eine repräsentative, aber trotzdem nicht zu homogene Gruppe befragt wird, um Antworten zu bekommen, die in der Summe aussagekräftig und belastbar sind. Beachten Sie bei Interviews: Es geht nicht darum, in einem Gespräch einfach „mehr Information“ zu erhalten, in der Hoffnung, dass Informationen dabei sein werden, die verwertet werden können! Vor dem Interview sollten daher die Zielsetzung und das Erkenntnissinteresse festgelegt und auf dieser Basis Kernfragen entwickelt werden.

+	Vorteile: werden einbezogen •	 Stakeholder
•	 •	 •	 	 •	

relevante Daten auch unerwartete Ergebnisse evtl. Aussagen, die in einer Gruppensituation nicht gemacht worden wären Nachfragen möglich

Nachteile –	•	 zeitintensiv

•	 Interviewer muss geschult sein •	 Ergebnisse evtl. schwer auszuwerten und zu 	quantifizieren

76

Projektbeispiel PAFF: PAFF verwendet Einzelinterviews unter anderem dazu, um die Jugendlichen zu befragen, nachdem diese ihre Teilnahme am Projekt abgeschlossen haben. Dabei werden die Jugendlichen zum einen gefragt, ob sie einen Ausbildungs©platz gefunden haben, und zum anderen, inwiefern sie von dem Projekt profitiert haben. PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Wichtig zu wissen: Wie viele Personen müssen befragt werden, damit die Aussagen „repräsentativ“ sind?
In Projekten mit einer kleinen Teilnehmerzahl ist es sinnvoll und auch gut machbar, bei allen Teilnehmenden Daten zu erheben. In diesem Fall spricht man von einer „Vollerhebung“. In Projekten mit vielen Teilnehmern muss dagegen eine Auswahl getroffen werden. Dabei sollte darauf geachtet werden, dass die Befragten zufällig aus der Gesamtheit aller Teilnehmer ausgewählt werden, um die Qualität des Erhebungsergebnisses zu sichern. Die Stichprobengröße bei quantitativen Erhebungen ist davon abhängig, wie genau die Ergebnisse der Erhebung sein müssen. Bei Untersuchungseinheiten, die weniger als 300 befragte Einheiten umfassen, ist eine Vollerhebung ideal. Gleichzeitig lassen sich mit 300 befragten Einheiten relativ verlässliche Aussagen auch zu großen Grundgesamtheiten machen. 3 Darüber, wie viele qualitative Interviews geführt werden sollten, gibt es keine einhellige Meinung in der Literatur. Die erforderliche Stichprobenzahl ist in den allermeisten Fällen geringer als bei quantitativen Erhebungen. Je nach Fragestellung tritt ab einer gewissen Anzahl von Gesprächen eine „theoretische Sättigung“ ein, das heißt, dass sich der Erkenntnisgewinn durch weitere Gespräche aller Wahrscheinlichkeit nach nicht mehr steigern lässt. Bei der Zusammensetzung der Stichprobe sollte darauf geachtet werden, eine möglichst heterogene Zusammensetzung und gleichzeitig möglichst „typische Vertreter“ der zu befragenden Stakeholdergruppe auszuwählen. 4
3

WIRKUNG ANALYSIEREN

WIRKUNG VERBESSERN

1 2 3

vgl. Zewo (2011: 92),

4

vgl. Zewo (2011: 94)

Experteninterviews (individuell oder in der Gruppe)
Beschreibung: Unter Experteninterviews versteht man Befragungen von Experten im Themenfeld, Entscheidungsträgern und Personen, die die Situation vor Ort und die Zielgruppe sehr gut einschätzen können. Dabei steht nicht der Befragte als Person im Vordergrund, sondern seine Funktion als Experte in einem spezifischen Handlungskontext oder als Repräsentant einer Gruppe. Experten können Informationen zu Sachverhalten geben, zu denen es im Projekt noch wenig Wissen gibt. Gespräche mit Experten in Einzelgesprächen oder am „Runden Tisch“ sind unter anderem dann von Nutzen, wenn ein Problem beziehungs­ weise eine Situation eingeschätzt und aus verschiedenen Perspektiven beleuchtet werden soll, zum Beispiel in der Planungsphase eines Projekts. Das Einbeziehen von Experten ist aber auch in regelmäßigen Abständen während des Projekts sinnvoll.

+	Vorteile: Organisationsaufwand •	 mittlerer
•	 •	 •	 •	 	

preiswert Synthese von Meinungen Einbindung von Entscheidungsträgern möglicher Auftakt für eine weitere Begleitung des Projekts durch Experten

Nachteile –	•	 Diskussionen evtl. auf zu abstrakter/ 	 wissenschaftlicher Ebene

Projektbeispiel PAFF: Experteninterviews werden bei PAFF in verschiedenen Kontexten durchgeführt: Im Rahmen der Bedarfsanalyse wurden Personen, die die Situation der Jugendlichen im Stadtteil gut kennen (unter anderem der Leiter des Jugendamts, ein Mitarbeiter aus dem Jobcenter, ein Schuldirektor und ein Unternehmer aus einem Ausbildungsbetrieb) zu einem „Runden Tisch“ eingeladen und um ihre Einschätzung gebeten. Während des Projekts werden in regelmäßigen Abständen Interviews mit den Klassenlehrern der teilnehmenden Jugendlichen geführt, um ihre Einschätzung der Entwicklung der Jugendlichen zu hören.

77

Fokusgruppen (Gruppendiskussionen)
Beschreibung: Bei einer Fokusgruppe handelt es sich um eine Diskussion mehrerer Teilnehmer, die von einem Diskussionsleiter moderiert wird und sich auf eine relativ eingegrenzte Fragestellung fokussiert. Im Gegensatz zu einem Einzelinterview geht es bei Gruppeninterviews um das Gespräch der an der Diskussion teilnehmenden Personen untereinander und nicht um das Gespräch mit dem Moderator. Die Teilnehmer können verschiedene Sichtweisen austauschen und voneinander lernen. In der Diskussion inspirieren sich die Teilnehmer gegenseitig und kommen dadurch im Idealfall zu tiefergehenden Aussagen. Fokusgruppen eignen sich daher vor allem dann, wenn es darum geht, gemeinsam Erfahrungen und Probleme zu erläutern und Lösungen zu erarbeiten, und sind daher nützliche Instrumente für die wirkungsorientierte Projektsteuerung. Für die Erfassung von individuellen Meinungen und Erfahrungen eignen sich dagegen Einzelinterviews besser. Gruppendiskussionen werden meist zusammen mit anderen Methoden angewendet. Entscheidend für die Qualität von Fokusgruppen ist die Auswahl der Teilnehmenden: Können die Teilnehmenden offen miteinander sprechen? Ist die Gruppe so zusammengesetzt, dass verschiedene Sichtweisen zusammenkommen und sich daraus eine ergiebige Diskussion entwickeln kann?

+	Vorteile: werden einbezogen •	 Stakeholder
•	 •	 	 •	

auch unerwartete Ergebnisse Mehrwert durch den Austausch der Teilnehmenden (verschiedenen Ansichten) Nachfragen möglich

Nachteile –	•	 mittlerer Zeitaufwand

•	 für die Durchführung ist Expertise notwendig •	 Ergebnisse evtl. schwer auszuwerten und zu 	quantifizieren •	 Teilnehmende äußern sich evtl. nicht offen

Projektbeispiel PAFF: Alle sechs Monate lädt die Projektleitung von PAFF die Paten zu einer Fokusgruppe ein. Es wird über die Erfahrungen, die Herausforderungen und auch die Erfolge gesprochen. Dabei wird unter anderem die Wirkungslogik des Projekts reflektiert und das Projekt kann kontinuierlich verbessert werden.

Informelle Gespräche / Anekdoten
Beschreibung: Informelle Gespräche mit den Teilnehmenden und den Stakeholdern finden während eines Projekts laufend statt. Auch sie eignen sich, um Informationen zu bekommen und um Informationen zu überprüfen, die mittels anderer Methoden erhoben wurden. Mit Leuten informell ins Gespräch zu kommen, kann vermeiden, dass die Leute im Rahmen von „künstlichen“ Befragungssituationen „sozial erwünschte“ Antworten (also die Antworten, von denen sie glauben, dass der Interviewer sie hören möchte) geben. Informelle Gespräche eigenen sich auch gut, um Informationen von indirekten Zielgruppen des Projekts (zum Beispiel von den Eltern der an einem Projekt teilnehmenden Jugendlichen) zu bekommen. Auch ergibt sich hier eine gute Möglichkeit, auch etwas über ungeplante Effekte des Projekts zu erfahren. Das bedeutet, dass man im Rahmen von informellen Gesprächen zum Beispiel etwas über (positive, aber auch negative) Wirkungen erfährt, die das Projekt angestoßen hat, die man bei der Planung des Projekts gar nicht im Blick hatte. So berichteten die Eltern der Jugendlichen, die bei PAFF teilnehmen, darüber, dass ihre Kinder nicht nur ihre schulischen Leistungen verbessert haben, sondern dass sich durch die verbesserten sozialen Kompetenzen der Jugendlichen auch die Beziehung zwischen ihnen und ihren Kindern verbessert hat. Informationen aus informellen Gesprächen und Anekdoten sollten regelmäßig und während des gesamten Projektverlaufs gesammelt werden. Hierfür müssen die Mitarbeiter gebeten werden, die Inhalte der Gespräche so systematisch wie möglich festzuhalten. Hier hilft es, den Mitarbeiten (vor allem den Ehrenamtlichen) eine Hilfe für das Sammeln der Informationen an die Hand zu geben. Als sehr nützlich haben sich hier zum Beispiel Projekttagebücher erwiesen. Auch in regelmäßigen Treffen der (ehrenamtlichen) Mitarbeiter sollte angeregt werden, von den informellen Gesprächen und Anekdoten zu berichten.

+	Vorteile:Kontakt zur Zielgruppe •	 direkter

•	 Informationen über ungeplante Effekte •	 liefert ggf. gute Inhalte für die Kommunikation 	(Storytelling) •	 wenig Ressourcen und Kenntnisse notwendig

Nachteile –	•	 schwer zu verallgemeinern

•	 Ergebnisse können stark interpretiert sein

78

Projektbeispiel PAFF: Bei PAFF wird jeder der Paten gebeten, ein Patenschaftstagebuch zu führen, das den Verlauf der Patenschaft mit den positiven und negativen Ereignissen festhält. Ein Austausch hierüber findet bei den regelmäßigen Patengruppentreffen statt. Bei den (zum Teil unregelmäßigen) Treffen mit den Eltern der Jugendlichen nutzen die Mitarbeiten©den von PAFF2013, www.phineo.org – Kursbuch Wirkung zu bekommen. PHINEO gAG die Möglichkeit, Feedback von den Eltern

WIRKUNG PLANEN

Gute Fragen sind der Schlüssel für nützliche Antworten 5
Die Art, wie Sie Fragen stellen, wirkt sich direkt auf die Antworten aus, die Sie bekommen. Daher macht es Sinn, sich über die Fragen die man stellt, Gedanken zu machen. Hier einige Tipps für das Formulieren von Fragen: WIRKUNG ANALYSIEREN

•

Man unterscheidet zwischen geschlossenen und offenen Fragen. Geschlossene Fragen eignen sich, um an spezifische Informationen zu gelangen. Auf geschlossene Fragen gibt es meist nur eine richtige Antwortmöglichkeit beziehungsweise sie lassen sich relativ leicht mit „ja“ oder „nein“ beantworten. Zum Beispiel: „Wie alt sind Sie?“ „Hast du einen Ausbildungsplatz?“ Offenen Fragen eignen sich dafür, neue Gedanken, Sichtweisen, Diskussionen anzuregen. Sie fördern die Beteiligung der Befragten. Zum Beispiel: „Können Sie Ihre Situation näher beschreiben?“ „Wie gehen Sie mit der Situation um?“ „Welche Chancen sehen Sie in diesem Projekt für sich?“ Offene und geschlossene Fragen lassen sich gut zusammen nutzen. Zum Beispiel: „Hast du schon einen Ausbildungsplatz gefunden?“ (geschlossenen Frage) „Warum ist es für dich deiner Meinung nach schwer, einen Ausbildungsplatz zu finden?“ (offene Frage)

WIRKUNG VERBESSERN

1 2 3

• •

Nutzen Sie die W-Fragen: Wer? Wann? Was? Wo? Warum? Wie? Diese Fragen helfen zu analysieren und zu verstehen, was passiert und wo die Gründe dafür sind. Wann ist xy passiert? Warum war das hilfreich? Achten Sie bei der Fragestellung darauf, dass sich der Befragte nicht „verhört“ vorkommt, zum Beispiel durch eine zu häufige Wiederholung von „Warum-Fragen“.
5

vgl. Herrero (2012: 34f)

Wichtig zu wissen: Teilnehmende an der Datenerhebung über den Prozess informieren und den Datenschutz einhalten
Wenn von den Teilnehmenden Daten erhoben werden, müssen diese darüber informiert werden und damit einverstanden sein. Die Information sollte möglichst zu Beginn des Programms im Rahmen der Anmeldeformalitäten (soweit vorhanden) erfolgen. Bei minderjährigen Teilnehmenden müssen die Eltern informiert sein. Soweit möglich, sollten die Befragungen anonymisiert durchgeführt werden und/oder in der Auswertung sollten Rückschlüsse auf einzelne Teilnehmende nicht mehr möglich sein. Im Rahmen des Datenschutzes sollte darauf geachtet werden, dass die Daten für Dritte unzugänglich aufbewahrt werden und die Identität der Teilnehmenden geschützt wird. Informieren Sie die Teilnehmenden an der Datenerhebung auch über die Ergebnisse der Erhebung.

79

Systematische Beobachtungen
Beschreibung: In manchen Fällen ist es sinnvoller, etwas zu beobachten, als Informationen dazu zu erfragen. Im Rahmen von systematischen Beobachtungen werden Ereignisse, Individuen, Gruppen, Sozialräume vor dem Hintergrund einer spezifischen Fragestellung betrachtet und die Ergebnisse analysiert und interpretiert. Beobachtungen bieten eine gute Möglichkeit, die Antworten aus einer Befragung zu überprüfen, aber auch zu Erkenntnissen zu gelangen, die im Rahmen einer Befragung nicht angesprochen wurden. Gleichzeitig ergeben sich auf der Basis von Beobachtungen oft weitere Fragestellungen, die mit Hilfe anderer Erhebungsmethoden beantwortet werden können. Bei einer teilnehmenden Beobachtung nimmt die beobachtende Person an den Interaktionen des Felds, das beobachtet wird, mehr oder weniger aktiv teil. Bei einer nicht-teilnehmenden Beobachtung bleibt die beobachtende Person außerhalb des Felds, das sie beobachtet. Bei einer offenen Beobachtung wissen die Personen oder können zumindest erkennen, dass sie beobachtet werden. Bei einer verdeckten Beobachtung ist das nicht der Fall (vgl. Eval-Wiki: Glossar der Evaluation, www.eval-wiki.org/glossar/Beobachtung, Stand: 09.08.2013). Gehen Sie mit vorformu­ lierten Fragestellungen in die Beobachtung; seien Sie jedoch gleichzeitig möglichst offen für unerwartete Erkenntnisse.

+	Vorteile:Bezug zur Zielgruppe und zum Sozial•	 direkter

	raum/Kontext •	 liefert ggf. gute Inhalte auch für die Kommunikation 	(Storytelling)

Nachteile –	•	 zeitaufwändig

•	 Beobachter müssen geschult sein •	 Schutz der Privatsphäre muss garantiert werden

Projektbeispiel PAFF: Im Rahmen der externen Evaluation wurden bei PAFF die Veränderungen des Sozialverhaltes der Jugendlichen während der Projektteilnahme evaluiert. Zusätzlich zu den Befragungen der Jugendlichen und deren Lehrer haben die externen Evaluatoren im Rahmen einer nicht-teilnehmenden, offenen Beobachtung das Sozialverhalten der Jugendlichen im schulischen Kontext beobachtet.

Tests und Messungen
Beschreibung: Tests und Messungen können an verschiedenen Punkten des Projektzyklus wichtige Informationen liefern. Zu Beginn des Projekts können sie Auskunft über die Situation der Zielgruppe geben (zum Beispiel Mathe-Tests bei Schülern oder die Erhebung des Gesundheitsstatus bei Teilnehmenden an einem Gesundheitsprogramm). Tests bedienen sich oft quantitativer Methoden, es sind aber auch qualitative und gemischte Methoden möglich.

+	Vorteile: im Zeitverlauf lassen sich gut abbilden •	 Veränderungen
•	 hohe Vergleichbarkeit bei standardisierten Tests

Nachteile –	•	 mittlerer Zeitaufwand

•	 für die Durchführung ist Expertise notwendig •	 standardisierte Test eignen sich evtl. nicht für 	 die spezielle Situation der Zielgruppe

Projektbeispiel PAFF: Bei PAFF erheben die Trainer des Bewerbungstrainings vor Beginn und am Ende des Bewerbungstrainings den Wissensstand der Teilnehmer mit Hilfe eines Tests.

80

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Fallstudien (Case Studies)
Beschreibung: Bei Fallstudien stehen einzelne Teilnehmer oder eine bestimmte, übersichtliche Gruppe im Fokus der Erhebung. Dabei kann eine Vielzahl von Methoden angewandt werden wie halb-strukturierte Interviews, systematische Beobachtungen, Fokusgruppen, etc. Fallstudien eignen sich gut, wenn es darum geht, Wirkung beispielhaft darzustellen. Informationen aus Fallstudien geben gemeinsam mit quantitativen Aussagen ein aufschlussreiches Bild über die Wirkung eines Projekts und bilden als Mischung aus qualitativen und quantitativen Daten eine gute Basis für die Projektweiterentwicklung.

+	Vorteile:Bezug zur Zielgruppe •	 direkter

•	 Liefert ggf. gute Inhalte auch für die Kommunikation 	(Storytelling)

Nachteile –	•	 unter Umständen schwer zu verallgemeinern

Projektbeispiel PAFF: Bislang hat PAFF noch keine systematischen Fallstudien in dem Sinne durchgeführt, dass einzelne Jugendliche im Rahmen ihrer Teilnahme am Projekt systematisch begleitet und deren Entwicklung beispielhaft erhoben und dargestellt wurde. Aus den Daten, die im Rahmen des Monitorings (Schulnoten, Anwesenheitsquote etc.) erhoben wurden, und den qualitativen Informationen aus den Patenschaftstagebüchern lassen sich jedoch Daten für die Darstellung einzelner Fallbeispiele zusammenstellen.

Dokumentenanalyse
Beschreibung: In internen und externen Dokumenten finden sich wichtige Informationen für die Wirkungsanalyse. Interne Dokumente sind beispielsweise Projektkonzeptionen, Berichte oder Protokolle. Darin finden sich Informationen zum Projektkonzept, den Zielen und Resultaten des Projekts sowie Veränderungen während der Projektlaufzeit. Diese Informationen bilden auch einen guten Ausgangspunkt, um Fragestellungen für eine Evaluation zu erarbeiten. Externe Dokumente sind unter anderem Studien, Surveys oder (offizielle) Statistiken. Hier finden sich Daten, die vor allem für die Bedarfs- und Umfeldanalyse interessant sind und die sich zum Teil gut als Vergleichsmaßstab eignen.

+	Vorteile:

Interne Daten •	 relevante Daten für die spezifische Zielgruppe und 	 den Sozialraum •	 preiswert und schnell •	 Mitarbeiter des Projekts /der Organisation werden 	einbezogen Externe Daten •	 preiswert •	 methodisch relativ zuverlässig •	 bei regelmäßigen Erhebungen sind Vergleiche über die 	 Zeit möglich

–	

Nachteile

Interne Daten •	 evtl. schwer objektivierbar •	 evtl. keine Informationen über Ursachen- / Wirkungs	zusammenhänge •	 Informationen evtl. nicht aktuell oder vollständig Externe Daten •	 oft nicht auf den Sozialraum bezogen und hoch aggregiert •	 evtl. nicht aktuell

Projektbeispiel PAFF: Für die externe Evaluation von PAFF hat der Evaluator auf die Projektkonzeption und auf die Daten aus dem Monitoring zurückgegriffen. Zu Projektbeginn hat PAFF bei der Analyse der Bedarfe die offiziellen Statistiken zur Jugendarbeitslosigkeit in der Region und Dokumente mit Informationen zur Situation des regionalen Ausbildungsmarkts genutzt.

81

6.2 SCHWER ZU ERHEBENDE WIRKUNGEN
Wirkungen nachzuweisen, kann aus den unterschiedlichsten Gründen eine große

ehemaligen Teilnehmenden kann man hier die Befragten bitten, selbst einzuschätzen, wie Situation ist. Auch lässt sich hier mit der groß der Einfluss des Projekts auf ihre jetzige Wirkungslogik und Wirkungsnachweisen, die während der Teilnahme am Projekt erhoben Projekts festgestellt wurde, dass bei den wurden, argumentieren. Wenn während des Teilnehmern Wirkungen auf den Outcome-

Herausforderung sein. Im Folgenden werden

Wichtig zu wissen: Was sind Kontrollgruppen?
Eine Kontrollgruppe ist eine Gruppe, die im Rahmen einer Evaluation Daten für den Vergleich mit der Gruppe, die an einem Projekt teilgenommen hat, liefert. Die Kontrollgruppe nimmt an dem Projekt nicht teil. Damit ist ein Vergleich mit der Teilnehmergruppe möglich, und es können Aussagen zur Wirksamkeit des betreffenden Projekts abgeleitet werden. Die Kontrollgruppe ist ein Kriterium für die Aussagekraft und Belastbarkeit von Evaluationsergebnissen, da sonst eine dem Projekt zugeschriebene Wirkung auch auf anderen Ursachen beruhen könnte. Eine Wirkungsevaluation mit Kontrollgruppen ist allerdings sehr aufwändig und wird relativ selten durchgeführt.

einige Beispiel für schwer zu erhebende Wirkungen dargestellt und beschrieben, welche Möglichkeiten der Wirkungsanalyse es in diesen Fällen gibt.

Stufen 4 (Veränderungen im Wissen) und 5

Herausforderung: Wirkungen nachweisen, die erst nach längerer Zeit eintreten

(Veränderungen im Verhalten und Handeln) Sicherheit angenommen werden, dass das Projekt auch Einfluss auf die langfristigen (Outcome-Stufe 6) hatte.

eingetreten sind, so kann mit einer gewissen

Viele soziale Projekte zielen auf Wirkungen, die erst nach einiger Zeit eintreten. Um hier Aussagen treffen zu können, müssen Daten

Wirkungen im Bereich der Lebenssituation

nach dem Ende des Projekts, beziehungswei-

se nachdem ein Teilnehmender seine TeilnahDies ist in vielen Fällen eine große Heraus-

Herausforderung: Teilnehmende wollen oder können nicht befragt werden

me am Projekt beendet hat, erhoben werden. forderung, denn es ist oft sehr schwer und längerer Zeit wieder zu kontaktieren. Hier

In einigen Projekten ist es schwierig, die Teilnehmenden zu befragen. Die Gründe hierfür sind unterschiedlich: Einige Zielgruppen

aufwändig, die ehemaligen Teilnehmer nach ist eine gute Pflege der Kontaktdatenbank

haben Vorbehalte, an Erhebungen teilzunehNachteile entstehen können. Beispiele sind hier Personen, die von Gewalt betroffen

nützlich und es ist hilfreich, den Teilnehmern schon bei Projektabschluss anzukündigen, dass man sie nach einiger Zeit noch mal kontaktieren möchte. Eine weitere Herausfordewirkungen auf die Aktivitäten des Projekts zurückzuführen sind. Denn in der Zeit rung ist es, nachzuweisen, dass die Langzeit-

men, weil sie befürchten, dass ihnen dadurch

oder in Straftaten involviert sind. Hier ist es zuzusichern und zu gewährleisten. Andere

wichtig, den Befragten absolute Anonymität Zielgruppen sind selbst nicht in der Lage, im

zwischen dem Ende der Teilnahme am Projekt und dem Eintreten der Langzeitwirkung hat eine Vielzahl an Einflüssen die Entwicklung des (ehemaligen) Teilnehmers beeinflusst. In den allerseltensten Fällen werden hier

Rahmen von Erhebungen Auskünfte zu erteilen (zum Beispiel Kleinkinder oder schwer an Demenz erkrankte Menschen). Hier kann es

ein möglicher Weg sein, ihnen nahestehende rige) zu befragen.

Personen (wie Eltern oder pflegende Angehö-

Wirkungsevaluationen mit Kontrollgruppen

durchgeführt. Im Rahmen der Befragung der

82

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Herausforderung: Wirkungen von Kampag­ nenarbeit / Advocacy nachweisen

Herausforderung: Wirkungen nachweisen, wenn die Zielgruppe Organisationen sind

WIRKUNG ANALYSIEREN

Bei Projekten im Bereich Kampagnenarbeit / von Gruppen und/oder die Themenanwaltschaft für spezifische Anliegen. Beispiele sind Kampagnen gegen das Rauchen oder Bildungspolitik oder Inklusion. Ziele sind

Advocacy geht es um die Interessenvertretung

Bei Projekten, deren Zielgruppen keine Individuen, sondern Organisationen sind, ergeben sich die Wirkungen aus dem Nutzen, den die das Projekt ziehen. Die Veränderungen im

WIRKUNG VERBESSERN

Organisationen aus der Unterstützung durch Wissen und in der Arbeitsweise der Organi-

zu Themen in den Bereichen Umweltschutz, es, sowohl Entscheidungsträger als auch die öffentliche Meinung zu beeinflussen und gesellschaftliche Veränderungsprozesse

1 2 3

sation sind mittelfristige Outcomes, und die Arbeit der Organisation. Diese Wirkungen lassen sich zum Teil mit quantitativen, vor

Wirkung auf lange Sicht wäre die effektivere
Beschreibung Marginalientext

anzustoßen, die sich in einer Veränderung des Wirkungen sind hier schwer zu erheben. Ob

Bewusstseins und des Verhaltens ausdrücken. eine Kampagne die erwünschte Wirkung auf

allem aber mit qualitativen Daten abbilden. bei der Gewinnung und dem Management von Ehrenamtlichen unterstützt, besteht die Wirkung auf Outcome-Stufe 4 darin,

Ein Beispiel: Wenn ein Projekt Organisationen

gesellschaftlicher Ebene erzielt hat, lässt sich am ehesten in groß angelegten Studien (z.B. über den Gesundheitsstatus der Bevölkerung) ablesen, die für einzelne Organisation kaum durchführbar sind. Hier sollten daher entlang der Wirkungslogik Teilziele defi-

Wichtig zu wissen: Was ist Social Return on Investment (SROI)?
Social Return on Investment (SROI, auf Deutsch: „Sozialrendite“) ist ein Ansatz der SocialImpact-Messung, der sich mit der Bewertung des durch (soziale) Projekte geschaffenen gesellschaftlichen Mehrwerts beschäftigt und der in den letzten Jahren zunehmend nachgefragt, aber auch kritisch diskutiert wird. Bei der SROI-Analyse wird versucht, Projektresultate zu quantifizieren und in monetären Werten auszudrücken. Bemessen wird dies in der Regel darüber, welche Kosten dem Staat durch die Projekte erspart bleiben. So entstehen etwa durch eine erfolgreiche Resozialisierung von Straftätern dem Staat weniger Kosten für Inhaftierung oder die Betreuung durch Sozialarbeiter. SROI-Analysen sind sehr aufwändige Verfahren, für die ein hohes Maß an Expertise notwendig ist. Auch ist angesichts der Komplexität der Gesellschaft und ihrer Wirkungszusammenhänge kritisch zu fragen, welchen Aussagewert eine solche Zahl tatsächlich hat . Quelle: vgl. Hoelscher (2011: 32)

dass die Organisation gelernt hat, wie man

Ehrenamtliche gewinnt und betreut, und die Organisation dieses Wissen auch anwendet. erreicht, wenn die Organisation aufgrund ihre Projekte effektiver umsetzen kann. Herausforderung: Wirkungen auf Impact-Ebene nachweisen

Wirkung auf Outcome-Stufe 5 darin, dass die Wirkungen auf Outcome-Stufe 6 wären dann ihres verbesserten Ehrenamtsmanagements

niert werden, zu denen auch Daten erhoben werden können. Dies sind zum Beispiel die Beeinflussung von relevanten Entscheidungsträgern und Multiplikatoren, die sich dadurch derungen aufgegriffen oder die Argumente oder eine verstärkte Berichterstattung zum Thema in den Medien. Die Methode „OutHilfestellung für die Erarbeitung und come Mapping“ bietet hier eine nützliche Überprüfung von Wirkungszielen (→ Weiter­führende Literaturhinweise am Ende des Kursbuchs). überprüfen lassen, ob diese Personen die Forin ihre Argumentation übernommen haben,

Die Herausforderungen, Wirkungen auf

gesellschaftlicher Ebene (Impact) nachzuweisen, ähneln den Schwierigkeiten, Wirkungen, die erst nach Projektende eintreten, zu erheben. Denn Veränderungen auf gesellschaftlicher Ebene treten in den allermeisten Fällen erst nach längerer Zeit auf, das

Projekt ist dann oft schon beendet. Nicht nur deswegen ist es schwer, die eingetretenen

83

Wirkungen auf das eine Projekt zurückzuführen. Denn in komplexen gesellschaftlichen nen Faktoren Einfluss auf Entwicklungen. Zusammenhängen haben viele verschiede-

tauschen und gemeinsam etwas zu tun, das Wirkungsziele und Indikatoren?

ihre Lebensqualität steigert. Was wären hier Und auch wenn es für Außenstehende auf den ersten Blick so scheinen könnte, dass Kinder und Jugendliche im Freizeittreff „nur Spaß“ haben, so ist dieses Angebot für sie ein wichtiger Raum, um (unter anderem)

Wichtige Tipps für die Datenerhebung

Hierbei die „Netto-Wirkung“ eines einzelnen Projekts herauszufiltern ist nur sehr schwer möglich. Dies bedeutet allerdings nicht, dass nicht versucht werden sollte, Aussagen über Wirkungen auf gesellschaftlicher Ebene zu treffen. Auch von Seiten einiger Geldgeber

•	Beginnen Sie mit der •	Konzipieren Sie die

Planung der Datenerhebung bereits in der Phase der Projektplanung. Erhebungsinstrumente auf der Basis der erarbeiteten Fragestellungen und Indikatoren.

personale, soziale, kulturelle und politische Kompetenzen aufzubauen und zu lernen, hier Wirkungsziele und Indikatoren? Verantwortung zu übernehmen. Was wären Qualitative Erhebungen, Fallstudien und

werden hierzu verstärkt Aussagen verlangt. Impact-Ebene ist allerdings mit hohem Ressourceneinsatz verbunden. Für das Projekt

Eine methodisch hochwertige Evaluation auf

bedeutet dies, dass bei der Wirkungsanalyse

Anekdoten eignen sich hier als Erhebungs­

•	Erheben Sie nicht

das Thema Impact mitgedacht werden sollte, nagement betrieben werden muss.

methoden besonders und geben gemeinsam mit quantitativen Outputzahlen und Aussadem Angebot ein aussagekräftiges Bild. gen über die Zufriedenheit der Teilnehmer mit

zu viele Daten, sondern fokussieren Sie auf die Beantwortung der zentralen Fragestellungen.

aber gleichzeitig realistisches Erwartungsma-

Herausforderung: Wirkung bei offenen Angeboten nachweisen

Herausforderung: Wirkung bei Präventionsprojekten nachweisen

•	Greifen Sie zunächst •	Konzipieren Sie die

auf vorliegende Daten zurück, bevor Sie „frische“ Daten erheben. Erhebungsinstrumente so, dass kein Datenüberschuss entsteht.

Offene Angebote für Kinder, Jugendliche oder ältere Menschen haben häufig Schwierigkeiten, Aussagen über ihre Wirksamkeit zu tref-

Wenn Jugendliche nicht anfangen zu rauchen oder Mädchen nicht als Teenager schwanger werden, haben Präventionsprojekte ihr Ziel diese Wirkungen auf das jeweilige Projekt zurückzuführen sind?

fen, und geraten deshalb zum Teil unter einen gewissen „Rechtfertigungsdruck“. Oft ist die Gruppe der Teilnehmenden/Besucher sehr heterogen und die Teilnahme am Angebot Wirkungsziele zu setzen und Wirkungen nachzuweisen.

erreicht. Aber wie lässt sich nachweisen, dass

•	Nutzen Sie verschiedene Datenquellen und Erhebungsmethoden

unregelmäßig, sodass es schwierig erscheint,

Wenn das Projekt direkt mit der Zielgruppe die Teilnehmer ihre Teilnahmen am Projekt Wirkung des Projekts erzielt wurde beziehungsweise weiterhin besteht. Auch hier ist die Arbeit mit Kontrollgruppen für die

gearbeitet hat, lässt sich einige Zeit nachdem beendet haben, erheben, ob die erwünschte

•	Testen Sie die Erhe-

Bei der Formulierung ihrer Wirkungsziele und Indikatoren sollten offene Angebote daher überlegen: Warum nutzen die Besucher unser Angebot? Wahrscheinlich wird der SeniorenTreff nicht nur deshalb frequentiert, weil der

bungsinstrumente, bevor Sie diese einsetzen.

meisten Projekte nicht umsetzbar. Es kann

Kaffee so gut und der Kuchen so preiswert ist, sondern es geht den Besuchern auch darum, anderen Menschen zu begegnen, sich auszu-

jedoch versucht werden, Vergleiche mit vergleichbaren Gruppen zum Beispiel Jugend­ lichen aus der Parallelklasse oder aus der

anderen Hauptschule im Stadtteil, zu ziehen,

84

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

die jeweils nicht am Projekt teilgenommen das Projekt bei den Teilnehmern Wirkung erzielt hat.

haben, um Hinweise darauf zu erhalten, ob

Die Instrumente zur Datenerhebung testen

WIRKUNG ANALYSIEREN

Und auch hier lässt sich mit der Wirkungslogik und Wirkungsnachweisen, die während der Teilnahme am Projekt erhoben wurden, die erst nach längerer Zeit eintreten“).

Bevor es „ernst“ wird und Sie mit Ihrer

Datenerhebung beginnen, sollten Sie Ihre

Instrumente der Datenerhebung (das heißt, den erarbeiteten Fragebogen oder den Interviewleitfaden) testen. Denn egal, wie gut

WIRKUNG VERBESSERN

argumentieren (→ „Wirkungen nachweisen,

die Instrumente erarbeitet und das Vorgehen einschleichen, die die Qualität der Erhebung gefährden. Daher lohnt sich der Aufwand, die Instrumente zunächst bei einer kleinen Zahl von Personen zu testen und diese da-

1 2 3

6.3 QUALITÄTSKRITERIEN FÜR DIE DATENERHEBUNG
Verschiedene Datenquellen und Erhebungsmethoden nutzen

geplant wurden: Es können sich immer Fehler

Projektbeispiel PAFF Um festzustellen, ob sich die schulischen Leistungen der teilnehmenden Jugendlichen verbessern, nutzt PAFF verschiedene Methoden der Datenerhebung: Dabei werden die Schulnoten in den verschiedenen Fächern regelmäßig festgehalten, die Jugendlichen im Rahmen einer systema­ tischen Beobachtung während des Unterrichts beobachtet und die Lehrer hinsichtlich ihrer Ein– schätzung der Entwicklung der Jugendlichen befragt.

nach zu befragen. Im sogenannten „Pretest“ sollte das Augenmerk auf folgende Punkte gelegt werden:

Wenn Sie auf Ihrer Seereise sichergehen

wollen, dass Sie auf dem richtigen Weg sind, verlassen Sie sich wahrscheinlich nicht nur auf den Blick aus dem Ausguck, sondern

•	Sind die Fragen klar und unmissverständmit der Wortwahl etwas anfangen oder kommen unbekannte Fremdworte etc. vor?

Sie nutzen auch die Informationen aus den Blickwinkel helfen, ein möglichst aussagebei der Navigation zu vermeiden.

lich formuliert? Kann die befragte Zielgruppe

Seekarten und dem GPS. Die verschiedenen kräftiges Ergebnis zu bekommen und Fehler Auch in der Wirkungsanalyse ist es wichtig, verschiedene Datenquellen und Methoden der Datenerhebung zu kombinieren, um die

•	Ist der Inhalt der Fragestellungen sinnvoll
und wird darauf geachtet, dass die Fragen Abwehrhaltung hervorrufen? bei den Befragten kein Unbehagen oder eine

Datenqualität zu überprüfen und gegebenen-

falls zu verbessern. Nutzen Sie für eine aussagekräftige Analyse daher sowohl quantitative als auch qualitative Erhebungsmethoden. „Triangulation“ genutzt. In der Fachsprache wird hierfür der Begriff

•	Sind die Anweisungen an die Personen, die
die Erhebung durchführen, klar und unmissverständlich?

•	Ist die Länge der Befragung / des Fragebogens angemessen? Oft dauern Befragungen zu lange und die Befragten werden ungeduldig und unkonzentriert, was sich negativ auf die Qualität der Antworten auswirkt.

85

7. DATENAUFBEREITUNG UND -ANALYSE

In diesem Kapitel erfahren Sie, …

Im vorherigen Kapitel des Kursbuchs wurde dargestellt, wie Daten erhoben werden. Liegen die Daten vor, ist bereits ein gro-

•	wie Sie die erhobenen	 Daten aus	 werten und analysieren können, 	 sodass Sie Informationen 	 erhalten, die Sie nutzen können.

ßer Schritt getan. Nützlich wird der ganze

Aufwand jedoch erst, wenn die Daten nicht

Was möchten Sie wissen?
Werten Sie nicht „um der Auswertung Willen“ aus und analysieren Sie nicht „um der Analyse Willen“, sondern behalten Sie bei der Auswertung und der Analyse der Daten immer Ihre Erkenntnisinteressen und Fragestellungen im Blick!

•	wie Sie aus diesen Informationen
	 konkrete Schlussfolgerungen 	 ableiten können. 	 und Handlungsempfehlungen

als Haufen unausgewerteter Fragebögen in Excel-Tabellen in den Tiefen des Computers

Ordnern verstauben oder als unbearbeitete verschwinden. Die Daten sind ein „Schatz“,

den es nach der Bergung auch zu nutzen gilt. die Daten in Informationen umzuwandeln, aus denen Sie lernen und die Sie für die können.

Das Feedback, das Sie während und nach der Seereise von Ihren Passagieren bekommen haben, Ihre eigenen Eindrücke und Informationen von weiteren Personen, die an der Reise beteiligt waren, ordnen und analysieren Sie mit Ihrer Mannschaft: Haben Sie mit Ihren Passagieren das Ziel erreicht? Verlief die

Im nun folgenden Schritt geht es also darum,

wirkungsorientierte Projektsteuerung nutzen

Die Auswertung und die Analyse von Daten

Reise wie geplant? Hat den Passagieren die

können je nach Erkenntnisinteresse und der

Überfahrt gefallen? Konnten sie von der Reise profitieren? Hat sich jemand unwohl gefühlt die weitere oder die nächste Reise? und, falls ja, warum? Und was folgt daraus für

Menge und Qualität der vorliegenden Daten Erfahrung und Fachwissen erforderlich sind. Ziel dieses Kapitels ist es daher nicht, Sie zu „Profis“ für Datenauswertung zu machen,

ein sehr anspruchsvoller Prozess sein, für den

86

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

sondern es sollen praxisnahe Tipps für den Umgang mit Daten aus der Wirkungsana­ lyse vermittelt werden, die auch von kleinen Projekten selbstständig umgesetzt werden können. In vier Schritten wird gezeigt, wie Sie Schlussfolgerungen ziehen und Handlungsempfehlungen entwickeln können. Davor soll die Frage nach dem Zeitpunkt und den geklärt werden.

späteren Zeitpunkt für eine weitere Analyse genutzt werden, wenn zum Beispiel werden sollen. Entwicklungen im Zeitverlauf analysiert

WIRKUNG ANALYSIEREN

aus einem „Berg an Informationen“ nützliche

7.2 WER IST FÜR DIE DATENAUSWERTUNG UND -ANALYSE ZUSTÄNDIG?
Beim Monitoring und bei internen Evaluationen fällt die Auswertung der Daten in den Aufgabenbereich der Projektmitarbeiter, die Personen beteiligt sind, ist es sinnvoll, eine

WIRKUNG VERBESSERN

Zuständigkeiten für Auswertung und Analyse

Projektbeispiel PAFF

1 2 3

7.1 WANN UND WIE OFT SOLLTEN DIE DATEN AUSGEWERTET UND ANALYSIERT WERDEN?
Erfahrungsgemäß sind Daten, die nicht bald nach ihrer Erhebung genutzt werden, verloren. Die Auswertung und Analyse der Daten sollten daher so bald wie möglich nach deren Erhebung stattfinden. Denn zum einen kann nur so gewährleistet werden, dass die Informationen, die für die weitere Projektwerden, auch aktuell sind. Zum anderen

auch die Daten erheben. Wenn dabei mehrere verantwortliche Person zu bestimmen, bei der die Daten zusammenlaufen und die die Auswertung koordiniert. Bei externen Evaluatioder externen Evaluatoren.

nen ist die Auswertung Bestandteil der Arbeit

Die Qualität der Analyseergebnisse hängt

Die Informationen, die bei PAFF im Rahmen des regelmäßigen Monitorings erhoben werden, werden von der Projektleitung ausgewertet und in einem ersten Schritt analysiert. Die Ergebnisse werden bei den Treffen des Leitungsteams vorgestellt, diskutiert und hinterfragt. Dabei werden je nach Bedarf zum Beispiel Paten oder Lehrer einbezogen. Als die Ergebnisse der externen Evaluation (mit dem Fokus auf dem Thema „Sozialkompetenzen der teilnehmenden Jugendlichen“) vorgestellt wurden, waren neben dem Leitungsteam einige erfahrene Paten, die Klassenlehrer aus den Klassen, aus denen Schüler am Projekt teilnehmen, sowie zwei Vertreter von Betrieben, bei denen Projektteilnehmende eine Ausbildung machen, anwesend. Dadurch war es möglich, die Ergebnisse der Evaluation mit den Alltags­ erfahrungen der verschiedenen Stakeholder zu ver­ gleichen und zu diskutieren.

entscheidend davon ab, wer bei der Analyse nicht „im stillen Kämmerlein“ stattfinden!

einbezogen ist. Die Datenanalyse sollte daher Tauschen Sie sich mit Kollegen aus dem Projekt aus und binden Sie die Stakeholder mit ein, die die Ergebnisse der Analyse einschät-

steuerung und die Kommunikation benötigt haben Sie nur dann die Möglichkeit, noch

weitere Informationen einzuholen, wenn Sie bald nach der Erhebung der Daten feststellen, dass es noch Unklarheiten gibt.

zen und gegebenenfalls hinterfragen können. So können verschiedene Interpretationen der Ergebnisse einbezogen werden, mögliche Fehler in den Schlussfolgerungen können

Das bedeutet, dass sich die Auswertung

der Daten in der Regel dem Rhythmus der

aufgedeckt werden, und die angestrebten breitere Basis gestellt. Bei einer externen

Datenerhebung anpasst (→ Kap. 4 „Wann

Lernprozesse werden von Beginn an auf eine Evaluation bedeutet das, dass der externe

sollte M&E durchgeführt werden?“). Bei der

Datenanalyse hängt der Zeitpunkt der Analyab. So können Daten zum Beispiel kurz nach vom aktuellen „Status Quo“ zu bekommen.

se aber auch von der jeweiligen Fragestellung ihrer Erhebung analysiert werden, um ein Bild Dieselben Daten können aber auch zu einem

Evaluator die Ergebnisse der Evaluation vor einer für die jeweilige Schwerpunktsetzung und den Zweck der Evaluation repräsentati-

ven Gruppe von Stakeholdern vorstellen und es die Möglichkeit zum Feedback geben soll.

87

Tipp: Die folgenden Fragen helfen Ihnen bei der Arbeit mit Ihren Daten
Fragen für die Datenauswertung Fragen für den Plausibilitätscheck Fragen für die Datenanalyse (Vergleiche) Fragen für die Datenanalyse (Schlussfolgerungen) Fragen für die Handlungsempfehlungen

Schritt

1

Schritt

2

Schritt
Wie ist das Ergebnis im Vergleich zu früheren Resultaten/ geplanten Resultaten/Resultaten aus anderen Projekten? Ist das Ergebnis besser/schlechter als erwartet? Zeigen sich Entwicklungen, die von der Planung abweichen?

3

Schritt

4

Zeichnen sich in den Daten Trends oder Anhäufungen (Cluster) ab?

Wurde die Auswertung einer Qualitätskontrolle unterzogen? Weichen die Ergebnisse so stark von der Einschätzung der am Projekt beteiligten Stakeholder ab, dass die Auswertung fehlerhaft sein könnte?

Falls das so ist/nicht so ist, warum? Lassen sich Zusammenhänge erkennen? Zeigen sich Veränderungen in den grundlegenden Annahmen oder dem Umfeld des Projekts (zum Beispiel bezüglich der Bedarfe)?

Wie kann das geändert werden? Muss das Projekt angepasst werden? Müssen die Pläne angepasst werden? Was sollte getan werden?

Welche weiteren Informationen werden benötigt, um die Fragen zu beantworten? An welcher Stelle muss noch mal genauer hingeschaut und/oder analysiert werden?

7.3 IN VIER SCHRITTEN VON DER DATENAUFBEREITUNG ZUR ERARBEITUNG VON HANDLUNGSEMPFEHLUNGEN
Im Folgenden wird dargestellt, wie Sie in vier Schritten von den in der Wirkungsanalyse erhobenen Daten zu Handlungsempfehlungen kommen, die Ihnen helfen, Ihr orientierter zu gestalten.

verbindungen zu ziehen, Entwicklungen

zu identifizieren und die Resultate auf der

Basis von Vergleichen zu bewerten und zu

interpretieren. Auf der Basis der Datenanalyse werden dann (in Schritt 4) Handlungsempfehlungen erarbeitet.

Schritt 1: Daten aufbereiten und auswerten

Projekt – wo notwendig – noch wirkungs-

Die erhobenen Daten müssen zunächst in

eine Form gebracht werden, in der sie ausgewertet werden können. Diese Aufbereitung beinhaltet, dass die Daten systematiist die Art der Aufbereitung abhängig

Aus einigen Daten lassen sich relativ leicht Aussagen ableiten, während in der Mehrzahl der Fälle das Daten-„Rohmaterial“

siert und zusammengefasst werden. Dabei davon, wie die Daten erhoben wurden (→ Kap. 6 „Methoden der Datenerhebung“). Quantitative Daten lassen sich in litativen Daten, die beispielsweise durch Interviews oder durch Fragebögen mit

aufbereitet und ausgewertet werden muss, damit es als Information genutzt werden kann (Schritt 1). Dabei sollte der Qualität der Datenauswertung eine große Bedeu-

tung beigemessen werden (Schritt 2). Bei

Tabellen (z. B. Excel) aufbereiten. Bei qua-

der Datenanalyse (Schritt 3) geht es darum, die Daten in einen Kontext zu stellen, Quer88 © PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

offenen Fragen erhoben wurden, müssen

WIRKUNG PLANEN

zunächst die Kernaussagen systematisiert und zusammengefasst werden. Bei der Aus­wertung der Daten werden die Inforsätzen zusammengefasst.

Auswertungsprozess einer laufenden Qualitätskontrolle. Während die Auswertung der Daten durch einige wenige Personen

WIRKUNG ANALYSIEREN

mationen dann aus den einzelnen Daten-

durchgeführt werden sollte, sollten Sie in Stakeholder einbeziehen, die das Projekt

Rahmen des Plausibilitätschecks diejenigen so gut kennen, dass sie die Ergebnisse der

Schritt 2: Plausibilitätscheck Der Plausibilitätscheck ist ein auf den

Datenauswertung einschätzen können. So sind es wahrscheinlich die Mitarbeitenden cher Stelle die Ergebnisse ihren Erfahrungen und Einschätzungen widersprechen ­­wendig, Experten um Rat. des Projekts, denen auffällt, ob und an wel-

WIRKUNG VERBESSERN

ersten Blick kleiner, aber sehr wichtiger bei der Auswertung der Daten können verzerren. Unterziehen Sie daher den

Schritt. Denn Fehler bei der Erhebung und die Aussagen einer Untersuchung stark

1 2 3
nein

oder diese bestätigen. Fragen Sie, wo not-

Datenaufbereitung in einer Tabelle
ID Patenkind 1 Note im Fach Deutsch
Jahr 1 Jahr2 Jahr3

Teilnahme am Bewerbungstraining
ja nein

Betreuung abgeschlossen
ja nein

qualifizierter Schulabschluss
ja nein

Lehrstelle gefunden
ja

101 102 103 104 ... ... Auswertung

3 4 5 4

3 5 4 3

2 4 4 3

x x x x

x x x x

x x x x

x x x x

4,0 3,75 3,2

3

1

3

1

3

1

2

2

Schritt 3: Daten analysieren Die Auswertung der Daten in Schritt 1 ist werden „wie sie sind“ dargestellt: zum

schreibung auf und reflektiert die Ergeb-

nisse. Dabei werden die Resultate auf der pretiert. Wichtig ist dabei: Mit „Bewer-

rein deskriptiv, das heißt, die Ergebnisse Beispiel „30 Prozent der Jugendlichen haben einen Ausbildungsplatz bekommen.“ Die Analyse der Daten baut auf dieser Be-

Basis von Vergleichen bewertet und intertung“ ist in diesem Zusammenhang nicht gemeint, dass Aussagen dazu getroffen werden, ob das Projekt an sich „gut“ oder

Anmerkung: Statt den Namen der Teilnehmenden werden den Datensätzen aus Gründen der Vertraulichkeit der Informationen und der besseren Handhabbarkeit bei den Auswertungen großer Datenmengen Codierungen zugeordnet.
1

„schlecht“ ist, sondern es geht darum, die
89

Projektbeispiel PAFF Bei PAFF ist es die Aufgabe der Patengruppenbetreuer, in regel­ mäßigen Abständen die Monitoringdaten zusammenzutragen, um sie dann an die Projekt­ leitung weiterzuleiten. Um die Qualität der ge­sammelten Daten sicherzustellen, werden die Patengruppenbetreuer gerade zu Beginn bei dieser Aufgabe von der Projektleitung unterstützt. Die Projektleitung überprüft die Daten bei der Zusammenführung und Auswertung auf ihre Plausibilität und fragt bei Unklarheiten bei den Patengruppenbetreuern nach. Die Diskussionen im Leitungsteam dienen als weiterer Qualitätscheck.

Resultate in einen Kontext zu setzen und das Projekt auf dem geplanten Weg ist.

vor diesem Hintergrund festzustellen, ob Im Sinne der wirkungsorientierten Steu-

hängt, dazu tendieren, mit Jugendlichen erfolgreicher Abschluss der Maßnahme wahrscheinlich ist. Dieses sogenannte „Creaming“ (auf Deutsch in etwa: „die

zu arbeiten, bei denen von Anfang an ein

erung ist die Analyse der Daten daher ein sehr wichtiger Schritt, der die Grundlage für Lernen und Verbessern schafft. Vergleiche ziehen: wichtig, aber bitte mit Bedacht!

Sahne abschöpfen“) führt dazu, dass die „schwereren Fälle“ gar nicht erst in die keine Chance gegeben wird. Wenn VerProjekte aufgenommen werden und ihnen gleiche gezogen werden, sollte dies also mit Bedacht geschehen, und die Ergebnisse sollten im Rahmen des jeweiligen

Vergleiche sind ein zentraler Bestandteil der Datenanalyse: Sie bilden die GrundDer Gedanke, die eigene Arbeit mit der jedoch bei nicht wenigen Menschen im lage für die Einschätzung der Ergebnisse. von anderen Projekten zu vergleichen, löst gemeinnützigen Sektor Unbehagen aus. einen nehmen viele Projekte ihre Arbeit mit nichts vergleichbar halten. Zum an– die Befürchtung, dass Geldgeber ihre

Kontexts interpretiert werden. Denn trotz die zentrale Grundlage für Lernen und

der Herausforderungen: Vergleiche bilden Verbessern ( → Kap. 8). Ohne Vergleiche ist es kaum möglich, festzustellen, wie gut das Projekt wirklich ist und wie es sich entwickelt. Vergleiche bieten eine Lernen und Entscheiden. Arten von Vergleichen Sinnvolle Vergleiche werden vor dem

Dafür gibt es verschiedene Gründe. Zum als so „einmalig“ wahr, dass sie diese für deren gibt es – zum Teil nicht zu Unrecht Finanzierungsentscheidung auf Grundlage der Ergebnisse der Vergleiche treffen. In der Tat sind rein quantitative Vergleiche ohne eine Interpretation der Zahlen keine beispielsweise die Übergangszahlen von Schülern in eine Ausbildung in strukturgute Entscheidungsgrundlage. So können

Grundlage für Diskussion, (gemeinsames)

Hintergrund eines bestimmten Erkenntim Rahmen der Wirkungsanalyse erhovon Vergleichen gezogen werden. Die

nisinteresses gezogen. Auf der Basis der benen Daten können verschiedene Arten meisten Arten werden dabei innerhalb

schwachen Regionen nicht sinnvoll mit der Übergangsquote in Regionen mit einem hohen Lehrstellenangebot verglichen wermitzuberücksichtigen. Eine Erfolgsmeswie der Übergangsquote in Ausbildung kann auch dazu führen, dass Projekte,

eines Projekts gezogen, einige Arten von Projekt mit Daten aus anderen Projekten

Vergleichen setzen die Resultate aus dem ins Verhältnis. Welche Art von Vergleichen man für die Analyse des eigenen Projekts lung ab. nutzt, hängt von der jeweiligen FragestelIm Folgenden werden verschiedene Arten von Vergleichen dargestellt, und es wird

den, ohne dabei die Arbeitsmarktsituation sung ausschließlich an „harten“ Zahlen

deren Förderung von dieser Kennzahl ab90 © PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Notendurchschnitt Klasse gesamt vor Projektbeginn (Baseline) Projektjahr 1 Projektjahr 2 3,5 3,25 3,15

Notendurchschnitt Projektteilnehmer 3,5 3,0 2,9

Notendurchschnitt nicht Teilnehmende am Projekt (Kontrollgruppe) 3,5 3,5 3,4

anhand des Projektbeispiels PAFF gezeigt, welche möglichen Schlussfolgerungen daraus im Rahmen der Datenanalyse gezogen werden können.

Schuljahren um 0,6 verbessert. Um fest-

zustellen, inwieweit die Veränderung auf die Teilnahme an der Nachhilfe von PAFF zurückzuführen ist, müssen jedoch zusätzliche Vergleichsmöglichkeiten geschaffen von Schülern der Klassen, die am Projekt teilgenommen haben, und die Noten der werden. Beispielsweise können die Noten
Abb.: Tabelle zum Beispiel „Vorher-NachherVergleich“

Achtung: Natürlich müssen Sie für Ihr

Projekt nicht alle diese Vergleiche nutzen! Die Darstellung der verschiedenen Arten über die verschiedenen Möglichkeiten das Passende auswählen können. 1. Vorher-Nachher-Vergleich Bei Vorher-Nachher-Vergleichen werden von Vergleichen soll Ihnen einen Überblick verschaffen, aus denen Sie je nach Bedarf

Schüler aus derselben Klasse, die nicht am haben, miteinander verglichen werden. Ansonsten könnte es ja auch sein, dass sich die Noten der gesamten Klasse

Nachhilfeangebot von PAFF teilgenommen

verbessert haben, weil die Klasse zum Beispiel eine neue Mathelehrerin bekommen hat und die Teilnahme am NachhilfeangeFaktor für die Notenverbesserung der bei PAFF teilnehmenden Jugendlichen war. 2. Soll-Ist-Vergleich Soll-Ist-Vergleiche vergleichen die tatten Zielen (Soll-Werten) des Projekts.

Veränderungen im Zeitverlauf dargestellt. Beispiel: Es soll festgestellt werden,

bot somit gar nicht der ausschlaggebende

ob sich die Mathe-Note bei den Schü-

lern innerhalb einer Schulklasse, die am (positiv) verändert hat (vgl. hierzu die Tabelle oben).

Nachhilfeangebot von PAFF teilnehmen,

sächlichen Resultate mit den angestreb-

Mögliche Schlussfolgerungen im Rahmen der Analyse: Der Notendurchschnitt der teilnehmen-

Beispiel 1: Es soll festgestellt werden, den Jugendlichen, die direkt nach dem

Abb.: Tabelle zum Beispiel 1 „Soll-Ist-Vergleich“

den Schüler hat sich innerhalb von zwei

ob sich der Prozentsatz der teilnehmen-

Übergangsquote tatsächlich Projektjahr 1 Projektjahr 2 Projektjahr 3 50% 75 % 60%

Übergangsquote Soll-Wert 70% 70% 70%

Differenz Prozentpunkte -20 *1 +5 -10 *2

91

Schulabschluss einen Ausbildungsplatz erhofft.

bekommen haben, so entwickelt hat, wie

*2: Nachdem im Vorjahr der Soll-Wert wieder gesunken. Kein Grund zur „Pa-

erreicht wurde, ist die Übergangsquote nik“, aber zur Aufmerksamkeit. Gründe Qualitätsverlust festgestellt werden?

*1: Das Projekt hat im ersten Jahr seine

gesetzten Ziele nicht erreicht. Hier sollte der Projektinhalte und Abläufe zu einer zeitig sollte auch überlegt werden, ob

dafür können im Projekt liegen (Kann ein Gibt es veränderte Anforderungen, auf

nachgefragt werden, ob eine Veränderung Verbesserung beitragen könnte. Gleichdas Ziel eventuell zu hoch gesteckt war

die bislang nicht reagiert wurde?) oder

außerhalb des Projekts (zum Beispiel ein

Rückgang der Zahl der angebotenen Lehrden Problembaum (→ Kap. 1 ) hilfreich,

und angepasst werden sollte. Gerade zu gen vorliegen, kann das passieren. Ein kann hier hilfreich sein.

stellen in der Region). Hier ist ein Blick auf der das gesamte Ursachen- und Auswirsich das Projekt bewegt.

Projektbeginn, wo noch wenige ErfahrunVergleich mit (vergleichbaren) Projekten

kungsgefüge darstellt, innerhalb dessen

Beispiel 2: Festgestellt werden soll, ob die Paten mit ihrer Betreuung durch die Patenbetreuer zufrieden sind.
sehr zufrieden 10 % (n=5) ziemlich zufrieden 50 % (n=25)

ziemlich unzufrieden 30 % (n=15)

sehr unzufrieden 10 % (n=5)

insgesamt 100 % (n=50)

Mögliche Schlussfolgerungen im Rahmen der Analyse: 40 % der Paten sind mit der Betreuung nicht zufrieden. Auch wenn sich die Projektverantwortlichen hier keinen

überraschend und viel zu hoch war. Woran kann die Unzufriedenheit liegen? Lässt sich herausfinden, ob es sich zum Beispiel gruppe sind? Wie regelmäßig besteht zu diesen Paten Kontakt? Was kann getan

um Paten handelt, die in derselben Paten-

expliziten Soll-Wert gesetzt hatten, mit

dem diese Ergebnisse verglichen werden

können, bestand nach der Auswertung der Daten Einigkeit darüber, dass dieser Wert

werden, um die Zufriedenheit zu steigern?

Beispiel 3: Vergleich der Erwartungen/Zielsetzungen der Teilnehmenden und ihrer Paten mit den tatsächlich erreichten Ergebnissen.
Note zu Beginn der Patenschaft Mathe-Note 5 5 gemeinsam gestecktes Ziel für das Ende des Schuljahrs 3 3

Note im Zwischenzeugnis 5 4

Note zu Schuljahresende 4 3

Deutsch-Note

92

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Bei PAFF überlegen sich die Paten„kinder“ und ihre Paten gemeinsam, welche (realistischen) Verbesserungen sie bei erreichen wollen.

Angesichts der Ergebnisse sollte gemein-

WIRKUNG PLANEN

sam mit dem Patenkind überlegt werden:

der Mathe- und Deutsch-Note gemeinsam

„Was von den gemeinsam gesteckten Zie-

len haben wir erreicht? Wo können wir uns wir noch etwas tun? Welche zusätzlichen Maßnahmen, zum Beispiel die Teilnahme nen dabei unterstützen?“

schon auf die Schulter klopfen? Wo müssen

WIRKUNG ANALYSIEREN

Mögliche Schlussfolgerungen im Rahmen der Analyse:

an zusätzlichen Nachhilfeangeboten, kön-

3. Vergleiche zwischen verschiedenen Möglichkeiten der Konzeptgestaltung Vergleiche zwischen verschiedenen

zept zum Beispiel nach einer Evaluation

WIRKUNG VERBESSERN

geändert wurde, können die Ergebnisse

der vorherigen Evaluation mit denen der

Möglichkeiten der Projektdurchführung

neuen Evaluation verglichen werden, um zu anderen/besseren Resultaten geführt haben.

1 2 3

erlauben Rückschlüsse auf die Erfolgsfak-

festzustellen, ob die Veränderungen auch

toren eines Projekts. Wenn das Projektkon-

Er

gb ol

ei d

Konzept PAFF mit zusätzlichem Bewerbungstraining Konzept PAFF ohne Bewerbungstraining

Mögliche Schlussfolgerungen im Rahmen der Analyse: Das Bewerbungstraining scheint einen

(zum Beispiel Nachhilfe durch ausgebildete Lehrkräfte) gibt es im Projekt, und lassen sich daraus Rückschlüsse auf die ErfolgsBeispiel die Teilnehmenden, die einen

50%

+15%

er Lehrstelle

f

ns u

c

Beispiel: Festgestellt werden soll, ob die Jugendlichen, die zusätzlich zu der Patenschaft noch ein Bewerbungstraining hatten, lensuche haben.

– he
Üb e

rgangsquote n

mehr Erfolg bei der Lehrstel-

positiven Effekt auf die Übergangsquote zu haben. In diesem Beispiel hatten die Projektverantwortlichen schon aus ihren

kriterien des Projekts ziehen? Haben zum Ausbildungsplatz gefunden haben, davor am Bewerbungstraining teilgenommen? Waren die Jugendlichen, deren Schulnoten die den Nachhilfeunterricht bei einer ausgebildeten Lehrkraft hatten?

Erfahrungen im Projektalltag das Gefühl,

dass das Bewerbungstraining ein wichtiger in eine Ausbildung ist. Bei der Analyse bestätigt.

Erfolgsfaktor für den erfolgreichen Einstieg der Daten wurde diese Vermutung dann

sich deutlich verbessert haben, diejenigen,

Wenn zunächst noch nicht klar ist, auf

Antworten auf diese Fragen können bei der Entwicklung von Qualitätskriterien sehr hilfreich sein. So wurde bei PAFF beschlossen, die Nachhilfe, soweit das die finanziellen Ressourcen zulassen, von ausgebilstatt wie davor auch von Studenten. deten Lehrkräften durchführen zu lassen,
93

welchen Faktoren bei der Analyse das Augefragt: Welche verschiedenen Bestandteile (zum Beispiel Bewerbungstrainings oder Nachhilfe) und Qualitätsfaktoren

genmerk liegen sollte, ist mehr „Spürsinn“

Beispiel: Festgestellt werden soll, ob alle (Unter-)Zielgruppen wie geplant erreicht werden.
Teilnehmende
Jungen Mädchen Insgesamt

Mögliche Schlussfolgerungen im Rahmen der Analyse: Bei der Bedarfsanalyse hatte PAFF JuZielgruppe mit besonders hohem Förbesonders fördern. Offenbar werden

PAFF mit zusätzlichem Bewerbungstraining
mit Migrationshintergrund mit Migrationshintergrund ohne Migrationshintergrund ohne Migrationshintergrund 15 20 5 10

gendliche mit Migrationshintergrund als derbedarf identifiziert und möchte diese jedoch Mädchen mit Migrationshintergrund vergleichsweise wenig erreicht. Hier sollte nach den Gründen gefragt

50

werden: Spiegelt die Zahl die Verteilung

4. Vergleiche zwischen Zielgruppen / Unterzielgruppen

und die Bedarfe in den derzeit betreuten dass es in einer Jahrgangsstufe wenig

Klassen wider? Es kann ja durchaus sein, Schülerinnen mit Migrationshintergrund gibt, die für die Teilnahme am Patenprojekt in Frage kommen. Oder muss überlegt werden, wie man gezielt bei dieser fördern kann?

Vor dem Hintergrund bestimmter Frageund -analyse die Differenzierung nach gruppen hilfreich sein.

stellungen kann bei der Datenauswertung verschiedenen Zielgruppen bzw. Unterziel-

(Unter-)Zielgruppe eine Projektteilnahme

5. Vergleiche zwischen Projekten / Benchmarking

sind: Mit wenigen Ausnahmen wird es kaum ein Projekt geben, das sich (zuanderen vergleichen lässt. Hier lohnt mindest in Teilen) mit überhaupt keinem es sich, die Augen offen zu halten und zu suchen.

Benchmarking ist eine besondere Form des mark“ lässt sich übersetzen mit Maßstab oder Bezugsgröße und Benchmarking entsprechend mit „Maßstäbe setzen“.

Lernens zwischen Organisationen. „Bench-

gezielt Kontakte zu ähnlichen Projekten

Mit Benchmarking ist hier ein (kontinuierlicher) Vergleich von Kosten, Resultaten oder Wirkungen mit anderen vergleichsich um vergleichbare Projekte anderer

Will man ein „methodisch korrektes“ Benchmarking durchführen, handelt es sich um ein sehr aufwändiges Verfahund auf das im Rahmen dieses Kurs­Es soll aber ein Grundgedanke des

baren Projekten gemeint. Dabei kann es Organisationen handeln, aber auch um das Benchmarking kann zwar das gesamte

ren, das einiges an Expertise voraussetzt buchs nicht eingegangen werden kann. Benchmarkings kurz aufgegriffen werden: nämlich, dass Benchmarking eine Orientierungshilfe für die eigene Weiterentwicklung sein kann.

gleiche Projekt an einem anderen Standort. Projekt umfassen, sinnvoller ist oft jedoch des Projekts.

der Fokus auf einen bestimmten Teilaspekt

Die Voraussetzung für sinnvolle Verglei-

che zwischen Projekten ist natürlich eine

Mit der Idee im Hinterkopf, dass Benchdie wirkungsorientierte Weiterentwicklung eines Projekts bieten, kann Bench-

grundsätzliche Vergleichbarkeit. Aber auch wenn Projekte oft sehr individuell gestaltet
94 © PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

marking-Vergleiche eine große Chance für

marking für das Mit- und Voneinander­ lernen von Organisationen genutzt werden. Deshalb: Halten Sie im Rahmen die Augen gezielt nach Organisationen Wenn Sie dabei feststellen, dass eine

chen Projektbaustein in ihrem Konzept hat: Suchen Sie den Austausch! Vielleicht ergeben sich daraus Erkennt­ nisse, wie Sie Ihre eigenen Prozesse, Konzepte und Ergebnisse noch weiter übergreifend gelernt werden kann.

WIRKUNG PLANEN

eines „alltagstauglichen Benchmarkings“ offen, die vergleichbare Projekte umsetzen. Organisation besonders wirkungsvoll

verbessern können und organisations­

WIRKUNG ANALYSIEREN

und/ oder effizienter arbeitet als Ihre Organisation oder einen interessanten zusätzli-

WIRKUNG VERBESSERN

Beispiel: Vergleich der Übergangsquoten in Ausbildung von drei Projekten
Projekt Übergangsquote der Teilnehmenden in Ausbildung im Jahr x PAFF 60% Hop on the Job 75% Jobonauten 65%

1 2 3

Mögliche Schlussfolgerungen im Rahmen der Analyse: Der Vergleich mit zwei anderen Projekten ten erzielen als PAFF. Hier sollte zunächst festgestellt werden, ob es sich um ver-

nicht repräsentativ ist. Im nächsten Schritt sollten die Projektverantwortlichen von PAFF den Austausch mit den anderen Pro„Erfolgsfaktoren“ (zum Beispiel zusätzliche Trainings, Praktikumsangebote, eine die Paten) sind und ob möglicherweise ins Projektkonzept zu integrieren.

ergibt, dass diese höhere Übergangsquo-

jekten suchen, um herauszufinden, was die

Beschreibung

Marginalientext

gleichbare Ansätze handelt, ob die Projekte in derselben Region tätig sind beziehungsweise in einer Region mit vergleichbaren Rahmenbedingungen und ob die Projekte ob es sich zufällig um einen besonders

längere oder intensivere Betreuung durch versucht werden sollte, diese auch bei PAFF

Vorsicht vor falschen Schlüssen!
Die Analyse der Daten sollte so objektiv wie möglich sein.

regelmäßig so gute Resultate erzielen oder guten Jahrgang handelt, und das Ergebnis
Projektbeispiel PAFF

In manchen Fällen kann es notwendig sein, auf der Grundlage der Analyse noch weitere Daten (evtl. mit anderen Instrumenten) zu erheben: Als bei einer der regelmäßigen Fragebogen-Umfragen bei den Paten von PAFF eine überraschend hohe Unzu­ riedenheit mit der Betreuung durch die Projekt­eitung festgestellt wurde, f l entschloss man sich, der Sache durch eine quali­ ative Befragung im Rahmen einer Fokust gruppe mit den Paten auf den Grund zu gehen.

Bei der Analyse und der Bewertung sollte man sich daher stets im Klaren sein, welche Grundannahmen und Wertevorstellungen hinter der Interpretation der Daten stehen. So kann zum Beispiel die Entscheidung einer Jugendlichen, Friseurin zu werden, von jemandem, der einer akademischen Laufbahn einen höheren Wert zumisst, als unbefriedigendes Ergebnis einer berufsorientierenden Maßnahme gewertet werden, während es sich für die junge Frau um den Traumberuf handelt.

95

Fragen für die Datenauswertung

Fragen für den Plausibilitätscheck

Schritt

1

Schritt

2

Fragen für die Datenanalyse (Vergleiche)

Fragen für die Datenanalyse (Schlussfolgerungen)

Schritt
Wie ist das Ergebnis im Vergleich zu den geplanten Resultaten?

3

Fragen für die Handlungsempfehlungen

Schritt

4

Wie viele Jugendliche erhalten einen Ausbildungsplatz? Wie verändern sich die schulischen Leistungen?

Wurde die Auswertung einer Qualitätskontrolle unterzogen?

Warum ist das so? Lassen sich Ursachen und/oder Zusammenhänge erkennen?

Wie kann das geändert werden? Muss das Projekt angepasst werden? Müssen die Pläne angepasst werden? Was sollte getan werden? Zusätzlich zu den bestehenden Bestandteilen des Projekts ist es wichtig, die Jugendlichen beim Lernen zu unterstützen. Daher wurde bei PAFF beschlossen, ein zusätzliches Nachhilfeangebot zu schaffen.

50 % der Jugendlichen, die am Patenprojekt teilnehmen, erhalten einen Ausbildungsplatz. Die schulischen Leistungen in den Kernfächern liegen bei einem Notendurchschnitt von 3,6.

Die Daten wurden bei der Eingabe überprüft und die Ergebnisse in einer Auswertungssitzung diskutiert.

Das Projekt bleibt hinter seinem Ziel, 70% der Jugendlichen in eine Ausbildung zu vermitteln, zurück. Die schulischen Leistungen vor allem in den Kernfächern haben sich nur minimal verbessert.

Vor allem die Jugendlichen, bei denen sich (u.a.) die Schulleistungen nicht verbessert haben, haben keinen Ausbildungsplatz bekommen. Offenbar sind die Schulleistungen einer der entscheidenden Faktoren für einen erfolgreichen Übergang in eine Ausbildung.

Schritt 4: Schlussfolgerungen

und Handlungsempfehlungen
Abb.: Anhand des Projektbeispiels werden die vier Schritte noch einmal im Über­ blick gezeigt.

Handlungsempfehlungen „im stillen Kämmerlein“ zu entwickeln, ist zumeist ein effektives Mittel, um deren Umsetzung zu verhindern. Wie im erungskreislauf ist auch hier das restlichen wirkungsorientierten Steupartizipative Vorgehen der Schlüssel

Auch die aufwändigste Datenerhebung und -analyse nützt nichts, wenn die Ergebnisse daraus nicht genutzt werden. Im vierten Schritt geht es daher darum, aus lungsempfehlungen abzuleiten. Handden Ergebnissen der Datenanalyse Handlungsempfehlungen leiten die Nutzung der Ergebnisse aus der Wirkungsanalyse ein. Für die wirkungsorientierte Steuerung ist

zum Erfolg. Die Ergebnisse sollten im

Rahmen eines Workshops den relevantiert werden. Auch hier kann es unter

ten Stakeholdern vorgestellt und diskuUmständen sinnvoll sein, Fachexperten einzubeziehen. Auf der Grundlage der Diskussionsergebnisse sollten dann gemeinsam die Empfehlungen formu-

dies ein zentraler Schritt, bei dem sehr viel Positives entstehen kann, wenn er reflektiert umgesetzt wird.
96 © PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Was tun bei „schlechten“ Resultaten?

WIRKUNG ANALYSIEREN

WIRKUNG VERBESSERN

1 2 3

Auch wenn Sie in Ihrem Projekt exzellente Arbeit leisten, kann es vorkommen, dass die erzielten Resultate nicht Ihren Erwartungen (oder den Erwartungen der Stakeholder) entsprechen. Was sollten Sie in einem solchen Fall tun? Zunächst einmal sollte im Rahmen der Datenanalyse nach den Gründen für die Abweichungen gesucht werden. Die Gründe können dabei innerhalb und außerhalb des Projekts liegen. Dabei sollten die Resultate stets in den weite­ ren Kontext des Projekts eingeordnet werden, damit verständlich wird, wie die Ergebnisse zu bewerten sind. Der Problembaum ist hierfür ein nützliches Instrument ( → Kap. 1). Ein systematisches Monitoring während des Projekts sollte verhindern, dass Sie von „schlechten“ Ergebnissen überrascht werden. Bemühen Sie sich hier auch um einen regelmäßigen Austausch mit den Stakeholdern und informieren Sie sie über den Stand der Dinge. Verdeutlichen Sie dabei, warum Resultate hinter den Erwartungen zurückbleiben und welche Gegenmaßnahmen Sie planen. Im Idealfall sollten Geldgeber dies honorieren und den Lern- und Verbesserungsprozess aktiv unterstützen, anstatt „abzustrafen“. Als die Evaluation bei PAFF ergeben hatte, dass die mangelnden Sozialkompetenzen der Jugendlichen ein entscheidendes Hemmnis beim Schritt in die Ausbildung sind, hat die Projektleitung gemeinsam mit ihrem Hauptgeldgeber, einer Förderstiftung, ein Sozialkompetenztraining als weiteres Projektmodul konzipiert, das nun auch von der Stiftung finanziert wird. Auf jeden Fall sollten Sie versuchen, die Erkenntnisse zu nutzen, um einen Lernund Verbesserungsprozess einzuleiten. Das Thema „Lernen und Verbessern“ ist Inhalt des nächsten Kapitels ( → Kap. 8).

liert werden, sodass sich die Stakeholder damit identifizieren können und bereit sind, die nächsten Schritte umzusetzen beziehungsweise mitzutragen.

97

TEIL 3: WIRKUNG VERBESSERN
„Alles kann immer noch besser gemacht werden, als es gemacht wird.“
Henry Ford (*1863 – † 1947)

Das sind die Inhalte von Teil 3 des Kursbuchs:

3

In Kapitel 8 erfahren Sie, wie Sie die Ergebnisse aus der Wirkungsanalyse nutzen können, um daraus zu lernen und Strukturen, Prozesse und Strategien in der Projektarbeit anpassen und verbessern zu können.

In Kapitel 9 erfahren Sie, wie Sie die Ergebnisse der Wirkungsanalyse für Ihre Berichterstattung und Öffentlichkeitsarbeit nutzen können.

In Kapitel 10 erfahren Sie, wie Sie auf Grundlage von positiven Ergebnissen aus der Wirkungsanalyse feststellen können, ob und wie Sie Ihr wirkungsvolles Projekt verbreiten können.

Zum Weiterlesen – Direktdownload Lesen Sie zum Thema auch unsere Studie „Wirkungsorientierte Steuerung in Non-Profit-Organisationen – Wirkung und Transparenz schaffen“ Download unter www.phineo.org/publikationen

98

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

K

U

N

G

R VE

BE

N SSER

WIRKUNG PLANEN

TE
Herausforderungen und Bedarfe T verstehen E I L 1
Herausforderungen und Bedarfe verstehen

IL

L3 –W

K

U

Über Wirkung R N E ESS berichten RB VE G N
Über Wirkung berichten

1
–
W
WIRKUNG ANALYSIEREN

L3 –W

TEI

Lernen und anpassen
TEI

Lernen und anpassen

9

8

9

1

1

8 7

2 3 6 5 4

2

Wirkungsziele setzen

Wirkungsziele setzen
KU
NG

WIRKUNG VERBESSERN

Daten 7 Daten auswerten und auswerten und analysieren analysieren

3 Wirkungslogik Wirkungslogik
erarbeiten

erarbeiten

1 2 3

IR

IR
KU

–
W

IR

NG

IR

PLA

PLA

NEN

NEN

Daten erheben

6

5

4

Wirkungsanalyse vorbereiten

2

Daten 2 – erheben W IR KU

TE
IL

Indikatoren entwickeln

Wirkungsanalyse vorbereiten

A Auf Ihrer Seereise haben Sie nun schon N A L die Ergebnisse daraus nicht nutzen würden. IEREN
einiges erlebt. Nach der Planung der Reise sind Sie in See gestochen und haben nach

einer schönen, aber zum Teil auch abenteuerlichen Fahrt Kurs auf Ihr Ziel genommen. Dabei haben Sie von Zeit zu Zeit Ihren Kurs bericht geschrieben. Und angesichts des

angepasst, Logbuch geführt und einen Reisegroßen Erfolgs und des positiven Feedbacks Personen in den Genuss einer solchen Reise kommen können.

der Passagiere überlegen Sie, wie noch mehr

Auch in der wirkungsorientierten Projektsteuerung haben Sie bereits viel getan: Sie haben Ziele und eine Wirkungslogik formuliert, Ihr Monitoring- und Evaluationssystem eingeführt, auf der Grundlage von Indikatoren

Daten erhoben, die Ergebnisse ausgewertet und Empfehlungen abgeleitet. Nun geht es darum, die Ergebnisse auch zu nutzen. Die

Wirkungsanalyse hätte wenig Sinn, wenn Sie

TE
IL
–

NG

W

A N A LY S I E R E N Indikatoren

IR

KU

entwickeln

NG

YS

Das wäre in etwa so, als würden Sie einen Marathon laufen und sich kurz vor dem trinken gehen. Ziel auf die Schulter klopfen und Kaffee

Teil 3 des Kursbuchs beschäftigt sich mit analyse.

der Nutzung der Ergebnisse der Wirkungs-

Lernen, Verbessern und Kommunizieren sind nicht strikt voneinander zu trennen. Sie ergänzen und überschneiden sich. Dass es sich dabei nicht um lineare Abläufe handelt, die nacheinander umgesetzt werden, sollte beim weiteren Lesen im Hinterkopf behalten werden.

sondern um Prozesse, die ineinandergreifen,

99

8. LERNEN UND VERBESSERN

In diesem Kapitel erfahren Sie, … •	 warum Lernen für die wirkungs	 orientierte Projektarbeit wichtig ist. •	 was eine lernende Organisation 	ausmacht.

Informationen aus Ihrer Navigation ergeben

haben, dass Sie vom Kurs abgekommen sind, haben Sie diesen angepasst. Und als Sie aufgrund einiger Rückmeldungen und noch voldas Essen nicht so richtig schmeckt, haben

len Tellern gemerkt haben, dass Ihren Gästen Sie dies bei Ihren regelmäßigen Mannschaftsmeetings thematisiert. Es stellte sich heraus, dass einige Passagiere seekrank waren, der Koch aber nicht genügend Zeit und nicht die notwendigen Zutaten hatte, um eine entsprechende Schonkost zuzubereiten.

•	 wie Sie aus den Ergebnissen Ihrer 	 Wirkungsanalyse lernen und Verbesse	 rungen ableiten können.

Nach Ihrer Seereise reflektieren Sie ge­ ein­ m Sie Ihr Ziel erreicht haben und wie die Reise gelaufen ist. Sie diskutieren, was Sie beim nächsten Mal anders machen können, um

sam mit Ihrer Mannschaft, ob und inwieweit

Gemeinsam haben Sie daraufhin überlegt, wie man das Essen trotz der Situation ver­ bessern kann.

Ihre Ziele besser zu erreichen und halten dies in Ihrem abschließenden Reisebericht fest. Sie sich regelmäßig mit Ihrer Mannschaft Probleme und Reklamationen so schnell Aber auch schon während der Seereise haben und den Passagieren ausgetauscht, um auf wie möglich reagieren zu können. Wenn die

Lernen bedeutet eine regelmäßige Auseinandersetzung mit den Ergebnissen aus der Wirkungsanalyse, die sich an der übergeordneten Frage orientiert, ob und inwieweit sich Ihr Projekt in Richtung seiner angestrebten

Wirkungsziele bewegt. Im Rahmen des Lern-

100

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

prozesses können Sie Stärken und Schwächen identifizieren sowie Potenziale erkennen und gegebenenfalls Verbesserungen ableiten. Qualität, die Wirkung und die WeiterentLernen ist damit eine Voraussetzung für die wicklung Ihres Projekts. Eine Organisation, die zwar ein Monitoring durchgeführt hat und evaluiert, aber die Ergebnisse weder

Ereignis, sondern ein dynamischer Prozess, der während des gesamten Projektzyklus stattfindet. Um dies zu gewährleisten, muss dafür sorgen, dass eine Lernkultur selbst-

WIRKUNG ANALYSIEREN

die Organisationsleitung Lernen fördern und verständlicher Bestandteil der Organisation ist. In einem lernfreudigen Umfeld werden Informationen zugänglich gemacht und Lernanreize geschaffen. Gleichzeitig muss

WIRKUNG VERBESSERN

hinterfragt noch aus ihnen lernt, läuft Gefahr, zu stagnieren und die Arbeit wie gewohnt ten Wirkungen nicht einstellen oder sich fortzuführen, auch wenn sich die erwünschBedarfe und Rahmenbedingungen ändern.

1 2 3

die Organisationsleitung die notwendigen

Ressourcen zur Verfügung stellen, damit Lererster Linie um Zeit, die den Mitarbeitenden

nen stattfinden kann. Dabei handelt es sich in für gemeinsame Reflexionsprozesse zur VerSachkosten hervorrufen, wenn zum Beispiel ein Wissensmanagementsystem aufgebaut zogen werden. werden soll oder externe Experten hinzuge-

Die Analyse der Daten aus der Wirkungsanalyse ( → Kap. 7) ist dabei die Grundlage für das Lernen.

fügung stehen muss. Lernen kann aber auch

Wie funktioniert wirkungsorientiertes Lernen in der Praxis? Im Folgenden soll zunächst auf die Voraussetzungen für Lernen auf Organigezeigt werden, wie Lernen innerhalb einer sationen funktionieren.

Beschreibung

Marginalientext

sationsebene eingegangen werden. Dann soll Organisation sowie Lernen zwischen Organi-

Die Lernkultur sollte dabei Hand in Hand mit einer Fehlerkultur gehen, das heißt, Fehler und Schwächen werden akzeptiert mit dem Die Mitarbeiter einer Organisation müssen zu werden und offen sprechen zu können. Werden im Rahmen der Wirkungsanalyse

Wichtig zu wissen: Was bringt Lernen?
Gemeinsames Lernen aus den Ergebnissen Ihrer Wirkungsanalyse…

Ziel, daraus zu lernen und sich zu verbessern. das Gefühl haben, zu Diskussionen ermutigt

8.1 VORAUSSETZUNGEN FÜR EINE „LERNENDE ORGANISATION“
Um effektiv aus der Wirkungsanalyse lernen zu können, müssen nicht nur Daten vorhanden sein, sondern es sollten in der Organisation bestimmte lernfördernde VorausOrganisationsleitung, die Ressourcen, die

•	verbessert kontinuierlich

	 Prozesse und idealerweise die 	 Wirkung Ihres Projekts.

aufgedeckte Fehler und Schwächen hingegen dafür benutzt, um Verantwortliche zu finden und diese dann abzustrafen, ist ein

•	baut Wissen im Projekt und in
	 der Organisation auf.

•	stellt die Vorbereitung für •	trägt zur Motivation der
	 	 	 	

	 wichtige Entscheidungen dar. Mitarbeiter bei, indem Erfolge sichtbar werden und eine stärkere Identifikation mit der eigenen Arbeit begünstigt wird.

offener Austausch kaum möglich. Es werden Lernpotenziale vergeben und die Mitarbeiter werden die Wirkungsanalyse als bloßes Komponente, die Lernen fördert, ist eine

setzungen erfüllt sein. Diese umfassen die für Lernprozesse zur Verfügung stehen, eine Lern- und Fehlerkultur, die Organisationsstruktur, das Wissensmanagement und den transparenten Umgang mit Informationen. Lernen ist kein einmaliges oder punktuelles

Kontrollinstrument empfinden. Eine weitere Organisationsstruktur mit definierten Rollen und Verantwortlichkeiten für das Sammeln, die Nutzung und das Teilen von Wissen.

•	fördert bei den Mitarbeitern

	 das Verständnis für die 	 Notwendigkeit einer Wirkungs	 analyse sowie für die auf 	 Basis der Ergebnisse aus der 	 Wirkungsanalyse getroffenen 	Entscheidungen.

101

Projektbeispiel PAFF: Als das Projekt PAFF begann, waren die Ideen und das Wissen in den Köpfen einiger weniger Personen verankert. Über vieles brauchte man sich gar nicht erst zu verständigen, alle wussten, um was es geht und wie die Abläufe organisiert sind. Mit der steigenden Zahl der Paten und der Patengruppenbetreuer wurde deutlich,

dass man nicht mehr davon ausgehen konnte, dass alle alles wussten und auf dem aktuellen Wissensstand waren. Der

Vorstand setzte daher einen Schwerpunkt auf das Thema „Lernen“. In diesem Zusammenhang wurden nun regelmäßige Workshops sowohl für die Paten als auch für die Patengruppenbetreuer institutionalisiert. Im Rahmen des Wissensmanagements werden Beschlüsse nach bestimmten Vorgaben dokumentiert und abgelegt.

In regelmäßigen Abständen wird an alle Paten eine Info-Mail verschickt, und die Dokumentationen der Fortbildungen sind allen im Intranet zugänglich. Für die Abläufe wurden Verantwortlichkeiten festgelegt. Im Rahmen der Lern- und Fehlerkultur werden die Paten bei den Patengruppentreffen ermutigt, auch von Misserfolgen oder Probleme, die ihnen bei ihrer Patentätigkeit begegnen, auf die Tagesordnung zu setzen, um sie in der Patengrupletzten Treffen im Rahmen ihrer Patenschaft ereignet hat. Dabei werden immer die Punkte: „Das hat mich besonders gefreut / Das hat besonders gut geklappt“ und „Hier war ich / wir unzufrieden / Das hat nicht geklappt / hier gab es Probleme / Eine Herausforderung für mich ist …“ thematisiert. Die Paten lernen dadurch, auch über Misserfolge zu sprechen, und es entsteht eine Kultur des Von- und Miteinanderlernens.

zu sprechen und diese in der Gruppe zu diskutieren. Dafür haben die Paten zum einen die Möglichkeit, Themen, Fragen pe zu besprechen. Zum anderen erzählen bei der Anfangsrunde zu Beginn der Treffen alle Paten kurz, was sich seit dem

Gerade in gemeinnützigen Organisationen mit vielen (ehrenamtlichen) Mitarbeitern, die nicht immer anwesend sind oder häufiger wechseln, ist es wichtig, Prozesse und ten, damit Wissen nicht verlorengeht. Um langfristig für die Organisation verfügbar Ergebnisse zu dokumentieren und festzuhalsicherzustellen, dass die Lernergebnisse auch sind, ist es hilfreich, ein Wissensmanagement zu haben, welches den Zugang zu den relevanten Informationen vereinfacht und das

Öffentlichkeit. Transparenz ermöglicht den Dialog und das Lernen untereinander und erfüllt gleichzeitig eine legitimatorische

Funktion, da durch Transparenz sichtbar wird, was Sie mit Ihrer Arbeit erreichen und wie → Kap. 9). Gelder eingesetzt werden (hierzu ausführlich

8.2 LERNEN IN DER ORGANISATION
Eine Möglichkeit, konkrete Gelegenheiten zum Lernen anzubieten, sind regelmäßige Treffen. Wann, wie oft und mit wem Treffen sinnvoll sind, richtet sich nach der Auswerden Inhalten, die Sie diskutieren möchten. tung der Daten aus der Wirkungsanalyse und Unterschieden werden kann hier grundsätzlich zwischen Lernen auf Basis von MonitoEvaluationsergebnissen. ringdaten und Lernen auf der Grundlage von

Sammeln, Dokumentieren und Abspeichern von Wissen erleichtert. Dies lässt sich auch mit einfachen Mitteln realisieren.

Ein zentrales Prinzip einer lernenden Orgamuss bereit sein, ihre Prozesse, Leistungen sichtbar und Informationen zugänglich zu machen, damit sie sich weiterentwickeln

nisation ist Transparenz. Eine Organisation und Wirkungen gegenüber den Stakeholdern

kann. Unterscheiden kann man interne und externe Transparenz, das heißt einmal die Transparenz innerhalb einer Organisation, etwa gegenüber den Mitarbeitern und der Organisationsleitung, sowie nach außen

Monitoringdaten werden regelmäßig ge-

sammelt, entsprechend können hierfür auch regelmäßige Austauschtreffen festgelegt werden. Bei einem regelmäßigen Austausch

gegenüber externen Stakeholdern oder der

geht es vor allem darum, die laufende Arbeit

102

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Die Wirkungslogik und deren Umsetzung hinterfragen
Die Wirkungslogik erklärt gut, wie die gewünschte Wirkung erreicht wird. Das Projekt wird nicht wie geplant umgesetzt. Die Resultate weichen von den Zielen ab. Es müssen operative Verbesserungsmaßnahmen eingeleitet werden. Die Wirkungslogik erklärt nur ungenügend, wie die gewünschte Wirkung erreicht wird. Das Projekt wurde nicht wie geplant umgesetzt und die Ziele nicht erreicht. gute Planung Die Wirkungslogik erklärt gut, wie die gewünschte Wirkung erreicht wird. Das Projekt wird wie geplant umgesetzt und die Ziele erreicht. Das ist der Idealfall: So weiterführen und Projekt evtl. verbreiten. Die Wirkungslogik erklärt nur ungenügend, wie die gewünschte Wirkung erreicht wird. Obwohl das Projekt wie geplant umgesetzt wurde, weichen die Resultate von den Zielen ab.

WIRKUNG PLANEN

WIRKUNG ANALYSIEREN

mangelnde Planung

WIRKUNG VERBESSERN

Das Projekt sollte von Grund auf neu konzipiert werden. Gegebenenfalls sollte das Projekt eingestellt werden.

Die Wirkungslogik und der Handlungsansatz müssen überdacht werden.

1 2 3

mangelnde Umsetzung

gute Umsetzung

anhand der vorhandenen Monitoringdaten und wahrgenommenen Erfahrungen zu diskutieren. Dies geschieht vor allem auf

Evaluationsergebnissen beschäftigen Sie

sich nicht nur damit, ob Ihre Aktivitäten im selbst. Es können Schlussfolgerungen und Handlungsempfehlungen für die künftige

Ebene des Projektteams. Konkret bedeutet

Plan sind, sondern stärker auch mit dem Plan

das, sich regelmäßig damit auseinanderzuKurs ist und sich in Richtung angestrebter

setzen, ob das Projekt auf dem vorgesehenen Wirkungen bewegt, um bei Bedarf frühzeitig gegensteuern zu können. Stellen Sie sich in den regelmäßigen Austauschtreffen unter wie: Wo haben wir unsere Ziele erreicht

Ausrichtung der Arbeit besprochen und auch die Wirkungsziele und die Wirkungsanalyse selbst in den Fokus genommen werden:

Für das kritische Hinterfragen Ihrer Wirkungslogik und deren Umsetzung ist die obige Grafik nützlich:
____ Grafik angelehnt an Zewo (2011: 123)

Müssen etwa auf Basis der Schlussfolgerungen Ziele neu definiert und die Richtung der Arbeit neu austariert werden? Hat sich die Wirkungsanalyse als praktikabel erwiesen und haben Sie dadurch die Erkenntnisse

Bezugnahme auf die Monitoringdaten Fragen beziehungsweise nicht erreicht und warum? Inwieweit weichen wir von unseren geplanten Ergebnissen ab? An welchen Stellen müssen wir uns (zum Beispiel durch eine Evaluadie Ursachen für die Ergebnisse finden? tion) die Ergebnisse genauer anschauen und

gewonnen, die Sie wollten? Ein Austausch sollte dann realisiert werden, wenn die Er-

und Lernen aus den Evaluationsergebnissen gebnisse zusammengestellt und ausgewertet sind. Eine gute Diskussionsgrundlage kann beispielsweise ein Berichtsentwurf sein, der nach dem Austauschtreffen finalisiert wird. Mögliche Fragen, denen Sie gemeinsam nachgehen können, sind zum Beispiel: Was waren die größten Erfolge? Gab es Fehler oder verpasste Chancen? Wo sollten Ak-

Evaluationen finden in größeren Abständen statt, sodass Lern- und Austauschtreffen Eine Evaluation setzt sich mit Ursachen hier anlassbezogen durchgeführt werden. und Zusammenhängen von Entwicklungen auseinander. Damit ermöglichen Evaluationen auch tiefergehende Diskussionen und

tivitäten angepasst werden? Können Best Practices identifiziert werden? Und auch: Funktioniert die Wirkungslogik in der Praxis?

Lernprozesse. Kurz gesagt: Beim Lernen aus

103

Tipps für Lernveranstaltungen

Projektbeispiel PAFF: In den regelmäßigen Treffen zur Analyse der Monitoring-Ergebnisse werden die aktuellen Monitoringdaten angeschaut, besprochen, mit den Erfahrungen abgeglichen und versucht, Rückschlüsse daraus zu ziehen. Es zeichnet sich ab, dass die Zufriedenheit der Jugendlichen mit der Patenschaft tendenziell eher abnimmt, die Monitoringdaten zeigen aber auch, dass es mehr Anfragen nach Patenschaften gibt. Einige Paten geben an, dass sie Probetermine von zusätzlichen interessierten Jugendlichen angenommen haben und dies zu einer zeitlichen Überforderung geführt hat. Es wird gemeinsam überlegt, wie die Situation verbessert werden kann, und beschlossen, dass eine Strategie zur Gewinnung neuer Paten ein sinnvoller Weg ist, um der wachsenden Nachfrage zu begegnen.

•	Planen Sie Lernveran-

staltungen fest ein, zum Beispiel mit einem „Lernkalender“, in den Sie die verschiedenen Austauschformate fest eintragen.

Muss sie weiterentwickelt werden? Sind die de liegen, richtig?

Wirkungsannahmen, die dem Projekt zugrun-

setzungen realistisch sind. Darüber hinaus

kann Ihnen der Kontakt zu und Austausch mit anderen Organisationen auch dabei helfen, gemeinsam mögliche Angebotslücken zu zusätzliche Angebote zu entwickeln. identifizieren und daraufhin zielgerichtet Obwohl ein persönlicher Austausch mit

•	Formulieren Sie im •	Machen Sie die

Das regelmäßige Reflektieren von und das Lernen aus den Monitoringdaten ist vor allem für das Projektteam und seine laufende Arbeit relevant. Wo dies sinnvoll ist, sollten hier auch weitere Stakeholder einbezogen

Vorfeld eine Agenda und ein Ziel für das Treffen. Teilnahme verpflichtend und schaffen Sie dafür Freiräume.

anderen Organisationen im Themenfeld die

werden. Vor allem aber bei der Auseinandersetzung mit Evaluationsergebnissen sollten die relevanten Stakeholder beteiligt sein.

direkteste Art des gemeinsamen Lernen ist,

•	Fokussieren Sie im

Treffen auf Problemlösen und Lernen für die Zukunft und nicht auf die rückwirkende Suche nach Verantwortlichkeiten für Fehler. Entscheidungen und formulieren Sie Handlungsschritte. Hilfreich sind hier die Fragen, die wir Ihnen im Rahmen des „Action Learning Cycles“ vorstellen (→ S.107)

Zum einen bringen die Stakeholder verschiedene Erfahrungen und Sichtweisen ein, was den Lernprozess qualitativ verbessert. Zum

Tipps für das Lernen von und mit anderen Organisationen

•	Treffen Sie gemeinsame

anderen müssen die Stakeholder auch die auf Grundlage des Lernprozesses eingeleiteten Veränderungen mittragen und zum Teil mitfinanzieren und sollten daher in den Entscheidungsprozess einbezogen werden.

•	Kennen Sie Ihr Umfeld - und zwar in

•	Halten Sie Entscheidun•	Greifen Sie diese bei

8.3 LERNEN VON UND MIT ANDEREN ORGANISATIONEN
Monitoring und Evaluationsergebnisse können nicht nur für das Lernen innerhalb einer Organisation genutzt werden, sondern auch

gen und „lessons learned“ fest und machen Sie diese zugänglich. Ihrem nächsten Treffen wieder auf und besprechen Sie den Stand der Umsetzung.

zweierlei Form: Zum einen sollten Sie Organisationen recherchieren, die sich im selben Themenfeld wie Sie bewegen, zum anderen ist mit Umfeld auch das lokale Umfeld gemeint. Welche Organisationen und Akteure sind hier tätig? Wie ergänzen sich diese oder gibt es Überschneidungen? Eine Umfeldanalyse sollte wie die Bedarfsanalyse bereits in der Planungsphase eines Projekts sowie auch weiterhin in regelmäßigen Abständen durchgeführt werden ( → Kap. 1).

für den lernorientierten Austausch zwischen Organisationen. Gerade für Organisationen, die ähnliche Projektansätze verfolgen oder ein Austausch sehr nutzbringend sein. Er

•	Um Lernpotenziale zwischen Organisa-

•	Und, nicht vergessen:

sich an die gleichen Zielgruppen richten, kann kann Ihnen dabei helfen, wesentliche Erfolgsund Qualitätskriterien für Ihre Zielgruppe zu bestätigen oder zu identifizieren, aber auch

Nutzen Sie den gemeinsamen Austausch auch, um Erfolge zu feiern!

tionen zu nutzen, tauschen Sie sich mit anderen Organisationen aus! Meist haben diese ähnliche Fragen und Probleme. Berichten Sie über Ihre Erfahrungen und bitten Sie diese um Feedback. Möglicherweise bietet sich auch eine Kooperation mit einer anderen Organisation an.

•	Machen Sie Ihre Wirkungen transparent
und werben Sie bei anderen Organisationen um deren Transparenz. Dadurch werden Erfolgs- und Qualitätskriterien sowie Best Practices zugänglich und nachvollziehbar. So kann ein wechselseitiges Lernen im Sektor stattfinden.

verdeutlichen, welche Erwartungen und Ziel-

104

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

ist es auch möglich, „indirekt“ von anderen

Organisationen zu lernen. Grundlage hierfür ist eine transparente Berichterstattung über Ergebnissen und Erfahrungen ( → Kap. 9).

Prozessen, Aktivitäten und Zielvorgaben

beginnt ein neuer Kreislauf, in dessen Verlauf die Aktivitäten und Ergebnisse wiederum überprüft, reflektiert und angepasst wer-

WIRKUNG ANALYSIEREN

8.4 GUTE ENTSCHEI­DUNGEN TREFFEN
Ein zentraler Nutzen einer lernorientierten Wirkungsanalyse ist es, Ihr Projekt in RichWenn Sie während Ihrer Reise feststellen, dass Sie vom Kurs abkommen, warten Sie

den. Durch immer wiederkehrendes Planen, Zielen näher.

Überprüfen und Anpassen kommen Sie Ihren

WIRKUNG VERBESSERN

Je nach Größe und Ressourcen einer Orgaunterschiedlich ausgeprägt sein. Während

tung Ihrer Wirkungsziele lenken zu können.

nisation können „Lenkungsmechanismen“ kleine Organisationen mit geringen Ressour-

1 2 3

natürlich nicht, bis Sie an einer anderen Insel anstatt an Ihrem Zielort ankommen, sondern bringen Ihr Schiff schon vorher wieder auf

cen möglicherweise nur wesentliche Monitoim Team über Anpassungen in den Abläufen einigen, reicht die Spanne bis hin zu großen Organisationen, die über ein ausgereiftes internes Controllingsystem und/oder ein Qualitätsmanagementsystem (siehe

ringdaten sammeln und sich niedrigschwellig

den richtigen Kurs zurück. Vielleicht entscheiden Sie aber aufgrund der aktuellen Wetterlage, dass Sie einen kleinen Umweg fahren. Auf Basis der Informationen, die Ihnen zu

diesem Zeitpunkt vorliegen, ändern Sie Ihren Kurs kurzfristig, ohne dabei jedoch Ihr Ziel aus den Augen zu verlieren.

→ S.106) verfügen. Doch ob groß oder klein: Für alle gemeinnützigen Organisationen ist es möglich, ihre Projekte und ihre Organisa-

tion auf Basis der Ergebnisse ihrer Wirkungsanalyse zu lenken. Zwar sind die Komplexität und Detailtiefe der Informationen je nach den bestehenden Möglichkeiten der Datenlegung unterschiedlich - in jedem Fall sind M&E-Informationen reflektierter, als Entdem Bauch heraus“ getroffen werden. aber Entscheidungen auch auf Basis weniger scheidungen, die mehr oder weniger „aus

Durch Ihre Wirkungsanalyse bekommen Sie Hinweise, wo Sie im Blick auf Ihre Wirkungsziele stehen, und durch die Ausein-

Lernen und Verbessern gehören untrennbar zusammen! Denn nichts ist frustrierender, als zu wissen, dass etwas nicht funktioniert, und trotzdem so weiterzumachen wie bisher.

Wichtig zu wissen: Lernen und Verbessern gehören zusammen!

andersetzung mit den Ergebnissen aus der Wirkungsanalyse werden informierte und reflektierte Entscheidungen möglich. Der

Reflexionsprozess zeigt aber nur dann Wirübersetzt werden – wenn Verbesserungen also tatsächlich auch implementiert wer-

kung, wenn die Erkenntnisse auch in Handeln

Action Learning Cycle

Die folgende Checkliste kann Ihnen Anhaltspunkte geben, inwieweit Ihre Organisation eine lernende Organisation ist oder wo sie noch ausbaufähig ist.

den! Die Übertragung von Ergebnissen und

Erkenntnissen in konkrete Handlungsschritte und Planungen bilden den „Abschluss“ des Dies ist aber nicht als „endgültiger“ Abwirkungsorientierten Steuerungskreislaufs. schluss zu verstehen: Mit der Anpassung von

Mehr über den „Action Learning Cycle“ erfahren Sie auf der folgenden Seite.

105

Checkliste: Ist Ihre Organisation eine lernende Organisation?
ja In unserer Organisation nehmen wir uns Zeit (auf Grundlage der Erkenntnisse aus der Wirkungsanalyse), über unsere Arbeit und deren Wirkung zu reflektieren und uns offen darüber auszutauschen. Unsere Erkenntnisse aus der Wirkungsanalyse nutzen wir, um daraus zu lernen. Fehler dürfen bei uns gemacht werden, aber wir nutzen sie als Anlass, um daraus zu lernen. Die Organisationsleitung unterstützt Lernen und Lernprozesse, und es werden Anreize für Lernen gesetzt. Lernprozesse sind bei uns als feste Bestandteile in die Arbeitsabläufe eingebunden. Es gibt feststehende Verantwortlichkeiten und Zuständigkeiten für Lernen und Wissensmanagement. Es gibt festgelegte Prozesse, wie Ergebnisse festgehalten werden und Wissen geteilt wird. Uns stehen für die Lernprozesse ausreichend Ressourcen zur Verfügung. Wir nutzen die Möglichkeit, uns mit anderen Organisationen auszutauschen und voneinander zu lernen. nein Bemerkung

Projektbeispiel PAFF:
Bei PAFF findet jährlich ein Strategietreffen auf Leitungsebene statt. Die Basis hierfür sind Auswertungen der Monitoringdaten. Es wird diskutiert, inwieweit die gesetzten Ziele erreicht worden sind und was in Zukunft noch verbessert werden kann. Zu den Treffen werden auch Paten, Teilnehmende und Geldgeber eingeladen, denen die Ergebnisse vorgestellt werden, und es wird mit ihnen über Erfahrungen und Wünsche diskutiert. Im Rahmen des Strategietreffens wird beschlossen, dass es Sinn macht, einen stärkeren Schwerpunkt auf zusätzliche Bewerbungstrainings zu legen und hier entsprechend mehr Angebote zu schaffen.

Exkurs: Qualitätsmanagementsysteme
Qualitätsmanagementsysteme haben wie Evaluationen die Quali-

tätssicherung und -verbesserung zum Ziel. Sie nehmen dabei aber in Prozesse fortlaufend mit in den Blick. Sie sind Führungsinstrumente, während Evaluationen Daten für Entscheidungen liefern, aber in

den meisten Fällen die gesamte Organisation und ihre Strukturen und

erster Linie Bewertungssysteme sind. Evaluation ist ein Teilaspekt des Qualitätsmanagements und liefert Informationen, um das Qualitätsmanagement als Führungsaufgabe wahrnehmen zu können.

Nähere Informationen zu Qualitätsmanagementsystemen, die im chenden Webseiten, z.B. www.efqm.org oder www.iso.org .

gemeinnützigen Bereich genutzt werden, finden Sie auf den entspre-

106

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

1

Beschreiben Sie das Projekt/die Veranstaltung. Hilfreiche Fragen hierfür sind: Was ist passiert? Wer war beteiligt? Wer hat was getan? Wie haben sich die Leute gefühlt? Welche Wünsche hatten sie?

ACTION (TUN):

2

Action Learning Cycle

Denken Sie an das Projekt/die Veranstaltung zurück und reflektieren Sie es. Im Rahmen der Wirkungsanalyse werden hierfür durch Monitoring und Evaluation Informationen erhoben. Hilfreiche Fragen für die Reflexion sind: Warum sind die Dinge so passiert? Was ist die Ursache? Was war hilfreich? Was beeinträchtigend? Welche Erwartungen und Annahmen hatten wir? Haben sich diese bestätigt? Was hat uns überrascht (positiv wie negativ)? Können wir auf andere Erfahrungen zurückgreifen, die uns helfen, unsere Erfahrungen und Eindrücke abzugleichen und einzuordnen?

REFLECTION (REFLEKTIEREN):

4

Die Planung ist die Verbindung zwischen dem Lernen und dem, was in Zukunft getan werden soll. Auf der Grundlage der reflektierten Erfahrungen muss überlegt werden, was zu tun ist, um die gesetzten Ziele zu erreichen. Hilfreiche Frage sind hier: Was bedeuten die Ergebnisse aus dem Reflexions- und Lernprozess für unsere Praxis? Was wollen wir tun? Was soll passieren? Was werden wir verändern? Wie werden wir vermeiden, den gleichen Fehler zu wiederholen? Wie integrieren wir diese Erkenntnisse in unseren Projektalltag?
Quelle: vgl. Herrero (2012: 38)

PLANNING (PLANEN):

3

Die Reflexion allein hat noch keinen Einfluss darauf, was in Zukunft getan wird bzw. wie die Dinge umgesetzt werden. Dafür müssen erst Schlussfolgerungen und Learnings erarbeitet werden. Folgende Fragen sind hierfür hilfreich: Was haben wir gelernt? Zu welchen neuen Erkenntnissen sind wir gekommen? Welche Annahmen haben sich bestätigt? Welche neuen Fragen sind aufgetaucht? Was hätten wir im Rückblick anders machen sollen?

LEARNING (LERNEN):

Den „Action Learning Cycle“ nutzen
Der sogenannte „Action Learning Cycle“ ist ein Instrument, das Ihnen eine Reihe von Fragestellungen an die Hand gibt, die Ihnen helfen, in die zukünftige Planung und Arbeit zu integrieren. Der „Action Ihre Arbeit zu reflektieren, daraus zu lernen und diese Erkenntnisse Learning Cycle“ eignet sich dabei sowohl für das gesamte Projekt

wie auch für seine Bestandteile wie zum Beispiel für einzelne Veranstaltungen. Wenn Sie die Ergebnisse aus diesem Reflexionsprozess verschriftlichen, haben Sie gleichzeitig einen kleinen Bericht über das Projekt oder eine Veranstaltung verfasst und zugleich die Learnings und Planungsschritte festgehalten. Diese Dokumentation könne Sie zu einem späteren Zeitpunkt heranziehen und feststellen, ob die geplanten Schritte/Änderungen umgesetzt wurden.

107

9. ÜBER WIRKUNG BERICHTEN

In diesem Kapitel erfahren Sie, …

gab und wie das Wetter war, andere inter­ essieren sich eher für die Route, die Sie gesegelt sind, und ob Sie Ihr Ziel gut erreicht haben. Wiederum andere möchten wissen, ob es unterwegs Schwierigkeiten gab machen würden.

•	welche Fragen Sie sich stellen sollten,
	 um eine effektive Kommunikations	 strategie für Ihr Projekt zu entwickeln.

•	auf was Sie beim Erstellen von
	sollten.

	 schriftlichen Projektberichten achten

und was Sie auf Ihrer nächsten Reise anders Wie von den Erlebnissen auf Ihrer Reise

•	wie Sie zielgerichtet und auf interes	 sante Weise über die Wirkung Ihres 	 Projekts berichten können.

sollten Sie auch über die Ergebnisse Ihrer Projektarbeit berichten. Dies hilft Ihnen nicht nur, um gemeinsam mit Ihren Stakeholdern daraus lernen und Verbesserun­gen ableiten zu können, sondern dient der Öffentlichkeitsarbeit.

Auf Ihrer Reise haben Sie viel erlebt. Schon

während der Reise haben Sie regelmäßig Zwischenberichte nach Hause gesendet. Zurück daheim blicken Sie auf die Reise zurück und berichten davon. Je nachdem, mit wem Sie

auch der Legitimation Ihrer Arbeit sowie

sprechen, werden sich die Inhalte und die Art, wie Sie berichten, unterscheiden. Während einige Gesprächspartner nur eine knappe Zusammenfassung haben möchten, interessieren sich andere (zum Beispiel Ihre Kollegen) für einen ausführlicheren Bericht. Einige wollen wissen, was es zu essen

9.1 EINE KOMMUNIKATIONSSTRATEGIE FÜR DAS PROJEKT ENTWICKELN
Damit Sie effektiv über die Wirkung Ihres zunächst eine Kommunikationsstrategie. Projekts berichten können, benötigen Sie Entwickeln Sie diese frühzeitig, idealerweise

108

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Die folgenden Fragen helfen Ihnen dabei, Ihre Berichterstattung passgenau zu gestalten: Situation der Leser/Adressaten:

Adressatenanalyse: Wer bekommt welche Informationen und warum?

WIRKUNG PLANEN

•	 Wer sind die Leser/Adressaten und welches Vorwissen haben sie? •	 Welche Stellung haben sie in Ihrem Arbeitsfeld (Interne/Externe; Einflussnehmende/
	Beeinflusste)? •	 Welche Funktion haben sie in Bezug auf das Berichtsthema (Entscheider, Koope	 rationspartner, Zielgruppen)? •	 Wie viel Zeit haben sie, um sich mit den Informationen auseinanderzusetzen? •	 Welche Ansprüche haben sie an die sprachliche und gestalterische Form? Interessen der Leser/Adressaten:

WIRKUNG ANALYSIEREN

WIRKUNG VERBESSERN

•	Was erwarten die Leser/Adressaten? •	 An welchen Inhalten sind sie besonders interessiert? •	 An welchen Ergebnissen sind sie interessiert? •	 An welchen Schlussfolgerungen sind sie interessiert? •	 Welche Erwartungen haben sie an die Ausführlichkeit der Behandlung der
	 verschiedenen Teilthemen? Einstellungen der Leser/Adressaten:

1 2 3

•	Welche Hoffnungen und Befürchtungen haben die Leser/Adressaten in Bezug auf	
	 das Berichtsthema? •	 Welche Einstellungen haben sie zum Verfasser des Berichts? •	 In welcher Form sind die Ergebnisse für sie selbst relevant (z.B. mehr/weniger 	 Arbeitsbelastung; Einschränkung/Erweiterung ihrer Handlungsmöglichkeiten)?
Quelle: Vgl. BMFSFJ (Hrsg.) (2000: 86).

bereits während der Planungsphase, um zu wissen, welche Ergebnisse Ihres Projekts wann und für wen interessant sind. Für

Dies können unterschiedliche Stakeholder verpflichtend berichten müssen, oder die

sein, wie zum Beispiel Geldgeber, denen Sie Führungskräfte und Mitarbeiter innerhalb Öffentlichkeit“ in Ihrem Stadtteil.

unterschiedliche Adressaten und Zielstellungen brauchen Sie passgenaue Berichtsformen. Sie sollten daher überlegen,

Ihrer Organisation oder auch die „allgemeine Überlegen Sie, an welchen Informationen die Zielgruppen Ihrer Berichterstattung interessiert sind und mit welcher Art der

•	 wem berichtet werden soll; •	 welches Ziel Sie mit dem jeweiligen
	 Bericht verfolgen;

•	 welche Inhalte für die jeweiligen Adressa	 ten relevant und interessant sind; 	­berichtet werden soll;

Berichterstattung Sie diese am besten erreichen können. Dadurch legen Sie die Grund­ lage für eine effektive Kommunikation.

•	 wie häufig und zu welchen Anlässen •	 welche Berichtsform die geeignete ist.
Adressaten und Zweck der Berichterstattung

Häufigkeit der Berichterstattung
Berücksichtigen Sie bei der Frage von Zeitpunkt und Regelmäßigkeit der Berichterstattung interne und externe Gegebender von Ihnen einen Bericht verlangt, hat
Liebe Projektmitarbeiter, vielen Dank für Ihre nützlichen Berichte!

Überlegen Sie sich im ersten Schritt, wer die Adressaten Ihrer Berichterstattung sind.

heiten und Notwendigkeiten. Ein Geldgeber,

109

110

Stakeholder

Ziele der Kommunikation

Relevante Daten und Inhalte

Zeitpunkt und Regelmäßigkeit

Geeignetes Format

internes Berichtswesen
Umfassender Inhalt und Hintergrundinformationen Zwischendurch, basierend auf Monitoringdaten und anlassbezogen zum Beispiel anlässlich neuer Evaluationsergebnisse, besonderer Ereignisse oder zu Vorstandssitzungen etc. Schriftlicher Report (evtl. mit Zusammenfassung / Executive Summary für den Vorstand) und mündliche Präsentation zum Beispiel durch das Evaluationsteam oder die Projektverantwortlichen sowie Diskussion der Ergebnisse auf Führungs-, Bereichs- und Teamebene

Vorstand

Führungskräfte/ Management

•	Information über laufendes 	 Projekt als Basis zur Entschei	 dungsfindung und Steuerung •	Rechenschaftspflicht •	Legitimation •	gemeinsames Lernen •	Erreichtes feiern

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Projektmitarbeiter/ Ehrenamtliche

Externes Berichtswesen
Schriftlicher Report mit Zusammenfassung / Executive Summary bzw. ein Format, das die Interessen und die Anforderungen an die Berichtslegung der Geldgeber berücksichtigt

Geldgeber

•	Rechenschaftspflicht •	Legi­ imation t •	Grundlage zur Einwerbung 	 weiterer Gelder •	verdeutlichen, welche Heraus	 forderungen es gibt und wie 	 damit umgegangen wird Inhalt ist auf die Interessen der jeweiligen Zielgruppen zugeschnitten.

•	Erreichtes feiern

Zielgruppen

•	Glaubwürdigkeit •	Rechenschaftspflicht •	Legitimation

Mündliche Präsentation und oder ein zusammenfassendes Dokument mit geeigneten Tabellen, Grafiken und anschaulichen Darstellungen
Zwischendurch, basierend auf Monitoringdaten und anlassbezogen zum Beispiel anlässlich neuer Evaluationsergebnisse, besonderer Ereignisse; zum Teil abhängig von den Berichtsanforderungen der Geldgeber

Kooperationspartner

•	Rechenschaftspflicht •	Legitimation •	verdeutlichen, welche Heraus	 forderungen es gibt und wie 	 damit umgegangen wird •	gemeinsames Lernen •	Erreichtes feiern

Schriftlicher Report, persönlicher Austausch, Seminare, Konferenzen

Öffentlichkeit

•	Rechenschaftspflicht •	Legitimation •	Interesse generieren

Artikel, Webseite, Social Media, Jahresberichte, Pressemitteilungen

Übersicht zur Planung der Kommunikation von M&E-Ergebnissen
dafür meist Zeiträume und Termine festgeÖffentlichkeit einen Bericht bereitzustellen und die wesentlichen Ergebnisse in einer Pressemitteilung aufzubereiten.

WIRKUNG PLANEN

legt. Ein Vorstand, der sich jeweils am QuarErgebnisse zu diesen Zeitpunkten. Vieles

talsende trifft, benötigt die für ihn relevanten hiervon erscheint selbstverständlich, es gilt

WIRKUNG ANALYSIEREN

9.2 BERICHTE SCHREIBEN
Ein schriftlicher Bericht bildet das Kernstück der Berichterstattung. Welche Bestandteile beinhaltet eine transparente BerichterstatWIRKUNG VERBESSERN

an dieser Stelle lediglich, sich diese Abläufe zeitlichen Rahmen der Datenerhebung und

zu vergegenwärtigen, da sie Einfluss auf den -auswertung haben. Des Weiteren ist zu be-

rücksichtigen, welche Ergebnisse realistisch

in welchen Abständen kommuniziert werden zeitnah über erbrachte Leistungen (Outputs) berichten, dagegen werden Wirkungen oft erst nach einiger Zeit sichtbar.

tung? Wie sollte ein Bericht am besten aufgebaut sein? Worauf sollten Sie beim Schreiben Ihres Projektberichts achten? Im Folgenden bekommen Sie hierfür hilfreiche Tipps.

können. So lässt sich in der Regel schnell und

1 2 3

Transparent über Wirkungen berichten
Um transparent über die Wirkungen

Projektbeispiel PAFF: Mit den folgenden Formaten erreicht PAFF seine Stakeholder: Paten: Patenmails, Intranet Teilnehmende Jugendliche: Social Media, Informationen auf den gemeinsamen Treffen Eltern: Elternbrief (zweisprachig), Elternabend Geldgeber: regelmäßig ein Zweiseiter „PAFF News“, individuelle Berichte nach den Wünschen der Geldgeber Regionale Presse: regelmäßige, anlassbezogene Pressemitteilungen, Einladungen zu wichtigen Ereignissen Kooperierende Organisationen: regelmäßiger persönlicher Austausch Öffentlichkeit: Webseite, Presse
111

Format der Berichte
Die Kommunikationsformate variieren von informellen Berichten via Telefon, Fax, E-Mail, Gesprächen oder dem Austausch in einer Gruppe, bis hin zu formellen Formaten, wie Briefings, Präsentationen oder geschriebeund Adressaten kann es auch sinnvoll sein, nen Reports und Publikationen. Je nach Ziel verschiedene Formate zu kombinieren, zum

Ihres Projekts zu berichten, müssen Sie auf jeden Fall die Resultate Ihres Projekts darstellen. „Wirkungstransparenz“ umfasst aber mehr als das: Es geht auch um die Einordnung der erzielten Wirkung in den

Gesamtkontext der Wirkungslogik. Denn: Die Wirkung von Projekten kann erst im Zusammenhang mit den angestrebten angemessen eingeschätzt werden. Zielen und den durchgeführten Aktivitäten

Beispiel einen schriftlichen Bericht mit einer Präsentation zu verbinden oder etwa für die

Was möchte das Projekt erreichen?

Darstellung der •	gesellschaftlichen Herausforderungen •	Zielgruppen und ihrer Bedarfe •	Vision und Ziele des Projekts •	Projektstrategie

Was unternimmt das Projekt, um seine Ziele zu erreichen?

•	Darstellung des Handlungsansatzes •	Darstellung der Aktivitäten, 	 Angebote und Produkte, die das 	 Projekt erarbeitet

Wirkungstransparenz
Woran lässt sich die Wirkung erkennen?

Welche Wirkungen erzielt das Projekt mit seiner Arbeit?
•	Darstellung der Wirkungen auf 	 Outcome- und Impact-Ebene

•	Darstellung der Art und Methode 	 der Wirkungsanalyse

Wichtig zu wissen: Transparenz im gemeinnützigen Sektor
Beim Begriff Transparenz im gemeinnützigen Sektor wird zumeist an die Berichterstattung über Organisationsstrukturen und vor allem über Finanzen gegenüber der Öffentlichkeit gedacht. Doch nur ein geringer Teil gemeinnütziger Organisationen veröffentlicht bisher Finanzdaten. Es gibt bislang hierfür keine (staatlich) festgelegten Verpflichtungen. Mittlerweile gibt es zwar einige Selbstverpflichtungen, diese sind aber nicht verbindlich. Zunehmend wird jedoch gefordert, dass Organisationen ihre Finanzen offenlegen, damit beispielsweise Spender eine Möglichkeit haben, sich darüber zu informieren, wofür die jeweilige Organisation die Spendengelder verwendet. Aber auch für die Öffentlichkeit ist eine Offenlegung von Interesse, denn aufgrund der steuerlichen Begünstigung gemeinnütziger Organisationen sollten Steuerzahler grundsätzlich die Möglichkeit haben, die Finanzdaten, aber auch Informationen zur Wirkung einer Organisation nachvollziehen zu können. Der wichtige Punkt der Wirkungstransparenz wird in der Debatte jedoch sehr häufig vergessen. Für eine transparente und ausgewogene Berichterstattung empfiehlt PHINEO die Veröffentlichung von Informationen zu folgenden Bereichen:

Der Social Reporting Standard (SRS)
Denken Sie beim Verfassen Ihres Berichts also daran, die Hintergründe Ihres Projekts (Was men Sie zur Erreichung dieser Ziele?) sowie den Aktivitäten erzielt und woran lässt sich soll das Projekt erreichen und was unternehdie Ergebnisse (Welche Resultate wurden mit Wirkung erkennen?) und die Schlussfolgerungen daraus zu erläutern, und bauen Sie den Bericht entsprechend auf.

Eine geeignete Struktur und Vorlage für

transparente Berichterstattung bildet der Social Reporting Standard (SRS). Diesen können Sie sowohl für die Berichterstattung

•	 Projektarbeit:

für Ihr Projekt als auch als Grundlage für den

Informationen zu den durchgeführten Angeboten und 	 Projekten, Zielen und Zielgruppen, dem zugrunde liegenden Problem, der 	 Wirkungslogik, den Aktivitäten sowie den erbrachten Leistungen (Outputs) 	 und deren Wirkungen (Outcomes und Impacts)

Jahresbericht Ihrer Organisation verwenden.

Informationen verständlich und interessant aufbereiten

•	 Organisationsstruktur: •	Finanzen:

Informationen zu Vision und Strategie der Organi	 sation, der Mitarbeiter-, Leitungs- und Aufsichtsstruktur Einnahmen-Ausgabenrechnung, aus der sich 	 Mittelherkunft und Mittelverwendung nachvollziehen lassen, sowie 	 eine Vermögensrechnung

Nicht nur der Aufbau Ihres Berichts ist

wichtig, sondern auch die Aufbereitung der und die Qualität des Textes. Denn wenn der

Informationen, die Präsentation Ihrer Daten Text nicht verständlich ist oder die Leser ihn

als zu lang oder zu kompliziert empfinden, ist
Wenn Sie sich näher mit dem Thema Transparenz beschäftigen möchten und wissen wollen, warum Transparenz im gemeinnützigen Sektor nicht nur wünschenswert, sondern auch nützlich ist, können Sie unter www.phineo.org/transparenz das Positionspapier Transparenz herunterladen. Es gibt zum Thema Transparenz in der Zivilgesellschaft verschiedene Selbstverpflichtungen. Eine davon ist die Initiative Transparente Zivilgesellschaft von Transparency International. Auf der Website, unter www.transparency.de/Initiative-Transparente-Zivilg.1612.0.html finden Sie Erläuterungen und eine Anleitung, welche Inhalte Sie auf Ihrer Website transparent darstellen sollten. PricewaterhouseCoopers (PWC) schreibt jährlich den Transparenzpreis aus. Unter www.pwc.de/de/engagement/transparenzpreis. jhtml finden Sie dazu sowie zu den Themen Transparenz und transparente Berichterstattung weitere Informationen.

die Wahrscheinlichkeit hoch, dass er gar nicht gelesen wird. In der Regel geht es in einem Bericht nicht darum, alle erhobenen Daten

ausführlich dazustellen. Wenn Sie auch ausführlichere Informationen darstellen möchdes Berichts. Achten Sie auf verständliche ten, eignet sich hierfür ein Anhang am Ende Formulierungen und fassen Sie die Ergebnisse sinnvoll zusammen. Vermeiden Sie lange Sätze und Fachjargon sowie zu viele Statis-

tiken und heben Sie wichtige Punkte hervor.

Versuchen Sie die Daten zu visualisieren und Grafiken oder Diagramme zu nutzen, um die Informationen anschaulich darzustellen. Versetzen Sie sich bei der Erstellung eines

112

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Der Social Reporting Standard (SRS)
Warum ist der SRS empfehlenswert? Der SRS bietet einen Rahmen für die Berichterstattung von sozialen Projekten. Der Standard hilft insbesondere dabei, die Wirkungslogik von Programmen zu dokumentieren und zu kommunizieren. Darüber hinaus werden weitere wesentliche Elemente der Berichterstattung wie Organisationsstruktur und Finanzen systematisch erfasst und aufbereitet, sodass bei Anwendung des SRS ein umfassendes Bild über die berichtende Organisation entsteht. Anwender des SRS können ihre Wirkung klarer gegenüber Unterstützern nachweisen und somit überzeugender Fördermittel einwerben. 	 	 Mit einem Bericht nach SRS haben Sie einen klaren Vorteil bei Geldgebern und Förderern, da der SRS-Bericht viele Fragen möglicher Förderer proaktiv beantwortet.

WIRKUNG PLANEN

WIRKUNG ANALYSIEREN

WIRKUNG VERBESSERN

Die genaue Dokumentation der Wirkungslogik hilft auch bei der internen Steuerung, da bei der Anwendung des SRS viele Fragen zur Wirkung von Aktivitäten überdacht werden. Der SRS ist außerdem eine effektive Grundlage für eine transparente Darstellung nach außen. Mittels des SRS können Sie Ihre Dokumentation über verschiedene Jahre hinweg vergleichen (Vergleichbarkeit) und haben deutlich weniger Aufwand (Effizienz), wenn Sie sich bei verschiedenen Förderorganisationen bewerben oder an diese berichten.

1 2 3

Mit dem SRS können Sie über einzelne oder mehrere Projekte, aber auch über Ihre gesamte Organisation berichten. Der Berichtsstandard gliedert sich in fünf Teile:

A: Gegenstand des Berichts •	 Überblick und Abgrenzung, worüber berichtet wird und wer die Ansprechpartner sind. B: Ihr Angebot und dessen Wirkung •	 Das gesellschaftliche Problem und der Lösungsansatz: Darstellung des Themenfelds, des 	 gesellschaftlichen Problems, der Ursachenanalyse und des Lösungsansatzes. •	 Gesellschaftliche Wirkung: Eingesetzte Ressourcen, Leistungen und gesellschaftliche 	Wirkungen. •	 Weitere Planung und Ausblick: Ziele für die nächsten Jahre, wesentliche Chancen und
	 Risiken und ein Ausblick auf die weitere Entwicklung.

C: Organisationsstruktur •	 Überblick über die beteiligten Organisationen und die wichtigsten handelnden Personen. D: Profile der beteiligten Organisationen •	 Detaillierte Darstellung der beteiligten Organisationen (rechtliche Struktur, Anzahl
	 der Mitarbeiter).

E: Finanzen •	 Darstellung der Vermögenssituation sowie der Einnahmen und Ausgaben Ihrer Organi-

Aktuelle Informationen zum Leitfaden sowie Anwenderbeispiele und eine Berichtsvorlage, in der Sie die Inhalte Ihres sozialen Projekts direkt einfügen können, finden Sie unter:

www.social-reporting-standard.de

	 sation. In diesem Teil können Sie Ihre vorhandene Finanzberichterstattung integrieren oder 	 die vorgeschlagenen Muster verwenden.

Der SRS ist ein Gemeinschaftsprojekt von: PHINEO aAG, Ashoka Deutschland gGmbH, Auridis GmbH, BonVenture Management GmbH, Schwab Foundation, Technische Universität München, Universität Hamburg mit Unterstützung von PricewaterhouseCoopers, der Vodafone Stiftung sowie des Bundesministeriums für Familie, Senioren, Frauen und Jugend (BMFSFJ).

113

Visualisierung von Resultaten

Berichts in Ihre Leser hinein: Wie können Sie Ihre Arbeit und das, was Sie erreicht haben,

Tabellen

für Außenstehende verständlich darstellen? Wie kann man den Bericht interessant und abwechslungsreich gestalten? Versuchen Sie eine gute Balance zwischen „Fakten

eignen sich gut, um quantitative Daten nach Kategorien geordnet darzustellen

und Unterhaltung“ sowie zwischen „Herz und Verstand“ zu bieten. Hierfür kommen verschiedene Instrumente und Darstellungsformen in Betracht. Neben der ansprechen-

Balkendiagramme

den Aufbereitung Ihrer Ergebnisse in Grafiken und Diagrammen können Sie auch positive Emotional ansprechend wirken auch „ErRückmeldungen der Zielgruppen integrieren. folgsstorys“ der Zielgruppen. Hier können Ihres Projekts darstellen, wie ihm das

eignen sich gut, um Verteilungen nach Kategorien darzustellen

Sie zum Beispiel aus Sicht eines Teilnehmers

Kuchendiagramme
eignen sich gut, um die Indikators darzustellen Verteilung innerhalb eines

Projekt geholfen hat. Arbeiten Sie auch schaulich darzustellen.

mit Bildern und Fotos, um Ihre Arbeit an-

Informationen veröffentlichen

„PAFF HAT MIR GEHOLFEN, EINE

Zitate

•	Wenn Sie Ihren Projektbericht geschrieben
haben, machen Sie ihn Ihren Stakeholdern zugänglich.

LEHRSTELLE ZU FINDEN, UND MEIN PATE HAT MICH IMMER UNTERSTÜTZT.“

•	Stellen Sie Ihren Bericht oder die Ergebdie Informationen gelangen können.

nisse daraus auch auf Ihrer Website bereit,

damit Interessierte so leicht wie möglich an

Fast Facts

Kernfakten kurz und knackig dargestellt, und ein zwei Sätze dazu

z.B. ein Prozentwert prominent aufgeführt

•	Sofern Ihre Organisation einen schriftlichen
Jahresbericht verfasst, sollten die Resultate finden. Der Jahresbericht sollte ebenfalls der Arbeit des Projekts auch hier einen Platz auf der Website verfügbar sein und transpa-

Storys / Fallstudien
verändert: ...“
114

rent über die Projektarbeit, deren Wirkungen, die Organisationsstrukturen und die Finanzen berichten.

„Seit Denis einen Paten bei PAFF

hat, hat sich vieles zum Positiven

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Checkliste: Kriterien für gute Berichte
Unsere Berichte sind… RELEVANT UND BRAUCHBAR Erklärung Berichte sollen einem bestimmten Zweck dienen. Die Informationen sollten deshalb für die verschiedenen Stakeholder bedarfsgerecht aufbereitet werden. Berichte sollten rechtzeitig für ihren jeweils intendierten Nutzen erscheinen. Zu spät oder zu unregelmäßig kommunizierte Ergebnisse sind nur wenig nützlich. Berichte sollten eine ausreichende Menge an Informationen enthalten. Dabei sollte gleichzeitig eine „Informationsflut“ vermieden werden. Für die Resultate sollten nachvollziehbare Belege erbracht werden. Diese können von Anekdoten und einzelnen Feedbacks bis hin zu Wirkungsnachweisen durch eine externe Evaluation variieren. Berichte sollten für ihr jeweiliges Zielpublikum angepasst sein. Sprache und Format müssen klar, präzise und leicht verständlich sein. Es sollte darauf geachtet werden, einheitliche Formate und Gliederungen zu nutzen, die (z.B. im Jahresbericht) einen Vergleich über die Zeit ermöglichen. Die für die Berichterstattung eingesetzten Ressourcen sollten in einem angemessenen Verhältnis zu dem erwarteten Nutzen stehen. Die Berichterstattung sollte den Stakeholdern zugänglich gemacht werden und auf der Webseite für Interessierte zur Verfügung stehen. ja nein Bemerkung

RECHTZEITIG

VOLLSTÄNDIG

WAHR

EINFACH UND BENUTZERFREUNDLICH KONSISTENT

KOSTENEFFIZIENT

TRANSPARENT

115

10. (NOCH) WEITER WIRKEN – WIRKUNG VERBREITEN

In diesem Kapitel erfahren Sie, … Mehr Informationen zum Thema Verbreitung
Das Thema „Strategien und Erfolgsfaktoren für die Verbreitung wirkungsvoller Projekte“ ist sehr um­ fangreich und kann im Kursbuch nur in einem knappen Überblick dargestellt werden. Detaillierte Informationen finden Sie in: Bertelsmann Stiftung (Hrsg.): „Skalierung sozialer Wirkung. Handbuch zu Strategien und Erfolgsfaktoren von Sozialunternehmen“, Gütersloh 2013.

kann eine Verbreitung (in der Literatur wird häufig auch der Begriff Skalierung genutzt) des Projekts in andere Regionen dazu

•	 welche Vorteile die Verbreitung
	 wirkungsvoller Projekte hat.

•	 woran erkennbar ist, dass sich ein
	 es gibt.

beitragen, mehr Menschen zu erreichen und dadurch letztlich mehr Wirkung zu erzielen. Auf diese Weise können gesellschaftliche

	 Projekt für die Verbreitung eignet.

•	 welche Möglichkeiten der Verbreitung •	 welche Rolle die Wirkungsanalyse
	 bei der Verbreitung spielt. Beflügelt von der erfolgreichen Seereise

Herausforderungen auf breiterer Basis gelöst werden, als wenn wirksame Projekte nur an immer wieder neu erfunden werden muss. einem Ort ihre Wirkung entfalten und das Rad

überlegen Sie nach Ihrer Rückkehr, wie Sie

noch mehr Passagiere erreichen und an ihr

10.1 KRITERIEN FÜR DIE VERBREITUNG VON PROJEKTEN
Wirksame Projekte in andere Regionen zu übertragen, kann für Ihre Organisation ein kein Selbstzweck. Drei wesentliche Fragen ren Orten Bedarf für unser Projekt? Haben wir die Bereitschaft und Voraussetzungen

Ziel bringen können. Sie möchten gerne mehr Reisen durchführen, weitere Häfen ansteudenken darüber nach, Ihre Flotte zu erweitern und Ihre Mannschaft zu vergrößern, ern und zusätzliche Reiseziele anbieten. Sie

sinnvolles Ziel sein. Dabei ist die Verbreitung sollten Sie sich stellen: Gibt es auch an ande-

Buch und Leseprobe: http://www.bertelsmannstiftung.de/cps/rde/ xchg/bst/hs.xsl/ publikationen_115755.htm

und suchen nach Möglichkeiten, wie Sie dies umsetzen und finanzieren können. Wenn Sie bei Ihrer Projektarbeit mit Hilfe der Projekt die angestrebten Wirkungen erzielt,

Wirkungsanalyse festgestellt haben, dass Ihr

unser Projekt zu verbreiten? Und letztlich: Ist unser Projekt in andere Regionen übertragbar? (→ Checkliste S. 119)

116

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Wichtig zu wissen: Drei gute Gründe für die Verbreitung wirkungsvoller Projekte

WIRKUNG PLANEN

1.

Mehr Wirkung für die Zielgruppe(n) erreichen Für viele gesellschaftliche Probleme gibt es bereits erfolgreiche Lösungsansätze. Statt „das Rad immer wieder neu zu erfinden“ ist es sinnvoll, Projektkonzepte, die sich bereits als wirkungsvoll erwiesen haben, auch an anderen Orten umzusetzen. Dadurch können möglichst viele Personen mit einem bewährten Konzept erreicht werden, womit die Grundlage für eine möglichst hohe Wirkung gelegt ist.

WIRKUNG ANALYSIEREN

2.

Gemeinsam mehr erreichen Die für die Lösung gesellschaftlicher Probleme zur Verfügung stehenden Mittel sind an vielen Stellen knapp. Das heißt, die vorhandenen Ressourcen sollten so effizient und effektiv wie möglich eingesetzt werden. Durch die Übernahme bewährter Ansätze sparen sich Organisationen Kosten für die Projektentwicklung und für Fehler und Umwege, die bei der Neuentwicklung von Projekten entstehen können.

WIRKUNG VERBESSERN

1 2 3

3.

Gemeinsames Lernen im Netzwerk Bei der Verbreitung wirkungsvoller Projekte werden Best-Practice-Ansätze gemeinsam mit Partnern an mehreren Orten umgesetzt und können durch Austausch und gemeinsames Lernen noch weiterentwickelt werden. Im Interesse der Zielgruppe(n) sollten gemeinnützige Organisationen an einem Strang ziehen und eine Kultur des Austauschs fördern und pflegen.

Die letzte Frage betrifft vor allem das Projekt selbst. Denn nicht jedes Projekt eignet sich dass Sie sich über die Wirkungslogik Ihres für eine Verbreitung. Entscheidend ist hierfür, Projektes im Klaren sind. Was ist das Prob-

Ist die Frage nach der Verbreitungsfähigkeit

positiv beantwortet, gilt es, aus den verschiedenen Methoden, Projekte zu verbreiten, die passende auszuwählen. Links zum Thema
Viele nützliche Informationen und Artikel rund um das Thema „Projekttransfer“ finden Sie auf dem Portal www.opentransfer.de der Stiftung Bürgermut. Im gemeinsamen Projekt Effektn hat der Bundesverband Deutscher Stiftungen und die Bertelsmann Stiftung mehrere Broschüren rund um das Thema Projekttransfer veröffentlicht (Finanzierung, Rechtliche Grundlagen, Qualitätskontrolle). Link: www.stiftungen.org/de/ projekte/projekttransfer/ veroeffentlichungen.html

lem, das ich lösen möchte? Wie löse ich das

Problem für die Zielgruppe? Und schließlich: Womit kann ich nachweisen, dass mein Prosein kann? jekt auch andernorts erfolgreich und wirksam

10.2 VERBREITUNGSMETHODEN
Wenn es darum geht, möglichst viele Menschen mit einem wirksamen Projekt zu erreiführen: Die einfachste Form der Verbreitung ist sicherlich, dass Wissen beispielsweise durch ein Handbuch im Internet weiter-

Die erarbeitete Wirkungslogik bildet somit

chen, können unterschiedliche Wege zum Ziel

ein Grundgerüst, wie das Projekt auch in an-

deren Regionen umgesetzt werden muss, um zu sein. Die Umstände und Bedingungen

mit oder ohne Ihre Hilfe auch dort erfolgreich können in anderen Regionen deutlich von der Situation bei Ihnen vor Ort abweichen. Insofern sollten Sie sich darüber im Klaren sein,

zugeben. Gleichwohl können Sie auch mit

Kooperationsverträgen das Projekt an andere Partner weitergeben oder Sie beschließen, nen zu etablieren. das Projekt in Eigenregie in anderen Regio-

welche Qualitätsstandards unabdingbar und welche anpassbar sind, um den Erfolg zu geund standardisierter ein Projekt ist, desto eher eignet es sich für eine Verbreitung. währleisten. Im Allgemeinen gilt, je einfacher

117

Bin ich bereit, meinen Ansatz zu teilen und Kontrolle abzugeben?

Die Vier-Felder-Matrix der Strategietypen 1
ja

Kontrolle und Partner

Wissenstransfer

Kooperation mit Verträgen

ler und Pfennig im Voraus berechnet werden den Projekttransfer eher geringe oder hohe Kosten investieren möchten.

können, so ist die Frage wesentlich, ob Sie für

Die beiden Fragen ermöglichen es Ihnen, die

Kapazität in einer Region erweitern

Strategische Ausdehnung

richtige Strategie für Ihre Organisation in der Matrix links auszuwählen.

Während „Wissenstransfer“ und „Koope-

nein

ration mit Verträgen“ insbesondere auf die

Weitergabe des Projektes an andere Organiniedrig Transferkosten hoch

sationen zielen, beziehen sich „Kapazitätserweiterung“ und „Strategische Ausdehnung“ den Organisation. auf die Verbreitung innerhalb einer bestehen-

Wie viel bin ich bereit, in die Verbreitung zu investieren?
Quelle: In Anlehnung an: Bertelsmann Stiftung (Hrsg.): „Skalierung sozialer Wirkung. Handbuch zu Strategien und Erfolgsfaktoren von Sozialunternehmen“, Gütersloh, 2013, S. 23.
1

Wissenstransfer
Wenn Sie Ihr Projekt durch „Wissen-

stransfer“ verbreiten möchten, bedeutet Zwei wichtige Fragen können Ihnen dabei nisation zu wählen:

dies, dass Sie Ihr Projektkonzept anderen

helfen, die richtige Strategie für Ihre Orga-

Organisationen frei zur Verfügung stellen,

die das Konzept dann eigenverantwortlich in vergleichbarer oder etwas angepasster Form bei sich vor Ort umsetzen. Während Sie als Projektgeber die Projektnehmer am Anfang zum Beispiel durch Informationen, (technische) Unterstützung oder Beratung bei der

1.

ren zu teilen und damit auch notwendigermeine Organisation wesentlich, selbst die

Bin ich bereit, meinen Ansatz mit ande-

weise Kontrolle abzugeben? Oder ist es für uneingeschränkte Kontrolle über den Projek-

Implementierung unterstützen, findet später in der Regel weniger Zusammenarbeit statt. Diese Form der Verbreitung ist im gemeinnützigen Sektor relativ stark verbreitet. Sie birgt die geringsten Kosten und ermöglicht eine schnelle Verbreitung und optimale Anpas-

tansatz und dessen Umsetzung zu behalten?

2.

für die Verbreitung des Projektes zu investieren? Jeder Projekttransfer hat seine Kosten: Ein Handbuch muss geschrieben, neue Partund oft müssen Verträge geschlossen und

Wie viel Zeit und Geld bin ich bereit,

sungsmöglichkeiten des Konzepts an lokale Gegebenheiten. Dafür bietet sie aber kaum Kontrollmöglichkeiten für den Projektgeber.

ner müssen gefunden und überzeugt werden anschließend kontrolliert werden. Auch wenn die Höhe dieser Transferkosten nicht auf Hel-

118

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN Leitfragen: Kriterien für die Verbreitungsfähigkeit von Projekten Um festzustellen, ob sich ein Projekt erfolgreich verbreiten lässt, sind folgende Fragen hilfreich:

Bedarf Gibt es auch an anderen Orten einen Bedarf für das Projekt und die Bereitschaft, Geld und Zeit in das Projekt zu investieren? Überzeugung und Bereitschaft Haben Sie in Ihrer Organisation die Bereitschaft und die notwendige Erfahrung, um Ihr Projekt zu transferieren? Hat Ihre Organisation die notwendigen personellen und finanziellen Ressourcen für einen Transfer? Erfolgreiches Modell Kennen Sie die wichtigsten Faktoren für den Erfolg des Projektes? Ist Ihr Projektkonzept so „einfach“ und standardisierbar, dass es von anderen Personen und in anderen Regionen durchgeführt werden kann? Können Sie die Wirksamkeit und den Erfolg des Projektes nachweisen, um damit andere zu überzeugen?

WIRKUNG ANALYSIEREN

WIRKUNG VERBESSERN

1 2 3

Kooperation mit Verträgen
Sie können ein Projekt auch mit Hilfe von

Kooperationsverträgen an andere, unab-

hängige Organisationen weitergeben. Diese

Zusammenkommen ist ein Beginn, zusammenbleiben ist ein Fortschritt, zusammenarbeiten ist ein Erfolg.“
Henry Ford (*1863 – † 1947)

setzen das Projekt bei sich vor Ort um, Sie als Projektgeber haben hierbei Kontrollmöglichkeiten, denn in den Verträgen sind Rechte und Pflichten von Projektgeber und -nehmer festgelegt. Beispielsweise können darin die Bereitstellung von Ressourcen und Knowhow durch den Projektgeber oder Berichts-

bestehen weniger Spielräume für lokale Andes offenen Transfers.

pflichten, Lizenzkosten, Bedingungen für die de Qualitätsstandards für die Projektnehmer stärker gestalten kann, bringt eine Kooperaund standardisierte Abläufe mit sich, und es

passungen als bei der Verbreitungsmethode

Nutzung von Markenrechten und einzuhaltengeregelt sein. Während der Projektgeber hier tion mit Verträgen gleichzeitig höhere Kosten

Vier Vertragsarten werden für die Weitergabe von Projekten unterschieden: Weitergabe innerhalb von Netzwerkvereinen bzw. – Joint-Venture-Verträge.

verbänden, Lizenz-, Social-Franchise- oder

119

Kapazitäten in einer Region erweitern
Projektbeispiel: Der Erfolg des PAFF-Projektes spricht sich herum. Denn erfolgreiche Lösungen gegen Jugendarbeitslosigkeit sind auch anderenorts gefragt. Mehr und mehr Kooperationsanfragen landen im PAFF-Büro. Gemeinsam mit dem Vorstand überlegt die Projektleitung, wie sie mit den Anfragen umgeht. Einerseits möchten sie, dass PAFF in möglichst vielen Regionen eigenständig angeboten wird. Anderseits ist dem Vorstand auch wichtig, die Qualität des Projekts und seiner Umsetzung sicher zustellen. Mangels Geld und Zeit entscheidet sich der Vorstand dafür, ein Handbuch zu schreiben, um das Wissen weiterzugeben. Anhand der Wirkungsanalyse sind die wichtigsten Erfahrungen und Qualitätsaspekte bereits schriftlich festgehalten. Gerne hätte man das Projekt auch über Kooperationsverträge weitergegeben. Die hohen Kosten für die Vertragsabwicklung war aber das wichtigste Gegenargument. PAFF wird nun dank des Handbuches an vielen Orten angeboten und hilft damit die Jugendarbeitslosigkeit zu verringern. Einmal im Jahr treffen sich alle Projektnehmer mit dem PAFF-Team, zum Erfahrungsaustausch.

andere Zielgruppen ausdehnen oder um komplementäre Angebote erweitern.

Ein Projekt zu verbreiten muss nicht immer bedeuten, dass der Ansatz an andere Organisationen weitergegeben wird. Vielleicht möchten Sie die Wirksamkeit Ihres Sie bereits tätig sind, und dadurch mehr Projekts in einer Region vergrößern, in der Menschen helfen, ohne dabei gleich an eine überregionale Verbreitung zu denken. Dies können Sie erreichen, indem Ihre eigene Organisation regional – in der Regel an

10.3. WIRKUNGSANALYSE BEI DER VERBREITUNG VON PROJEKTEN
Wirkungsanalyse spielt bei der Verbreitung als Grundlage für die Verbreitung, zum anvon Projekten eine wichtige Rolle. Zum einen deren zur laufenden Qualitätssicherung bei Ihr M&E-System bei der Verbreitung eines Projekts?

einem Standort – wächst oder Sie bestehende Prozesse und Strukturen so optimieren, dass Sie mit der gleichen Menge an ResViele Pilotprojekte beginnen damit, die

den verbreiteten Projekten. Wie nützt Ihnen

sourcen mehr Menschen erreichen können. Wirksamkeit des eigenen Handelns in einer Region zu optimieren und erst danach eine überregionale Verbreitung anzustreben.

Wirkungsanalyse als Basis für die Verbreitung von Wirkung

Die Wirkungsanalyse zeigt Ihnen, ob das Projekt auch tatsächlich Wirkung erzielt tung der Wirkung zu erwarten ist. Wenn Sie eine Verbreitung Ihres Projekts ins und bei einer Verbreitung auch die Verbrei-

Die Kontroll- und Gestaltungsmöglichkeiten bei dieser Verbreitungsstrategie sind dabei hoch.

Strategische Ausdehnung
Um mehr Menschen auch in anderen Regi-

Auge fassen, ist es daher sinnvoll, Ihr Projekt extern evaluieren zu lassen. Evaluationen können Ihnen die Wirksamkeit Ihres Projekts bestätigen, Lücken im Konzept

onen zu erreichen, können Sie auch Filialen beziehungsweise Büros Ihrer Organisation sind nicht unabhängig, sondern rechtlich an anderen Standorten eröffnen. Die Filialen Teil Ihrer Organisation. Das bedeutet auch,

aufzeigen und Anhaltspunkte dafür bieten, welche Anpassungen notwendig sind, damit das Projekt erfolgreich verbreitet wer-

den kann. Klar dargestellte Ergebnisse der Personen und Organisationen – vor allem

dass Ihre Organisation aus eigener Kraft die dafür behält sie aber auch die wesentli-

Wirkungsanalyse helfen Ihnen auch, andere potenzielle Projektnehmer und Geldgeber zu überzeugen. Der „Blick von außen“,

Kosten für die Verbreitung aufbringen muss, che Kontrolle über die Umsetzung, da das

– von Ihrem Projekt und seiner Verbreitung durch eine externe Evaluation, erhöht die Legitimität und Reputation des Projekts.

Projektkonzept nicht an andere Organisa-

tionen weitergegeben wird. Eine strategibedeuten, dass Sie Ihre Aktivitäten auf

sche Ausdehnung eines Projekts kann auch

120

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

WIRKUNG PLANEN

Qualität entwickeln und weitertragen
Während der Wirkungsanalyse im Rahmen des Ursprungsprojekts sammeln und dokumendaher, ob, wie und warum Ihr Projekt wirkt. tieren Sie Daten, lernen aus ihnen und wissen Dies hilft Ihnen nicht nur, Ihre Zielerreichung zu identifizieren und Qualitätskriterien zu rien zu kennen und weiterzutragen ist ein tung von Wirkung.

Unterstützung hinausgeht. Hier ist es um so wichtiger, die Projektnehmer für das Thema Wirkungsanalyse zu sensibilisieren und ihnen Umsetzung anzubieten.

WIRKUNG ANALYSIEREN

geeignete Materialien und Schulungen für die

WIRKUNG VERBESSERN

zu überprüfen, sondern auch, Erfolgskriterien entwickeln. Diese Erfolgs- und Qualitätskritewesentliches Erfolgskriterium für die Verbrei-

Potenziertes Lernen
Die Nutzung von Ergebnissen aus der Wirteten Projekte ebenso wichtig wie für das

1 2 3

kungsanalyse zum Lernen ist für die verbreiUrsprungsprojekt. Durch ein einheitliches

Berichtswesen wird es beispielsweise möglich, Ergebnisse unterschiedlicher Projektnehmer miteinander zu vergleichen und daraus zu lernen: Was sind entscheidende orts(un)-

Qualität sichern
Damit ein Partner Ihr Projektkonzept bei sich vor Ort in gleicher Qualität umsetzen kann, Informationen zum Aufbau und Ablauf des benötigt er, vor allem zu Beginn des Projekts, Projekts sowie zu Fragen der Wirkungsana-

gebundene Erfolgsfaktoren? Welche Kriterien

lyse und Qualitätsentwicklung. Die durch die Wirkungsanalyse gewonnenen Erkenntnisse wie Handbücher oder auch Schulungen für Projektnehmer verwenden. Ist ein Projekt analyse weiterhin eine wichtige Rolle bei erfolgreich verbreitet, spielt die Wirkungsder Qualitätssicherung. Bei einer vertraglich fundierten Partnerschaft oder bei der Gründung von Filialen wird für das Reporting und Berichtswesen genutzt, das heißt, dass alle Zeitabständen und Berichtsformaten bekönnen Sie für die Erstellung von Materialien

Wenn Du ein Schiff bauen willst, dann trommle nicht Männer zusammen, um Holz zu beschaffen, Aufgaben zu vergeben und die Arbeit einzuteilen, sondern lehre sie die Sehnsucht nach dem weiten, endlosen Meer.
Antoine de Saint-Exupery (* 29.6.1900 –†31.7.1944)

sind entscheidend dafür, dass das Projekt bei einer bestimmten Teilzielgruppe wirkt? Was anderen lernen? Durch eine Zusammenführung der Ergebnisse wird noch deutlicher, Practices identifizieren. Die Erkenntnisse kann ein Projektnehmer aus dem Erfolg eines

die Qualitätssicherung meist ein einheitliches Projektnehmer dem Projektgeber in gleichen richten. Bei einer offenen Verbreitung durch Wissenstransfer an unabhängige Organisada der Austausch zwischen Projektgeber tionen sind die Möglichkeiten hier geringer, und -nehmer oft kaum über eine anfängliche

„was wirklich wirkt“, und es lassen sich Best helfen nicht nur den Projektnehmern untereindieser Grundlage das Projektkonzept verbessern und weiterentwickeln kann. Es kann ein sames Lernen und eine laufende Weiterentvon wirkungsvoller Arbeit beiträgt.

ander, sondern auch dem Projektgeber, der auf

Lern-Netzwerk entstehen, das durch gemeinwicklung und Verbesserung zur Verbreitung

121

Falls Sie nicht zu den Personen gehören, die Bücher von hinten lesen, haben Sie sich an dieser Stelle mehr als 120 Seiten lang mit Wirkungsorientierung befasst und dabei

Steuerungskreislaufs, eröffnet sich ein neuer Reise fort. Wenn Sie sich bis jetzt noch nicht viel mit dem Thema Wirkungsorientierung befasst haben, werden Sie feststellen, dass

Kreislauf, und Sie setzen mit Ihrem Projekt die

Texten, Grafiken und Beispielen zum Thema

ZUM SCHLUSS

eine Reise rund um den wirkungsorientierten Steuerungskreislauf absolviert. In Teil 1 des Kursbuchs haben Sie erfahren, wie Sie die Wirkung des Projekts bereits während der Projektplanung mitdenken

die erste Reise die schwerste ist. Denn wenn erst einmal in Ihre alltägliche Projektarbeit integriert haben, wird sich der Aufwand wirkungsorientierten Projektsteuerung ziehen, verringern. gegenüber dem Nutzen, den Sie aus der

Sie die wirkungsorientierte Projektsteuerung

können und wie sich auf der Grundlage einer Bedarfsanalyse die Wirkungsziele und die Mit den Wirkungszielen im Blick, müssen Wirkungslogik des Projekts erarbeiten lassen. Sie während der Projektumsetzung feststellen, ob und inwieweit Ihr Projekt auf dem zu erreichen. richtigen Weg ist, um die angestrebten Ziele In Teil 2 des Kursbuchs haben Sie daher einen

Egal, ob Sie Wirkungsorientierungs-Neuling sind oder schon Erfahrung in der wirkungsorientierten Projektsteuerung haben und sich im Kursbuch vielleicht nur auf die Abders interessieren: Wir hoffen, dass Ihnen das Kursbuch wertvolle Anregungen und

schnitte konzentriert haben, die Sie beson-

Überblick über die Bandbreite an Möglichkeianalyse Wirkungsnachweise zu erheben, und Sie haben gelernt, wie Sie die erhobenen Daten auswerten können.

ten bekommen, um im Rahmen der Wirkungs-

Hilfestellungen für Ihre wirkungsorientierte

Projektarbeit gegeben hat und Sie vielleicht

auch etwas Spaß bei der Lektüre hatten. Vor allem aber würden wir uns freuen, wenn Sie dieses Praxishandbuch motiviert hat, sich mit dem Thema Wirkungsorientierung zu arbeit nützt allen: Ihrer Zielgruppe, weil

In Teil 3 des Kursbuchs haben Sie erfahren,

wie Sie die erhobenen Informationen nutzen zentrale Elemente der wirkungsorientierten

können. Sie haben Lernen und Verbessern als Projektsteuerung kennengelernt, und Ihnen nisse der Wirkungsanalyse so aufbereiten Kommunikation nutzen können.

befassen. Denn wirkungsorientierte Projekt­ sie das Angebot bekommt, das so gut wie

wurden Ideen vorgestellt, wie Sie die Ergebkönnen, dass Sie die Informationen für Ihre Am Projektbeispiel PAFF wurde gezeigt, dass Wirkungsorientierung in der alltäglichen Projektarbeit auch für kleinere Projekte

möglich auf ihre Bedarfe zugeschnitten ist,

den Projektmitarbeitenden, weil es befriediProjekt Wirkung entfaltet, den Geldgebern, deren Mittel bestmöglich investiert sind,

gend und motivierend ist, zu sehen, dass das

anderen gemeinnützigen Organisationen, da durch den Austausch über Wirkungsorientierung eine positive Entwicklung im gesamten Sektor angestoßen wird, und im Endeffekt

ein machbares Unterfangen ist, wenn die eingesetzt werden.

Maßnahmen bedarfsgenau konzipiert und Sie haben also eine weite Reise in Richtung Wirkung gemacht und sind im Hafen angegesammelt haben, werden Sie bald wieder zu einer neuen Reise aufbrechen, denn mit Abschluss eines wirkungsorientierten kommen. Aber mit den Erfahrungen, die Sie

der gesamten Gesellschaft, da durch die wirkungsvolle Arbeit gemeinnütziger Projekte Gesellschaft geleistet wird. ein Beitrag für eine gerechtere und bessere In diesem Sinne wünschen wir Ihnen viel Erfolg und Freude bei Ihrer wirkungs­vollen Arbeit!

122

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

Dieses Buch als PDF herunterladen: www.phineo.org/downloads/?p=1&filename= PHINEO_KURSBUCH_WIRKUNG.pdf Die zusätzlichen Materialien zu den einzelnen Kapiteln, wie Templates zum selbst Ausfüllen, sowie weitere kostenfreie Publikationen von PHINEO finden Sie unter www.phineo.org/publikationen

123

GLOSSAR 1

B

Baseline Information über die Situation der Zielgruppe vor Beginn eines Projekts oder Programms, die als Bezugspunkt für die Bewertung von Fortschritten oder für Vergleiche dienen kann.

Bedarfs- und Umfeldanalyse

Bedarfsanalysen sind die (empirische) Auseinandersetzung mit den gesellschaftlichen Herausforderungen (z.B. Ausmaß, Dringlichkeit), der konkreten Situation vor Ort (z.B. in einem Stadtteil) und den Bedürfnissen und Bedarfen der Mitglieder der Zielgruppe (z.B. Bildungssituation, kulturelle Prägung, familiäres Umfeld). Aus den Erkenntnissen aus der Bedarfsanalyse leiten sich die Anforderungen an Projekte beziehungsweise Programme ab. Umfeldanalysen setzen sich mit den Akteuren in der Region und mögliche Schnittstellen, den Akteuren mit ähnlichen Zielen und Zielgruppen, den Akteuren, deren Konzept man sinnvoll auf die eigene Region übertragen kann und den Akteuren mit ähnlichen Projekten, von deren Konzepten man lernen kann, auseinander. Ziele einer Umfeldanalyse können sein: Dopplungen bei dem Angebot von Projekten zu vermeiden, eigene Angebote mit denen anderer Organisationen abzustimmen und sinnvolle Koopera­ tionen einzugehen.

E

größe (oder Beurteilung) des Nutzens oder Wertes eines Projekts verwendet, d.h. des Ausmaßes, in dem ein Projekt seine Ziele erreicht hat oder voraussichtlich erreichen wird.

Ein Maß dafür, wie gut Inputs (Ressourcen) wie zum Beispiel Finanzmittel, Fachwissen, Zeit usw. eines Projekts in Ergebnisse im Sinne von Outputs (Leistungen) umgewandelt werden.

Effizienz (auch: Wirtschaftlichkeit, Kosten-Nutzen)

Evaluation

lich unvollständiger Anhaltspunkt für das Vorhandensein eines Sachverhalts, dessen Vorliegen nicht unmittelbar beobachtbar ist. Indikatoren sind unverzichtbar für das Messen komplexer Sachverhalte im Rahmen von Monitoring und Evaluation.

I

Systematische und objektive Beurteilung eines laufenden oder abgeschlossenen Projekts oder Programms sowie dessen Umsetzung und Ergebnisse. Ziele von Evaluationen können u.a. sein, die Relevanz und Verwirklichung von Zielen zu ermitteln sowie ihre Effizienz für die Entwicklung, ihre Wirksamkeit, längerfristige Wirkung und Nachhaltigkeit zu bestimmen. Eine Evaluation sollte glaubwürdige und nützliche Informationen liefern, die die Einbeziehung gewonnener Erkenntnisse in die Projektsteuerung ermöglichen.

Inputs (Ressourcen)

L

Finanzielle, personelle und materielle Ressourcen, die für ein Projekt eingesetzt werden.

M

→ Wirkungslogik

Logisches Modell (Logic Model) Methoden der Datenerhebung

Benchmark

Bezugspunkt oder Vergleichsmaßstab, an dem Leistungen oder Ergebnisse gemessen werden können. Als Benchmark dienen die Leistungen anderer vergleichbarer Organisationen in der jüngeren Vergangenheit oder die Leistungen, die man unter den gegebenen Umständen realistischerweise hätte erwarten können.

Effektivität (Wirksamkeit)

Ausmaß, in dem die Wirkungsziele eines Projekts erreicht worden sind oder voraussichtlich erreicht werden. Der Begriff wird auch als Gesamtmess-

Während sich bei den Outcomes die Wirkungen auf die Zielgruppe(n) des Projekts beziehen, beschreiben die Impacts die erwünschten Veränderungen auf gesellschaftlicher Ebene. Dies sind zum Beispiel Veränderungen der sozialen oder ökonomischen Situation der Gesellschaft. Da der Bezug auf die „Gesamtgesellschaft“ hier in den meisten Fällen weder sinnvoll noch möglich ist, beziehen sich die Impacts meist auf einen Teil der Gesellschaft zum Beispiel die Bevölkerung in einem Stadtteil oder einer Region.

Impact (Wirkungen auf gesellschaftlicher Ebene)

Methoden, die im Rahmen von Monitoring und Evaluation zur Erhebung von Daten eingesetzt werden. Beispiele hierfür sind schriftliche und mündliche Befragungen, Beobachtungen, das Einholen von Expertenmeinungen, Fallstudien, das Sammeln von Anekdoten oder die Auswertung von Dokumenten.

Monitoring

Indikator

Anzeiger (von lat. indicare – auf etwas zeigen/etwas zeigen) bzw. grundsätz-

O

Kontinuierlicher Prozess der systematischen Datensammlung während des Projektverlaufs, mit dem Ziel, aktuelle Informationen für die Steuerung des Projekts zu haben. Dabei werden vor allem Indikatoren zu den erzielten Fortschritten, den erreichten Zielen sowie über die Verwendung bereitgestellter Mittel erhoben.

Die Outputs (Leistungen) umfassen die Angebote und Produkte eines Projekts, also das, was ein Pro-

Outputs (Leistungen)

124

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

jekt tut beziehungsweise anbietet, sowie die Nutzung der Leistungen durch die Zielgruppe. Die Outputs bilden die Grundlage dafür, dass das Projekt Wirkung erzielen kann.

SROI (Social Return on Investment)
Social Return on Investment (auf Deutsch: „Sozialrendite“) ist ein Ansatz der Social-Impact-Messung, der sich mit der Bewertung des durch (soziale) Projekte geschaffenen gesellschaftlichen Mehrwerts beschäftigt und der in den letzten Jahren zunehmend nachgefragt, aber auch kritisch diskutiert wird. Bei der SROI-Analyse wird versucht, Projektresultate zu quantifizieren und in monetären Werten auszudrücken.

Outcome (Wirkungen auf Ebene der Zielgruppe)

Wirkungslogik

Outcomes sind die Wirkungen des Projekts auf Ebene der Zielgruppe(n) und bilden den zentralen Bestandteil der Wirkungslogik. Sie verdeutlichen, auf welche positiven Veränderungen bei den am Projekt Teilnehmenden das Projekt abzielt. Die Outcomes untergliedern sich dabei in drei Stufen (Stufen 4-6 in der Wirkungslogik): die Veränderungen im Wissen, den Einstellungen und in den Fähigkeiten (Stufe 4); im Verhalten (Stufe 5) oder in der Lebenslage / dem Status der Zielpersonen (Stufe 6).

Stakeholder

W

T

Einrichtungen, Organisationen, Gruppen oder Einzelpersonen mit einem direkten oder indirekten Interesse an einem Projekt.

Wirkungslogiken gibt es in verschiedenen Varianten und unter verschiedenen Namen. Bekannt sind hier vor allem die Begriffe „Programmlogik“, „Theory of Change“, „Wirkungsketten“ oder „Logische Modelle“. Gemeinsam ist ihnen ihre Aufgabe, die Funktions­ weise eines Projekts schematisch und in vereinfachter Form abzubilden.

Wirkungsorientierung

Theory of Change
→ Wirkungslogik

Veränderungen, die durch eine bestimmte Intervention verursacht worden sind. Wirkung auf Ebene der Gesellschaft wird als Impact, Wirkungen bei den Zielgruppen werden als Outcomes bezeichnet.

Wirkung

Z

Wirkungsorientierung bedeutet, dass ein Projekt darauf ausgelegt ist, Wirkungen zu erzielen, und es ent­ sprechend geplant und umgesetzt wird. Erwünschte Wirkungen werden als konkrete Ziele formuliert, an denen sich die gesamte Arbeit aus­ richtet und gesteuert wird.

Wirkungsanalyse

S

Der SRS bietet einen Rahmen für die Berichterstattung für Organisationen und Projekte. Er hilft insbesondere dabei, die Wirkungskette der Projekte/ Angebote zu dokumentieren und zu kommunizieren. Darüber hinaus werden weitere wesentliche Elemente der Berichterstattung wie die Organisationsstruktur und Finanzen in einem SRS-Bericht systematisch erfasst, sodass bei Anwendung des SRS ein umfassendes Bild über die berichtende Organisation entsteht.

Social Reporting Standard (SRS)

Der Begriff „Wirkungsanalyse“ kann in einem engeren und in einem weiteren Sinn verwendet werden. Wirkungsanalyse im engen Sinn bedeutet, dass die Erhebung der Daten auf die Outcomes und Impacts eines Projekts abzielt. Im Rahmen der wirkungsorientierten Projektsteuerung ist ein weites Verständnis von Wirkungsanalyse sinnvoll. Denn hier ist es wichtig, nicht nur zu fragen, ob ein Projekt wirkt, sondern auch festzustellen, welches die ausschlaggebenden Faktoren sind, die zu den Wirkungen führen. Wirkungsanalyse im hier verwendeten, weiten Sinn umfasst daher neben der Analyse der Wirkungen (Outcomes und Impacts) selbst auch die erbrachten Leistungen des Projekts und deren Qualität. Die Wirkungsanalyse im weiten Sinn hinterfragt auch die Wirkungsannahmen, auf denen das Projekt aufbaut.

Beabsichtigte Wirkungen eines Projekts, die für Personen, Gruppen, Organisationen oder die Gesellschaft zu physischen, finanziellen, institutionellen, sozialen, ökologischen oder sonstigen Verbesserungen beitragen.

Ziele (Wirkungsziele)

Zielgruppe

Personen, Gruppen oder Organisationen, zu deren Gunsten ein Projekt durchgeführt wird.

Quelle: 1 vgl. OECD Entwicklungsausschuss: „Glossar entwicklungspolitischer Schlüsselbegriffe aus den Bereichen Evaluierung und ergebnisorientiertes Management“, Paris 2009 und Univation: „Eval-Wiki: Glossar der Evaluation“ Köln 2010, unter: www.eval-wiki.org/ glossar/ Eval-Wiki:_Glossar_der_Evaluation
125

WEITERFÜHRENDE LITERATURHINWEISE
Allgemeine Einführungen und Überblicke Beywl, Wolfgang (Hrsg.): „Evaluation Schritt für Schritt: Planung von Evaluationen”, Band 20/26 der Reihe Weiterbildung des Heidelberger Instituts für Beruf und Arbeit (hiba), Darmstadt 2007 Herrero, Sonia: „Integrated Monitoring. A Practical Manual for Organisations That Want to Achieve Results”, Berlin 2012, unter: www. inprogressweb.com/resources Shapiro, Janet: „Monitoring and Evaluation”, CIVICUS Toolkits, Johannesburg 2001, unter: http://www.civicus.org/new/media/Monitoring%20and%20Evaluation.pdf Stockmann, Reinhard: „Handbuch zur Evaluation: Eine praktische Handlungsanleitung“, Sozialwissenschaftliche Evaluationsforschung, Münster 2007 United Way of America: „Measuring Program Outcomes: A Practical Approach“, Arlington 1996, unter: www.liveunited.org/Outcomes/ Resources/MPO/ Zum Thema „Bedarfs- und Umfeldanalyse“ Altschuld, James W.: The Needs Assessment Kit, Thousand Oaks 2010 IMAS (International mine action standards): Data collection and needs assessment, Genf 2005, unter: http://www.parkdatabase.org/ files/documents/2005_Data-Collection-andNeeds-Assessment_MRE-Best-PracticeGuidebook_IMAS.pdf Rossi, Peter H./ Lipsey, Mark W./ Freeman, Howard E.: „Evaluation. A Systematic Approach”, Seventh Edition, Thousand Oaks 2004, Kapitel 4 Zum Thema „Wirkungsziele setzen“ Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ): „Zielfindung und Zielklärung – ein Leitfaden”, QS Nr. 21, Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe, Bonn 1999, unter: http://www.bmfsfj.de/BMFSFJ/Service/Publikationen/publikationsliste,did=3238.html Zum Thema „Wirkungslogik” Dewson, Sara/Eccles, Judith et al.: „Guide to Measuring Soft Outcomes and Distance Travelled”, The Institute for Employment Studies, Brighton 2000, http://www.dwp.gov.uk/docs/distance.pdf Innovation Network: „Logic Model Workbook“, Washington o.J., unter: http://www. innonet.org/client_docs/File/ logic_model_workbook.pdf University of Wisconsin Extension: „Enhancing Program Performance with Logic Models”, Madison 2003. www.uwex.edu/ces/lmcourse/ Zum Thema „Vorbereiten der Wirkungsanalyse“ Preskill, Hallie/Jones, Natalie: A Practical Guide for Engaging Stakeholders in Developing Evaluation Questions, (Robert Wood Johnson Evaluation Series) , Princeton 2009, unter: http://www.rwjf.org/content/dam/ web-assets/2009/01/a-practical-guidefor-engaging-stakeholders-in-developingevalua Zum Thema „Indikatoren“: Meyer, Wolfgang Dr.: „Indikatorenentwicklung: Eine praxisorientierte Einführung (2. Auflage)“, Centrum für Evaluation, CEval Arbeitspapiere, 10, Saarbrücken 2004 SECO (Hrsg.): Handbuch Indikatorenbildung für die wirtschaftliche Zusammenarbeit mit Entwicklungs- und Transitionsländern, Zürich 2001, unter: www.seco-cooperation.admin.ch/ United Way of America: „Measuring Program Outcomes: A Practical Approach“, Arlington 1996, Step 3: Specify Indicators for your Outcomes, S. 59-80 Zum Thema „Daten erheben” Datenbank mit Informationen zu den verschiedenen Erhebungsmethoden der University of Wisconsin-Extension: http://www.uwex.edu/ces/pdande/ evaluation/evaldocs.html Datenbank zu den verschiedenen Erhebungstools mit Handreichungen und Checklisten von EuropeAid: http://ec.europa.eu/europeaid/evaluation/methodology/index_en.htm Earl, Sarah/Carden, Fred/Smutylo, Terry: „Outcome Mapping: Building Learning and Reflection into Development Programs”, Ottawa 2001, unter: www.idrc.ca/ en/ev-26586-201-1-DO_TOPIC.html Keller-Ebert, Cornelia / Kißler, Mechthild / Schobert, Berthold: „Evaluation praktisch! Wirkungen überprüfen, Maßnahmen optimieren, Berichtsqualität verbessern“, Heidelberg 2005. König, Joachim: „Einführung in die Selbstevaluation“, Freiburg 2007, 2. Auflage Konrad, Klaus: „Mündliche und schriftliche Befragung – ein Lehrbuch“. Landau 2005 Meyer, Wolfgang: „Datenerhebung: Befragungen – Beobachtungen – Nicht-reaktive Verfahren“, in: Handbuch zur Evaluation. Reiner Stockmann (Hg.), Münster 2007, S. 223-277. Online Umfrage Tools: http://surveymonkey.com; http://hostedsurvey.com/home.html Software für die Erstellung von Fragebögen: http://www.grafstat.de/ Zum Thema „Daten analysieren“ Beywl, Wolfgang (Hrsg.): „Evaluation Schritt für Schritt: Planung von Evaluationen”, Band 20/26 der Reihe Weiterbildung des Heidelberger Instituts für Beruf und Arbeit (hiba), Darmstadt 2007, Kapitel 4 (Daten erheben und auswerten.) und 5 (Schlussfolgern und bewerten): S. 47 – 70 The Urban Institute: Analyzing Outcome Information – Getting the most from Data, Washington 2004. unter: http://www.urban.org/UploadedPDF/ 310973_OutcomeInformation.pdf Zum Thema „Lernen und Verbessern“ Argyris, Chris/Schön, Donald A.: „Die lernende Organisation”, 3. Auflage, 2008 Bono, Maria Laura: „Performance Management in NPOs. Steuerung im Dienste sozialer Ziele“, Baden-Baden 2010 Stockmann, Reinhard: „Qualitätsmanagement und Evaluation“, in: ders.: „Evaluation und Qualitätsentwicklung. Eine Grundlage für wirkungsorientiertes Qualitätsmanagement”, Sozialwissenschaftliche Evaluationsforschung Band 5, Münster 2006, S. 22-96 Zum Thema „Berichten“ Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ): „Zielgeführte Evaluation von Programmen – ein Leitfaden“, QS Nr. 29, Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe, Bonn 2000, Kapitel 5. Evaluationsberichte, S. 83-91

126

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

HERZLICHEN DANK
SRS Konsortium: Social Reporting Standard, unter: http://www.social-reporting-standard.de/ Torres, Rosalie T./ Preskill, Hallie/Piontek, Mary E.: „Evaluation Strategies for Communicating and Reporting. Enhancing Learning in Organizations“, 2. Auflage. Thousand Oaks 2005 Zum Thema „Skalierung“ Bertelsmann Stiftung (Hrsg.): „Skalierung sozialer Wirkung. Handbuch zu Strategien und Erfolgsfaktoren von Sozialunternehmen“, Gütersloh 2013 Bundesverband Deutscher Stiftungen e.V. (Hrsg.): „Nachmachen – aber richtig! Qualität im Projekttransfer gestalten“, Praxis­ ratgeber Effekt hoch n, Berlin 2011, unter: http://www.stiftungen.org/fileadmin/bvds/ de/Projekte/Projekttransfer/ Nachmachen_aber_richtig_online.pdf The Social Enterprise Coalition: „The Social Franchising Manual”, London 2011, http://www.socialenterprise.org.uk/uploads/ editor/files/Publications/ Social_Franchising_manual.pdf Die PHINEO gAG bedankt sich herzlich bei allen Beteiligten, die an der Erarbeitung des Kursbuchs mitgewirkt haben. Dieses Kursbuch wäre ohne ihr kompe­ entes Feedback nicht in t dieser Form möglich gewesen. Für ihre Teilnahme am Expertenworkshop und den intensiven Austausch danken wir herzlich: Gerald Labitzke, Bertelsmann Stiftung, Gütersloh Claudia Leißner, Auridis GmbH, Neuss Lena-Maria Wörrlein, Fakultät Wirtschafts- und Sozialwissenschaften Universität Hamburg, Hamburg Für ihr Feedback und die wertvollen Anregungen zum Manuskript danken wir herzlich: Ina Bisani, Mentoring Ratingen e.V., Ratingen Dr. Michael Mrva und Peter Ullrich, Nachbarschaftshilfe Taufkirchen e.V., Taufkirchen Juliane Metzner, Bundesverband Deutscher Stiftungen, Berlin

Hinweis: Die weiterführenden Literaturhinweise wurden während der Arbeit an dieser Publikation zusammengestellt und teilweise mit Weblinks angegeben. In der Natur des Internets liegt beständiger Wandel. Wir können dementsprechend keine Garantie dafür übernehmen, daß diese Links auch zukünftig noch verfügbar sind.

Kostenfreie Publikationen von PHINEO sowie auch dieses Kursbuch und die dazugehörigen Downloads finden Sie unter www.phineo.org/publikationen

127

LITERATURVERZEICHNIS
Altschuld, James W.: „The Needs Assessment Kit“, Thousand Oaks 2010 Argyris, Chris/Schön, Donald A.: „Die lernende Organisation”, 3. Auflage, Stuttgart 2008 Beywl, Wolfgang (Hrsg.): „Evaluation Schritt für Schritt: Planung von Evaluationen”, Band 20/26 der Reihe Weiterbildung des Heidelberger Instituts für Beruf und Arbeit (hiba), Darmstadt 2007 Bertelsmann Stiftung (Hrsg.): „Skalierung sozialer Wirkung. Handbuch zu Strategien und Erfolgsfaktoren von Sozialunternehmen“, Gütersloh 2013 Bono, Maria Laura: „NPO-Controlling – Professionelle Steuerung sozialer Dienstleistungen“, Stuttgart 2006. Bono, Maria Laura: „Performance Management in NPOs. Steuerung im Dienste sozialer Ziele“, Baden-Baden 2010 Bundesverband Deutscher Stiftungen e.V. (Hrsg.): „Nachmachen – aber richtig! Qualität im Projekttransfer gestalten“, Praxisratgeber Effekt hoch n, Berlin 2011, unter: http://www.stiftungen.org/fileadmin/ bvds/de/Projekte/Projekttransfer/ Nachmachen_aber_richtig_online.pdf Bundeskanzleramt Österreich: „Handbuch für Wirkungsorientierte Steuerung. Unser Handeln erzeugt Wirkung”, Wien 2011, unter: http://www.bka.gv.at/ DocView.axd?CobId=42634 Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ): „Zielgeführte Evaluation von Programmen – ein Leitfaden“, QS Nr. 29, Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe, Bonn 2000 Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ): „Leitfaden für Selbstevaluation und Qualitätssicherung“, QS Nr. 19, Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe, Bonn 1998 Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ): „Zielfindung und Zielklärung – ein Leitfaden”, QS Nr. 21, Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe, Bonn 1999, unter: http://www.bmfsfj.de/BMFSFJ/Service/Publikationen/publikationsliste,did=3238.html DeGEval- Standards für Evaluation und die Standards für Selbstevaluation: Standards für Evaluation: http://www.degeval.de/degevalstandards, Standards zur Selbstevaluation: http://www.alt.degeval.de/calimero/tools/ proxy.php?id=24059
128

Dewson, Sara/ Eccles, Judith et al.: „Guide to Measuring Soft Outcomes and Distance Travelled”, The Institute for Employment Studies, Brighton 2000, http://www.dwp.gov.uk/docs/distance.pdf Earl, S., Carden, F., and Smutylo, T.: „Outcome Mapping: Building Learning and Reflection into Development Programs”, Ottawa 2001, unter: www.idrc.ca/en/ ev-26586-201-1-DO_TOPIC.html European Venture Philanthropy Association: „A Practical Guide to impact Measurement“, Brüssel 2013, unter: http://evpa.eu.com/ wp-content/uploads/2012/11/ EVPA-Full-Manuel-Final-Version_A4.pdf Grantmakers for Effective Organizations (GEO): Four Essentials for Evaluation, Washington o.J., un-ter: http://geofunders.org/ geo-publications/567-four-essentials Herrero, Sonia: „Integrated Monitoring. A Practical Manual for Organisations That Want to Achieve Results”, Berlin 2012, unter: www.inprogressweb.com/resources Hoelscher, Philipp: „Kredit statt Spende? Venture Philanthropy als Soziale Investition“, in: Forschungsjournal Soziale Bewegung Heft 1/2011, S. 32. Hornsby, Adrian: „The Good Analyst. Impact Measurement & Analysis in the SocialPurpose Universe“, London 2012, unter: www.investingforgood.co.uk/thegoodanalyst Hurt, Karen: „Writings within your Organisation”, CIVICUS Toolkits, South Africa 2003, http://www.civicus.org/new/ media/Writings%20within%20your% 20organisation.pdf IMAS (International mine action standards): Data collection and needs assessment, Genf 2005, unter: http://www.parkdatabase.org/ files/documents/2005_Data-Collection-andNeeds-Assessment_MRE-Best-Practice-Guidebook_IMAS.pdf International Group of Controlling: „Wirkungsorientiertes NPO-Controlling”, ICG-Arbeitsgruppe 2008 Innovation Network: „Evaluation Plan Workbook“, Washington 2006, www.innonet.org Innovation Network: „Logic Model Workbook“, Washington o.J., unter: http://www.innonet.org/client_docs/File/ logic_model_workbook.pdf International Federation of Red Cross and Red Crescent Societies: „Project/programme monitoring and evaluation (M&E) guide”, Genf 2011

Jugend für Europa: „Evaluation in der Jugendarbeit Reflektieren – bewerten – lernen“ (T-Kit Nr. 10), Bonn 2009, unter: https://www.jugendfuereuropa.de/ downloads/4-20-918/T-Kit-10_deutsch.pdf Keller-Ebert, Cornelia / Kißler, Mechthild / Schobert, Berthold: Evaluation praktisch! Wirkungen überprüfen, Maßnahmen optimieren, Berichtsqualität verbessern, Heidelberg 2005. King Baudouin Foundation: „Impact. Managing For Learning And Impact”, King Baudouin Foundation Project Management Guide, Brüssel 2011, unter: http://docsfiles. com/pdf_managing_for_impact.html König, Joachim: „Einführung in die Selbstevaluation“, Freiburg 2007, 2. Auflage Konrad, Klaus (2005) „Mündliche und schriftliche Befragung – ein Lehrbuch“. Landau: Verlag Empirische Pädagogik. Lloyd, Richard / O’Sullivan, Fionn: „Measuring Soft Outcomes and Distance Travelled – A Practical Guide”, Sheffield oJ, unter: http://www.socialfirmsuk.co.uk/resources/ library/measuring-soft-outcomes-anddistance-travelled-practical-guide-andexisting-models Local Livelihoods: „Results Based Monitoring and Evaluation“, Herfordshire 2009, 2. Auflage, unter: http://www.locallivelihoods.com/ cmsms/uploads/PDFs/Results%20Based%20 Monitoring%20Evaluation%20Toolkit.pdf Marr, Bernard: „Managing and Delivering Performance. How government, public sector and not-for-profit organizations can measure and manage what really matters”, Oxford 2009 Meyer, Wolfgang Dr.: „Indikatorenentwicklung: Eine praxisorientierte Einführung (2. Auflage)“, Centrum für Evaluation, CEval Arbeitspapiere, 10, Saarbrücken 2004 Migros-Kulturprozent und Schweizer Kulturstiftung Pro Helvetia: „Evaluieren in der Kultur – Warum, was, wann und wie? – Ein Leitfaden für die Evaluation von kulturellen Projekten, Programmen, Strategien und Institutionen“, unter: http://www.migros-kulturprozent.ch/Media/ Medien/Leitfaden_Evaluieren_d.pdf Milway Smith, Katie / Saxton, Amy: „The Challenge of Organizational Learning”, in: Stanford Social Innovation Review, Summer 2011, http://www.ssireview.org/articles/entry/ the_challenge_of_organizational_learning Mulgan, Geoff: „In and out of Sync. The challenge of growing Social Innovations”, Nesta Research Report, September 2007

© PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung

New Philanthropy Capital: „Principles of Good Impact Reporting for Charities and Social Enterprises“, London 2012, unter: http://www.thinknpc.org/publications/ the-principles-of-good-impact-reporting-2/ New Philanthropy Capital: „Talking about Results“, NPC perspectives, London 2010, unter: http://www.thinknpc.org/publications/ talking-about-results/ OECD Entwicklungsausschuss: „Glossar entwicklungspolitischer Schlüsselbegriffe aus den Bereichen Evaluierung und ergebnisorientiertes Management“, Paris 2009 PHINEO: „Transparenz von gemeinnützigen Organisationen“, Positionspapier, Berlin 2011 Preskill, Hallie / Jones, Natalie: „A Practical Guide for Engaging Stakeholders in Developing Evaluation Questions“, (Robert Wood Johnson Evaluation Series) , Princeton 2009, unter: http://www.rwjf.org/content/dam/ web-assets/2009/01/a-practical-guide-forengaging-stakeholders-in-developing-evalua Probst, G./Raub, S./Romhardt, K.: „Wissen managen. Wie Unternehmen ihre wertvollste Ressource optimal nutzen“, 6. Auflage, Genf 2010 Reade, Nicolà: „Konzept für alltagstaugliche Wirkungsevaluierungen in Anlehnung an Rigorous Impact Evaluation“, Saarbrücken 2008, unter: http://www.ceval.de/typo3/fileadmin/user_upload/PDFs/workpaper14_01.pdf Rossi, Peter H./ Lipsey, Mark W./ Freeman, Howard E.: „Evaluation. A Systematic Approach”, Seventh Edition, Thousand Oaks 2004 Schacter, Mark: Not a „Tool Kit” – Practitioner’s Guide to Measuring the Performance of Public Programs, Ottawa 2002, unter: http://www.schacterconsulting.com/ docs/toolkit.pdf Schmidt, Stefan: „Regionale Bildungslandschaften wirkungsorientiert gestalten – Ein Leitfaden zur Qualitätsentwicklung“, Gütersloh 2012 SECO (Hrsg.): „Handbuch Indikatorenbildung für die wirtschaftliche Zusammenarbeit mit Entwicklungs- und Transitionsländern“, Zürich 2001, unter: www.seco-cooperation.admin.ch/ Shapiro, Janet: „Monitoring and Evaluation”, CIVICUS Toolkits, Johannesburg 2001, unter: http://www.civicus.org/new/media/ Monitoring%20and%20Evaluation.pdf Shapiro, Janet: „Strategic Planning Toolkit”, CIVICUS Toolkits, Johannesburg oJ, unter: http://www.civicus.org/new/media/Strategic%20Planning.pdf Shapiro, Janet: “Overview of Planning”,

CIVICUS Toolkits, Johannesburg oJ, unter: http://www.civicus.org/new/media/ Overview%20of%20Planning.pdf Smart Toolkit for Evaluating Information Projects, Products and Services, 2010, http://www.smarttoolkit.net/?q=toolkit Stockmann, Reinhard: „Handbuch zur Evaluation: Eine praktische Handlungsanleitung“, Sozialwissenschaftliche Evaluationsforschung, Münster 2007 Stockmann, Reinhard: „Evaluation und Qualitätsentwicklung. Eine Grundlage für wirkungsorientiertes Qualitätsmanagement“, Sozialwissenschaftliche Evaluationsforschung Band 5, Münster 2006 The Social Enterprise Coalition: „The Social Franchising Manual”, London 2011, unter: http://www.socialenterprise.org.uk/uploads/ files/2011/11/social_franchising_manual.pdf The Urban Institute: „Key Steps in Outcome Management”, Series on Outcome Management For Nonprofit Organizations, Washington 2003, www.urban.org The Urban Institute: „Finding Out what happened to Former Clients“, Washington 2003, unter: http://www.urban.org/ UploadedPDF/310815_former_clients.pdf The Urban Institute: „Analyzing Outcome Information – Getting the most from Data“, Washington 2004. unter: http://www.urban.org/UploadedPDF/ 310973_OutcomeInformation.pdf The World Bank: „Ten Steps to a ResultsBased Monitoring and Evaluation System”, 2004, unter: http://www-wds.worldbank.org/ servlet/WDSContentServer/WDSP/IB/2004/ 08/27/000160016_20040827154900/ Rendered/PDF/296720PAPER0100steps.pdf Torres, Rosalie T. / Preskill, Hallie / Piontek, Mary E.: „Evaluation Strategies for Communicating and Reporting. Enhancing Learning in Organizations“, 2. Auflage. Thousand Oaks 2005 UNDP: „Handbook on Planning, Monitoring and Evaluation for Development Results“, New York 2009, unter: http://web.undp.org/ evaluation/handbook/ United Way of America: „Measuring Program Outcomes: A Practical Approach“, Arlington 1996, unter: www.liveunited.org/Outcomes/ Resources/MPO/ University of Wisconsin-Extension: „Enhancing Program Performance with Logic Models”, Madison 2003. www.uwex.edu/ces/lmcourse/

University of Wisconsin-Extension: „Developing a logic model: Teaching and training guide”, Madison 2008, unter: http://www.uwex.edu/ces/pdande/ evaluation/pdf/lmguidecomplete.pdf University of Wisconsin-Extension: „Building Capacity in Evaluation Outcomes – A Teaching and Facilitating Resource for Community-Based Programs and Organizations“, Wisconsin 2008, unter: http://www.uwex.edu/ces/pdande/ evaluation/bceo/pdf/bceoresource.pdf VENRO: „Prüfen und Lernen. Praxisorientierte Handreichung zur Wirkungsbeobachtung und Evaluation”, Bonn 2002, unter: http://www.venro.org/fileadmin/ Publikationen/Einzelveroeffentlichungen/Evaluation_und_Wirkungsbeobachtung/ pruefen_lernen.pdf Welthungerhilfe: „Leitfaden Wirkungsorientierung in den Projekten und Programmen der Welthungerhilfe. Teil III: Instrumente und Methoden“, Bonn 2008 Wilke, Helmut: „Systemisches Wissensmanagement“, 2. Auflage, Stuttgart 2001 W.K. Kellogg Foundation: „Evaluation Handbook“, Battle Creek 2004, unter: www.wkkf.org ZEWO: „Wirkungsmessung in der Entwicklungszusammenarbeit. Zewo-Leitfaden für Projekte und Programme“, unter http://impact.zewo.ch/de/wirkungsmessung

Hinweis: Die Angaben im Literaturverzeichnis wurden während der Arbeit an dieser Publikation zusammengestellt. Viele der Quellen verweisen auf Internetseiten, deren Inhalte wir nicht selbst pflegen. Wir können dementsprechend keine Garantie dafür übernehmen, daß diese Links nach Drucklegung oder in der Zukunft noch verfügbar sind.

Links
•	 www.degeval.de •	 www.evalguide.ethz.ch •	 www.evaluation.lars-balzer.name •	 http://evaluationtoolbox.net.au/ •	 www.eval-wiki.org/glossar/ Eval-Wiki:_Glossar_der_Evaluation •	 www.gesis.org/publikationen/gesis-how-to •	 http://www.grafstat.de •	 http://hostedsurvey.com/home.html •	 http://info.zoomerang.com •	 http://www.outcomesstar.org.uk/ •	 www.scalingwhatworks.org/ •	 http://www.social-reporting-standard.de/ •	 http://surveymonkey.com •	 www.univation.org
129

Die Schritte der wirkungsorientierten Steuerung: Wirkungsorientierung im Steuerungskreislauf mehr auf → S. 6

auf einen blick
ES RB

SERN

K

U

N

G

VE

TE
Herausforderungen und Bedarfe verstehen

IL

W

Über Wirkung berichten

1–
W

IR

IR
KU

L3 –

NG

TEI

-

Lernen und anpassen

9 8

1 2 3

Wirkungsziele setzen

PLA

NEN

a-

-

Daten auswerten und analysieren

7 6 5 4

Wirkungslogik erarbeiten

d

Daten erheben

Wirkungsanalyse vorbereiten

TE

IL
Vgl. Studie „Wirkungsorientierte Steuerung in Non-Profit-Organisationen – Wirkung und Transparenz schaffen“, PHINEO gAG (2013:8)

,

–

W

IR

KU

Indikatoren entwickeln

n un

Gesellschaft verändern: Das Modell der Wirkungstreppe mehr auf → S. 5

2

NG

A N A LY I E R E N S

nd e

Ab dieser Stufe spricht man von Wirkung

o

1 Aktivitäten finden wie geplant statt

2

Zielgruppen werden erreicht

3

Zielgruppen akzeptieren Angebote
OUTPUT

4

Zielgruppen verändern ihre Fähigkeiten

5 Zielgruppen ändern ihr Handeln

6

Lebenslage der Zielgruppen ändert sich
OUTCOME

7 Gesellschaft verändert sich

IMPACT

Abb Wirkungstreppe.: Eigene Darstellung nach Univation 2007

Transparent berichten: Der Social Reporting Standard (SRS) – mehr auf → S. 112
129

oder www.social-reporting-standard.de

Volle Wirkung voraus! Sie möchten mit Ihrer Arbeit etwas bewegen, etwas bewirken. Wir unterstützen Sie dabei! Wie? Indem wir Ihnen helfen, wirkungsorientiert zu handeln. Wie das funktioniert, erfahren Sie in diesem Kursbuch. Schritt für Schritt. Wir versprechen verblüffende Erkenntnisse und überraschende Einsichten, die von bemerkenswertem Nutzen für Ihre tägliche Arbeit sein werden. Garantiert! Warum wir Sie unterstützen? Weil wir an die Kraft der Zivilgesellschaft glauben. Wir sind überzeugt, dass Organisationen, die wirkungsorientiert auf Ihre Ziele zusteuern, deutlich mehr für die Gesellschaft bewegen können. Und natürlich auch für sich selbst – denn in Zeiten knapper Kassen erwarten potenzielle Fördermittelgeber klare Wirkungsbelege. Was wirkt wie und warum? Wer hier überzeugende Argumente und Nachweise vorweisen kann, ist eindeutig im Vorteil. Gemeinsam mit dem Bundesverband Deutscher Stiftungen unterstützt die Bertelsmann Stiftung mit dem Projekt Effekt n gemeinnützige Akteure dabei, die eigene Wirkung zu analysieren und zu vergrößern. Da PHINEO dasselbe Ziel hat, haben wir unsere gesammelten Erkenntnisse in dieses Kursbuch geschrieben. Es liefert praktische Tipps für alle, die Gutes noch besser tun wollen. Also: Leinen los – und volle Kraft voraus!

PHINEO ist ein unabhängiges Analyse- und Beratungshaus für wirkungsvolles gesellschaftliches Engagement. Ein breites Bündnis aus Wirtschaft und Zivilgesellschaft hat 2010 die gemeinnützige Aktiengesellschaft PHINEO ins Leben gerufen, um den gemeinnützigen Sektor zu stärken. Um dieses Ziel zu erreichen, setzt PHINEO bei allen an, die nicht nur Gutes tun, sondern auch Gutes bewirken wollen. PHINEO empfiehlt auf Basis der mehrstufigen

PHINEO-Analyse gemeinnützige Projekte, die besonderes Potenzial haben, die Gesellschaft nachhaltig zu gestalten. Mit Porträts dieser empfehlenswerten Organisationen, Reports zu ausgewählten Themenfeldern, Ratgebern zum Wie des Gebens sowie individueller Beratung bietet PHINEO Orientierung für wirkungsvolles gesellschaftliches Engagement. www.phineo.org

phineo ist ein bündnis starker partner
Hauptgesellschafter

Gesellschafter

Ideelle Gesellschafter

Strategische Partner

•	CSI	–	Centrum	für	soziale Investitionen und Innovationen
Förderer

•	Deutscher	Spendenrat •	Stiftung	Charité

•	Freshfields	Bruckhaus	Deringer	LLP

•	Warth	&	Klein	Grant	Thornton	AG Wirtschaftsprüfungsgesellschaft

ISBN 978-3-00-043516-4

WIR BITTEN UM IHRE HILFE: FEEDBACK ZUM „KURSBUCH WIRKUNG“

Wer wirkungsorientiert arbeiten möchte, ist auf die Unterstützung aller Beteiligten angewiesen – dazu gehören auch die Zielgruppen der Angebote. Bitte beantworten Sie uns einige Fragen zu unserem Kursbuch und helfen Sie uns dabei, die Wirkung unserer Arbeit zu erfassen! Mit Ihrem Feedback können wir lernen und uns entwickeln, damit wir Ihnen genau die Unterstützung geben können, die Sie benötigen. Vielen Dank, dass Sie sich ein paar Minuten Zeit nehmen, um unsere Fragen zu beantworten. Sie können den Feedback-Bogen per Post oder per Fax an uns zurücksenden. Selbstverständlich können Sie Ihn auch einscannen und uns per E-Mail zukommen lassen.

1.

Im Thema Wirkungsorientierung bin ich eher
Einsteiger fortgeschritten Profi

2.

Ich finde das Kursbuch
sehr verständlich eher verständlich weniger verständlich nicht verständlich

3.

Worin besteht aus Ihrer Sicht der Nutzen des Kursbuchs für Ihre Arbeit?
Ich habe konkrete Anregungen für meine Arbeit erhalten. Ich konnte mein Wissen zum Thema Wirkungsorientierung erweitern. Das Kursbuch hat mir geholfen, meine Arbeit besser zu reflektieren. Das Kursbuch hat dazu beigetragen, dass wir das Thema Wirkung in unserer Organisation stärker diskutieren. Sonstiges:

4.

Haben Sie das Kursbuch bereits für Ihre Arbeit genutzt?
Ja, und zwar in folgenden Bereichen: Nein, aber ich habe vor es zu nutzen, zum Beispiel in folgenden Bereichen:

Nein, aus folgenden Gründen:

FAX 030 52 00 65 403

Seite 2 – Feedback zum „KURSBUCH WIRKUNG“

5.

Würden Sie das Kursbuch weiterempfehlen?
Ja Nein Ich habe es bereits weiterempfohlen.

6.

Platz für Ihre Ideen und Anregungen: Hat Ihnen etwas besonders gefallen? Was sollten wir in Zukunft etwas anders machen?

Wunderbar! Sie haben uns und unserer eigenen Wirkungsorientierung gerade kräftig unter die Arme gegriffen. Für diese Unterstützung möchten wir uns ganz herzlich bei Ihnen bedanken! Selbstverständlich werden all Ihre Angaben vertraulich behandelt. Mehr über das Thema Wirkungsorientierung und PHINEO erfahren Sie übrigens unter www.kursbuch-wirkung.de

Ich möchte mehr über PHINEO und Wirkungsorientierung wissen. Bitte nehmen Sie mich in Ihren Verteiler auf! Name: E-Mail-Adresse:

Bitte senden Sie diesen Bogen an: oder per Post an:

FAX 030 52 00 65 403
PHINEO gAG Anna-Louisa-Karsch-Straße 2 10178 Berlin kursbuch-wirkung@phineo.org

alternativ via E-Mail an:

PHINEO gemeinnützige AG – damit Engagement wirkt Anna-Louisa-Karsch-Straße 2, 10178 Berlin, Germany Telefon: +49 (0) 30 52 00 65-310, Fax: +49 (0)30 52 00 65-403, www.phineo.org
        
Top of page

Note to user

Dear user,

In response to current developments in the web technology used by the Goobi viewer, the software no longer supports your browser.

Please use one of the following browsers to display this page correctly.

Thank you.