Path:

Full text: Monitoring kommunaler Präventionsketten / Ulrich, Sarah (Rights reserved)

FGW-Studie Vorbeugende Sozialpolitik 27 Ute Klammer, Tom Heilmann (Hrsg.) Sarah Ulrich Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Forschungsinstitut für gesellschaftliche Weiterentwicklung (e.V.i.L.) Kronenstraße 62 40217 Düsseldorf Telefon: 0211 99450080 E-Mail: info@fgw-nrw.de www.fgw-nrw.de Liquidator_innen (vormals geschäftsführender Vorstand) Prof. Dr. Ute Klammer, Prof. Dr. Dirk Messner Themenbereich Vorbeugende Sozialpolitik Prof. Dr. Ute Klammer, Themenbereichsleitung Tom Heilmann, wissenschaftlicher Referent Layout Olivia Pahl, Referentin für Öffentlichkeitsarbeit Förderung Ministerium für Kultur und Wissenschaft des Landes Nordrhein-Westfalen ISSN 2567-0050 Erscheinungsdatum Düsseldorf, Dezember 2019 Sarah Ulrich Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Auf einen Blick  Im LVR-Projekt Monitoring kommunaler Präventionsketten haben drei Kommunen Methoden und Verfahrensweisen des wirkungsorientierten Planens, Monitorens und Messens kennengelernt und innerhalb ihrer Arbeitsstrukturen erprobt.  Die Umsetzung erfolgte in den Kommunen sehr unterschiedlich und wurde von den Akteur_innen einerseits als bereichernd, andererseits als herausfordernd empfunden. Folgende Gelingensfaktoren ließen sich allgemein ableiten:  Das Monitoring sollte sich auf ein klar umrissenes Angebot beziehen und auf Basis verschiedener Methoden unter Nutzung verschiedener Daten(arten) erfolgen.  Die Datenerhebung und -aufbereitung sollten einer vorab gefassten Intention folgen (z. B. Qualitätsentwicklung oder Argumentation bzgl. Mittelvergabe). So wird in der Kommune auch bei übergeordneten Stellen, zuständigen Gremien und assoziierten Dienststellen Resonanz erzeugt.  Voraussetzung eines Monitorings ist eine Wirkungslogik, welche die Zusammenhänge von Ressourceneinsatz, Maßnahmen, Zielgruppen und Wirkungszielen nachvollziehbar darlegt und mit Indikatoren verknüpft. i Abstract Monitoring kommunaler Präventionsketten – Teilhabewirkung vor Ort abbilden und bewerten Drei nordrhein-westfälische Kommunen erweiterten im Rahmen eines Projektes des Landschaftsverbandes Rheinland (LVR) ihre Kenntnisse in den Bereichen der wirkungsorientierten Projektplanung und Datenerhebung, mit dem Ziel, diese Kenntnisse im Rahmen der kommunalen Präventionsketten gegen Kinderarmut in ihrer Arbeit umzusetzen. Die vorliegende Studie beschreibt die Implementation in den Kommunen. Ziel ist jedoch nicht die Bewertung oder Beurteilung der jeweiligen Umsetzung, sondern das Verfassen einer aus den Beobachtungen abgeleiteten Einschätzung zu allgemeinen Gelingensprämissen und Herausforderungen von wirkungsorientierter Projektarbeit im Kontext kommunaler, präventiver Jugend- und Familienarbeit. Neben zu erwartenden Gelingensfaktoren, wie etwa ausreichend Personal, fachlicher Qualifikation, Mitwirken der Akteur_innen im Feld und einer guten Einbettung in den behördlichen und kommunalen Gesamtkontext, wurde deutlich, dass vor allem die deskriptive Eingrenzung von Formaten eine wichtige Rolle bei der erfolgreichen Umsetzung wirkungsorientierter Maßnahmen spielt. Hierzu empfiehlt sich das Erstellen einer Wirkungslogik, wobei zu beachten ist, dass die Planung von Wirkungszielen im Kontext Prävention sowie das Erheben von entsprechenden Daten überaus herausfordernd sein können. Darüber hinaus deutete sich an, dass die Wirkungsorientierung als Haltung, aber auch als Methode zur Verbesserung der zielgruppenbedarfsgerechten Maßnahmenplanung und -bewertung den Bereich der Jugendhilfe im kommunalen Kontext noch nicht durchdrungen hat, sodass die Resonanz im System gemessen am Aufwand bisweilen gering ausfällt. ii Inhalt 1 Einleitung .........................................................................................................................1 2 Untersuchung des Monitorings ........................................................................................5 2.1 Projekt des LVR .......................................................................................... 5 2.2 Methode und Vorgehen ............................................................................. 5 2.3 Die teilnehmenden Kommunen .................................................................. 8 2.3.1 Bergheim.................................................................................................... 8 2.3.2 Kerpen ..................................................................................................... 10 2.3.3 Nettetal .................................................................................................... 12 3 Ergebnisse: Herausforderungen und Gelingensprämissen kommunaler Wirkungsorientierung ............................................................................................................ 14 3.1 3.1.1 Klare deskriptive Definition des Angebots................................................. 15 3.1.2 Erstellen einer Wirkungslogik ................................................................... 17 3.1.3 Personalkapazität und Qualifikation ......................................................... 22 3.1.4 Einbettung in den behördlichen und kommunalen Kontext ...................... 22 3.1.5 Sinnvolle Methodenvielfalt ....................................................................... 23 3.1.6 Festgelegte Intention ............................................................................... 25 3.2 4 Gelingensprämissen ................................................................................. 15 Herausforderungen .................................................................................. 27 3.2.1 Wirkungsmonitoring und Prävention ........................................................ 27 3.2.2 Nachhaltigkeit über das Projektende hinaus ............................................. 27 3.2.3 Systemisches Mindset .............................................................................. 28 3.2.4 Erreichung der Zielgruppen ...................................................................... 28 3.2.5 Externe Beratung...................................................................................... 29 Fazit ................................................................................................................................ 31 Literatur ................................................................................................................................. 34 Über die Autorin .................................................................................................................... 37 iii Abbildungs- und Tabellenverzeichnis Abbildung 1: Herausforderungen (links) und Wirkungskomplexität (rechts) des Monitorings kommunaler Präventionsketten gegen Kinderarmut .......................................... 14 Tabelle 1: Leitfragen zur Erstellung einer Wirkungslogik .......................................................... 20 Abkürzungsverzeichnis AWO Arbeiterwohlfahrt DAAD Deutscher Akademischer Austauschdienst GIZ Deutsche Gesellschaft für Internationale Entwicklungszusammenarbeit LVR Landschaftsverband Rheinland SGB Sozialgesetzbuch iv Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten 1 Einleitung Blickt man auf die Landkarte der heutigen deutschen Gemeinwohlorientierung, so stellt man fest, dass der Begriff der Wirkungsorientierung – trotz der nach wie vor oftmals als diffus wahrgenommenen Sammlung an Methoden und Bedeutungsräumen, die sich dahinter verbergen – eine feste Größe in der Theorie und Praxis geworden ist. In der Entwicklungszusammenarbeit ist die wirkungsorientierte Programm- und Projektplanung und Wirkungsevaluation von umgesetzten Maßnahmen Standard. Akteure wie der Deutsche Akademische Austauschdienst DAAD (2018) und die Deutsche Gesellschaft für Internationale Entwicklungszusammenarbeit GIZ (2018) betreiben einen hohen Planungs- und Evaluationsaufwand, um Aspekte wie Transparenz, Qualitätssicherung und Nutzerorientierung zu gewährleisten. Im Bereich der organisierten Zivilgesellschaft leistete etwa das Beratungshaus Phineo (2018) einen zentralen Beitrag zur Sensibilisierung für Wirkungsorientierung und erreichte zahlreiche Stiftungen, Sozialunternehmen und Non-Profit-Organisationen, welche nunmehr ihre Programme und Projekte wirkungsorientiert planen und evaluieren. Die Wirkung von Maßnahmen ist als ‚Kernprodukt‘ zivilgesellschaftlichen Handelns derart etabliert, dass parallel zur jährlichen finanziellen Rechenschaftslegung von Organisationen im Non-Profit-Bereich eine Wirkungsberichterstattung entwickelt wurde: der Social Reporting Standard (Social Reporting Initiative 2014). Auch bei den Trägern der Wohlfahrtspflege hat die Wirkungsorientierung deutliche Marker gesetzt. Der AWO Bundesverband hat Wirkungsorientierung als Leitgedanken der Qualitätssicherung positioniert (AWO Bundesverband 2017). Auch Caritas (Halfar 2013; Zühlke 2013) und Diakonie (Dehne 2016) haben Wirkungsorientierung als Kernbestandteil gemeinwohlorientierter, sozialer Arbeit für sich definiert und sich entsprechend mit Maßnahmen und Methoden derselben vertraut gemacht. Im Bereich der kommunalen sozialen Arbeit wird das Konzept der Wirkungsorientierung jedoch seit Jahren kontrovers diskutiert (vgl. u. a. Liebig 2013 sowie Albus et al. 2010). Die vorgebrachten Kritikpunkte sind dabei zahlreich: Einerseits sei das Konzept ‚Wirkungsorientierung‘ diffus. Instrumente der Wirkungsplanung etwa hätten Defizite in der klaren Begriffsabgrenzung: Versteht sich Output nun als Aufzählung von Maßnahmen oder als Anzahl erreichter Zielpersonen? Sind die Wirkungsziele nun auf der Ebene des Outcomes zu definieren oder auf Ebene des Impacts? Die Übersetzung von wirkungsrelevanten Zielen in messbare Indikatoren könne häufig lediglich lückenhaft erfolgen. Der Erhebungsaufwand stehe demnach in keinerlei Verhältnis zu den durch ihn gewonnen Erkenntnissen und überlaste zudem die Arbeitskapazitäten des Personals. Darüber hinaus hielten die in der Wirkungsplanung angenommenen Ursache-Wirkung-Zusammenhänge der Praxis sozialer Arbeit oftmals nicht stand. Maßnahmen und Angebote ließen sich 1 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten nicht derart standardisieren, dass sich vergleichbare Datenpunkte daraus ableiten ließen. Die Wirkung diverser Angebote der sozialen Arbeit sei zudem kokreativ und stark von der Compliance der Zielpersonen abhängig, welche sich kaum beeinflussen lasse. Wirkungen – insbesondere im Kontext präventiver Sozialarbeit – seien zudem erst Jahre später erkennbar und messbar. Insbesondere im Hinblick auf den sozioökonomischen Mehrwert von Maßnahmen ließe sich die Datenlage nur unbefriedigend interpretieren, da sich aufgrund der langen Zeiträume zwischen einer Maßnahme und deren Auswirkung keine belastbaren, kausalen Zusammenhänge zwischen Maßnahme – also Investition – und Wirkung – also Ertrag – anstellen ließen. Diese Wirkungskarenz stellt sich insbesondere im kommunalpolitischen Bereich als herausfordernd dar, in dem Haushaltsentscheidungen und Legislaturen vergleichsweise kurze Zeiträume betreffen, Wirkungsketten jedoch oftmals deutlich längere Zeiträume berücksichtigen müssen. Zuletzt stößt die Wirkungsorientierung auch auf personalplanerische sowie Rollenkonflikte. Es kann und sollte nicht die Aufgabe der Sozialarbeiter_innen und Akteur_innen im Feld sein, die Wirkung ihrer eigenen Arbeit zu evaluieren. Dies überlastet nicht nur ihre zeitlichen Kapazitäten, sondern bringt sie auch in einen Rollenkonflikt, der dem Gelingen ihrer Arbeit nicht dienlich sein kann. Die entsprechende Datenerhebung und -aufbereitung müsste also von einer dritten und möglichst unabhängigen Stelle erfolgen, für die im kommunalen Kontext oftmals keine Mittel zur Verfügung stehen. Vor ähnlichen Herausforderungen stehen Organisationen beispielswiese im zivilgesellschaftlichen Bereich freilich auch, jedoch hat sich hier die Wirkungsorientierung als notwendiges Instrument für Transparenz, Legitimation, Zielgruppenorientierung, Qualitätsentwicklung, Wissensmanagement, Kommunikation und strategische Entwicklung in der Breite durchgesetzt, sodass sowohl in den operativ tätigen als auch in den finanziell fördernden Organisationen ein Verständnis dafür herrscht, dass Wirkungsorientierung in der Budget-, Personal- und Zeitplanung von Programmen und Projekten Berücksichtigung finden muss. Trotz oder gerade aufgrund der zum Teil sehr engen Budgets, welche zivilgesellschaftlichen Organisationen für ihre Projekte zur Verfügung stehen, hat sich in diesem Sektor eine bisweilen sehr kreative ‚Machermentalität‘ im Sinne von Wirkungsorientierung etabliert. Die Organisationen schöpfen aus einem großen Fundus quantitativer und qualitativer sowie projektplanerischer Methoden, die zum Teil in der Wissenschaft, zum Teil in der konkreten Projektarbeit (u. a. im Kontext der Entwicklungszusammenarbeit) erprobt wurden. Die Haltung, die sich hieraus entwickelt hat, ist weniger ein Gegenentwurf als vielmehr eine sehr pragmatische Ergänzung zu einer streng wissenschaftlichen Sichtweise auf das Themenfeld ‚Evaluation‘. Viele der zum Einsatz kommenden Methoden sind aus der Perspektive wissenschaftlicher Gütekriterien unorthodox, vermögen es aber dennoch, die Realität des Gelingens und Wirkens einer Maßnahme abzubilden. So monitoren viele zivilgesellschaftliche Akteur_innen ihre Projekte und 2 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Programme eher qualitativ denn quantitativ, eher explorativ als hypothesengeleitet und eher mit einer formativen denn mit einer summativen Intention. Es lässt sich berechtigterweise kritisieren, dass es somit schwierig ist, eine valide Prognose für den tatsächlichen Einfluss der diversen Programme und Maßnahmen auf das Gemeinwohl und die gesellschaftliche Entwicklung im Gesamten vorzunehmen. Insbesondere langfristige Wirkung kann auf diese Weise höchstens im Sinne theoretischer Validität konstruiert werden, etwa indem auf bereits existierende Evaluationsstudien verwiesen wird, die das Etablieren bestimmter, programmatischer Gelingensbedingungen mit dem Entstehen langfristiger Wirkungserfolge in Zusammenhang bringen – doch solche Studien gibt es eher selten. Auch das Postulieren von Kausalzusammenhängen ist herausfordernd, sofern Wirkungsanalysen auf Kontrollgruppen oder Vergleichsmesszeitpunkte verzichten. Die Haltung ‚Machbarkeit vor Wissenschaftlichkeit‘ hat also durchaus ihre Grenzen. Dennoch muss hervorgehoben werden, dass sich in der Zivilgesellschaft in den vergangenen Jahren eine Bewusstseinsentwicklung vollzogen hat. Der Blick dafür, was im Sinne der gesellschaftlichen Wirkung effektiv ist und was nicht, hat sich geschärft und beispielsweise bei vielen größeren Fördermittelgebern dazu geführt, Antrags-, Förder- und Berichtwesen nach wirkungsorientierten Kriterien zu gestalten. Inspiriert von diesen Best Practices der Zivilgesellschaft und auf Basis der positiven Bilanz aus dem LVR-Programm Teilhabe ermöglichen – Kommunale Netzwerke gegen Kinderarmut rief die Koordinationsstelle Kinderarmut des Landesjugendamtes des Landschaftsverbandes Rheinland das Projekt Monitoring kommunaler Präventionsketten ins Leben. Ziel des Projektes war die „Entwicklung eines alltagstauglichen und praxisnahen Monitoringinstrumentes, mit dessen Hilfe Jugendämter in die Lage versetzt werden, Erfolge der Präventionskette zu erfassen und Hinweise auf Wirkungen zu generieren“ (LVR o. J.). Die zentrale Maßgabe dabei war die Orientierung an der Praxis der sozialen Arbeit. Damit reagierte das Projekt direkt auf die Kritik, Wirkungsorientierung sei zu sozialtechnologisch, um Anwendung in der sozialen Arbeit finden zu können. Bereits 2017 wurde im Rahmen des Projekts vom LVR ein Modell für das kommunale Monitoring entwickelt. Das Modell umfasst eine Erhebung und Auswertung von Daten aus insgesamt vier verschiedenen quantitativen und qualitativen Datenquellen zum Zweck der Wirkungsbeurteilung der Präventionsketten. Eine Datenanalyse und -auswertung sowie die Interpretation der Ergebnisse im Sinne einer nichtstatischen Wirkungsanalyse sollten in den Kommunen vor Ort mit den zur Verfügung stehenden Ressourcen umgesetzt werden. Prämisse hierfür war eine an die Rahmenbedingungen der jeweiligen Kommune angepasste Implementation. Die teilnehmenden Kommunen wurden in den Bereichen Wirkungsplanung, qualitative und quantitative Datenerhebung und wirkungsorientierte Kommunikation geschult und konnten op- 3 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten tional punktuell Unterstützung von Expert_innen erhalten. Sie sollten anschließend ein Datenkonzept entwickeln und erproben und ihre Erkenntnisse dann in einen Abschlussbericht überführen. Die Kommunen hatten somit nicht nur die Möglichkeit, ihre eigene Arbeit wirkungsorientiert weiterzuentwickeln, sondern auch ihre Erfahrungen mit den Methoden der Wirkungsorientierung im Kontext kommunaler, präventiver Sozialarbeit zu teilen. Vor dem Hintergrund der kontroversen Einschätzung des Themas Wirkungsorientierung in der sozialen Arbeit schrieb das Forschungsinstitut für gesellschaftliche Weiterentwicklung (FGW) eine Studie zur Untersuchung des Monitorings in den teilnehmenden Kommunen aus. In dieser prozessbegleitenden Studie wird der Prozess der Implementation und Umsetzung des Modells in drei (ursprünglich vier) Kommunen explorativ analysiert. Dabei geht es vorrangig um einen deskriptiven Teil, in dessen Rahmen folgende Aspekte in den Blick genommen werden: (1) Ausgangslage der Kommunen (im Hinblick auf Ressourcen und Personal), (2) Umsetzung der Datenerhebung sowie daraus abgeleitet eine Einschätzung zu (3) Gelingensbedingungen und sich daraus ergebenden Best-Practice-Ansätzen, (4) Misslingensfaktoren und sich daraus ergebenden Entwicklungsfeldern. Die Studie ist wie folgt gegliedert: Nach der Einleitung (1) folgt eine ausführliche Darstellung des hier beschriebenen Projektes, der angewandten Methodik sowie der involvierten Kommunen (2). Darauf aufbauend werden die zentralen Ergebnisse in Form abgeleiteter Gelingensprämissen sowie Herausforderungen bei der Implementation einer kommunalen Wirkungsorientierung beschrieben (3), ehe die Untersuchung in einem abschließenden Fazit zusammengefasst und eingeordnet wird (4). 4 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten 2 Untersuchung des Monitorings 2.1 Projekt des LVR Der Landschaftsverband Rheinland setzte das Projekt Monitoring kommunaler Präventionsketten als Teil des LVR-Programms Teilhabe ermöglichen – Kommunale Netzwerke gegen Kinderarmut in Zusammenarbeit mit der Koordinationsstelle Kinderarmut und der Fachberatung Jugendhilfeplanung um. Als Ziele des Projektes sind auf der Projektwebsite die folgenden benannt: - - - „Entwicklung eines alltagstauglichen und praxisnahen Monitoringinstrumentes, mit dessen Hilfe Jugendämter in die Lage versetzt werden, Erfolge der Präventionskette zu erfassen und Hinweise auf Wirkungen zu generieren. Dies geschieht auf der Basis quantitativer und qualitativer Daten, die auch die Perspektive der Fachkräfte und der Nutzerinnen und Nutzer einbezieht. Das Instrument soll nicht flächendeckend, pragmatisch, dauerhaft, einfach und an den Bedingungen der Praxis orientiert gestaltet werden. Weniger ist mehr! Orientierung am durchschnittlichen Jugendamt mit bestehender Ausstattung, so dass das entwickelte Instrument ohne zusätzliche Ressourcen oder externe Unterstützung kontinuierlich angewendet werden kann. Die Monitoringergebnisse sind Basis für eine erfahrungs- und erkenntnisgestützte Planung und Gestaltung von Präventionsketten in der Kommune.“ (LVR o. J.) Im Rahmen des Projektes wurden aus den 39 teilnehmenden Kommunen des Programms Kommunale Präventionsketten gegen Kinderarmut vier ausgewählt. Die Ausschreibung für das Projekt richtete sich an alle 39 Kommunen, allerdings bewarben sich nur wenige Kommunen mit einem entsprechenden Motivationsschreiben. Von den vier Kommunen schied Essen im Laufe des Projektes aufgrund eines Personalengpasses aus. Drei Kommunen verblieben im Projekt. Die Projektverantwortlichen erhielten neben einer finanziellen Förderung fachliche Inputs zu den Themen Wirkungsorientierung, Wirkungsplanung, quantitative Datenerhebungsmethoden und qualitative Datenerhebungsmethoden und wurden bei der Entwicklung eines Datenkonzepts sowie bei der Umsetzung der Datenerhebung durch den LVR und ausgewählte Expert_innen fachlich begleitet. 2.2 Methode und Vorgehen Die Arbeit zur vorliegenden Studie begann am 18.12.2017. Ursprünglich geplant war eine Gesamtlaufzeit von maximal neun Monaten. Die Laufzeit hat sich jedoch erheblich verlängert, zum einen, weil es eine Laufzeitanpassung des Projektes Monitoring kommunaler Präventionsketten des LVR gab, zum anderen, weil sich daraufhin die Zeitplanung der Studienverantwortlichen verschob. Eine Verlängerung der Projektlaufzeit bis April 2019 wurde durch das FGW genehmigt. Anschließend wurde der Endbericht erstellt. Die Projektlaufzeit gliederte sich in eine Vorphase 5 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten (Recherche und Planung), eine Untersuchungsphase (zwei Erhebungszeiträume sowie jeweilige Auswertungszeiträume zwischen März 2018 und März 2019) sowie eine Abschlussphase (Aufbereitung und Erstellung eines Berichts). Das Projekt verfolgte mehrere zusammenhängende Ziele: (1) Erhebung der Ausgangslage der drei Kommunen, welche das Monitoring implementieren, im Hinblick auf Personalaufwand, Steuerung bzw. Governance, Ressourcen, Qualifikation der beteiligten Personen hinsichtlich der Herausforderungen der Datenerhebung und Datenanalyse. (2) Dokumentation der Lösungsansätze der Kommunen im Sinne der Implementation des Monitorings, im Hinblick auf zeitlichen, logistischen und finanziellen Aufwand, Eignung für die Zielgruppen/Stakeholder_innen, Gelingen und Misslingen, Fachlichkeit des Vorgehens, Potenzial zur Wirkungsanalyse der Präventionsketten als Methode der Verbesserung von Teilhabe und gelingendem Aufwachsen (3) Ableitung von Gelingensfaktoren, Herausforderungen und Empfehlungen für die Implementation eines Wirkungsmonitorings für Präventionsketten in kommunalen Strukturen. Die zuständigen Mitarbeiter_innen der drei Kommunen wurden zu jeweils zwei Zeitpunkten interviewt, einmal vor der Datenerhebung mit dem Schwerpunkt ‚Planung der Datenerhebung‘ und einmal im Anschluss an die Datenauswertung mit dem Schwerpunkt ‚Fazit‘. Darüber hinaus nahm die Studienautorin an einer Sozialraumkonferenz in Kerpen Türnich sowie einem Fachgruppentreffen Frühe Hilfen in Bergheim teil. Zudem wurde eine Dokumentenanalyse vorgenommen (Broschüren, Fragebögen, Berichte). Im Zentrum der Datenerhebung standen jedoch die Interviews, welche im Abstand von je ca. einem Jahr geführt wurden (04.04.2018 und 08.03.2019 in Nettetal, 22.03.2018 und 25.03.2019 in Bergheim, 23.04.2018 und 19.03.2019 in Kerpen). An den Interviews nahmen alle Projektverantwortlichen in den Kommunen teil. Die Interviews waren leitfadengestützt und orientierten sich an vier Themenblöcken: Thema 1: Umsetzung Monitoring kommunaler Präventionsketten Beschreibung der konkreten Umsetzung, Methoden der Planung und Datenerhebung und Personal- sowie Ressourcenaufwand; Zielsetzung/Intention des Monitorings; Ausblick/Verstetigung des Monitorings. Thema 2: Qualifizierung und Projektrahmen Subjektive Einschätzung der eigenen fachlichen Qualifizierung und Begleitung durch den LVR; Allgemeine Zufriedenheit mit dem Projekt im Abgleich mit den eigenen Erwartungen. 6 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Thema 3: Anbindung an die Kommune Stellenwert des Monitorings im kommunalen Kontext; Resonanz bei entsprechenden Fachstellen, Leitungen oder Gremien; ggf. Widerstände; Nutzen für die Fachkräfte im Feld sowie Compliance. Thema 4: Konkretes Vorgehen Eingesetzte Tools zur Planung (z. B. Wirkungslogik) und Erhebungsmethoden; Zugang zu den Zielgruppen; Turnus der Befragung und Datenaufbereitung. Die Interviews wurden entweder aufgezeichnet und später sinngemäß transkribiert oder direkt protokolliert. Die Daten wurden dann zu jeweils einem Profil pro Kommune zusammengeführt. Limitation der Studie Zu beachten ist, dass aufgrund des formativen, praxisorientierten Charakters der Studie die Rolle der Untersucherin nicht trennscharf zu definieren ist. Da die Untersuchung das Ziel verfolgte, Empfehlungen zur Implementation des Monitorings zu generieren, war es weder sinnvoll noch wahrscheinlich, dass eine objektive Rolle der Studienautorin beibehalten werden konnte. In Zusammenarbeit mit der Projektverantwortlichen im LVR wurden vielmehr im Verlaufe der Prozessbegleitung bereits Empfehlungen abgeleitet und an die Kommunen weitergeleitet, um den Implementationsprozess zu unterstützen. Da die Datenerhebung und Analyse demnach im Verlauf des Projektes Einfluss auf den Verlauf und das Gelingen des zentralen Untersuchungsgegenstandes, nämlich der Implementation des Monitorings, nahm, entspricht die Untersuchung zwangsläufig nicht sämtlichen Gütekriterien empirischer Forschung. Es wurden daher für die Untersuchung und Datenauswertung die Kernkriterien gemäß Steinke (2000, S. 323 ff.) zugrunde gelegt: - intersubjektive Nachvollziehbarkeit - Indikation des Forschungsprozesses - Kohärenz/Empirische Verankerung - Relevanz - Limitation - reflektierte Subjektivität Eine weitere Limitation ergab sich im Verlauf der Untersuchungsdurchführung dadurch, dass eine vergleichende Darstellung der Kommunen sowie eine ursprünglich angedachte Prototypisierung nicht mehr sinnvoll erschienen. So waren sich die drei verbliebenen Kommunen demografisch zu ähnlich, jedoch bezüglich der Umsetzung des Monitorings zu verschieden, als dass 7 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten sich eine Ableitung von Standards im Sinne einer Prototypisierung angeboten hätte. Stattdessen wurden die Ergebnisse in einer Gesamtschau gesichtet, um daraus allgemeine Gelingensprämissen und Herausforderungen des Wirkungsmonitorings abzuleiten. Insbesondere zu Beginn der Untersuchung erfuhr die Studienautorin zudem Widerstände vonseiten der teilnehmenden Kommunen. Aufgrund der beschriebenen Rollenunschärfe kam es zu der Befürchtung, die Untersucherin könne im Rahmen ihrer Tätigkeit das Ziel verfolgen, die geleistete Arbeit im Sinne des Monitorings qualitativ zu beurteilen und ihr Urteil an den LVR zurückspielen. Ein entsprechender Klärungsversuch durch die Forscherin und den LVR bewirkte, dass die Interviews durchgeführt werden konnten. In zwei Kommunen wurde jedoch darum gebeten, die Interviews nicht auf Tonband aufzuzeichnen, sondern lediglich ein schriftliches Protokoll der Antworten zu verfassen. Dieser Bitte wurde nachgekommen. 2.3 Die teilnehmenden Kommunen Der LVR schrieb das Projekt Monitoring kommunaler Präventionsketten in allen 39 teilnehmenden Kommunen des Programms Teilhabe ermöglichen – Netzwerke gegen Kinderarmut aus und wählte aus den Bewerbern vier Kommunen aus: Bergheim, Essen, Kerpen und Nettetal. Ziel war es, das Monitoring möglichst innerhalb der Anforderungen eines ‚durchschnittlichen Jugendamtes‘ zu erproben. In der Stadt Essen ergab sich jedoch im Verlauf des Projekts eine personelle Umstrukturierung, wonach die Stelle des bzw. der Projektzuständigen vakant blieb. Trotz der Bemühungen seitens des LVR schied Essen somit aus dem Projekt aus und wurde demnach auch in der Studie nicht berücksichtigt. 2.3.1 Bergheim Zum 30.06.2019 (Stadt Bergheim 2019) lebten in Bergheim im Rhein-Erft-Kreis 65.150 Einwohner_innen. Auf den Stadtteil Ahe entfielen dabei 3.847 Einwohner_innen. Der Demographiebericht 2017 der Bertelsmann Stiftung weist einen Jugendquotienten (Personen unter 20 Jahre) von 34,8 % aus. Pro 1.000 Erwachsenen gibt es jährlich 9,7 Geburten (Bertelsmann Stiftung 2017a: 4). Für das Projekt Monitoring kommunaler Präventionsketten waren im Jugendamt Bergheim die zuständige Mitarbeiterin des Bereichs Jugendhilfe und Sozialplanung sowie die Netzwerkkoordinatorin Kinderarmut und Frühe Hilfen verantwortlich. Durch die Kombination dieser beiden Stellen ergaben sich einerseits ein guter Zugang zum Feld sowie andererseits eine direkte Anbindung an den Bereich Planung und Steuerung. Zudem gaben die beiden Projektzuständigen im Interview an, dass die datengestützte Planung und Steuerung in Bergheim auf sehr fruchtbaren Boden falle: Das Sozialraummonitoring sei bereits seit langem ein fest gesetztes Thema in Bergheim, da der amtierende Bürgermeister aus dem Bereich Stadtplanung komme und es ein Stadtentwicklungskonzept 2035 gebe, welches schwerpunktmäßig bau-, aber auch sozialplanerische Elemente realisieren solle. Die Bedeutung des Themas Monitoring sei in der Kommune entsprechend hoch. 8 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Das Vorgehen bei der Implementation habe in Bergheim von Anfang an auf der Frage gefußt, wie bereits vorhandene Strukturen genutzt werden könnten. Inhaltlich sei die Grundlage ein 2017 entwickeltes Indikatorensystem für integrierte Stadtentwicklungsplanung gewesen (vgl. Schubert et al. 2017). In einem anschließenden Workshop mit einer Arbeitsgruppe der Technischen Hochschule Köln habe man eine Auswahl an quantitativen Indikatoren getroffen, welche sinnvollerweise erhoben werden sollten. Ausgehend von einem im Rahmen des Workshops erstellten Arbeitspapier seien im nächsten Schritt Überlegungen dazu angestellt worden, wie und durch wen eine Datenerhebung erfolgen könne und wie man ergänzende, qualitative Erhebungsformate etablieren könne. Beispielsweise kämen Beteiligungsformate aus dem Quartiersmanagement und der Bürgerbeteiligung der Stadt Bergheim infrage. Aufgrund des bereits sehr routinierten Umgangs mit quantitativen Indikatoren und Daten und der hohen Bereitschaft, diese durch sinnvolle qualitative Methoden zu ergänzen, wurde in Bergheim ein überaus umfassendes und komplexes Datenkonzept entwickelt. Um das Monitoringkonzept erproben zu können, habe man sich auf das Thema Sprechstunden Frühe Hilfen fokussiert. Im Rahmen dieses Projektes rund um die Geburt gebe es für Familien zweimal wöchentlich ein aufsuchendes Angebot von Kinderkrankenpfleger_innen, Geburtshelfer_innen oder der Schwangerschaftsberatung sowie ein Baby-Starter-Set. Etwa 95 % der Mütter in Bergheim würden so erreicht werden. Optional könne das Angebot erweitert werden, dann erfolge zumeist eine Weiterleitung an weitere Dienste und Beratungsstellen. Es erfolgte zudem eine räumliche Fokussierung auf den Stadtteil Ahe. Dies sei hilfreich gewesen, um den Datenerhebungsaufwand einzugrenzen. Zugleich sei es somit möglich geworden, entlang der gesamten Präventionskette Daten zu erheben. Im Untersuchungsfokus stand dabei zum einen der Aspekt ‚Zugänge‘, also die Art und Weise, wie das Angebot unter Familien bekannt gemacht und von diesen erreicht werden kann. Zum anderen wurde der Aspekt ‚Sprache‘ in den Blick genommen, der insbesondere durch die Erkennung und Überwindung eventueller Zugangshürden infolge geringer Deutschkenntnisse potentieller Adressat_innen geprägt war. Das Projekt Monitoring kommunaler Präventionsketten habe dabei geholfen, eine ‚Datenroutine‘ zu entwickeln, also einen Erhebungsplan, der festlegt, welche Indikatoren auf welche Weise wie oft erhoben werden sollten. In Ahe habe man dies inklusive qualitativer Formate erfolgreich erprobt. Hilfreich hierbei seien die fachliche Expertise und die externe Beratung durch Expert_innen gewesen, die im Rahmen des Projekts refinanziert wurden. So habe es zum Beispiel einen externen Dienstleister für das Datenmanagement gegeben, der dabei unterstützt habe, die diversen qualitativen und quantitativen Daten aufzubereiten und sinnvoll zu integrieren. Herausfordernd sei es hingegen gewesen, bestimmte Zielgruppen zu erreichen, wie etwa die Gruppe der Alleinerziehenden im Rahmen der schriftlichen Befragung. Ursächlich hierfür seien vor allem sprachliche Barrieren gewesen. Die Multiplikation in das Netzwerk hinein sei jedoch gut gelungen. Da das Thema bei den Netzwerktreffen Frühe Hilfen und der Stadtteilkonferenz 9 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten thematisiert wurde, habe man die Mitarbeiter_innen der an der Umsetzung beteiligten Stellen gut ‚abholen‘ können. 1 Den Aufwand schätzten die Projektverantwortlichen als unterschiedlich ein. Es habe hinsichtlich des Monitorings sehr arbeitsintensive Phasen gegeben, allerdings sei Monitoring ohnehin ein originäres Aufgabengebiet der Jugendhilfeplanung. Die Datenroutine in Kombination mit einem regelmäßigen Berichtwesen sei dabei optimal geeignet, um auch auf politischer Ebene weiter für die Wichtigkeit von Daten für die Steuerung zu sensibilisieren. Es sei jedoch auch deutlich geworden, dass dies von höherer Stelle gewollt sein müsse. 2.3.2 Kerpen Die Stadt Kerpen im Rhein-Erft-Kreis zählte (Stand 2018) 68.141 Einwohner_innen. Dabei entfielen auf den im Monitoring berücksichtigten Stadtteil Türnich 3.460 Einwohner_innen (Stadt Kerpen o. J.). Der Demographiebericht 2017 der Bertelsmann Stiftung gibt einen Jugendquotienten von 33,9 % an. Je 1.000 Erwachsenen kommt es zu 10 Geburten jährlich (Bertelsmann Stiftung 2017b, S. 4). Für das Projekt Monitoring kommunaler Präventionsketten waren im Jugendamt Kerpen die Netzwerkkoordinatorinnen Kinderarmut und Frühe Hilfen und der zuständige Mitarbeiter des Bereichs Jugendhilfeplanung, Demografie und Sozialplanung durchgängig verantwortlich2. Die Anbindung an die Amtsleitung war dabei sehr gut gewährleistet, da die Präventionsstellen als direkte Stabsstellen der Amtsleitung zugeordnet sind. Über die kurzen Wege zur Jugendamtsleitung waren zudem auch Möglichkeiten der Informationsweiterleitung an den amtierenden Bürgermeister sowie zum Jugendhilfe- und Sozialausschuss der Stadt Kerpen gegeben. Als Motiv für die Implementation eines Wirkungsmonitorings gaben die Interviewten an, damit die Präventionsarbeit und Jugendhilfeplanung optimieren zu wollen. Bis zum Zeitpunkt des Projektstarts habe es hauptsächlich Finanzcontrolling gegeben, jedoch kein Wirkungscontrolling. Man habe im Rahmen der Implementation des Monitorings die gesamte Kommune im Blick gehabt, den Fokus jedoch auf den Stadtteil Türnich gelegt. Die Wahl sei deshalb auf den Stadtteil gefallen, weil man hier im Rahmen der Sozialraumkonferenzen nahezu alle Akteur_innen mit Relevanz für das Thema Frühe Hilfen und Armutsprävention erreiche. Darüber hinaus seien die Teilnehmenden der Sozialraumkonferenz ohnehin für das Thema sensibilisiert: Im Rahmen des fünfjährigen Bestehens der Sozialraumkonferenz erfolgte im Kontext eines Rück- und Ausblicks ein allgemeiner Austausch über die Wirkung der Maßnahmen der Frühen Hilfen vor Ort. Die Nutzung des Formats der Sozialraumkonferenz als Anlass zur qualitativen Datenerhebung habe 1 In Bergheim fand zudem, initiiert durch die beiden zuständigen Mitarbeiterinnen, eine Multiplikatorschulung für Mitarbeiter_innen der Jugendhilfe in ‚quantitativer Evaluationsmethodik‘ statt. 2 Zwischenzeitlich war eine weitere Mitarbeiterin aus der Jugendhilfeplanung dem Projekt zugeordnet, welche jedoch aufgrund von Mutterschutz und Elternzeit ausschied. 10 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Sinn gemacht, um gleich mehrere Perspektiven abzubilden. Zudem seien die Sozialraumkonferenzen auch die Anlässe, zu denen sich aus den Netzwerken neue Themen ergeben würden. Im Fokus des Monitorings stand zudem der ‚Babybegrüßungsbesuch‘ der Stadt Kerpen: eine Maßnahme, mit der alle gebärenden Mütter in Kerpen erreicht würden. Hierfür habe man gemeinsam mit einer externen Beraterin eine spezifische Wirkungslogik entwickelt. Nach Angaben der Netzwerkoordinatorinnen habe diese Logik sehr dabei geholfen, den ‚roten Faden‘ der Arbeit sichtbar zu machen und diejenigen Daten zu identifizieren, welche im Sinne des Monitorings wichtig seien. Sie sei somit die Basis des Monitorings, da sie die erhobenen Daten sinnvoll mit der Gesamtstrategie der Präventionskette gegen Kinderarmut in Bezug setze. Die Wirkungslogik, bzw. der ‚rote Faden‘, umfasste folgende Elemente: (1) die strategische Gesamtzielsetzung der Präventionskette gegen Kinderarmut (2) die Maßnahmen, welche in diesem Rahmen umgesetzt wurden, sowie die Zielgruppen, die erreicht wurden (3) die Zielerwartungen, welche sich an die einzelnen Maßnahmen je Zielgruppe knüpften (4) die Daten, welche Auskunft über das Gelingen der Maßnahmen und ggf. das Erreichen der Ziele geben könnten, sowie (zum Teil) die Erhebungsmethoden bzw. Datenquellen.3 Herausfordernd sei es, bei der Datenerhebung sensibel vorzugehen und den beteiligten Fachkräften nicht das Gefühl zu vermitteln, dass ihre Arbeit als schlecht beurteilt werde4. Es gehe beim Monitoring nicht um eine Bewertung, dies müsse aber immer wieder verdeutlicht werden. Daher sei es sehr aufwendig, die involvierten Personen wirklich zu beteiligen und thematisch abzuholen. Trotz des vergleichsweise großen Teams sei der Arbeitsaufwand sehr hoch. Die Zusammenarbeit als Team sei daher sehr wichtig. Die quantitativen Daten würden zwar ohnehin jährlich erhoben und die Expertengespräche (qualitative Datenpunkte) fänden im Rahmen der Sozialraumkonferenzen regelmäßig statt, es komme jedoch vor allen Dingen darauf an, auch etwas aus den Ergebnissen ‚zu machen‘, die Daten sinnvoll aufzubereiten und zur Steuerung zu nutzen. Die quantitativen Daten seien hierbei die Planungsgrundlage für die Erhebung der qualitativen Daten, sodass ein in sich stimmiges Bild entstehe. 3 Das klassische Wirkungslogikvokabular Impact-Outcome-Output wurde hier nicht explizit verwendet. Grundsätzlich lassen sich aber Parallelen erkennen. Die strategische Gesamtzielsetzung entspricht der Dimension Impact, also der grundsätzlichen Veränderungsrichtung, die durch ein Maßnahmenpaket, wie etwa die Präventionskette, angestrebt wird. Die Maßnahmen und Zielgruppen, welche durch sie erreicht werden, entsprechen der Dimension Output. Die Zielerwartungen auf Ebene der Zielgruppen infolge der Maßnahmendurchführung entsprechen der Wirkungslogikdimension Outcome. Die Daten sind entsprechend Output- bzw. Outcome-Indikatoren. 4 Anmerkung: Eine ähnliche Herausforderung ergab sich auch bei der vorliegenden Untersuchung. 11 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Das Thema Präventionskette sei im Sinne des Projektes unglücklich gesetzt, weil ein Monitoring der kompletten Präventionskette für die gesamte Kommune nicht realistisch zu leisten gewesen wäre. Stattdessen sei eine Fokussierung unabdingbar gewesen, um den Aufwand zu begrenzen. Die bisherigen Ergebnisse seien in den Ausschüssen vorgestellt worden. Vor allen Dingen aber hätten die Akteur_innen im Feld zurückgemeldet, dass die Daten des Monitorings für die Optimierung ihrer Arbeit sehr hilfreich gewesen seien. Einen festen ‚Instrumentenkoffer Monitoring‘ oder eine routinemäßige Befragung werde es jedoch zukünftig nicht geben, da Aufwand und Ertrag nicht im Verhältnis zueinander stünden. Die größte Wirkung sei durch die Vernetzung der Akteur_innen und die gemeinsame Betrachtung der Themen erfolgt. Es gebe in den Sozialraumkonferenzen nun eine höhere Bedarfsorientierung, ein besseres Themenmanagement und eine gemeinsame Themenpriorisierung. Dies habe die Zusammenarbeit erleichtert. Insgesamt seien die Erkenntnisse auch auf andere Sozialräume übertragbar. Auch mit anderen Kommunen gebe es bereits einen Austausch. 2.3.3 Nettetal Die Stadt Nettetal im Landkreis Viersen hatte zum 31.12.2018 42.493 Einwohner_innen (Stadt Nettetal o. J.). Der Demographiebericht 2017 der Bertelsmann Stiftung gibt einen Jugendquotienten von 29,8 % an, pro 1.000 Erwachsenen werden jährlich im Schnitt 8,1 Kinder geboren (Bertelsmann Stiftung 2017c, S.4). Projektzuständig war der Sachgebietsleiter des Familienbüros, der direkt der Fachbereichsleitung Kinder, Jugend und Familien der Stadt Nettetal zugeordnet ist. Der Sachgebietsleiter verantwortet zudem die Bereiche Kita, Babybesuchsdienst und Frühe Hilfen der Stadt Nettetal. Er besetzt diese Stelle in Vollzeit und war für die Stadt Nettetal der einzige Verantwortliche für das Projekt Monitoring kommunaler Präventionsketten. Der Projektverantwortliche äußerte sich trotz des für ihn hohen Aufwands durchgehend positiv über das Konzept der Wirkungsorientierung und der datenunterstützten Planung und Steuerung. Er habe einen naturwissenschaftlichen Hintergrund und daher durchaus eine Neigung zur Datenerhebung und -auswertung. Es sei von Vorteil, wenn man hier ein Interesse und eine fachliche Neugierde mitbringe. Alle Maßnahmen der Jugendhilfe in Nettetal und vor allen Dingen die Maßnahmen im Rahmen der Präventionskette gegen Kinderarmut seien nach Einschätzung des Sachgebietsleiters bedarfsorientiert geplant, im Vorfeld des Monitoringprojektes jedoch nicht systematisch überprüft und überarbeitet worden. Trotz der im Vergleich geringsten Personalkapazitäten hat Nettetal ein sehr umfangreiches und sehr informiertes Datenkonzept vorgelegt und darüber hinaus weder eine sozialräumliche noch eine thematische Begrenzung vorgenommen, sondern sich an Fragen nach der Wirkung der 12 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Netzwerkarbeit und der Verbesserung der Teilhabe orientiert. Die Indikatorenauswahl (qualitativ und quantitativ) erfolgte gut begründet und fundiert. So wurden zu Fragen der Teilhabeverbesserung quantitative Daten (SGB-II-Bezug, Migrationshintergrund von Kindern in Kitas, Schuleingangsuntersuchungen, Übergangsquoten, Schulabschlüsse) ausgewählt, erhoben und interpretiert. Zur Wirkung des Netzwerkes wurde zunächst eine Akteursbefragung (Werkstattgespräch) realisiert sowie anschließend eine Fragebogenerhebung der Netzwerkpartner_innen durchgeführt, in deren Rahmen die Einschätzungen dazu abgefragt wurden, inwieweit die Aktivitäten des Netzwerks einen Beitrag zur Reduktion von Kinderarmut leisteten. Schließlich wurde am Beispiel des Angebots Spielmobil eine Wirkungslogik nach dem Input-Output-Outcome-Impact-Modell erstellt und mit gemischten Methoden eine Nutzerbefragung umgesetzt. Im Rahmen des Monitorings in Nettetal kam somit ein sehr breites Methodenspektrum in gelingender Weise zum Einsatz. Der Bedarf nach externer Unterstützung war sehr gering, die Motivation des Projektzuständigen und der investierte Arbeitsaufwand hoch. Auch die Bereitschaft, sich noch über den Input seitens des LVR hinweg weiteres Wissen anzueignen, war sehr groß. Obgleich die Daten vom Projektverantwortlichen mit großer Akribie und Expertise erhoben und aufbereitet wurden, verblieb der Bereich der wirkungsorientierten Planung und Steuerung jedoch auf dessen Arbeitsbereich beschränkt. Eine Multiplikation in andere Bereiche der Behörde oder der Kommune fand nicht oder nur sehr begrenzt statt. Es wird jedoch angestrebt, das Monitoring innerhalb des Fachbereichs über das Projektende hinaus zu verstetigen und die Ergebnisse für die Personalplanung zu verwenden sowie (in komprimierter Form) dem Jugendhilfeausschuss zu präsentieren. 13 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten 3 Ergebnisse: Herausforderungen und Gelingensprämissen kommunaler Wirkungsorientierung In Abbildung 1 ist schematisch dargestellt, worin die Herausforderungen beim Wirkungsmonitoring eines komplexen Konstrukts wie einer kommunalen Präventionskette gegen Kinderarmut bestehen: Abbildung 1: Herausforderungen (links) und Wirkungskomplexität (rechts) des Monitorings kommunaler Präventionsketten gegen Kinderarmut Quelle: Eigene Darstellung Eine Präventionskette besteht prinzipiell aus mehreren Maßnahmen. Jede Maßnahme wird durch bestimmte Akteur_innen realisiert, etwa Einrichtungen oder Fachkräfte. Bereits der Wirkungsnachweis im Hinblick auf eine einzelne Maßnahme würde im Idealfall (1) ein Monitoring der Gelingensfaktoren (z. B.: fachliche Qualifikation der Fachkräfte, Erreichung der Zielgruppen) sowie (2) eine Überprüfung der Wirkungsziele dieser Maßnahme umfassen. Die Überprüfung der Wirkungsziele wiederum kann auf Ebene der (2.1) Akteur_innen (also z. B. Fachkräfte) oder auf Ebene der (2.2) Zielgruppen erfolgen. Hinzu kommt, dass die Erkenntnisse über das Gelingen und die Wirkung innerhalb einer Kommune wiederum stark vom Sozialraum abhängig sind, da bestimmte Maßnahmen in bestimmten Sozialräumen hochwirksam sein können, in anderen jedoch nicht, ebenfalls abhängig von den vor Ort tätigen Akteur_innen und/oder der Zielgruppenpassung. Verallgemeinerbare Erkenntnisse werden so erschwert. Grundsätzlich müsste also eine Wirkungsanalyse von jeder Maßnahme innerhalb jedes Sozialraums erfolgen und zu den jeweiligen Gelingensfaktoren in Bezug gesetzt werden, die in den einzelnen Sozialräumen vorherrschen. Erst dann ließe sich eine Aussage über die Wirksamkeit einer einzelnen Maßnahme treffen. Damit ist jedoch noch nicht abgebildet, wie die Maßnahmen einander (im Sinne einer Wirkungskette) ergänzen oder ob sie einzeln bzw. als Kette einen Beitrag zur Prävention von Kinderarmut leisten. Hier würde wiederum eine Untersuchung der interrelativen Wirkung notwendig werden, und zwar idealerweise ebenfalls innerhalb jedes Sozialraums und innerhalb jeder möglichen 14 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Maßnahmenkombination. Selbst diese Annahme ist noch stark vereinfacht, weil sie davon ausgeht, dass durch eine Differenzierung nach Sozialräumen die Heterogenität der Zielgruppe berücksichtigt ist. Abhängig ist eine solch komplexe Untersuchung zudem von der Compliance der Akteur_innen im Feld und ebenso der Zielgruppen, was, wie später (vgl. Kapitel 3.2.4) noch ausgeführt wird, eine besondere Herausforderung darstellt. Dies vorausgeschickt muss betont werden, dass alle drei Kommunen im Rahmen des Monitorings den Untersuchungsgegenstand bzw. die Untersuchungsgegenstände eingegrenzt und somit nicht die volle Komplexität der Präventionskette in ihrem Monitoring berücksichtigt haben. Dies war vor allem dem Pilotcharakter des Monitoringprojektes geschuldet: Um überhaupt in die Lage versetzt zu werden, die im Rahmen des Projektes entwickelten Planungs- und Analyseinstrumente zu erproben, war es schon im Rahmen der zeitlichen Vorgaben nicht möglich, ein Monitoring entlang der gesamten Präventionskette zu entwickeln. In allen drei Kommunen erfolgte eine Auswahl bestimmter Maßnahmen, die zum zentralen Untersuchungsgegenstand wurden. Während die Auswahl in Kerpen durch die Formulierung eines ‚roten Fadens‘ geleitet war, welcher die Wirkungszusammenhänge im Kontext der Prävention von Kinderarmut aufzuschlüsseln versuchte, orientierte sich der Projektzuständige in Nettetal stärker daran, eine Auswahl zu treffen, innerhalb derer sich ein breites Methodenspektrum erproben ließ. Die Auswahl in Bergheim wurde pragmatisch über einen möglichst einfachen Zugang zu den entsprechenden Fachkräften getroffen. Zudem wurde auch eine Eingrenzung in Bezug auf die jeweiligen Sozialräume vorgenommen. Diese Auswahl wurde in Kerpen getroffen, da im ausgewählten Stadtteil eine sehr gut funktionierende und durch umfassende Akteur_innen besetzte Sozialraumkonferenz etabliert war. In Bergheim wurde die gesamte Präventionskette im Stadtteil Ahe in den Blick genommen, wodurch ein ‚roter Faden‘ entstand, entlang dessen die Maßnahmen zur ‚Sprache‘ und die ‚Frühen Hilfen‘ gesondert betrachtet worden sind. Insgesamt mochte das Projektvorhaben, die Wirkung der gesamten Präventionskette zu monitoren, demnach etwas zu ambitioniert gewesen sein. Nichtsdestoweniger ließen sich entlang der Erfahrungen, welche die Kommunen in der Umsetzung gemacht haben, bestimmte allgemeine Gelingensprämissen ableiten. Es blieben jedoch auch Herausforderungen bestehen, welche sich im Rahmen des Projektes nur schwierig bewältigen ließen. Diese werden im Folgenden dargestellt. 3.1 Gelingensprämissen 3.1.1 Klare deskriptive Definition des Angebots Im Rahmen der Präventionsketten haben die Kommunen vielfältige Angebote umgesetzt, welche sich jedoch im Hinblick auf ihre Struktur, Zielgruppen, Zeitläufe und Teilnahmehäufigkeit bzw. -dauer zum Teil deutlich voneinander unterscheiden. Um ein erfolgreiches Monitoring ermöglichen zu können, müssen die Angebote und ihre Spezifika daher klar beschrieben und abgegrenzt sein. 15 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Zunächst einmal sollte, wie in den untersuchten Kommunen auch geschehen, eine Auswahl derjenigen Angebote und Maßnahmen getroffen werden, welche Gegenstand des Monitorings werden. Anschließend erscheint es sinnvoll, die Maßnahmen noch einmal sehr genau zu umschreiben. Leitfragen hierbei könnten beispielsweise sein: - Welche Form hat das Angebot? (z. B. aufsuchend/beratend, Beratungsstelle, Kurs) - An wen richtet sich das Angebot? (z. B. pränatal, Familien mit kleinen Kindern, Familien mit schulpflichtigen Kindern) - Wie werden die Zielgruppen erreicht? (z. B. Informationsveranstaltungen, Broschüren, Hinweis durch Akteur_innen wie z. B. Geburtshelfer_innen, Erzieher_innen, Kinderärzt_innen etc.) - Wie erfolgt die Teilnahme am Angebot? (verpflichtend vs. freiwillig, generell vs. spezifisch, einmalig vs. mehrmalig/längerfristig) So wurde in Bergheim im Rahmen eines Fachgruppentreffens der Versuch unternommen, eine Maßnahme möglichst genau im Hinblick auf ihre Wirkungsprämissen zu beschreiben. Hierbei wurde deutlich, dass die Wege zur Zielgruppe keinem Standard folgten. Kenntnis über das Angebot konnten die Familien, welche erreicht werden sollten, zwar über das Internet und eine App erhalten; dies setzte jedoch voraus, dass sie grundsätzlich erst einmal von der Existenz des Angebots wussten oder sich aktiv auf die Suche danach machten. Der ‚Initialfunke‘ wurde eher durch mündliche Empfehlung gegeben, welche jedoch wiederum eher zufällig war. In Bergheim standen die Zugangswege zu bestimmten Programmen dabei noch einmal gesondert im Zentrum der Aufmerksamkeit, da der Zugang zu Maßnahmen als zentrale Wirkungsprämisse identifiziert wurde. Das Vorgehen, hier gemeinsam mit den Fachkräften den Weg von der Erstansprache bis zur Teilnahme an einer Maßnahme an verschiedenen Beispielen nachzuzeichnen, war methodisch überaus innovativ und führte zu sinnvollen Ergebnissen. Eine sehr detaillierte Angebotsbeschreibung hilft also nicht nur bei der Wirkungsanalyse, sondern auch, um die Zusammenhänge dahingehend zu verstehen, welche Voraussetzungen bestehen müssen, damit Wirkung überhaupt erzielt werden kann. Eine weitere Möglichkeit der Eingrenzung ist der Fokus auf einen bestimmten Standort bzw. ein Gebiet. Indem ein bestimmter Stadtteil oder ein Quartier zum Gegenstand des Monitorings gemacht wird, besteht die Möglichkeit, fest zuständige Akteur_innen (z. B. Beratungsstellen vor Ort, Kinderärzt_innen, Polizei/Ordnungsamt, Kitapersonal etc.) für das Monitoring zu gewinnen und zyklisch einzubeziehen. Dieses Vorgehen wurde vor allen Dingen in Kerpen und Bergheim erfolgreich umgesetzt. Besonders erfolgsversprechend erscheint hier die Option, Sozialraumkonferenzen (Kerpen) oder Fachgruppentreffen (Bergheim) zu nutzen, um die Akteur_innen vor Ort in die Wirkungsbewertung einzubeziehen. In Bergheim wurde darüber hinaus die Idee entwickelt, Bürgerbeteiligungsformate zum Zweck des Wirkungsmonitorings zu nutzen. Auch hierin 16 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten liegt sicherlich eine interessante Chance, wobei jedoch im Blick behalten werden muss, dass innerhalb von Bürgerbeteiligungsformaten zumeist eine bestimmte Klientel exklusiv erreicht wird. Dabei verändert sich jeweils die Perspektive auf die Wirkungsentwicklung: Ein stärker an den Maßnahmen orientiertes Wirkungsmonitoring erlaubt es, mehr über die spezifische Wirkung einer bestimmten Maßnahme herauszufinden, wohingegen ein stärker standortorientiertes Monitoring weniger maßnahmenspezifisch ist, dafür aber mehr Aufschluss über das Zusammenwirken von Maßnahmen und Akteur_innen liefert. Berücksichtigt man demografische Daten über den Zeitverlauf hinweg, wäre hier sogar das Abbilden einer Quartiersentwicklung möglich – allerdings gilt es zu bedenken, dass die Wirkungszusammenhänge hier wiederum so komplex und multifaktoriell sind, dass es schwierig ist, kausale Wirkungszusammenhänge darzustellen. Insgesamt lässt sich jedoch festhalten, dass eine Eingrenzung der im Monitoring berücksichtigten Untersuchungsobjekte (zeitlich, räumlich und/oder im Hinblick auf die Maßnahme(n)) nicht nur der Gefahr vorbeugt, sich hinsichtlich des Untersuchungsdesigns ‚zu verzetteln‘, sondern auch gewährleistet, dass sinnvolle, transparente Aussagen zur Wirkung getroffen werden können. Im Gegenzug muss jedoch möglicherweise in Kauf genommen werden, dass eine gleichzeitige Gesamtschau aller Maßnahmen über alle Standorte einer Kommune hinweg nicht ermöglicht werden kann. Es könnte im Sinne der Kommunikation und strategischen Steuerung sinnvoll sein, diesen Umstand von Beginn an bei der Haushaltsplanung zu berücksichtigen und entlang der dort geplanten Maßnahmenpakete entsprechende ‚Monitoringpakete‘ einzuplanen. 3.1.2 Erstellen einer Wirkungslogik Um trotz der Eingrenzung (Sozialraum und Maßnahme) die erhobenen Wirkungsdaten möglichst im Hinblick auf die Präventionskette interpretieren zu können, setzte sich Kerpen (mit Unterstützung einer externen Moderatorin) früh mit der Frage nach den Wirkungszusammenhängen auseinander. Der leitende Gedanke hierbei war die zuvor implementierte Präventionskette gegen Kinderarmut. Entlang der Maßnahmen wurde noch einmal überprüft, welche Wirkungserwartungen bezüglich der Reduzierung von Effekten von Kinderarmut bestanden und wie die Maßnahmen diese Erwartungen erfüllen sollten. Diese Vorgehensweise machte es leichter, eine Auswahl dahingehend zu treffen, welche Daten erhoben werden mussten, und diese später in Bezug zu den Zielen der Präventionskette zu setzen. In Nettetal wurde wiederum eine Wirkungslogik mit Blick auf eine bestimmte Maßnahme verfasst, um auf Basis der dort formulierten Wirkungsziele (Outcomes) einen Fragebogen zu konzipieren. Bergheim orientierte sich in der Untersuchung hingegen eher auf die Wirkungsprämissen (Sprache und Zugänge; also: Output-Ebene). Als Orientierungsrahmen wurde dabei das Ziel gesetzt, innerhalb eines Stadtteiles möglichst umfassend das Gesamtangebot der Präventionskette in den Blick zu nehmen. Dieser Ansatz war sowohl datenergiebig als auch sinnvoll, weil hier vor allen Dingen die Wirkungszusammenhänge – also der ‚Netzwerk‘-Aspekt – der Präventionskette untersucht werden konnte. 17 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Insgesamt lässt sich das Ausformulieren einer nachvollziehbaren Wirkungslogik als zentrale Voraussetzung für ein gelingendes Monitoring benennen. Durch eine Wirkungslogik legitimiert sich das Monitoring nicht nur, sie ist auch der Ausgangspunkt für die Formulierung von Indikatoren bzw. die Auswahl von aussagekräftigen Daten (vgl. das Beispiel Kerpen) und für die Auswahl geeigneter Erhebungsmethoden (vgl. das Beispiel Nettetal). Die folgenden Absätze umfassen daher noch einmal einen etwas extensiveren Exkurs zum Thema Wirkungslogik, losgekoppelt von den Umsetzungen der untersuchten Kommunen: Das Wirkungslogikmodell (im Englischen: Logic Model (vgl. W.K. Kellogg Foundation 2006) oder Theory of Change (vgl. Kail/Lumley 2012) wird als Evaluationsinstrument für Programmmaßnahmen – vorrangig im sozialen Bereich – bezeichnet (vgl. W.K. Kellogg Foundation 2006, S. 1). Dabei ist es jedoch weniger ein Messinstrument als vielmehr eine Hilfe zur Visualisierung von Ressourcen, Maßnahmen und Effekten. Zentraler Aspekt ist hier vor allen Dingen das kausale InBezug-Setzen von Ressourcen, Aktivitäten, Zielen und Ergebnissen. Klassischerweise wird das Modell als Matrix dargestellt, basierend auf den vier Säulen Input, Output, Outcome und Impact. Es kommt jedoch auch vor, dass weitere Säulen ergänzt werden, beispielsweise Activities, worunter die einzelnen konkreten Teile einer Maßnahme wie etwa Trainings, Schulungen, Materialien oder sonstige Aktivitäten spezifiziert werden. Gibt es diese Säule nicht, so werden die Aktivitäten unter Output gelistet. Ebenfalls verbreitet ist die Unterscheidung in kurz-, mittel- und langfristige Outcomes. Dies ist vor allen Dingen dann sinnvoll, wenn eine Maßnahme über mehrere Kaskaden wirken soll oder das Konzept der Maßnahme mehrere Multiplikationsebenen vorsieht. Am weitesten streuen die Auffassungen des Begriffs Impact. Stellen Outcomes diejenigen Effekte und Ziele dar, welche im Rahmen einer isolierten Zielgruppe oder eines isolierten Zielbereichs in direkter kausaler Folge der Maßnahmen auftreten, so sei Impact die nächsthöhere Zieldimension, wobei jedoch dieses ‚nächsthöher‘ je nach Definition unterschiedlich interpretiert wird: Im Logic Developement Guide der W.K. Kellogg Foundation unterscheidet sich die Definition der Impact- von der Outcomedimension darin, dass die darunter aufgeführten Effekte noch später (7 bis 10 Jahre nach Abschluss der Maßnahme) auftreten, grundlegend sind und ein größeres, die Zielgruppe einschließendes System betreffen (vgl. W.K. Kellogg Foundation 2006, S. 1). Im Guide Social Impact Measurement in the Philantropic Sector von Sinzer wird Impact beschrieben als Outcomes bereinigt um diejenigen Effekte, die nicht kausal auf die Maßnahme zurückzuführen sind (vgl. Sinzer, 2015, S. 6). Die Annie E. Casey Foundation wiederum definiert Impact als die Summe aller Veränderungen, welche im Lebensumfeld der Zielgruppe(n) notwendigerweise hergestellt werden müssen, um den angestrebten, positiven Zielzustand herbeizuführen und nachhaltig halten zu können (vgl. Reisman et al. 2004, S. 2 ff.). Diese Veränderungen sind nicht zwangsläufig kausal von der Maßnahme abhängig, sondern treten als Folge der kombinierten Wirkung verschiedener Maßnahmen, als Collective Impact oder natürliche Entwicklungen auf. 18 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Insgesamt umfasst die Wirkungslogik die folgenden Säulen: Input Input beschreibt alle Ressourcen, welche im Rahmen eines Projektes von allen Stakeholder_innen investiert werden müssen (vgl. W.K. Kellogg Foundation 2006, S. 2). Dies umfasst finanzielle Ressourcen, zeitliche Ressourcen sowie personelle Ressourcen, welche direkt (z. B. Produktherstellung) oder indirekt (z. B. Strukturkosten) in die Umsetzung des Projektes eingebracht werden. Es handelt sich dabei nicht nur um monetäre oder in monetärer Dimension beschreibbare Ressourcen, sondern auch um Ideen, Technologien oder Fähigkeiten eines Individuums oder einer Organisation. Auch die Schaffung von Voraussetzungen zur Umsetzung eines Projektes, z. B. die Bereitstellung von Infrastruktur, wird unter Input gelistet. Output Output umfasst alle direkten, konkreten Resultate des Inputs (vgl. W.K. Kellogg Foundation 2006, S. 2; Sinzer 2015, S. 6). Hin und wieder wird der Unterpunkt Aktivitäten als gesonderte Komponente des Logikmodells aufgeführt und berücksichtigt alle Maßnahmen, Produkte und Formate, welche im Rahmen eines Projektes entwickelt, hergestellt und implementiert wurden. In diesem Fall umfasst die Dimension Output nur die Anzahl der Profitierenden. In anderen Modellen wird beides zusammengefasst. Zielgruppen/Stakeholder_innen Im klassischen Verständnis eines Wirkungslogikmodells sind die Profitierenden in der Regel die Zielgruppe(n) eines Projektes oder einer Maßnahme. Outcome Als Outcome werden die Effekte bezeichnet, welche im kausalen Zusammenhang mit einer Maßnahme stehen. Die Zuschreibung eines Effektes zu einer Maßnahme kann in diesem Fall zum einen subjektiv durch die relevanten Zielgruppen erfolgen5 oder objektiv als Veränderung gegenüber einer Vergleichsgruppe oder einem ‚Baseline-Messzeitpunkt‘ nachgewiesen werden. Impact Die Impactebene wird oftmals unterschiedlich definiert, gilt aber allgemein als diejenige Dimension, auf welcher langfristige und systemische/gesellschaftliche Veränderungen abgetragen werden, welche im Zusammenhang mit der Maßnahme stehen, jedoch nicht monokausal auf diese zurückzuführen sind. Dazu zählen systemische und gesellschaftliche Entwicklungen. 5 Dies betrifft jedoch nur diejenigen Effekte, welche spezifisch die Zielgruppe betreffen. So kann beispielsweise nicht eine Zielgruppe Effekte bei einer anderen Zielgruppe ursächlich der Maßnahme zuschreiben. 19 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Die Planung der Wirkung kann vom Impact zum Input (orientiert an der Vision) oder vom Input zum Impact (orientiert an den Ressourcen) erfolgen. Wichtig ist eine Rückkopplung der einzelnen Ebenen oder Säulen untereinander. Anschließend erfolgt eine Formulierung von Wirkungsgateways (Outputindikatoren) und Wirkungsindikatoren (Outcomeindikatoren). Die in der folgenden Tabelle abgebildeten Fragen können dabei unterstützen, eine Wirkungslogik zu erstellen. Die hier dargestellte Planung setzt beim Impact an und arbeitet sich dann bis zum Input herunter. Die Fragen sollen dazu dienen, eine logische Verkettung der verschiedenen Dimensionen der Wirkungslogik vornehmen zu können. Tabelle 1: Leitfragen zur Erstellung einer Wirkungslogik Impact 1a) Welches Problem oder welche Herausforderung sehe ich in der Gesellschaft, zu dessen Lösung ich beitragen möchte? und/oder 1b) Welches gesellschaftliche Idealbild habe ich, zu welchem ich mit meinen Maßnahmen beitragen möchte? 2) Wieso setze ich mit meinen Maßnahmen dort an, wo ich ansetze? Zielgruppen 3) An welche Zielgruppen wendet sich mein Angebot direkt? (Wer sind Teilnehmer_innen?) 4) An welche Zielgruppen wendet sich mein Angebot indirekt? (Wer profitiert davon, obwohl sie nicht Teilnehmer_innen sind?) 5) Wieso ist es im Sinne der Lösung des gesellschaftlichen Problems bzw. des Beitrags zum gesellschaftlichen Idealbild sinnvoll, sich gerade an diese Zielgruppen zu wenden? Outcome 6) Welche konkreten Veränderungen (in ihrem Denken, Verhalten, Handeln etc.) möchte ich bei den direkten Zielgruppen bewirken? 7) Welche konkreten Veränderungen (in ihrem Denken, Verhalten, Handeln etc.) können bei den indirekten Zielgruppen entstehen? 8) In welchem Zusammenhang stehen die Veränderungen auf Ebene der Zielgruppe mit der Lösung des gesellschaftlichen Problems bzw. dem Beitrag zum gesellschaftlichen Idealbild? 20 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Zusatzfragen 9a) Wann rechne ich damit, dass sich diese Veränderungen zeigen? (unmittelbar nach den Maßnahmen, mit zeitlicher Verzögerung etc.) 9b) Woran könnte ich diese Veränderungen konkret beobachten? Output 10) Welche Maßnahmen habe ich geplant, um die als Outcome erwünschten Veränderungen bei den Zielgruppen zu bewirken? 11) Wieso sind gerade diese Maßnahmen so geeignet, um die Veränderungen bei den Zielgruppen zu bewirken? Prüffragen 12a) Tragen alle meine Maßnahmen zur Erreichung von mindestens einer Veränderung bei den Zielgruppen bei? und 12a) Lassen sich alle von mir formulierten Veränderung mittels mindestens einer Maßnahme realisieren? Input 13) Welche Ressourcen (Geld, Personal, Netzwerk/Partnerschaften, Strukturen etc.) benötige ich, um die Maßnahmen umzusetzen, welche die Veränderungen bei den Zielgruppen bewirken und somit einen Beitrag zur Lösung des gesellschaftlichen Problems oder Erreichung des Idealbildes leisten? Im Rahmen der qualifizierenden Begleitung durch den LVR wurde den teilnehmenden Kommunen das Modell der Wirkungstreppe sowie der beschriebenen ‚I-O-O-I-Logik‘ vorgestellt. Insgesamt lässt sich jedoch festhalten, dass eine intensivere Begleitung bei der Erstellung einer Wirkungslogik durch eine externe Moderation für die Kommunen hilfreich sein dürfte. Grundsätzlich bringt die Perspektive eines externen Nachfragenden bestimmte Wirkungszusammenhänge, die in der alltäglichen Arbeit bereits als selbstverständlich angenommen werden, noch einmal präziser auf den Punkt. Darüber hinaus ist es sicherlich hilfreich, sich auch noch einmal intensiver damit auseinanderzusetzen, warum die Wirkungslogik erstellt wird. So kann sie ein sinnvolles, deskriptives Instrument sein, um eine bestimmte Maßnahme logisch darzustellen (Nettetal), sie kann als strategisches Leitkonzept genutzt werden (Kerpen), sie kann die Auswahl von Indikatoren maßgeblich erleichtern (Kerpen) oder die Entwicklung von Erhebungsinstrumenten unterstützen (Nettetal), sofern sie adäquat eingesetzt wird. 21 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten 3.1.3 Personalkapazität und Qualifikation Ein Aspekt, der von vorneherein durch den LVR im Rahmen des Projektes berücksichtigt wurde, ist die fachliche Qualifizierung von Personal. So wurde darauf geachtet, dass die zuständigen Personen in den Kommunen bereits eine gewisse Erfahrung bei der Erhebung, Auswertung und Interpretation von Daten im Rahmen der Jugendhilfeplanung hatten. Darüber hinaus wurden die Teilnehmenden in mehreren Workshop-Tagen in Wirkungsplanung, qualitativen und quantitativen Erhebungsmethoden und der Erstellung eines Datenkonzepts weitergebildet. Ebenso wichtig wie die Qualifikation sind jedoch auch die zeitlichen Kapazitäten sowie eine sinnvolle Rollen- und Aufgabenteilung. In Bergheim wurde beide Aspekte berücksichtigt, indem eine Person stärker die kommunale Innenperspektive einnahm (Strategie, Maßnahmenplanung in der Jugendhilfe) und eine andere stärker die Feldperspektive (Fachkräftekoordination, Umsetzung). Diese Aufteilung ermöglichte eine äußerst gute Rückkopplung an die grundsätzlichen Überlegungen zur Präventionskette und gleichzeitig eine sehr hohe Transparenz in Richtung der Feldakteur_innen, welche in Bergheim äußert eng eingebunden waren. Kerpen holte sich zusätzlich zu den Bereichen der strategischen Koordination explizit Unterstützung durch einen datenerhebungserfahrenen Mitarbeiter aus der Jugendhilfeplanung ins Team. Dies ermöglichte die gemeinsame Konzeption eines praktisch lückenlosen Datenkonzepts. Obgleich die Umsetzung des Wirkungsmonitorings in Nettetal durch überwiegend nur eine Person viele positive Ansätze hervorbrachte, lässt sich insgesamt doch ableiten, dass idealerweise mindestens zwei Personen für das Monitoring verantwortlich sein sollten, wobei eine Person die Hauptverantwortung innehat und mindestens eine weitere als Hauptstellvertretung fungiert. Alle Beteiligten sollten dabei Grundkenntnisse in der Erhebung und Aufbereitung qualitativer und quantitativer Daten besitzen. Mindestens eine Person sollte darüber hinaus über Grundkenntnisse im Bereich der Wirkungsorientierung verfügen und das Team diesbezüglich anleiten. Auch sollte mindestens ein bzw. eine Mitarbeiter_in im Hinblick auf Angebote entscheidungsbefugt oder von einer entscheidungsbefugten Person mandatiert sein, denn dies verkürzt die Wege innerhalb der Kommune. Und mindestens eine zuständige Person sollte zudem direkten Zugang zum ‚Feld‘ haben, um die Kommunikation mit den Akteur_innen dort zu erleichtern und den Weg zu den Zielgruppen zu bahnen. 3.1.4 Einbettung in den behördlichen und kommunalen Kontext Einer der wichtigsten Gelingensfaktoren und gleichzeitig eine der größten Herausforderungen ist die Einbettung in den behördlichen und kommunalen Kontext. Das Monitoring droht zu scheitern oder ‚isoliert‘ zu bleiben, sofern es keinen Anschluss an die nächstgrößere, kommunale Struktur hat. Hierin lag in allen drei Kommunen eine gewisse Herausforderung. Insbesondere angesichts des hohen Aufwands, der bei der Planung, Datenerhebung und Auswertung betrieben wurde, braucht es ein erhebliches Maß an intrinsischer Motivation, um sich nicht entmutigen zu lassen, falls die Daten wenig Resonanz erzeugen. In allen drei Kommunen wurde dies kritisch diskutiert. Dabei war in Kerpen die Anbindung an die Jugendamtsleitung sehr eng. Auch 22 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten in Bergheim und Nettetal bestand ein Austausch mit der Jugendamtsleitung, hier jedoch stärker im Fahrwasser des vorgeordneten Projektes ‚Präventionsketten‘. Idealerweise sind Abteilungsleitung und Amtsleitung dem Monitoringvorhaben nahe, d. h. sie haben Kenntnis darüber, unterstützen es und werden regelmäßig über Fortschritte informiert. Die Unterstützung durch die Leitungsebene macht auch im Kontext der strategischen Bedeutung der wirkungsorientierten Arbeit Sinn. Daten zu erheben, ohne diese dann ggf. auch für die strategische Steuerung oder legitimatorische Kommunikation (nach innen und außen) zu nutzen, erscheint hingegen wenig sinnvoll und macht es schwierig, den betriebenen Erhebungs- und Auswertungsaufwand zu rechtfertigen. Im Idealfall findet das Monitoring Platz in den relevanten Gremien und Ausschüssen und erzeugt damit nicht nur behördliche, sondern auch politische Resonanz innerhalb einer Kommune. Ob und inwieweit dies zukünftig in den untersuchten Kommunen der Fall ist, bleibt abzuwarten. Zum Zeitpunkt des Abschlusses der Untersuchung war hier die Tendenz noch eher schwach ausgeprägt (vgl. auch Kap. 3.2.3). In Nettetal war die Einschätzung, dass der entsprechende Bericht zwar in den betroffenen Gremien und bei der Amtsleitung vorgelegt werde, allerdings noch unklar sei, welche Konsequenzen sich dadurch für den Fachbereich ergeben würden. Auch in Bergheim war die Prognose zum Abschluss eher verhalten. Es sei zwar gut und durchaus gewünscht, dass ein Monitoring stattfinde, dennoch könne es leicht passieren, dass der entsprechende Bericht in der Amtsperipherie verschwinde und im Alltagsgeschäft wenig Berücksichtigung finde. In Kerpen wurde bilanziert, dass man viele Erfahrungen gewonnen und sich als sehr gut arbeitendes Team etabliert habe. Der Aufwand der Erhebung und vor allen Dingen der Berichtserstellung sei jedoch zu hoch und würde die ‚normalen‘ Arbeitsprozesse eher überlasten denn optimieren. 3.1.5 Sinnvolle Methodenvielfalt Auch bei der Auswahl der Methoden gingen die Kommunen strategisch sehr verschieden vor. In Bergheim wurden die (vorwiegend) quantitativen Daten, welche ohnehin regelmäßig erhoben wurden, durch eine anlassbezogene Ergänzung von qualitativen Daten erweitert. Es war hierbei schwierig nachzuvollziehen, welchem strategischen Plan die Mischung der Datentypen folgte. Insgesamt entstand zunächst der Eindruck, dass hier die Vorgabe des LVR, sowohl qualitative als auch quantitative Daten zu kombinieren, dazu führte, dass eine Zusammenstellung von Daten erfolgte, die zwar unterschiedliche Aspekte der Prävention von Kinderarmut abbildeten, aber nur lose miteinander in Bezug standen, ohne eine kohärente Ergänzung zueinander darzustellen. Unter der Überschrift ‚Bedarfe, Lücken, Zugänge‘ konnten die angewandten Methoden letztlich jedoch sinnvoll in Beziehung zueinander gesetzt werden. Das Monitoring führte zur (noch laufenden) Entwicklung eines standardisierten Fragekatalogs um Bedarfe, Lücken und Zugänge systematisch zu erfassen. Die Daten wurden darüber hinaus zur Erstellung einer AkteursNetzwerkkarte zur Optimierung von Zugängen genutzt. In Bergheim gelang außerdem die Erprobung verschiedener qualitativer Methoden: Interviews, Fokusgruppen sowie Fishbowlformate. 23 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten In Kerpen stellte der erarbeitete rote Faden den Ausgangspunkt für die Entscheidung dar, welche Daten sinnvollerweise zusammengestellt werden sollten. Auch hier wurde auf eine bereits verfügbare Basis regelmäßig erhobener Statistiken zurückgegriffen, welche dann – entlang der Wirkungslogik – mit qualitativen Formaten wie Interviews und Gruppendiskussionen ergänzt wurde. In Nettetal bestand die Leitfrage darin, welche quantitativen Indikatoren besonders gut geeignet seien, um Effekte von Kinderarmut abzubilden und nachzuweisen und ob bestimmte Maßnahmen diese Effekte abmilderten. Zusätzlich wurden einige qualitative Formate angewandt. Der Fokus lag hier jedoch vor allen Dingen auf der Entwicklung eines langfristig anwendbaren Monitorings, weshalb die Auswahl der Indikatoren und entsprechenden Erhebungsmethoden auch dadurch determiniert war, den Arbeitsaufwand möglichst nachhaltig gering zu halten. Insgesamt lassen sich hier zahlreiche sinnvolle Faktoren beobachten: Eine Wirkungslogik ist als Ausgangspunkt für die Erhebung sicherlich schon allein deshalb sinnvoll, weil hier Indikatoren zusammengetragen werden, über die sich möglichst treffende Aussagen zur Wirkung der untersuchten Maßnahmen tätigen lassen. Während Outcomes einen Wirkungszielzustand umschreiben, sind Indikatoren klar beobachtbare, beschreibbare, zähl- oder messbare ‚Metriken‘, mittels derer sich eine Veränderung vom Ausgangszustand zum Wirkungszielzustand darstellen lässt. Ein Outcomeziel kann dabei durchaus über mehrere Indikatoren operationalisiert sein. Bereits bei der Formulierung von Outcomes (im Rahmen der Erstellung einer Wirkungslogik) sollte sehr genau und möglichst eindeutig und nachvollziehbar vorgegangen werden. Hierbei helfen einige Leitfragen bei der Formulierung: - Welche Zielgruppe betrifft es? - Welcher Art ist die angestrebte Veränderung? (z. B. Wissenszuwachs, Kompetenzzuwachs, Verhaltensänderung etc.) - Ist die beschriebene Veränderung objektiv und/oder subjektiv feststellbar? - Wenn sie eher subjektiv feststellbar ist, ist sichergestellt, dass für die Zielpersonen dieselben Veränderungskriterien gelten wie für die beobachtende/evaluierende Person? - Ist ein Zeitraum definiert, innerhalb dessen die Veränderung eingetreten sein sollte? (vor allen Dingen relevant für die Attribution) - Ist ein ‚Vorher‘ definiert, zu dem das Outcomeziel eine Veränderung darstellt? Anschließend werden für jede auf Outcomeebene formulierte Veränderung Indikatoren formuliert. Dabei empfiehlt sich folgendes Vorgehen: 24 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten (1) Prüfen, wie sich die Veränderung am besten abbilden lässt (z. B. Interview, Wissensabfrage, Zählen etc.) (2) Prüfen, ob die Veränderung wirklich mit hoher Wahrscheinlichkeit mit der Maßnahme zusammenhängt (Attribution) (3) Zusammentragen von Indikatoren entlang der Frage: Welche beobachtbaren, beschreibbaren, analysierbaren, zählbaren, abfragbaren oder messbaren ‚Beweise‘ gibt es für eine Veränderung im Sinne des Outcomes? (4) Prüfung der Nachhaltigkeitsqualität der Indikatoren: Bilden sie eine akute oder eine längerfristige/nachhaltige/erweiterbare Veränderung ab? Es empfiehlt sich auch, quantitative und qualitative Erhebungsformate zu verbinden. Hierbei ist angeraten, die Methoden so zu kombinieren, dass sich die Daten gegenseitig ergänzen oder in Bezug zueinander gesetzt werden können. Allerdings muss, wie beispielsweise in Nettetal, insbesondere im Hinblick auf einen handhabbaren Aufwand erprobt werden, welche – vor allen Dingen qualitativen – Erhebungsformate tatsächlich eine valide und sinnvolle Ergänzung zu quantitativen Daten hervorbringen. Gerade mit Blick auf quantitative Daten (z. B. demografische Daten) gilt allerdings: Nicht alles, was bereits dank laufender Statistiken vorliegt, eignet sich, um sinnvolle Aussagen über die Wirksamkeit oder Qualität eines Angebots zu treffen. Am Ende sollte im Idealfall ein Erhebungsplan stehen: Wann werden welche Indikatoren (im Zusammenhang mit welchen Zielen) mittels welcher Methoden erhoben? Dies erleichtert die logistische Planung und hilft bei der nachhaltigen Implementation des Monitorings. 3.1.6 Festgelegte Intention Die durch das Projekt festgelegte Zielsetzung des Monitorings war der Gewinn von Erkenntnissen zu Teilhabe und gelingendem Aufwachsen. Demnach war im vorliegenden Fall durch das Projekt die Intention der Datenerhebung und -auswertung bereits vorgegeben. Grundsätzlich gibt es verschiedene Leitintentionen im Bereich der Wirkungsorientierung, die einander zwar nicht ausschließen, jedoch zum Teil verschiedene Herangehensweisen an die Maßnahmenplanung erforderlich machen. Im Vorfeld eines Wirkungsmonitorings ist daher unbedingt die Intention desselben zu klären. Qualitätsentwicklung/formative Fragestellung Geht es darum, die Wirkung einer bestimmten Maßnahme zu optimieren, beispielsweise die Passung des Angebots für die Zielgruppen zu untersuchen, so ist die Leitfragestellung des Monitorings eher formativer Natur. Hier ist im Vorfeld zu klären, welche Entwicklungsspielräume es bei der Maßnahme überhaupt gibt (Personal, Ressourcen, Zeit). Die Erhebungsmethode ist dann 25 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten ebenfalls eher formativ und inkludiert im Idealfall die Zielgruppen und die Personen, welche die Angebote planen und umsetzen. Die Daten sollten im Idealfall Erkenntnisse dazu liefern, was den Zielgruppen an der aktuellen Form des Angebots gefällt und hilfreich erscheint und was ihnen fehlt. Die Daten sind dann an diejenigen Stellen weiterzuleiten, welche die Angebote planen und umsetzen. Legitimation/summative Fragestellung Geht es darum, Wert und Wirkung einer Maßnahme darzulegen, um beispielsweise ihre Kosten und ihren Aufwand zu legitimieren, so ist die Leitfragestellung des Monitorings eher summativer Natur. Im Vorfeld muss geklärt werden, wer Interesse an solchen Daten haben könnte und bei welchen Entscheidungen etwa die Daten hilfreich sein sollten. Daraus leitet sich ab, wie die Daten aufbereitet werden müssen. Ein ebenfalls legitimatorischer Zweck wird beispielsweise bei der Öffentlichkeitsarbeit verfolgt. Wenn eine Kommune beispielsweise in einer Broschüre ihre Arbeit darlegen möchte, so kann sie ebenfalls Daten zusammenstellen, die ihre Wirkungsergebnisse untermauern. Auch hier ist zu beachten, dass die Daten möglichst zweckgemäß aufbereitet werden sollten, also im Idealfall so, dass eine interessierte, aber nicht in der Tiefe informierte Öffentlichkeit möglichst trotzdem auf den ersten Blick erkennt, welche Ergebnisse bestimmte Maßnahmen erzielt haben. Die Intention des Monitorings ist jedoch möglichst vor Beginn der Datenerhebung festzulegen, da es herausfordernd sein kann, bei einem eher qualitativ-explorativen Datenkonzept am Ende konzise Aussagen über oder Argumente für die Wirkung einer bestimmten Maßnahme zu erhalten. Andersherum eignen sich Daten, welche die Wirkung einer Maßnahme begründen, oft nicht, um etwas über die Gelingensbedingungen oder die Prozessqualität einer bestimmten Maßnahme zu erfahren. 26 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten 3.2 Herausforderungen 3.2.1 Wirkungsmonitoring und Prävention Eine der zentralen Herausforderungen der Wirkungsorientierung ist die kausale Beweisführung von Ursache (Maßnahme) und Wirkung. Diese wird im Bereich der Präventionsarbeit noch deutlich erschwert, da es hier formal gesehen nicht darum geht, ein Problem zu beseitigen, sondern darum, es davon abzuhalten, einzutreten. Für die kommunalen Präventionsketten gegen Kinderarmut ist die Zielsetzung also nicht, die Armut der Kinder zu beseitigen, sondern vorbeugend zu wirken, damit die Armut der Kinder nicht zum teilhabeverhindernden Faktor wird. Erreicht ein Kind aus sozioökonomisch prekären Verhältnissen jedoch beispielsweise einen guten Schulabschluss oder eine gute Ausbildungsperspektive, ist der Nachweis, dass dies auf die sozialpräventiven Maßnahmen zum Beispiel der Frühen Hilfen zurückzuführen ist, nahezu unmöglich. Die Präventionsketten zum Gegenstand des Monitorings zu machen, stellte die Kommunen somit vor eine zusätzliche Herausforderung, da die Wirkungszielformulierung im Bereich der präventiven Arbeit ungleich komplexer ist als die Wirkungszielformulierung im Bereich der Intervention. Hinzu kommt der Begriff der Präventionsketten. Er bringt zum Ausdruck, dass es nicht um die Wirkung von Einzelmaßnahmen gehen soll, sondern vor allen Dingen um das Zusammenwirken verschiedener Akteur_innen im Netzwerk. Jedoch ist auch die Darstellung eines gemeinsamen Wirkens (Collective Impact) wiederum deutlich herausfordernder als die Darstellung der Wirkung einzelner Maßnahmen. Es überrascht daher nicht, dass die Projektverantwortlichen die Einschätzung der Netzwerkwirkung zwar in den jeweiligen Akteursnetzwerktreffen erfragt haben, auf Ebene der direkten Wirkung auf die Zielgruppen jedoch einzelne Projekte ausgewählt und die Untersuchung auf diese beschränkt haben. In Bergheim und Kerpen wurde in diesem Fall ein ganzheitliches Angebot, begrenzt auf bestimmte Stadtteile untersucht. Nettetal kooperierte mit bestehenden Netzwerkstrukturen, um eine Befragung zur Netzwerkwirkung vorzunehmen. Im Rahmen des Projektes (und auch sonst nur mit einem erheblichen Aufwand) war es nicht möglich, tatsächlich die Wirkung der Präventionsketten auf die Teilhabe umfassend darzustellen. Die Lösungswege der Kommunen zeugen jedoch davon, dass sie durchaus sensibel dafür sind, auf welchen Ebenen sich Netzwerkwirkung gut abbilden lässt (v. a. Wirkung des Netzwerks auf das Netzwerk) und auf welchen Ebenen Maßnahmenwirkung gemessen werden kann. 3.2.2 Nachhaltigkeit über das Projektende hinaus In allen Kommunen wird angestrebt, das Monitoring in einer geeigneten Form auch über das Projektende hinaus weiter fortzusetzen. Die größte Herausforderung hierbei ist das Thema der finanziellen und personellen Kapazitäten. Das Projekt wurde insgesamt als sehr aufwendig beschrieben und sollte daher im Idealfall von mindestens zwei Personen weiter betreut werden 27 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten (vgl. Kapitel 3.1.3). Doch nicht nur innerhalb der Kommunen ist die nachhaltige Fortsetzung ein herausforderndes Thema. Auch sollte bedacht werden, wie die nunmehr entstandenen Ergebnisse möglichst sinnvoll genutzt werden können, um weitere Kommunen für Wirkungsorientierung und Monitoring zu sensibilisieren und sie bei der Implementation zu unterstützen. 3.2.3 Systemisches Mindset Wirkungsorientiertes Arbeiten bedeutet, Steuerungs- und Entwicklungsentscheidungen auf der Basis relevanter Daten zu treffen. Doch auch wenn diese Daten zur Verfügung stehen, heißt dies nicht, dass dadurch zwangsläufig auch wirkungsorientiertes Arbeiten begünstigt wird. Die Datenanalyse stellt in diesem Sinne zwar eine notwendige, allerdings keine hinreichende Bedingung für die Umsetzung und Evaluation wirkungsorientierter Maßnahmen dar. Im Bereich der deutschen Kommunalverwaltung erfolgt die Steuerung inputorientiert (Über wie viele Ressourcen verfügt ein Bereich?), im besten Falle noch outputorientiert (Auf wie viele Bürger_innen wirkt sich ein Bereich aus?), keinesfalls jedoch outcomeorientiert (Was bewirkt ein Bereich bei den Bürger_innen?) oder gar impactorientiert (Wie beeinflusst ein Bereich langfristig die Entwicklung in der Kommune?). Die Planung des kommunalen Haushalts erfolgt entsprechend eher weniger entlang der Bedarfe oder der Maßnahmen, die sich in der Vergangenheit als besonders wirksam erwiesen haben, sondern bedient politische Interessen (Wahlversprechen, Zugeständnisse etc.). Dieses Mindset ist in vielen deutschen Kommunen stark verankert und macht es selbst für wirkungsenthusiastische Mitarbeiter_innen schwierig, ihre Daten zum Gegenstand der Planung und Steuerung zu machen. Solange jedoch dieses Mindset anhält, wird es einer kritischer Punkt bleiben, den Aufwand für Wirkungsplanung und Wirkungsmonitoring im Rahmen kommunaler Arbeit zu rechtfertigen. 3.2.4 Erreichung der Zielgruppen Die Projektverantwortlichen in den Kommunen hatten alle gemäß ihren Rollen und Zuständigkeiten einen guten Zugang zu den Multiplikator_innen im Feld, der Zugang zu den direkten Zielgruppen der Maßnahmen war jedoch eher schwierig. Zusätzlich zu der Herausforderung eines ohnehin langen Weges etwa von der Jugendhilfeplanerin zu einer maßnahmenempfangenden Familie kommt die Schwierigkeit hinzu, dass schon durch die Hilfeangebote selbst oftmals nicht diejenigen erreicht werden, bei denen man sich die größte Wirkung verspricht. So sind Sprachbarrieren, die bereits den Zugang zu bestimmten Hilfeangeboten erschweren, ein Hindernis bei der Teilnahme an Befragungen, ganz gleich ob schriftlich oder mündlich. Fachkräfte, welche oftmals bereits einen erheblichen zeitlichen Mehraufwand haben, um Personen zu erreichen, welche entweder keine oder nur sehr geringe Kenntnis über Angebote der Kinder-, Jugend- und Familienhilfe haben, können durch die Anforderung, mit den Zielpersonen 28 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten noch zusätzliche Befragungen im Sinne eines Wirkungsmonitorings durchzuführen, überlastet werden. Dies ist insbesondere deshalb ein Dilemma, weil gerade die Daten von diesen Personen wichtig sind, um bedarfsgerechtere Angebote planen zu können. Eine weitere Herausforderung stellen diejenigen Zielpersonen dar, welche gegenüber dem Angebot der Kinder-, Jugend- und Familienhilfe Vorbehalte oder Befürchtungen haben. Diese entziehen sich entweder sowohl den Maßnahmen als auch einer sich daran eventuell anknüpfenden Befragung oder fühlen sich durch die dahinterstehende Behörde ‚eingeschüchtert‘, was sich bei einer Befragung ggf. verzerrend auf das Ergebnis auswirken könnte. Ähnliches kann auch für Personen gelten, welche die Maßnahmen zur Unterstützung in Anspruch nehmen und möglicherweise in einer Befragung tendenziell unkritisch sind, weil sie befürchten, die Unterstützung anschließend nicht mehr zu erhalten. In Bergheim etwa wurde im Rahmen der Interviews und des Fachgruppentreffens mehrfach die Schwierigkeit thematisiert, wer die Befragung der Zielgruppen durchführen könne, damit ein möglichst hohes Maß an Unabhängigkeit gewährleistet sei. Die Multiplikator_innen, welche direkt mit den Zielgruppen in Kontakt kommen, beispielsweise im Rahmen der Sprechstunden der frühen Hilfe, sollten demnach möglichst nicht für das Monitoring eingesetzt werden, um nicht in eine Interessenskonfliktsituation zu geraten. Externe Kräfte, die für eine Befragung eingesetzt werden könnten, haben wiederum kaum Zugang zu den Familien und zu diesen oftmals auch nicht das notwendige Vertrauensverhältnis, um diese zu befragen. Darüber hinaus könne eine Finanzierung von externen Kräften für turnusmäßige Befragungen im Rahmen eines Wirkungsmonitorings nicht gewährleistet werden. Hinzu kommt das Thema Datenschutz, welches insbesondere im Hinblick auf Kinder und Jugendliche eine gesonderte Herausforderung darstellt. In zwei der drei Kommunen wurde die Befragung der Zielgruppen daher nur in sehr geringem Ausmaß realisiert, etwa wie in Nettetal in Bezug auf eine ganz bestimmte, isolierte Maßnahme. In Bergheim wurde im Rahmen einer Masterarbeit, welche von den Projektverantwortlichen im Kontext des Monitorings ermöglicht wurde, eine etwas umfassendere Befragung der Zielgruppe ‚Alleinerziehender‘ vorgenommen. 3.2.5 Externe Beratung Zwei der Kommunen haben im Laufe der Projektdurchführung punktuell externe Beratung und Unterstützung in Anspruch genommen. In der dritten Kommune hat der Projektverantwortliche zwar keine Beratungskraft angefragt, sich jedoch zusätzliche Literatur organisiert. Die externe Unterstützung hat in den beiden Kommunen, in denen sie zum Einsatz kam, durch ihre Außenperspektive den Reflexionsprozess befördert. Hierdurch wurden Wirkungszusammenhänge noch einmal deutlicher. Unterstützt wurden die Kommunen zudem durch den LVR, der immer wieder die Aufgabe wahrnahm, Beratungspersonal zu empfehlen. Diese Rolle sollte auch weiterhin eingenommen werden, um zu gewährleisten, dass die Implementation und die 29 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Fortführung des Wirkungsmonitorings auf einem qualitativ hohen Niveau bleiben. Dies ist durchaus sinnvoll, verdeutlicht aber auch, dass es einen Bedarf nach Begleitung und weiterem Input gibt, möglicherweise über das Projektende hinaus. Die Rolle des LVR als externe Beratungsinstanz war jedoch nicht immer unproblematisch. Durch die Projektträgerschaft war er überdies wiederholt Empfänger von Kritik. Insbesondere in herausfordernden Phasen und angesichts der Erkenntnis, dass sich das Monitoringvorhaben als deutlich komplexer herausstellte als ursprünglich angenommen, wurde dem LVR bisweilen eine kritische Haltung seitens der Kommunen entgegengebracht. Es wurde mit den ‚unrealistischen‘ Anforderungen gehadert. Externe Berater_innen müssen entsprechend auch unbedingt ihre Grenzen erkennen. Die Realitäten der Kommunen sind für sie häufig Hindernisse in der Umsetzung bestimmter Ideen und Pläne. Es ist daher sicherlich auch sinnvoll, Berater_innen einzusetzen, welche bereits über Erfahrung im Kontext kommunalen Arbeitens verfügen. 30 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten 4 Fazit Insgesamt lässt sich festhalten, dass es den drei Kommunen gelungen ist, wirkungsorientiertes Monitoring gelingend in den von ihnen ausgewählten Kontexten zu pilotieren. In allen drei Kommunen wurden – mittels unterschiedlicher Herangehensweisen – integrierte Datenkonzepte entwickelt. In Kerpen stand hierbei vor allen Dingen die gesamtstrategische Zielrichtung der Präventionskette gegen Kinderarmut im Fokus und wurde zum roten Faden der Erhebungsplanung und schließlich auch der Berichterstattung. Es erschien hier besonders sinnvoll, dass sich die Verantwortlichen in der Umsetzung immer wieder auf die Präventionskette zurückbesonnen haben, und zwar in Bezug auf die Planung entlang der Frage: Welche Daten geben mir Aufschluss über das Gelingen und die Ergebnisqualität der Maßnahmen vor dem Hintergrund ihrer Passung zum strategischen Anliegen der Präventionskette gegen Kinderarmut? Und auf Ebene der Datenauswertung und -interpretation: Welche Rückschlüsse lassen sich im Hinblick auf die Wirkung der Präventionskette tätigen? Eine solche ganzheitliche Betrachtungsweise von der übergeordneten, strategischen Dimension (Zusammenwirken von Maßnahmen zur Prävention von Kinderarmut) aus und ein Rückbezug der gewonnenen Erkenntnisse wieder zur übergeordneten, strategischen Dimension hin zeugt von einem hohen Maß an Verständnis für Sinn und Zweck eines solchen Monitorings. Sie sensibilisiert jedoch auch für Grenzen: In seiner immensen Komplexität (vgl. auch Kapitel 3.2.1) macht das Anliegen, nicht nur die Präventionswirkung einzelner Maßnahmen, sondern vielmehr die Wirkungsinterrelationen verschiedener Maßnahmen (im Sinne einer Kette) in Bezug auf ihren Einfluss auf die Prävention von Kinderarmut abzubilden, das Monitoring methodisch und im Hinblick auf Zeit- und Personalaufwand überaus herausfordernd. In Kerpen begegnete man dieser Herausforderung mit einer bemerkenswerten Teamleistung, die jedoch nach Angaben der Projektbeteiligten in dieser Form nicht dauerhaft aufrechterhalten werden kann. In Bergheim ist das Gelingen der Einbindung von Multiplikator_innen und Fachkräften im Feld hervorzuheben. Durch eine transparente Kommunikation der Wichtigkeit des Monitorings für die Jugendhilfeplanung und eine sehr partizipative Herangehensweise konnte frühzeitig dem Verdacht vorgebeugt werden, das Monitoring diene einer Art Beurteilung der Arbeitsleistung der Fachkräfte. Dies wiederum machte sich in einer sehr offenen, zugewandten Haltung der Multiplikator_innen gegenüber dem Monitoring bemerkbar, welche wiederum die Datenerhebung erheblich erleichterte. Allgemein wurde die Umsetzung des Monitorings dadurch begünstigt, dass datengestützte Entscheidungen in der Jugendhilfe- und Sozialplanung in Bergheim bereits vor dem Projekt implementiert waren. Herausfordernd war die Formulierung einer Intention. Zunächst verfolgte das Monitoringkonzept in Bergheim das Ziel Bedarfe, Lücken und Zugangswege zu identifizieren. Darüber hinaus herrschte ein überaus großes, forschendes Erkenntnisinteresse, das sowohl in der Ermöglichung einer begleitenden Mastarbeit als auch in der sehr umfangreichen Untersuchung der Präventionskette in einem ganzen Stadteil seinen 31 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Ausdruck fand. Zum Ende der Projektlaufzeit hin ergab sich durch die Schließung der Geburtsstation im örtlichen Krankenhaus ein akuter Anlass, der etwa die Erhebung von Wirkungsbelegen, beispielsweise der Maßnahme Sprechstunde frühe Hilfe, zum Zweck der Legitimierung erforderlich erscheinen ließ. Die Umsetzung des Monitorings in Nettetal zeichnete sich vor allen Dingen durch eine kreative und zugleich sinnvolle Methodenvielfalt aus. So wurde entlang verschiedener Maßnahmen sehr sorgfältig geplant, welche Erhebungsmethode zu aussagekräftigen und validen Gelingens- und Wirkungsdaten führen könnte. Zudem wurden die Erhebungen so konzipiert, dass sie auch zukünftig regelmäßig durchgeführt werden können und somit eine langfristige Transparenz im Hinblick auf die Maßnahmen zur Prävention von Kinderarmut ermöglichen. Perspektivisch wird dann womöglich auch noch einmal ein größerer Fokus darauf gelegt werden können, wie durch ein Zusammenwirken der Maßnahmen die Präventionswirkung weiter optimiert werden kann. Im ersten Schritt der Implementation des Monitorings wurde dies – vermutlich auch aufgrund der nur im geringen Maße zur Verfügung stehenden Personalkapazitäten – noch nicht realisiert, obschon im entsprechenden Projekt-Abschlussbericht der Stadt Nettetal durchaus Hinweise darauf zu finden sind, dass die Maßnahmen nicht nur in ihrer Einzelwirkung, sondern auch im Rahmen der Präventionskette beleuchtet werden sollten. In der Zusammenbetrachtung der Umsetzungserfolge der Kommunen ist besonders die Chance eines integrierten Monitorings zu betonen. Erst durch die Heterogenität der Datenquellen und Erhebungsmethoden entstand in den jeweiligen Kommunen ein umfassendes Gesamtbild von der Teilhabewirkung der Präventionsmaßnahmen. Vor diesem Hintergrund muss jedoch die zentrale Wichtigkeit einer Wirkungslogik als Planungsgrundlage für die Datenerhebung betont werden. Insbesondere, da die Kommunen in der Theorie auf eine Vielzahl von quantitativen und qualitativen Daten zurückgreifen können, ist eine maßnahmen- und wirkungszielorientierte Eingrenzung absolut sinnvoll und notwendig. Die deskriptive Klarheit bei der Eingrenzung der Maßnahme (Was? Für wen? In welchem Zeitraum?) und deren Wirkung (Mit welcher Zielsetzung?) wird somit zum Filter für die Datenfülle. Daher wird empfohlen, dass das Wirkungsmonitoring auch nicht ex-post auf eine Maßnahme ‚aufgepfropft‘, sondern bereits bei der Planung mitgedacht wird, denn Wirkungsorientierung beginnt unbedingt mit der Planung. Damit sollte auch einer weiteren Herausforderung begegnet werden: den zur Verfügung stehenden Kapazitäten. Für das steuerungsverantwortliche Personal entsteht durch wirkungsorientierte Planung, durch Wirkungsmonitoring sowie Datenaufbereitung und Berichterstattung ein erheblicher Arbeitsmehraufwand – unabhängig davon, wie niedrigschwellig und praxisorientiert ein Wirkungsorientierungskonzept gedacht ist. Es muss deshalb nicht nur für die Planung, das Monitoring und die Berichterstattung mehr Arbeitszeit eingeplant werden – zusätzlich sollte damit gerechnet werden, dass das Personal qualifiziert werden muss und dass nötigenfalls auch 32 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten externe Expert_innen hinzugezogen werden müssen. Diese Posten sollten im Budget eines wirkungsorientierten Projektes Berücksichtigung finden, damit das Personal an dieser Stelle nicht überlastet wird. Zudem hat es sich auf Basis der vorliegenden Untersuchung als sinnvoll erwiesen, Steuerungskreise oder Sozialraumkonferenzen zu nutzen, um regelmäßiges Monitoring in den Fachnetzwerken zu betreiben. Auch könnten, wie beispielsweise in Bergheim angeregt, Bürgerbeteiligungsformate für qualitative Wirkungsanalysen genutzt werden. Es ist jedoch zu bedenken, dass die hierfür benötigte Zeit eingeplant werden muss und ggf. für andere Austauschbedarfe nicht mehr zur Verfügung steht. Der Zugang zur tatsächlichen Zielgruppe – insbesondere unterstützungsbedürftigen Kindern, Jugendlichen, Familien – bleibt eine Herausforderung, da in den untersuchten Kommunen keine zusätzlichen Ressourcen für Personal zur Verfügung gestellt werden können, welches a) unabhängig von den Zielgruppen und Maßnahmen, b) sprach- und kultursensibel und c) in der Wahrnehmung unabhängig von den Behörden Befragungen durchführen kann. Ob und inwieweit die Wirkungsorientierung sich als Steuerungsmaxime in der kommunalen Verwaltung bzw. im ersten Schritt im Bereich der Planung und Steuerung von Präventionsnetzwerken zur Kinder- und Jugendarmut durchsetzen wird, ist weiterhin eine offene Frage. In Österreich und der Schweiz hat sich die wirkungsorientierte Verwaltungsführung in den vergangenen Jahren sehr gut entwickelt, allerdings auch noch nicht vollständig durchgesetzt (vgl. Schmidt 2008). Eine Reform der Projektsteuerung, hin zu einer Steuerungskultur, die nicht mehr von parteipolitisch beeinflussten Haushaltsplanungen abhängt, sondern über die Leistungs- und Wirkungsbeurteilung von Projekten funktioniert, ist überaus herausfordernd und rührt an sehr basalen Machtstrukturen. Hierfür bräuchte es reformwillige Führungspersonen und mehr BestPractice-Beispiele von wirkungsorientierter Planung und Steuerung in kommunalen Behörden. Im nächsten Schritt könnte es daher ratsam sein, zu untersuchen, ob es außerhalb des Projektes Monitoring kommunaler Präventionsketten Kommunen gibt, welche bereits wirkungsorientiert arbeiten und regelmäßig Daten erheben bzw. auf Daten zurückgreifen, um die Qualität und Wirkung ihrer Maßnahmen zu prüfen und zu optimieren. Diesen Kommunen sollte dann – ähnlich wie den projektteilnehmenden Kommunen Bergheim, Nettetal und Kerpen – zu mehr Sichtbarkeit verholfen werden. Es könnte eine Austausch- und kollegiale Beratungsplattform entstehen, auf der Vertreter_innen wirkungsorientiert arbeitender Kommunen gemeinsam mit Expert_innen aus Forschung, Praxis und aufgeschlossener Politik das Thema weiterentwickeln und somit eine in Bezug auf fachliche Qualität, praktische Machbarkeit und gesellschaftliche Wirksamkeit stetig besser werdende Praxis wirkungsorientierter Präventionsarbeit für Kinder, Jugend und Familien fördern und verbreiten. Hierfür ist ein Grundstein gelegt: Die Kommunen haben bewiesen, dass Wirkungsorientierung einen Mehrwert für ihre Arbeit darstellt, und die vorliegende Studie konnte dazu beitragen, erste Gelingensfaktoren und Entwicklungsfelder für diesen Kontext zu identifizieren. 33 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Literatur Albus, Stefanie/Greschke, Heike/Klingler, Birte/Messmer, Heinz/Micheel, Heinz-Günter (2010): Wirkungsorientierte Jugendhilfe. Abschlussbericht der Evaluation des Bundesmodellprogramms ‚Qualifizierung der Hilfen zur Erziehung durch wirkungsorientierte Ausgestaltung der Leistungs-, Entgelt- und Qualitätsvereinbarungen nach §§ 78a ff.‘, Münster/New York/München/Berlin: Waxmann Verlag. AWO Bundesverband (2017): Wirkungsorientierung. Arbeitshilfe für Qualitätsmanagement. Beauftragte in der AWO, 2. Auflage, Berlin: AWO Bundesverband e.V. Bertelsmann Stiftung (2017a): Demographiebericht. Ein Baustein des Wegweisers Kommune. Bergheim: https://www.wegweiser-kommune.de/kommunale-berichte/demographiebericht/bergheim-bm.pdf (Zugriff: 30. Aug. 2019). Bertelsmann Stiftung (2017b): Demographiebericht. Ein Baustein des Wegweisers Kommune. Kerpen: https://www.wegweiser-kommune.de/kommunale-berichte/demographiebericht/kerpen-bm.pdf (Zugriff: 30. Aug. 2019). Bertelsmann Stiftung (2017c): Demographiebericht. Ein Baustein des Wegweisers Kommune. Nettetal, https://www.wegweiser-kommune.de/kommunale-berichte/demographiebericht/nettetal.pdf (Zugriff: 30. Aug. 2019). DAAD (2018): Wirkungsorientierte Projektplanung und Monitoring. Hinweise zur Antragstellung, Berichterstattung und Projektsteuerung im Förderbereich des BMZ (Programme der Entwicklungszusammenarbeit), https://www2.daad.de/medien/der-daad/unsereaufgaben/entwicklungszusammenarbeit/pdfs/2018_05_07_wirkungsorientierung_inkl._ve rlinkungen.pdf (Zugriff: 30. Aug. 2019). Dehne, Marianne (2016): Fachtag „Wirkungsorientierung in der Diakonie: Was kommt auf uns zu, wie kann es gehen?“. Einführungsvortrag, https://www.diakoniewissen.de/documents/1253481/1255805/Einf%C3%BChrungsvortrag+Dehne_Fachtag+DD +Wirkungsorientierung+2016.pdf/ (Zugriff: 30. Aug. 2019). GIZ (2018): Das Evaluierungssystem der GIZ. Allgemeine Beschreibung, https://www.giz.de/de/downloads/02_GIZ_EVAL_Allgemeine_Beschreibung.pdf (Zugriff: 30. Aug. 2019). Halfar, Bernd (2013): Die Wirkung Sozialer Arbeit ist messbar. In: Neue Caritas 2/2013, https://www.caritas.de/neue-caritas/heftarchiv/jahrgang2013/artikel/die-wirkungsozialer-arbeit-ist-messbar (Zugriff: 30. Aug. 2019). Kail, Angela/Lumley, Tris (2012): Theory of Change. The beginning of making a difference. In: NPC perspectives. New Philantropy Capital, https://www.thinknpc.org/wpcontent/uploads/2018/07/Theory-of-change2.pdf (Zugriff: 30. Aug. 2019). 34 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Liebig, Reinhard (2013): Wirkungsorientierung in der Kinder- und Jugendarbeit. Anmerkungen zu einer ungeliebten Debatte. In: Land Steiermark – A6 Bildung und Gesellschaft (Hrsg.): Jugendarbeit: wirkt. Versuch einer interdisziplinären Auseinandersetzung, Graz 2013: Verlag für Jugendarbeit und Jugendpolitik, S. 67-81. LVR (o. J.): Monitoring kommunaler Präventionsketten, https://www.lvr.de/de/nav_main/jugend_2/jugendmter/koordinationsstellekinderarmut/monitoringpraeventionsketten/monitoring_kommunaler_praeventionsketten.jsp (Zugriff: 30. Aug. 2019). Phineo (2018): Kursbuch Wirkung. Das Praxishandbuch für alle, die Gutes noch besser tun wollen, 5. Auflage, Berlin: PHINEO gemeinnützige AG. Reisman, Jane/Gienapp, Anne (2004): Theory of Change. A practical Tool for action, Results and Learning. Prepared for Annie E. Casey Foundation, http://www.aecf.org/m/resourcedoc/aecf-theoryofchange-2004.pdf (Zugriff: 30. Aug. 2019). Schmidt, Nicolas (2008): New Public Management in den Kantonen. Stand der Reformen und parlamentarische Steuerungsinstrumente. In: Parlament – Mitteilungsblatt der Schweizerischen Gesellschaft für Parlamentsfragen 11(2), S. 15-18. Schubert, Herbert/Hensel, Aannika/Papenfuß, Karin (2017): Grundlagen für eine integrierte Sozial- und Stadtentwicklungsplanung in der Kreisstadt Bergheim. Erarbeitung des Indikatorensystems und Verfahrenskonzepts für eine integrierte Stadtentwicklungsplanung zur fachübergreifenden sozialraumorientierten Armutsbekämpfung. SRM Arbeitspapier 66, Köln: TH Köln. Sinzer (2015): Social impact measurment in the philantropic sector. The ultimate guide: from success to significance, http://cdn2.hubspot.net/hubfs/462118/Sinzer_Guide_Social_Impact_Measurement_in_the_Philanthropic_sector.pdf?t=1464948788336 (Zugriff: 30. Aug. 2019). Social Reporting Initiative (2014): SRS. Social Reporting Standard. Leitfaden zur wirkungsorientierten Berichterstattung, https://www.social-reporting-standard.de/fileadmin/redaktion/downloads/SRS_Leitfaden_2014_DE.pdf (Zugriff: 30. Aug. 2019). Stadt Bergheim (2019): Statistik. Zahlen und Fakten. Einwohnerstatistik, https://www.bergheim.de/statistik.aspx (Zugriff: 30. Aug. 2019). Stadt Kerpen (o. J.): Entwicklung der Bevölkerungszahlen in Kerpen, https://www.stadt-kerpen.de/index.phtml?La=1&sNavID=1708.34&mNavID=166.7&object=tx,1708.854.1&sub=0 (Zugriff: 30. Aug. 2019). Stadt Nettetal (o. J.): Daten und Fakten, https://www.nettetal.de/de/dezernat1/daten-fakten (Zugriff: 30. Aug. 2019). 35 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Steinke, Ines (2000): Gütekriterien qualitativer Forschung. In: Flick, Uwe/von Kardoff, Ernst/Steinke, Ines (Hrsg.): Qualitative Forschung. Ein Handbuch, Hamburg: Rowohlt Taschenbuch Verlag, S. 319-331. W.K. Kellogg Foundation (Hrsg.) (2006): Logic Model Developement Guide. Using Logic Models to Bring Together Planning, Evaluation, and Action, https://www.wkkf.org/resource-directory/resource/2006/02/wk-kellogg-foundation-logic-model-development-guide (Zugriff: 30. Aug. 2019). Zühlke, Annett (2013): Was wirkt wie in der Praxis? In: Neue Caritas 22/2013, https://www.caritas.de/neue-caritas/heftarchiv/jahrgang2013/artikel/was-wirkt-wie-in-der-praxis (Zugriff: 30. Aug. 2019). 36 Monitoring kommunaler Präventionsketten Teilhabewirkung vor Ort abbilden und bewerten Über die Autorin Sarah Ulrich Sarah Ulrich ist Diplom-Psychologin mit den Schwerpunkten Sozialpsychologie und Methodenlehre. Sie war in unterschiedlichen Tätigkeitsfeldern forschend tätig und arbeitete u. a. als Referentin für die Qualitätsentwicklung bundesweiter Bildungsprogramme. Derzeit ist sie Vorstandsvorsitzende der Social Reporting Initiative (e.V.), Referentin für die aqtivator gGmbH sowie freiberufliche Beraterin für die Themen Wirkungsorientierung und ‚Impact Partnering‘. 37 Forschungsinstitut für gesellschaftliche Weiterentwicklung (e.V.i.L.) Kronenstraße 62 40217 Düsseldorf Telefon: 0211 99450080 E-Mail: info@fgw-nrw.de www.fgw-nrw.de Liquidator_innen (vormals geschäftsführender Vorstand) Prof. Dr. Ute Klammer, Prof. Dr. Dirk Messner Themenbereich Vorbeugende Sozialpolitik Prof. Dr. Ute Klammer, Themenbereichsleitung Tom Heilmann, wissenschaftlicher Referent Layout Olivia Pahl, Referentin für Öffentlichkeitsarbeit Förderung Ministerium für Kultur und Wissenschaft des Landes Nordrhein-Westfalen ISSN 2567-0050 Erscheinungsdatum Düsseldorf, Dezember 2019 Das Forschungsinstitut für gesellschaftliche Weiterentwicklung (FGW) Das Forschungsinstitut für gesellschaftliche Weiterentwicklung (FGW) wurde mit Unterstützung des für Wissenschaft zuständigen Ministeriums des Landes Nordrhein-Westfalen im September 2014 als eigenständiger, gemeinnütziger Verein mit Sitz in Düsseldorf gegründet. Aufgabe und Ziel des FGW ist es, in Zeiten unübersichtlicher sozialer und ökonomischer Veränderungen neue interdisziplinäre Impulse zur gesellschaftlichen Weiterentwicklung zu geben und politische Gestaltungsoptionen für die Gewährleistung sozialer Teilhabe in einer sozial integrierten Gesellschaft zu entwickeln. Durch die Organisation innovativer Dialogformate und die Förderung zukunftsorientierter Forschungsprojekte will das Forschungsinstitut die Vernetzung von Wissenschaft, Politik und zivilgesellschaftlichen Akteur_innen vorantreiben und den zielgruppengerechten Transfer neuer Forschungsergebnisse gewährleisten. Weitere Informationen zum FGW finden Sie unter: www.fgw-nrw.de Der Themenbereich „Vorbeugende Sozialpolitik“ Vorbeugende Sozialpolitik zielt darauf ab, die Entstehung und Verfestigung sozialer Problemlagen durch wirkungsorientierte Interventionen, den Aufbau von „Präventionsketten“ und eine bessere Verzahnung der Regelsysteme nach Möglichkeit bereits im Vorfeld zu verhindern, anstatt die daraus resultierenden Defizite nachträglich zu kompensieren. Zentrale Aufgabe des Themenbereichs „Vorbeugende Sozialpolitik“ des FGW ist es, das in den verschiedenen Handlungsfeldern vorhandene Handlungs- und Erfahrungswissen systematisch zu bündeln und aufzubereiten, die konkreten Spannungsfelder und Dilemmata zu analysieren, innerhalb derer sich vorbeugende Sozialpolitik bewegt, und die Ergebnisse dieser Arbeit in einen fruchtbaren Dialog zwischen Wissenschaft, Politik und Zivilgesellschaft einzuspeisen. Durch die Förderung kleinerer und größerer Forschungsprojekte sowie durch geeignete Dialogformate will der Themenbereich dazu beitragen, für die verschiedenen beteiligten Akteure und Professionen eine gesicherte Wissensgrundlage und einen gemeinsamen Orientierungs- und Bezugsrahmen zu schaffen. Weitere Informationen zum Profil und zu den aktuellen Aktivitäten des Themenbereichs finden Sie unter: www.fgw-nrw.de/sozialpolitik
Top of page

Note to user

Dear user,

In response to current developments in the web technology used by the Goobi viewer, the software no longer supports your browser.

Please use one of the following browsers to display this page correctly.

Thank you.