Interview zur Evaluation des Zukunftspakets

In diesem Interview erklärt Johanna Okroi aus dem Team „Wirkung & Entwicklung“ der Deutschen- Kinder und Jugendstiftung (DKJS), aus welchen Bestandteilen sich die Evaluation des Zukunftspakets zusammensetzt, welche Fragen im Fokus stehen und welchen Nutzen die Ergebnisse haben.

Die Perspektive von Kindern und Jugendlichen in den Mittelpunkt zu stellen, ist eines der Ziele des Zukunftspakets.

Für Das Zukunftspaket gibt es ein umfassendes Evaluationskonzept. Warum führt man überhaupt eine Evaluation durch?

Die Deutsche Kinder- und Jugendstiftung will ganz genau verstehen und auch zeigen können, wie die von uns entwickelten und durchgeführten Programme „wirken“. Dadurch, dass wir unsere Zielgruppen – also die Kinder- und Jugendlichen, aber auch sie begleitende Erwachsene – befragen, können wir überprüfen: Haben wir die von uns gesteckten Ziele eigentlich wirklich erreicht? Wo können wir noch nachsteuern? Und auf was müssen wir bei der Ausgestaltung von zukünftigen Programmen noch besser achten? Damit einher geht, dass sich die DKJS als „lernende“ Organisation begreift. Für uns liegt in jedem Programm die Chance, die Stiftungsarbeit weiterzuentwickeln.

Da im Zukunftspaket der Schwerpunkt auf Kinder- und Jugendbeteiligung liegt, kommt der Evaluation hier eine besondere Rolle zu. Das Bundesfamilienministerium, welches die Fördermittel zur Verfügung stellt, hat gemeinsam mit anderen Akteur:innen aus dem Feld Qualitätsstandards für Kinder- und Jugendbeteiligung entwickelt. Einer dieser Qualitätsstandards ist die Überprüfung von Beteiligungsprozessen. Was steckt dahinter? In dem verfassten Bericht steht, dass „Im besten Fall […] die Wirksamkeit der Beteiligung […] anhand von Befragungen der Beteiligten und dokumentierten Ergebnissen evaluiert [wird].“ Diesem Qualitätsstandard kommen wir mit unserer Evaluation nach.

Das war jetzt ein bisschen theoretisch. Aber auch praktisch will ich erläutern, warum Evaluation und Beteiligung – aus meiner Sicht – so gut zusammenpassen. Das hat folgenden Hintergrund: Im Rahmen der verschiedenen Befragungen teilen Kinder und Jugendliche ihre Meinungen und Erfahrungen mit uns. Unser Job ist es dann, die verschiedenen Perspektiven der Kinder und Jugendlichen zusammenzufassen, aufzubereiten und an Entscheidungsträger:innen in der Stiftung, aber auch in der Politik heranzutragen. Damit wird die Perspektive von Kindern und Jugendlichen in den Mittelpunkt gestellt – und das ist auch eines der Ziele des Zukunftspakets.

Aus welchen Bestandteilen setzt sich die Evaluation im Zukunftspaket zusammen?

Die Evaluation des Zukunftspakets setzt sich aus verschiedenen Bestandteilen – sogenannten Erhebungsschritten – zusammen. Diese bauen alle aufeinander auf. Einige Erhebungsschritte geben uns einen breiten Überblick über Das Zukunftspaket, wir gucken sozusagen „von oben“, drauf. Andere dagegen bieten vertiefende Einblicke in ausgewählte Projekte.

1. Zunächst haben wir ein Monitoring aufgesetzt. Dieses bringt uns zentrale Kennzahlen zum Zukunftspaket. So können wir uns einen Überblick über die Ausrichtung aller geförderten Projekte im Programm verschaffen. Auf Basis des Monitorings können wir zum Beispiel die Frage beantworten, wie sich die geförderten Projekte auf die verschiedenen Themenfelder und Bundesländer verteilen.

2. Zweitens werden Kinder und Jugendliche sowie begleitende Erwachsene bei den Trägern quantitativ – das heißt auf Basis von standardisierten Fragebögen – befragt. Die Befragungen erlauben es uns, die Perspektiven der Zielgruppen in der Breite zu erfassen. So können wir beispielsweise Aussagen über die Zufriedenheit mit dem Zukunftspaket treffen, die auf einer breiten Mehrheit basieren.

3. Drittens ergänzen qualitative Erhebungen, wie zum Beispiel Einzelinterviews, Gruppendiskussionen und Beobachtungen in ausgewählten Projekten die Evaluation. Mit diesem Erhebungsschritt zoomen wir näher in einzelne Projekte hinein und bekommen Einblicke in die Umsetzung vor Ort und in die Perspektiven von Kindern und Jugendlichen auf ihre spezifischen Beteiligungserfahrungen.

Bei der Entwicklung des Evaluationskonzepts war uns wichtig, dass wir verschiedene Methoden der empirischen Sozialforschung miteinander verknüpfen. Man nennt das den „Mixed-Methods-Ansatz“. Dieser erlaubt es uns, unterschiedliche Fragestellungen gut und fundiert beantworten zu können. Die Ergebnisse der verschiedenen Erhebungsschritte werden abschließend zusammengeführt, sodass ein vollständiges Bild entsteht.

Was bedeutet Monitoring und welche Erkenntnisse liefert es?

Durch das Monitoring können wir übergreifende Aussagen über Das Zukunftspaket und die darin geförderten Projekte machen. So bekommen wir eine Übersicht über die Ausrichtung der geförderten Projekte und die Erreichung der Zielgruppen. Beispielsweise können wir auf Basis des Monitorings sagen, wie viele Projekte in den Förderfeldern Gesundheit, Bewegung und Kultur gefördert werden, wie sich die Fördersumme über die Bundesländer verteilt und wie viele Kinder und Jugendliche durch Das Zukunftspaket erreicht werden. Das Monitoring setzt sich zum einen aus den Angaben der Träger zusammen, die im Zuge der Antragstellung und -dokumentation Angaben zu ihren Projekten machen. Und zum anderen aus Daten, die wir in der Stiftung zum Beispiel zur Umsetzung von Beratungsgesprächen und begleitenden Veranstaltungen nachhalten.

Wer wird im Laufe der quantitativen Erhebungen befragt und wann finden die Befragungen jeweils statt?

Herzstück der quantitativen Erhebungen ist die Befragung von Kindern und Jugendlichen, die aktiv Projekte im Zukunftspaket mitgestalten. Sie werden einmal zum Projektstart und einmal zum Projektende befragt. Der Vorher-Nachher-Abgleich erlaubt es uns, die Entwicklung der Kinder und Jugendlichen über die Projektlaufzeit nachzuvollziehen und so zu identifizieren, welche Wirkung die Projekte auf sie haben.

In der Befragung der Kinder und Jugendlichen geht es um deren Wissen rund um das Thema Beteiligung, ihre Fähigkeiten, sich eine Meinung zu bilden und diese auszuhandeln sowie ihre Motivation und Selbstwirksamkeitserwartung in Bezug auf Beteiligung. Ziel der Erhebung ist es, zu untersuchen, inwiefern Kinder und Jugendliche durch Das Zukunftspaket dazu befähigt werden, sich zu beteiligen. Zudem wollen wir wissen, wie zufrieden die Kinder und Jugendlichen mit der Ausgestaltung der beteiligungsorientierten Projekte sind.

Ergänzend dazu werden gegen Ende der Projektlaufzeit die Träger befragt. Dabei gilt es, ihre Perspektive in Bezug auf die Wirkung der umgesetzten Projekte zu erfassen. Ziel der Befragung ist es insbesondere, zu ergründen, welche Erkenntnisse haupt- und ehrenamtliche Akteur:innen aus dem Zukunftspaket für ihre eigene Arbeit in den Themenfeldern Bewegung, Kultur und Gesundheit ziehen und welche impulsgebende Wirkung sich daraus für ihre Organisationen ergibt. Ebenso von Interesse ist die Perspektive der Träger auf die Zusammenarbeit mit der DKJS.

Was ist der Unterschied zwischen quantitativen und qualitativen Erhebungen?

Es handelt sich dabei um unterschiedliche Ansätze zur Erhebung von Daten in der Sozialforschung. Der wesentliche Unterschied besteht darin, dass wir bei den quantitativen Erhebungen standardisierter vorgehen als bei den qualitativen Erhebungen.

Bei den quantitativen Erhebungen ist nicht nur die Fragestellung stark standardisiert, sondern auch die Antwortkategorien werden vorgeben. Beispielsweise werden die Kinder und Jugendlichen im Rahmen der quantitativen Befragung gebeten, ihre Zufriedenheit mit dem Projekt auf einer Skala von 1 bis 4 anzugeben. Im Ergebnis können wir genau darlegen, wie viel Prozent der befragten Kinder und Jugendlichen mit dem Projekt zufrieden sind und mit welchen Faktoren die Zufriedenheit zusammenhängt. Diese Art der Befragung eignet sich insbesondere, wenn man eine große Gruppe an Personen befragen will und schon konkrete Wirkannahmen im Kopf hat. Solche haben wir für Das Zukunftspaket theoretisch abgeleitet und prüfen diese über die Befragung. Bei den qualitativen Erhebungen sind in der Regel keine Antwortkategorien vorgegeben und auch die Fragestellungen sind häufig offener formuliert. Dies erlaubt den Befragten – z. B. den Kindern und Jugendlichen – freier zu berichten, welche Erfahrungen sie im Zukunftspaket gemacht haben und was sich für sie daraus ergibt. Die qualitativen Erhebungen erlauben uns explorativer vorzugehen und z. B. zu erfragen, was den Kindern und Jugendlichen an dem Projekt besonders gut gefallen hat – dies geht über die standardisierte Abfrage zur Zufriedenheit hinaus und ergänzt diese. Im Ergebnis haben wir weniger Zahlen und Prozentangaben, sondern z. B. untermauernde Zitate, die vertiefende Einblicke in die Hintergründe von Beteiligungserfahrungen geben.

Was sind die wichtigsten Erkenntnisse, die ihr euch von den Befragungen erhofft?

Die Evaluation muss sich daran messen lassen, ob sie gute Antworten auf entscheidende Fragen liefert. Vor dem Hintergrund der Ziele des Zukunftpakets, sind aus meiner Sicht zwei Fragen entscheidend:

1. Welche Beteiligungsmöglichkeiten bietet Das Zukunftspaket für Kinder und Jugendliche?

2. Inwiefern tragen die gemachten Beteiligungserfahrungen dazu bei, dass Kinder und Jugendliche mit dem notwendigen Rüstzeug – Wissen, Fähigkeiten und Motivation – ausgestattet sind, um sich auch zukünftig zu beteiligen?

Wenn wir die Umsetzung und die Wirkmechanismen des Zukunftspakets verstanden haben, können wir daraus Erkenntnisse für weiterführende Programme ableiten. Das heißt: Wir wollen am Ende klare Handlungslinien, wie wir beteiligungsorientierte Programme zukünftig gut aufstellen. Das ist die wichtigste Erkenntnis.

Wer profitiert am Ende in welcher Form von der Evaluation?

Die Ergebnisse der Evaluation werden abschließend gebündelt und aufbereitet. Dies geschieht schriftlich in Form von Berichten und mündlich in Form von Präsentationen, z. B. auf Fachtagungen. Die Ergebnisse sind aus meiner Sicht in erster Linie für uns selbst relevant, aber auch für die Politik und die Fachpraxis. Mit Blick auf diese Akteursgruppen arbeiten wir die Ergebnisse auf und streuen sie entsprechend.

Wir als Deutsche Kinder- und Jugendstiftung nutzen z. B. das Monitoring für die datenbasierte Steuerung des Zukunftspakets. Dies erlaubt es, informierte Entscheidungen im Programm zu treffen. Wir nutzen die Erkenntnisse aus der Evaluation aber auch für die Ausgestaltung zukünftiger beteiligungsorientierter Programme und die strategische Weiterentwicklung des Handlungsfelds „Demokratiebildung“.

Auf politischer Ebene und insbesondere für den Fördermittelgeber, das Bundesfamilienministerium (BMFSFJ), sind die Ergebnisse zum einen für die Dokumentation der Verwendung öffentlicher Gelder relevant. Zum anderen sind sie für Steuerungszwecke interessant, da die Evaluation aufzeigt, in welchen Bereichen Das Zukunftspaket Kinder und Jugendliche gestärkt hat und wo noch Bedarfe bestehen.

Auch die pädagogische Fachpraxis kann direkt von der Evaluation profitieren, indem wir die Ergebnisse auch an die geförderten Träger zurückmelden und Beispiele guter Praxis herausarbeiten. Zudem leisten wir einen Beitrag zum aktuellen Fachdiskurs, indem wir empirisch fundierte Erkenntnisse zu den Wirkmechanismen von Beteiligungsprojekten in den Themenfeldern Bewegung, Kultur und Gesundheit beisteuern.