Der Auftrag an die Programmevaluation
Das Bundesprogramm eröffnet den Modellprojekten möglichst große Gestaltungsräume. Maßgeblich für die Förderfähigkeit und den Erfolg der Modellprojekte sind zum einen das Innovationspotenzial beziehungsweise die umgesetzten innovativen Ideen und Ansätze, zum anderen die Aussicht auf eine Verstetigung und den Transfer des Konzepts.
Eine übergreifende wissenschaftliche Programmevaluation ist durch die gesetzliche Bestimmung im Bundesteilhabegesetz (BTHG), mit der das Bundesprogramm ermöglicht wurde, vorgesehen. Dies entspricht einer nun schon längeren Tradition nach evidenzbasierter Politikgestaltung in der Arbeitsmarkt- und Sozialpolitik.
Die Programevaluation soll untersuchen, inwieweit die Ziele des Bundesprogramms rehapro erreicht werden. Dazu gehört insbesondere, welche neuen Formen und Wege geeignet sind, die Erwerbsfähigkeit von Personen mit vorhandenen oder drohenden Behinderungen beziehungsweise chronischen Erkrankungen zu erhalten oder wiederherzustellen, indem Leistungen der Prävention, Rehabilitation und Nachsorge besser als bisher erbracht werden – sei es, dass sie in Form neuer Instrumente oder in Form neuer Organisations- und Kooperationsformen umgesetzt werden.
Herausforderungen an die Programmevaluation
Bereits durch die Anlage des Bundesprogramms als ein Innovationsprogramm ohne vorgegebenen Lösungsansatz zur Erreichung der Förderziele wird deutlich, dass die teilnehmenden Modellprojekte in vielerlei Hinsicht ein breites Spektrum aufweisen. Dies ist ausdrücklich gewollt, aber im Vergleich zu anderen Programmen in der Arbeitsmarkt- und Sozialpolitik eine Besonderheit. Es werden nicht nur verschiedene Arten und Schweregrade von Einschränkungen zur Teilhabe am Arbeitsleben berücksichtigt und verschiedene Projektansätze erprobt, sondern auch Akteure aus zwei Rechtskreisen beteiligt, die organisatorisch unterschiedlich strukturiert sind: Jobcenter mit relativ kleinräumigem Zuständigkeitsbereich für (zunächst) finanziell hilfebedürftige Personen einerseits und Träger der gesetzlichen Rentenversicherung mit jeweils Millionen von versicherten Personen andererseits.
Dies schafft für die Programmevaluation die Herausforderung, die Heterogenität der Probleme beziehungsweise Ziele, der angestrebten Zielgruppen, der Ansätze und der beteiligten Akteure oder Organisationen im vollen Umfang zu berücksichtigen. Die Modellprojekte sind oft nicht direkt miteinander vergleichbar und nur mit Einschränkungen übergreifenden Evaluationsansätzen zugänglich. Dementsprechend sind auch die Aufgaben der Evaluation umfangreich und komplex:
eigenen wissenschaftlichen Begleitung, die häufig auch eine Wirkungsanalyse des Modellprojekts einschließt. Auf der Programmebene (Makroebene) sollen durch die Programmevaluation die Ergebnisse und Wirkungen des Bundesprogramms in einer Gesamtschau dargestellt und besonders innovative und erfolgreiche Ansätze hervorgehoben werden.
Zu leisten ist vom Evaluationsteam also eine Verschränkung von Programm- und Projektebene, Ex-ante-, Ex-interims- und Ex-post-Perspektive, individueller und Strukturebene sowie operativen und inhaltlichen Aufgaben. Erreicht wird dies durch ein Evaluationskonzept, das die Grundprinzipien Mehrebenenanalysen, Typisierung, Methodenmix, verlaufsorientierte Betrachtung sowie Vernetzung und Zusammenarbeit miteinander verbindet.
Evaluationskonzept: Der Verbund und die Module der Programmevaluation
Der Verbund
Die folgenden Abschnitte geben einen Überblick über die methodischen Arbeitsschritte der Evaluation, deren Ergebnisse anschließend im Rahmen einer Gesamtanalyse miteinander verbunden werden. Dabei ist zu berücksichtigen, dass die inhaltlichen Schwerpunkte und damit auch die methodischen Erfordernisse für die Evaluation davon abhängen, welche Modellprojekte in den jeweiligen Förderrunden ausgewählt werden. Dies sowie die anhaltenden Einschränkungen im Zusammenhang mit der COVID-19-Pandemie erfordern ein flexibles Vorgehen bei der Umsetzung der einzelnen Arbeitsschritte.
Der Verbund der Programmevaluation besteht aus sechs Partnern mit spezifischen Aufgaben, die im Folgenden genannt werden:
Module der Programmevaluation
Typisierung
Eine Typisierung der Modellprojekte erfolgt aus mehreren Blickrichtungen: Einer induktiven Perspektive, die den Projekterfolg, ausgehend von den projektspezifisch gewählten Zielen und Vorgehensweisen, rekonstruiert (bottom-up) sowie einer deduktiven Perspektive, die die einzelnen Modellvorhaben entsprechend ihrer erwarteten beziehungsweise angestrebten Beiträge zu den übergeordneten rehapro-Programmzielen analysiert (top-down). Für die Typisierung der Modellprojekte kommen drei unterschiedliche Verfahren zum Einsatz:
Monitoring
Mit einem fortlaufenden Monitoring wird erfasst, welche Personen in den Modellprojekten gefördert werden und welche konkreten Leistungen sie hierfür erhalten. Damit analysiert das Monitoring die Umsetzung des Bundesprogramms und stellt Daten für die Wirkungsanalyse bereit (s.u.). Bei allen Modellprojekten werden Aktivitäten, Outputs und Ergebnisse (Outcomes) erhoben. Aktivitäten (z. B. durchgeführte Maßnahmen innerhalb eines Projekts) und Outputs (z. B. Anzahl der Teilnehmenden einer bestimmten Zielgruppe) sind auf der Ebene der Modellprojekte zu betrachten, wohingegen Ergebnisse (Outcomes) die Effekte des Programms abbilden und deswegen auf der individuellen Ebene der Teilnehmenden zu betrachten sind (z.B. Verbleib nach Abschluss der Maßnahme).
Zwei Erfassungsinstrumente in Form von ausfüllbaren Excel-Dateien werden zur Verfügung gestellt: Das erste Instrument erhebt Daten auf der Projektebene in aggregierter Form und anonymisierten Tabellen. Die Angaben zum Projekt beziehen sich unter anderem darauf, welche Maßnahmen im Laufe des Projekts umgesetzt (Aktivitäten) und wie viele Teilnehmende hierin jeweils einbezogen werden (Outputs). Die Teilnehmendendaten unterteilen sich in Angaben zu Voraussetzungen und soziodemografischen Merkmalen der Teilnehmenden sowie zum Erfolg der Maßnahme und anschließendem Verbleib (Ergebnisse). Die Erfassung der Daten bedarf einer schriftlichen Einwilligung der Teilnehmenden in die Weitergabe und Verarbeitung ihrer personenbezogenen Daten. Zweimal im Jahr leiten die Modellprojekte die Gesamtdatei über das Hochladen auf einer Plattform verschlüsselt an die Programmevaluation weiter.
Fallstudien
Auf der Ebene der operativen Umsetzung findet über alle Förderaufrufe hinweg eine Analyse der Implementation in etwa 50 Fallstudien statt. Die entsprechenden Modellprojekte werden auf der Basis der induktiven Typisierung ausgewählt (s.o.), wobei eine gleichmäßige Verteilung der ausgewählten Modellprojekte auf die einzelnen Cluster erstrebenswert ist.
Die Fallstudien verfolgen die Ziele,
Dadurch können Erfolgsfaktoren, aber auch Hemmnisse für die Verstetigung und Verallgemeinerung von wirkungsvollen Ansätzen identifiziert werden.
Die Fallstudien sollen die Vielfalt der Modellansätze und der Umsetzungsbedingungen repräsentieren. Für die Modellprojekte bieten die Fallstudien eine Gelegenheit, ihre Arbeit zu reflektieren und das Modellprojekt weiterzuentwickeln, unter anderem durch leitfadengestützte Interviews und Analysen von projektbezogenen Dokumenten sowie – je nach lokalen Bedingungen und Inhalten – Gruppendiskussionen und Hospitationen. Erhebungsumfang und Erhebungsarten werden in Absprache mit der lokalen Modellprojektleitung festgelegt.
Befragung und Wirkungsanalyse
Um die komplexen Problemlagen und Zielstrukturen des Bundesprogramms zu erfassen, sind auf der individuellen Ebene eigene Befragungen von Teilnehmenden und Angehörigen von Kontrollgruppen erforderlich, anhand derer die Wirkung des Bundesprogramms analysiert werden kann.
Nach Beschreibung der Befragungsergebnisse mit Hilfe der deskriptiven Statistik wird mit einer Wirkungsanalyse ermittelt, inwieweit die Teilnahme an einem der Modellprojekte oder an einer Maßnahme oder Aktivität innerhalb eines Modellprojekts ursächlich einen Beitrag zu einem oder mehreren Förderzielen des Bundeprogramms leistet. Die Evaluationskriterien leiten sich zunächst aus den Förderzielen des Bundesprogramms ab, werden aber durch die Ziele, wie sie von den Modellprojekten in ihren Konzepten entwickelt und in den Logikmodellen rekonstruiert wurden (s.o.), konkretisiert.
Durch die Wirkungsanalyse sollen quantifizierte Einschätzungen zur Wirksamkeit des Programms hinsichtlich unterschiedlicher Zieldimensionen erarbeitet werden. Darüber hinaus muss die Wirkungsanalyse hinreichend differenziert werden, um unterschiedliche Typen von Modellprojekten, aber auch das Zusammenwirken der Förderung mit Strukturen und Prozessen abzubilden. Dabei soll zum Beispiel die Rolle von Netzwerken, bereits vorhandenen lokalen Angebotsstrukturen, Herangehensweisen der Träger und weiteren Faktoren analysiert werden.
Befragt werden Stichproben von rehapro-Teilnehmenden ebenso wie von nicht teilnehmenden Personen (Treatment- und Kontrollgruppe). Die dabei erhobenen Daten sollen die Förderziele auf der individuellen Ebene abbilden und zugleich wichtige persönliche Voraussetzungen und Problemlagen erfassen. Diese Befragungsdaten werden – unter Einhaltung der Datenschutzanforderungen – mit Prozessdaten der Bundesagentur für Arbeit und der Deutschen Rentenversicherung verknüpft, um die Programmteilnahme im Kontext der bisherigen Erwerbsbiografie, der Verläufe von Rehabilitationsmaßnahmen und gegebenenfalls von Rentenübergängen zu analysieren.
Vernetzung
Die Vernetzung der Programmevaluation mit den Modellprojekten und deren wissenschaftlichen Begleitungen („rehapro-Community“) sowie deren Vernetzung untereinander sollen Erkenntnisse zur Umsetzung oder zu förderlichen und hemmenden Faktoren der Umsetzung und – für die Modellprojekte – Impulse für deren weitere Arbeit generieren. Vernetzungsaktivitäten sind fester Bestandteil der Arbeit der Programmevaluation. Dazu gehören auch Veranstaltungen wie beispielsweise Fachkonferenzen und Workshops.
Größere Veranstaltungen können als Präsenzveranstaltungen vor Ort durchgeführt werden und bei „kleineren Formaten“ teilweise auch als Online-Veranstaltungen. Letzteres bedeutet für alle Beteiligten weniger Aufwand, insbesondere Reiseaufwand, und erlaubt gleichzeitig das Angebot einer größeren Dichte von Veranstaltungen.
Eine eigenständige Webseite informiert sowohl die rehapro-Community als auch die allgemeine (Fach-)Öffentlichkeit über die Evaluation (s. „Weitere Infos“). Für die rehapro-Community wurde eine Themenpinnwand zum Einbringen von Themenvorschlägen für die vorgesehenen Veranstaltungen und zur Bekundung von Interesse an diesen Themen eingerichtet. Darüber hinaus wird der Zugang zu Materialien bereitgestellt, wie zum Beispiel dem Evaluationsmanual für Modellprojekte oder den Einverständniserklärungen für Teilnehmende.
Sowohl der Prozess der Themenfindung als auch die Durchführung der Veranstaltungen sind als eine Experimentierphase zu verstehen, in der laufend Anpassungen vorgenommen werden, um die Themen und Formate an den Bedarfen der rehapro-Community auszurichten.
Hinsichtlich des wechselseitigen Lernens wird eine enge Vernetzung der Programmevaluation mit den wissenschaftlichen Begleitungen der Modellprojekte praktiziert. In anderer Hinsicht besteht zwischen der Programmevaluation und den wissenschaftlichen Begleitungen der Modellprojekte dagegen eine strikte Abgrenzung: Die Programmevaluation bewertet nicht einzelne Modellprojekte. Unterschiedliche Ansätze beziehungsweise Maßnahmen können evaluiert und in mehreren Projekten unter jeweils wechselnden Bedingungen erprobt werden. Auf dieser Grundlage können aber nicht einzelne Modellprojekte evaluiert werden.
Fazit
Das Bundesprogramm rehapro fördert innovative Ansätze, um Personen mit gesundheitlichen Einschränkungen die Teilhabe am Erwerbsleben zu ermöglichen. Die Vielfalt der Modellprojekte stellt die Programmevaluation vor enorme Herausforderungen. Diesen begegnet die Programmevaluation durch einen interdisziplinären Verbund von Projektpartnern und ein Konzept, in dem mehrere Methoden eingesetzt und deren Daten und Ergebnisse aufeinander bezogen werden. Nicht zuletzt durch die Vernetzungsaktivitäten, die unter anderem auch durch die Programmevaluation organisiert werden, ist zu erwarten, dass sich Lernfortschritte bereits während der Projektlaufzeit einstellen.
Interessenkonflikt: Der Autor und seine Koautorin geben an, dass keine Interessenkonflikte vorliegen.
Weitere Infos
Programmevaluation rehapro
www.programmevaluation-rehapro.de
Kernaussagen
Kontakt
Das PDF dient ausschließlich dem persönlichen Gebrauch! - Weitergehende Rechte bitte anfragen unter: nutzungsrechte@asu-arbeitsmedizin.com.
