Präambel
Empirische Ex post-Wirkungsanalysen (= Evaluationsstudien) sollen die Auswirkungen unterschiedlicher, in der Regel staatlicher Eingriffe in das Wirtschaftsgeschehen quantifizieren. Sie sollen deren Wirksamkeit im Hinblick auf die angestrebten Ziele messen (Effektivität) sowie den damit verbundenen Kosten gegenüberstellen (Effizienz). Deshalb kommt Wirkungsanalysen für die Bewertung politischer Maßnahmen und der damit verbundenen Entscheidungen eine hohe Bedeutung zu.
Der Verein für Socialpolitik (VfS) als Vereinigung deutschsprachiger Wirtschaftswissenschaftler und Wissenschaftlerinnen richtet sich mit den vorliegenden Leitlinien und Empfehlungen gleichermaßen an Anbieter von Wirkungsanalysen und an Entscheidungsträger und -trägerinnen in Politik und Verwaltung, die staatliche Maßnahmen planen und Evaluationsstudien in Auftrag geben. Das Anliegen des VfS ist es, den informierten Dialog über die Wirksamkeit staatlicher Maßnahmen zu unterstützen und so dazu beizutragen, dass vorhandenes Wissen und wissenschaftliche Methoden noch besser genutzt werden.
Die vorliegenden Leitlinien sollen insbesondere eine transparente Grundlage für die Interpretation, Bewertung und Diskussion der Qualität von Evaluationsstudien schaffen. Den Beteiligten in Wissenschaft, Politik und Öffentlichkeit soll damit eine Richtschnur für die Beurteilung empirischer Aussagen zu Politikmaßnahmen gegeben werden. Im Mittelpunkt der Leitlinien stehen die Prinzipien methodische Qualität, Transparenz, Objektivität und Unabhängigkeit, die allgemeine Gültigkeit haben, unabhängig vom konkreten Anwendungsbereich und dem konkreten methodischen Verfahren. Der Schwerpunkt dieser Leitlinien liegt auf empirischen Verfahren, die Mikrodaten nutzen, um die Wirkung bereits durchgeführter Maßnahmen zu untersuchen und somit Evaluationen ex post durchzuführen.
Nicht alle Evaluationsstudien werden alle in den Leitlinien genannten Kriterien erfüllen können. Die Gründe hierfür können vielfältig sein. Sie können von einer unzureichenden Datenlage bis hin zu unzureichenden gesetzlichen Grundlagen für eine Evaluation reichen oder durch eine besondere (historische) Evaluationssituation bedingt sein. Grundsätzlich hat sich jedoch die Verfügbarkeit von Mikrodaten zu Individuen, Haushalten, Unternehmen oder anderen Beobachtungseinheiten, auf deren Grundlage aussagekräftige Evaluationsstudien durchgeführt werden können, in Deutschland und international in den vergangenen Jahren stark verbessert. Gleichzeitig gibt es in einigen Bereichen weiterhin Verbesserungsbedarf.
An die Leitlinien schließen sich Empfehlungen für die Entscheidungsträger und –trägerinnen in Politik und Verwaltung an, die für die Planung und Durchführung der Maßnahmen sowie die Auftragsvergabe der Evaluationsstudien verantwortlich sind. Die Empfehlungen betonen insbesondere die Notwendigkeit der Vorab-Formulierung überprüfbarer Ziele politischer Maßnahmen, die Verwendung einer validen Methodik, die Veröffentlichung der in Auftrag gegebenen Wirkungsanalysen und die Ermöglichung von unabhängigen Replikationsstudien. Darüber hinaus wirbt der VfS bei Politik und Verwaltung für eine Weiterentwicklung der politischen und gesetzlichen Rahmenbedingungen, um eine noch bessere Datenbasis für Wirkungsanalysen bei gleichzeitig umfassendem Datenschutz zu schaffen.
Leitlinien des Vereins für Socialpolitik für Ex post-Wirkungsanalysen auf Basis von Mikrodaten
Allgemeines
1. Wirkungsanalysen sollen transparent und nachvollziehbar sein. Die zugrundeliegenden Annahmen sollen deutlich gemacht werden. Methodische Grenzen der Evaluationsstudien sollten offen und umfassend diskutiert werden.
2. Potentielle Interessenkonflikte des Autors/der Autorin der Studie sind offen zu legen.
3. Evaluationsstudien sind unvoreingenommen und ergebnisoffen zu erstellen.
4. Die Ergebnisse von Evaluationsstudien sind neutral und werturteilsfrei zu präsentieren. Es ist auf den Unterschied zwischen Tatsachenbeschreibung, Interpretation und Bewertung der Ergebnisse zu achten. Durfte eine Evaluationsstudie nicht ohne vorherige Einwilligung eines Auftraggebers/einer Auftragsgeberin oder Dritter veröffentlicht werden, so ist dies in der Veröffentlichung kenntlich zu machen.
5. Falls die Kriterien der Leitlinien nicht erfüllt werden können, sollte dies begründet werden, um so die Transparenz der Beschränkungen und der verwendeten Daten und Methodik sicherzustellen.
Methodik
Die wesentliche Herausforderung bei der Erstellung von Evaluationsstudien besteht darin, geeignete Methoden auszuwählen, die es erlauben, kausale Wirkungen von Eingriffen abzuschätzen und darauf aufbauend deren Effektivität und Effizienz zu beurteilen. Je nach Untersuchungsgegenstand und Datenlage können unterschiedliche Herangehensweisen und Methoden angemessen und zielführend sein. In jedem Fall sollte dargelegt werden, aufgrund welcher Annahmen die empirischen Ergebnisse kausal interpretiert werden können und unter welchen Prämissen die abgeleiteten Aussagen zur Effektivität von Eingriffen valide sind. Die Plausibilität dieser Annahmen soll begründet und diskutiert werden.
Bei Auswahl und Darstellung der Methodik sollten folgende Aspekte berücksichtigt werden:
6. Die Wahl der Methodik soll dem Stand der Forschung und ethischen Standards entsprechen. Wenn immer möglich und sinnvoll sollten Wirkungsanalysen mit experimentellen oder quasi-experimentellen Methoden durchgeführt werden. Konzeptionell sollten die Analysen es ermöglichen, Gruppen, die von einer Maßnahme (stärker) betroffen waren (Interventionsgruppe), mit Gruppen, die nicht (oder weniger) betroffen waren (Kontrollgruppe), miteinander zu vergleichen. Deskriptive Analysen der Daten können als Ergänzung hilfreich sein.
7. Die Vergleichbarkeit der Interventions- und der Kontrollgruppen sollte transparent untersucht und umfassend diskutiert werden. Insbesondere sollte auf eine mögliche (Selbst-)selektion der Untersuchungseinheiten in die Interventions- und Kontrollgruppen eingegangen und eine mögliche Veränderung der Zusammensetzung der Interventions- und der Kontrollgruppen im Verlauf des Evaluationszeitraums untersucht werden. In der Konzeptionierungsphase einer Maßnahme kann es sinnvoll sein, mehrere Designs von Kontrollgruppen zu planen.
8. Evaluationsstudien sollen passende Ergebnismaße verwenden, mit denen die Wirkung einer Maßnahme sinnvoll quantifiziert werden kann. Sie sollten zwischen kurz-, mittel- und langfristigen Wirkungen, sowie zwischen lokalen und globalen Effekten einer Maßnahme unterscheiden und gegebenenfalls die Nachhaltigkeit von deren Wirkung diskutieren.
9. Die Ergebnisse von Wirkungsanalysen sind sorgfältig zu diskutieren:
a. Methodische Unterschiede im Vergleich zu früheren Studien sollten diskutiert werden. Dies gilt in besonderem Maße bei abweichenden Ergebnissen.
b. Die Sensitivität der Ergebnisse bezüglich wichtiger Entscheidungen, die Analysemethodik und Daten betreffen, ist zu dokumentieren.
c. Die interne und externe Validität der Ergebnisse, d.h. die Richtigkeit der Ergebnisse und ihre Übertragbarkeit auf andere Situationen, soll diskutiert werden.
10. Im Rahmen der rechtlichen Möglichkeiten sollen die verwendeten Datensätze, Computerprogramme und mögliche weitere Dokumentationen verfügbar gemacht werden, um eine Replikation der Ergebnisse mit minimalem Aufwand zu ermöglichen. Wo dies nicht möglich ist, sollten die Gründe hierfür genannt werden. Die Wege des Datenzugangs sollten erläutert und dokumentiert werden.
Empfehlungen an Entscheidungsträger und -trägerinnen in Politik und Verwaltung
Entscheidungsträger und -trägerinnen in Politik und Verwaltung können einen wichtigen Beitrag dazu leisten, dass vorhandenes Wissen und wissenschaftliche Methoden bei Evaluationsstudien noch besser genutzt werden. Gute Wirkungsanalysen können umso einfacher und kostengünstiger durchgeführt werden, je früher sie geplant werden. Die Qualität von Wirkungsanalysen kann durch Berücksichtigung des Evaluationsdesigns bereits bei der Planung einer Maßnahme und bei der Auftragsvergabe entscheidend beeinflusst werden:
1. Bei Planung einer Maßnahme sollte die Zielsetzung, die mit der Maßnahme erreicht werden soll, benannt und festgelegt werden. Zielgrößen und Erfolgskriterien der Maßnahme sollten bereits vorab (ex ante) definiert werden.
2. Um die Kosten für die Erhebung wichtiger Merkmale zu reduzieren, sollte die Evaluation einer Maßnahme schon vor Einführung der Maßnahme geplant und die notwendigen Daten sollten begleitend erhoben werden. Insbesondere sollte darauf geachtet werden, dass ausreichende Informationen über geeignete Kontrollgruppen bereitgestellt werden können.
3. Evaluationsstudien sollten ergebnisoffen vergeben werden.
4. Bei der Auftragsvergabe sollte auf die Verwendung einer validen Methodik (gemäß der Leitlinien) geachtet werden.
5. Evaluationen sollten zeitnah veröffentlicht werden, um eine breite wissenschaftliche und öffentliche Diskussion zu fördern.
6. Die verwendeten Datensätze, Programmcodes und mögliche weitere Dokumentationen sollten verfügbar gemacht werden, um eine unabhängige Replikation und Prüfung der Ergebnisse durch andere Forscher zu ermöglichen. Hierbei müssen die Erfordernisse des Datenschutzes eingehalten werden.
7. Sollten aktuelle datenschutzrechtliche Bestimmungen die Nutzung von Daten für Wirkungsanalysen sowie die Replikation solcher Studien in unangemessener Weise verhindern, so sollte eine entsprechende Weiterentwicklung der politischen und gesetzlichen Rahmenbedingungen diskutiert werden.
Fassung vom 06.09.2015