soziale stadt - bundestransferstelle

Bund-Länder-Programm "Stadtteile mit
besonderem Entwicklungsbedarf - Soziale Stadt"
  

Impulsreferat in der Arbeitsgruppe 12:
Evaluation integrierter Stadtteilerneuerungsansätze und Monitoring kleinräumiger Entwicklungsprozesse

Ralf Zimmer-Hegmann, Institut für Landes- und Stadtentwicklungsforschung des Landes Nordrhein-Westfalen


1. Einführung
2. Methodische Grundprobleme
3. Unterschiedliche Evaluationsverfahren
4. Vorschlag für ein Monitoring- und Evaluationsmodell

1. Einführung

Das Thema "Soziale Stadt" bestimmt seit rund drei Jahren die stadtentwicklungspolitische Debatte auch in Deutschland. Gemeint sind damit integrierte und stadtteilbezogene Erneuerungsansätze für benachteiligte Stadtteile, die weit über bisherige rein städtebauliche Maßnahmen hinaus reichen. Es geht um die intelligente Verknüpfung von Wirtschafts-, Arbeitsmarkt-, Sozial- und Infrastrukturpolitik. Der Stadtentwicklungspolitik kommt dabei eine wichtige räumliche Bündelungsfunktion zu, mit deren Hilfe die unterschiedlichen Politik- und Handlungsfelder in einem integrierten Handlungskonzept zusammengeführt werden.

Allerdings ist das Thema der integrierten Stadtteilerneuerung nur insofern neu, als es mit dem Bund-Länder-Programm "Stadtteile mit besonderem Entwicklungsbedarf - die soziale Stadt" Eingang in die politische Praxis des Bundes und aller Länder gefunden hat. Entsprechende Ansätze kennen wir aus unseren westeuropäischen Nachbarländern schon seit längerem; besonders viel können wir dabei von unseren niederländischen Nachbarn lernen. Und auch gerade Nordrhein-Westfalen blickt mit seinem Programm für die "Stadtteile mit besonderem Erneuerungsbedarf", das als Vorläufer und auch Vorbild des Bund-Länder-Programms gelten kann, auf eine nunmehr über achtjährige Erfahrung in der Programmumsetzung zurück.

Zunehmend in den Mittelpunkt der Diskussion gerät dabei die Frage nach der Wirksamkeit und dem Erfolg solcher integrierten stadtteilbezogenen Ansätze. Entsprechend finden an verschiedenen Stellen und auf unterschiedlichen Ebenen Diskussionen über wirksame wissenschaftliche Begleitsysteme und Evaluationen solcher Handlungsansätze statt. Auch bei dieser Frage handelt es sich um ein recht neues Untersuchungsfeld, für das bislang kaum empirisch gesichertes Wissen vorliegt.

Daher sollen nachfolgend Überlegungen darüber angestellt werden, welche Probleme und Anforderungen mit einer einem solch komplexen integrierten Handlungsprogramm gerecht werdenden wissenschaftlichen Begleitung und Evaluation verbunden sind könnten und wie ein pragmatisches Konzept aussehen sollte.


2. Methodische Grundprobleme

Generell lässt sich eine Reihe von Aspekten benennen, die bei der Begleitung und Evaluation integrierter, komplexer Handlungsprogramme hinsichtlich der Methodenwahl zu berücksichtigen sind.

An erster Stelle ist zunächst die Komplexität des Untersuchungsgegenstands zu nennen, die eine einheitliche Erfassung und Vergleichbarkeit der unterschiedlichen Ansätze kaum möglich macht. Berücksichtigt werden müssen insbesondere:

Ein weiteres zentrales Problem der Evaluation ist die unzureichende Zielformulierung. So führt der bewusst offene Experimentiercharakter der Handlungskonzepte dazu, dass Ziele meist nur vage und vom Verfahren auch sehr unterschiedlich formuliert werden. Diese fehlende einheitliche Formulierung und Operationalisierung von Erneuerungszielen macht eine Überprüfung der Zielerreichung kaum möglich.

Ein drittes Problem für die Evaluation ist eine auf Kleinräumigkeit angewiesene und daher vergleichsweise ungünstige quantitative Datenlage. Die Fähigkeit der Kommunen, kleinräumig aussagefähige Daten zur Verfügung zu stellen, ist sehr unterschiedlich entwickelt und insgesamt als unzureichend zu betrachten. Neben dem Problem, vorhandene statistische Daten kleinräumig - also auf Stadtteilebene - verfügbar zu machen, stehen Verwaltungsvollzugsdaten (z.B. Zahlen zur Schulabbrecherquote oder aus der Jugendhilfe) in der Regel nicht zur Verfügung. Hier bedarf es dringend einer Vereinheitlichung der Datenqualität. Ein Blick in die Niederlande ist hier für die deutsche Debatte lohnenswert, denn dort ist die Qualität der Datenerhebung und -verfügbarkeit vorbildlich.

Und schließlich ist auch noch das Kausalitätsproblem zu nennen: der kaum kalkulierbare Einfluss externer Faktoren auf die stadtteilbezogenen Erneuerungsprozesse und die damit verbundene schwierige Unterscheidung zwischen internen und externen Erfolgsfaktoren. So ist beispielsweise bei einem Rückgang der Arbeitslosigkeit kaum nachzuvollziehen, ob es sich dabei um einen Erfolg der stadtteilbezogenen Intervention oder um grundsätzliche positive Entwicklungen auf dem Arbeitsmarkt (konjunkturelle Wachstumsphase) handelt.


3. Unterschiedliche Evaluationsverfahren

Grundsätzlich muss zwischen zwei Evaluationsverfahren unterschieden werden: der Ergebnis- und der Prozessevaluation.

Die Ergebnisevaluation oder auch Ex-post-Evaluation bewertet am Ende einer Intervention deren Auswirkungen sowie den Grad der Zielerreichung und damit den Erfolg der Maßnahmen. Um beobachtbare Wirkungen zu messen, ist zu Beginn eine exakte Ermittlung der sozialen, ökonomischen und politischen Ausgangsbedingungen erforderlich (Ex-ante-Evaluation), ebenso wie eine genaue Zielformulierung und -operationalisierung. Am Ende der Maßnahme erfolgt dann eine Überprüfung der Ziele (Erfolgskontrolle) und erreichten Wirkungen.

Die Prozessevaluation dient demgegenüber zur kontinuierlichen Begleitung des jeweiligen Programms. Durch eine ständige Rückkoppelung von Untersuchungsergebnissen soll Einfluss auf den laufenden Prozess mit dem Ziel einer Optimierung des Programms genommen werden. Wichtiger Zweck ist die Anregung eines Lernprozesses. Dazu gehört häufig auch die Diskussion und Entwicklung von Zielen zwischen allen beteiligten Akteuren. Insofern ist im Hinblick auf das oben beschriebene Problem einer unzureichenden Zielformulierung die Formulierung von Zielen wichtiger Gegenstand einer Prozessevaluation.

Ausgangsüberlegung für die Wahl des richtigen Evaluationsansatzes ist immer die Frage, was genau überprüft und bewertet werden soll. Welche Art von Zielen und welche Art von Wirkungen sollen untersucht werden?

Bei der Überprüfung von Zielen kann beispielsweise zwischen Verfahrens- und Prozesszielen und den Ergebniszielen unterschieden werden. Sollen z.B. Fragen der Wirksamkeit von Organisations- und Kooperationsverfahren (Verwaltungsstrukturen oder Beteiligungsansätze) oder etwa Veränderungen der sozialen und ökonomischen Lage im Mittelpunkt stehen?

Bei den Wirkungen kann ebenfalls zwischen primären und sekundären Wirkungen bzw. intendierten und nicht-intendierten Wirkungen sowie zwischen kurz- und langfristigen Wirkungen unterschieden werden.

Von der Frage, was bewertet werden soll, hängt auch entscheidend die Wahl der richtigen Indikatoren ab. Was möchte ich mit den jeweiligen Indikatoren ausdrücken und messen? Auch hier läßt sich eine Reihe von Kriterien für die Auswahl geeigneter Indikatoren benennen:

Zunächst gilt es, die Erklärungskraft oder Validität eines Indikators zu ermitteln. Erklärt er das, was ich damit ausdrücken will? Außerdem muss geklärt werden, ob ich den jeweiligen Indikator auch beeinflussen kann. Drückt er Wirkungen der untersuchten Intervention auch wirklich aus, das heißt, besteht ein kausaler Zusammenhang zwischen Maßnahme und Indikator (Wirkung)?

Damit eng zusammen hängt die Operationalisierbarkeit eines Indikators. Kann ich einen Indikator verfahrenstechnisch so auswählen oder unterteilen, dass er im Rahmen einer Erhebung oder Messung auch das Intendierte ausdrücken kann?

Außerdem ist der schon oben kurz erwähnte Aspekt der Datenverfügbarkeit von Bedeutung, also ob und mit welchem Aufwand Indikatoren ermittelt werden können.

Im Zusammenhang damit steht schließlich auch immer die Frage der Verhältnismäßigkeit bei der Erhebung eines Indikators. Bin ich also mit vertretbarem Aufwand und vertretbaren finanziellen Mitteln in der Lage, eine Untersuchung durchzuführen?

Nicht zuletzt entscheidend ist natürlich die Frage, mittels welcher Methoden geeignete Indikatoren ermittelt werden können. Bestehen schon Erhebungen oder Messungen, auf die zurückgegriffen werden kann (Sekundärquellen), oder bedarf es gänzlich neuer eigener Erhebungen (Primärquelle)? Wähle ich quantitativ oder qualitativ ausgerichtete Methoden für meine Untersuchung?

Unsere Überlegungen gehen dahin, für die Evaluation von integrierten Stadtteilerneuerungsansätzen einen Mix aus quantitativen und qualitativen Methoden zu wählen, der den Anforderungen an solche komplexen Handlungsansätze gerecht wird. Da eigene Erhebungen aufgrund des hohen Aufwands finanziell nur schwer zu rechtfertigen sind, bedarf es der wirksamen Nutzung der vorhandenen kommunalen Statistik und vorhandener Verwaltungsvollzugsdaten, vor allem um Aspekte der sozialen und ökonomischen Lage des zu untersuchenden Gebiets darstellen zu können. Dabei wäre es auch von großem Interesse, durch die Nutzung dieser Daten zeitliche Entwicklungsprozesse abbilden zu können. Doch Vorsicht: das Kausalitätsproblem lauert auch hier. Eine seriös festgestellte Veränderung der Arbeitslosenzahl in einem Gebiet beispielsweise bedarf immer der Erklärung und Interpretation: Ist die Veränderung etwa auf eine konkrete Maßnahme oder auf nicht unmittelbar beeinflussbare (gegebenenfalls zufällige) Faktoren zurückzuführen?

Neben der, so weit möglich, "objektiven" Abbildung von Entwicklungsprozessen scheint uns vor allem die Wahrnehmung von Veränderungen bei Betroffenen und Außenstehenden von zentraler Bedeutung. Die subjektive Wahrnehmung von Experten, Schlüsselakteuren sowie Bewohnerinnen und Bewohnern innerhalb und außerhalb des Untersuchungsgebietes kann in Form von Gesprächen, Interviews und Befragungen ermittelt werden. Hier ist allerdings die Frage nach der Auswahl und der Repräsentativität der befragten Personen und Gruppen ein weiteres grundlegendes Problem. Beispielsweise kosten repräsentative Bevölkerungsbefragungen auch recht viel Geld.

Wünschenswert wäre daher die Etablierung von kleinräumigen Monitoringsystemen für die Untersuchungsgebiete, in denen kontinuierlich aussagefähige quantitative und qualitative Daten erhoben werden, die regelmäßige Aussagen über Entwicklungen innerhalb des Gebietes liefern können und nach Möglichkeit auch einen Vergleich mit Entwicklungen innerhalb der jeweiligen Gesamtstadt ermöglichen. Dabei wäre bezogen auf das Gesamtprogramm eine Vereinheitlichung der Erhebungsinstrumente und -systeme erforderlich, die eine Vergleichbarkeit zwischen den Gebieten erlaubt. Damit wäre ein wichtiges Instrument für die Evaluation in den einzelnen Kommunen wie auch für das Gesamtprogramm geschaffen, das allerdings auch der Ergänzung beispielsweise durch vertiefende Einzeluntersuchungen und Fallstudien zu spezifischen Fragen bedürfte.

Im Rahmen des vom Ministerium für Städtebau und Wohnen, Kultur und Sport des Landes NRW beim Institut für Landes- und Stadtentwicklungsforschung des Landes NRW (ILS) geschaffenen "Expertenkreis Evaluation" zur Weiterentwicklung von Evaluationsansätzen für das NRW-Programm "Stadtteile mit besonderem Erneuerungsbedarf" werden entsprechende Instrumente gegenwärtig diskutiert und entwickelt. Dieser noch vorläufige Diskussionsstand soll im Folgenden vorgestellt und skizziert werden.


4. Vorschlag für ein Monitoring- und Evaluationsmodell

Ein Monitoring- und Evaluationssystem soll verschiedene Funktionen erfüllen:

Die nachfolgende Abbildung zeigt wie ein solches Modell aussehen könnte.

Abbildung 1: Vorschlag für ein Monitoring- und Evaluationsmodell


Danach formuliert das Land allgemeine Zielvorgaben etwa in Form eines Leitfadens an die Kommunen. In dem Leitfaden sollen Hinweise auf von den Kommunen in Eigenverantwortung zu entwickelnde Systeme zur Zielformulierung und Zielkontrolle sowie zu Zielen bzw. Zielgrößen (Indikatoren) für bestimmte Handlungsfelder enthalten sein. Dabei kann es keine einheitlichen, für alle Stadtteile geltenden Ziele und Zielgrößen geben; diese hängen immer von den jeweils spezifischen örtlichen Ausgangsbedingungen und Handlungsschwerpunkten ab. Entscheidend ist, dass die Städte selbst plausible, nachvollziehbare und kohärente Systeme entwickeln. In dem Leitfaden muss allerdings Wert darauf gelegt werden, dass die Zielformulierung ein gemeinsamer Prozess möglichst vieler Akteure vor Ort ist, der allerdings trotz einer notwendigen Offenheit auch zu einer Konkretisierung und Operationalisierung von Zielen bis hinunter auf die Projektebene führt. Die Kommunen sind aufgefordert, dabei eigene Systeme (Selbstkontrolle) zur Überprüfung der Zielerreichung und für ein Projektcontrolling zu entwickeln. Dem Land sind darüber regelmäßige Sachstandsberichte (alle zwei Jahre) als Informationsgrundlage zu liefern.

Nach einheitlichen Kriterien sollen von allen am Programm beteiligten Städten regelmäßig Kontextindikatoren zur Beschreibung der sozialen und ökonomischen Situation der betroffenen Gebiete erhoben werden, die immer auch einen Vergleich mit der jeweiligen Gesamtstadt ermöglichen. Insgesamt handelt es sich um 25 vorgeschlagene Indikatoren (s. Abbildung 2), die weitgehend im Rahmen der amtlichen kommunalen Statistik kleinräumig verfügbar gemacht werden müssten.

Lediglich für die Bereiche "Wirtschaftliche Struktur der Gebiete", "Baulicher Zustand des Gebäude- und Wohnungsbestandes" sowie "Infrastrukturausstattung" wären nach unserer Meinung mitunter aufwändigere Primärerhebungen notwendig, über deren Fianzierung im Rahmen der vom Land gewährten Fördermittel gesprochen werden müsste.

Eine erste Abfrage bei den 25 betroffenen Kommunen über die Datenverfügbarkeit ergibt ein sehr heterogenes Bild. Danach ist die kleinräumige Datenbasis in den Kommunen sehr unterschiedlich. Tendenziell ist die Datenlage in größeren Städten etwas besser als in kleineren Städten. Insgesamt zeigt der Rücklauf, dass die Aufgeschlossenheit gegenüber einer sozialräumlichen Datenerhebung in den Kommunen zwar zugenommen hat, allerdings zur konkreten Aufbereitung der Daten auf zusätzliche Kosten bzw. Personalkapazitäten verwiesen wird. Zu beachten ist auch, dass die Grenzen der Programmgebiete oft nicht mit den Abgrenzungen der statistischen Bezirke in den Kommunen übereinstimmen. Der Raumbezug für verschiedene Indikatoren ist jeweils unterschiedlich definiert (Stimmbezirke, Grundschuleinzugsbereiche, Polizeibezirke usw.). Deshalb sind für einige Indikatoren nur Näherungswerte vorhanden, andere Indikatoren lassen sich jedoch auch sehr kleinräumig (z.B. Baublockebene) erheben und mehr oder weniger aufwändig auf das Programmgebiet hochrechnen. Einzelne Indikatoren (z.B. Wohnungsleerstand (1), Eigentümeranteil, Kriminalitätsrate) sind in den meisten Städten zum gegenwärtigen Zeit allerdings nicht oder nur mit unverhältnismäßig hohem Aufwand kleinräumig erhebbar. Beim Indikator "Kriminalitätsrate" stellt sich zudem gerade auch im Hinblick auf die Quelle der amtlichen Polizeistatistik (2) grundsätzlich die Frage nach dessen Aussagekraft, sodass er insgesamt eher verzichtbar erscheint.

Abbildung 2: Kontextindikatoren zur Stadtteilanalyse


Um die Vergleichbarkeit zwischen den Kommunen zu ermöglichen, sind allerdings auch noch gemeinsame Definitionen zu den einzelnen Indikatoren erforderlich. Dabei ist auch die Frage der Regelmäßigkeit der Erhebungen bzw. der Erhebungsstichtage zu regeln. Während für eine Reihe der Indikatoren beispielsweise eine jährliche Erhebung sinnvoll erscheint, sind für andere Indikatoren (vor allem die Primärerhebungen) aufgrund des hohen Aufwandes mehrjährige Erhebungsabschnitte angebracht.

Grundsätzlich zeigt der Rücklauf aus den Kommunen, dass eine flächendeckende kleinräumige Erhebung aller Kontextindikatoren nicht von heute auf morgen möglich ist. Das Land kann immer nur im Dialog mit den Kommunen für eine politische Unterstützung werben. Daher ist es realistischer, sich dem Stand langsam anzunähern und die Daten zunächst dort zu erheben, wo dies technisch und personell möglich ist. Denn insgesamt darf der Erhebungsaufwand nicht unterschätzt werden, da viele Daten nicht zentral von den Statistikstellen abgerufen werden können, sondern aus unterschiedlichen Ämtern und Bereichen (Polizei, Wohnungsunternehmen usw.) zusammengetragen werden müssen. Allerdings zeigt sich auch, dass dort, wo in den Kommunen intensiv über die Notwendigkeit der Daten für Politik und Planung etwa in ämter- und verwaltungsübergreifenden Abstimmungsrunden gesprochen worden ist, die Datenverfügbarkeit erheblich verbessert werden konnte. Neben, ohne Zweifel vorhandenen, Kapazitätsproblemen spielen oftmals auch verwaltungsinterne Abstimmungsprobleme eine negative Rolle. Trotz solcher politischen Bemühungen wird es nach realistischer Einschätzung gleichwohl nicht in allen Kommunen mit vertretbarem Aufwand möglich sein, einzelne Indikatoren zu erheben. Dies sollte allerdings nicht als Argument dafür taugen, generell auf eine solche Erhebung zu verzichten. Zu diskutieren wäre allerdings vor dem beschriebenen Hintergrund durchaus über den Sinn und die Notwendigkeit einzelner Indikatoren, ohne damit das Gesamtsystem infrage zu stellen.

An dieser Stelle sei auch noch einmal betont, dass die Kontextindikatoren lediglich die jeweiligen sozialen und ökonomischen (Ausgangs-)Bedingungen der Stadtteile beschreiben sollen. Wirkungen von Maßnahmen und Konzepten können damit nicht gemessen werden. Sollten sich anhand der Kontextindikatoren allerdings positive oder auch negative Entwicklungen der Gebiete ablesen lassen, bedürfen diese immer der genaueren Betrachtung und Interpretation vor dem Hintergrund der spezifischen Zusammenhänge. Beispielsweise kann sich - wie schon oben erwähnt - für einen Stadtteil trotz der Schaffung von neuen zusätzlichen Arbeitsplätzen im Rahmen der Erneuerungsstrategie die statistische Arbeitslosenzahl dann nicht verringern, wenn gleichzeitig ein dort ansässiger Großbetrieb aus konjunkturellen Gründen sein Werk schließt oder eine große Zahl von Beschäftigten entlässt. Dies verdeutlicht die Begrenztheit der Aussagefähigkeit und -kraft solcher statistischen Daten.

Daher muss neben dieses quantitative Element eines Monitoring- und Evaluationssystems auf jeden Fall noch ein qualitatives Element treten. Einschätzungen von Bewohnerinnen und Bewohnern sowie Expertinnen und Experten zur Entwicklung des jeweiligen Stadtteils sollen in allen beteiligten Kommunen regelmäßig durch externe wissenschaftliche Einrichtungen erhoben werden. Dabei sind insbesondere vier Themenkomplexe von Interesse:

Da repräsentative regelmäßige Bevölkerungsbefragungen in und zu allen 33 Stadtteilen zu kostenintensiv sind, sind fünf unterschiedliche Quellen zur Erlangung qualitativer Erkenntnisse vorgesehen:

Um aus der Landesperspektive das Gesamtbild über das integrierte Handlungsprogramm noch zu vervollständigen, bedarf es zusätzlich auch noch analytisch tiefer gehender Einzeluntersuchungen und Fallstudien. Hier sind etwa Themen wie Intensität der Bewohnerbeteiligung, Erfolg von Arbeits- und Beschäftigungsmaßnahmen, Rolle der Schulen oder Ähnliches zu nennen.

Die regelmäßigen Sachstandsberichte zur Zielerreichung aus den Kommunen, die Kontextindikatoren und Befragungen in den Städten sowie die Ergebnisse der Einzeluntersuchungen und Fallstudien ergeben damit ein wirkungsvolles Bild über die Umsetzung des Programms. Diese Elemente stellen, wie wir meinen, einen vernünftigen Kompromiss dar zwischen dem wissenschaftlich Wünschenswerten und dem politisch und finanziell Machbaren.

(1) Die Abfrage bei den Kommunen hat ergeben, dass auch hier Primärerhebungen erforderlich wären.

(2) Bei der amtlichen Polizeistatistik handelt es sich lediglich um die angezeigten und von der Polizei erfassten Straftaten, die stark vom subjektiven Anzeigeverhalten der Bevölkerung und der Polizei abhängen.


Literatur

Kromrey, Helmut (1995), Evaluation. Empirische Konzepte zur Bewertung von Handlungsprogrammen und die Schwierigkeiten ihrer Realisierung. In: ZSE: 15. Jg., Heft 4, S. 313-336.
Austermann/Zimmer-Hegmann (2000), Analyse der Umsetzung des integrierten Handlungsprogramms für Stadtteile mit besonderem Erneuerungsbedarf, ILS-Schriften 166.


  
 

Quelle: Impulskongress Integratives Handeln für die soziale Stadtteilentwicklung, Dokumentation der Veranstaltung am 5. und 6. November 2001 in Essen (Veranstalter: Deutsches Institut für Urbanistik, Institut für Landes- und Stadtentwicklungsforschung des Landes Nordrhein-Westfalen (ILS) in Kooperation mit Viterra, Essen), Deutsches Institut für Urbanistik, Berlin, 2002
Soziale Stadt © 2000-2007 Deutsches Institut für Urbanistik
Im Auftrag des BMVBS vertreten durch das BBR. Zuletzt geändert am 30.05.2005