soziale stadt - bundestransferstelle
besonderem Entwicklungsbedarf - Soziale Stadt"
   |
Anhang 5
Klaus Mittag
Exkurs: Evaluationsunterstützende Methodik und Ergebnismuster
auf Basis der Difu-Befragung
1. Vorbemerkung
Die 2000 und 2002 durchgeführten umfangreichen schriftlichen Befragungen zu den Programmgebieten dienten zunächst im Rahmen der wissenschaftlichen Begleitung als vorrangige Datenbasis der statistischen Bestandsaufnahme und Strukturanalyse zu den Themenfeldern Programmgebiete, Integrierte Handlungskonzepte, Handlungsfelder der integrierten Stadtteilentwicklungsplanung, Kooperation und Koordination, Ressourcenbündelung, Quartiermanagement sowie Aktivierung und Beteiligung. Dazu wurden aufwendige deskriptive statistische Auswertungen (Grundauszählungen, Kreuztabellen, Mittelwertsverteilungen) unter gebietstypologischen Aspekten (Lage, Größe, Baualter, Nutzungs- und soziodemographische Struktur) durchgeführt. Zusätzlich wurden methodische Überlegungen angestellt, wie der Datensatz der zweiten Befragung, in dem Fragepassagen der ersten Befragung (etwa die Erhebung der Probleme und Entwicklungsressourcen in den Gebieten) integriert wurden, speziell für eine evaluationsvorbereitende Auswertung modifiziert und optimiert werden könnte.
2. Umfang und Struktur der zweiten Befragung
Der Datensatz der zweiten Erhebung zu 222 Programmgebieten beinhaltet ca. 850 Rohvariablen (mit modifizierten, z.B. klassierten Variablen, insgesamt weit über 1000 Variablen) neben einem Fragenexkurs zur wissenschaftlichen Begleitung des E & C-Projektes durch das Deutsche Jugendinstitut zu sieben Fragenkomplexen: Stadt- und Gebietestruktur, Probleme und Ressourcen der Gebiete, Aktivitätsfelder der Prozesssteuerung in den Gebieten, Maßnahmenschwerpunkte und Schlüsselprojekte, erfassbare Veränderungen in den Gebieten, Erfolge und Probleme der Programmumsetzung sowie Verbesserungsvorschläge. Zwischen den sieben Fragenkomplexen lassen sich vielfache Analysebeziehungen herstellen (Abb. 1).
Mit über 600 Variablen bildet der Themenkomplex zur Prozesssteuerung insbesondere mit einem detaillierten Fragenset zum Integrierten Handlungskonzept sowie zu Organisation und Management den Schwerpunkt der Befragung.
Damit liegt die Nutzbarkeit der Befragung zur statistischen Unterstützung der geplanten Zwischenevaluierung des Programms Soziale Stadt vorrangig im Bereich der Prozessevaluation und - wegen des kurzen Entwicklungszeitraumes - nur zu einem geringen Teil bei der Ergebnisevaluation mit Daten zum Maßnahmenoutput und zu empirisch erfassbaren Veränderungen in den Gebieten (Outcome).
 |
Abbildung 1: |
|
Deutsches Institut für Urbanistik |
3. Evaluative Analysefragestellungen
Die Überprüfung des Variablen- und Analyserahmens zeigt eine Reihe potenzieller Analysefragestellungen der Zwischenevaluierung auf, die sich in weiten Bereichen mit den vom Bundesamt für Bauwesen und Raumordung im Leistungskatalog für die Vergabe eines Gutachtens (Oktober 2002) formulierten Fragen decken:
|
(1) |
Gibt es signifikant unterschiedliche gebietstypische Problemprofile und -intensitäten sowie Entwicklungsressourcen? |
|
(2) |
Zeigen sich stadt- und gebietstypisch differierende Muster und Kombinationen der Prozesssteuerung in den Gebieten? |
|
(3) |
In wieweit sind problem- und ressourcenadäquate oder auch inadäquate Strategien und Instrumente der Prozesssteuerung in den Gebieten feststellbar? |
|
(4) |
Lassen sich zum Problem- und Ressourcenprofil adäquate oder auch inadäquate Maßnahmenbündel in den Gebieten erkennen? |
|
(5) |
Sind angemessene oder auch nicht nachvollziehbare Aufwand-Nutzen-Relationen zwischen Typik und Intensität der Prozesssteuerung und dem Maßnahmen-Output in den Gebieten eruierbar? |
|
(6) |
Sind gebietstypisch unterscheidbare Veränderungen in den Quartieren auszumachen? |
|
(7) |
Deuten sich problem- und ressourcenadäquate Veränderungen in den Quartieren an? |
|
(8) |
Gibt es Hinweise auf relevante Veränderungen in den Gebieten mit akzeptabler Aufwand-Nutzen-Relation im Hinblick auf die Prozesssteuerung? |
|
(9) |
Lassen sich mehr oder minder wirksame Maßnahmen oder Maßnahmenbündel für den Outcome aufzeigen? |
|
(10-12) |
Welche besonderen Potenziale und Defizite der Prozesssteuerung, des Outputs und des Outcomes in den Quartieren sind für die Weiterführung des Programms relevant? |
Diese relativ groben Analysefragestellungen lassen sich infolge der Vielzahl von Erhebungsvariablen inhaltlich beliebig (etwa nach Handlungsfeldern) spezifizieren, für generalisierte Zusammenhänge empfiehlt sich dagegen eine Modifikation des Datensatzes.
4. Methodisches Konzept der evaluationsunterstützenden Optimierung des Datensatzes
Für die Verdichtung des umfangreichen Datensatzes wurde ein System von Variablen bündelnder, Antwortkategorien aggregierender Zählindizes entwickelt, die sich mittels Gewichtung noch verfeinern lassen. Da der Anspruch an die Messqualität der Indizes jedoch lediglich im Aufzeigen signifikanter Größerkleiner-Relationen bestand, wurde auf derartige Operationen verzichtet.
4.1 Indexbildung
Versuchsweise wurden u.a. folgende - merkmalsverdichtende Dimensionen repräsentierende - Indizes gebildet:
- Problemdichte
- Potenziale
- Megaindex: Steuerungsintensität, bestehend aus den Einzelvariablen oder -indizes:
Zielkonkretisierung, Elemente, Handlungsfelder, Verwaltungsbeteiligung und Akteure des Integrierten Handlungskonzeptes, Fördermittelbandbreite, Stellenwert nicht-investiver Fördermittel, Bündelungsdichte, Implementierungsgrad und Ebenen des Managements, Netzwerkdichte, Aktivierungstechniken, instrumentelle Vielfalt der Öffentlichkeitsarbeit, Methodenbandbreite von Monitoring und Evaluation. - Maßnahmenbandbreite
- Good-Practice-Aufkommen
- Veränderungen im Gebiet
- Erfolge bei der Programmumsetzung
- Probleme bei der Programmumsetzung
Zwecks Relativierung der unterschiedlichen Punkte-Spannweiten wurden für die Indizes (insbesondere auch bei der Bildung des Megaindex Steuerungsintensität) einfache Rangskalen (Perzentile, Prozentränge) berechnet.
4.2 Analyseverfahren und Ergebnisbausteine
Mit der vorgenommenen Indexierung lassen sich im Wesentlichen zwei Analysestränge verfolgen.
Ermittlung überblicksartiger statistischer Evaluationskontexte
Dabei werden die gebildeten Indizes als Indikatoren im Rahmen gezielter Evaluationsfragestellungen eingesetzt. Beispiel: Ist ein Zusammenhang zwischen der Intensität der Entwicklungssteuerung in den Quartieren (Index: Steuerungsintensität) und dem Output (Index: Maßnahmenbandbreite) nachweisbar?
Eine signifikante Korrelation zwischen den beiden Indizes kann als grober "Evaluationsmarker" dienen, der eventuell mit anderen Informationsquellen der Programmbegleitung (z.B. PvO-Berichten) abgeglichen werden oder durch - insbesondere qualitative - Zusatzerhebungen validiert werden muss (Abb. 2).
 |
Abbildung 2: |
|
Deutsches Institut für Urbanistik
|
Gebietstypisierung und -auswahl für Fallstudien und Nacherhebungen zu speziellen Evaluationsfragestellungen
Durch Skalierung der Indizes sind insbesondere Kontrastgruppenvergleiche von Gebieten (z.B. Quartiere mit eher unterdurchschnittlichem vs. überdurchschnittlichem Implementierungsgrad des Integrierten Handlungskonzeptes) oder auch Rankings (z.B. die zehn Quartiere mit der intensivsten Prozesssteuerung) möglich. Dabei kann durch beliebige Kombination von Indizes auch mehrdimensional gefiltert werden (z.B. Selektion der Quartiere mit hoher Problemdichte, überdurchschnittlicher Steuerungsintensität, aber unterdurchschnittlichem Erfolg bei der Programmumsetzung).
Außer mit einfachen Indexkombinationen können Gebietstypen mit einer großen Anzahl von Indizes und Einzelvariablen mittels komplexer statistischer Verfahren wie Faktoren-und Clusteranalyse gebildet werden.
Alle Gebietstypen lassen sich räumlich aufschlüsseln und gegebenenfalls gezielt streuen (z.B. nach unterschiedlichen Gemeindegrößenklassen in den alten und neuen Ländern und einzelnen Bundesländern). Eine weitere Auswertungsmöglichkeit für die Gebieteauswahl bietet die graphische Aufbereitung von Gebietsprofilen, die neben den zentralen Angaben zu Lokalisierung, Größe, Baualter, Nutzungs- und soziodemographischen Struktur eines Quartiers unipolare Skalen (z.B. fünfstufige Perzentilwerte) zu den evaluationsrelevanten Indizes wie Problemdichte und Ressourcen des Gebietes, der Steuerungsintensität, der Maßnahmenbandbreite sowie der Erfolge und Probleme bei der Programmumsetzung beinhalten.
5. Statistische Überprüfung des evaluationsunterstützenden Methodenkonzeptes
Die rechnerisch simple Konstruktion und die in etwa nach den Prinzipien der unscharfen Logik (fuzzy logic) angewandte statistische Verwertung des Indexsystems legt eine Überprüfung der Validität dieser Kennwerte nahe. Dazu bieten sich mit der Verteilungs- und der Ergebnisanalyse zwei Vorgehensweisen an.
5.1 Verteilungsanalyse der Indizes
An der Verteilungsform der Punktwerte der Indizes lässt sich ablesen, ob die Indizes eine inhaltlich schlüssige Realität messen und widerspiegeln oder rechnerische Artefakte ohne Realitätsbezug sind. Die statistische Überprüfung weist als häufigste Verteilungsform die (angenäherte) Gauß'sche Normalverteilung ("Glockenkurve"), das heißt die gleiche Verteilung wie die der meisten biologischen und sozialen Merkmale, auf.
Interessanterweise verteilt sich auch der Megaindex Steuerungsintensität annähernd normal, obwohl er aus einer größeren Anzahl heterogener, wenn auch skalenmäßig vereinheitlichter Einzelindizes und -variablen gebildet wurde. Die Verteilung besagt, dass sich das Gros der Quartiere (etwa zwei Drittel) im Mittelfeld des Punktespektrums befindet. Der Rest der Quartiere teilt sich auf die Extreme der Verteilung auf. Demnach wird im überwiegenden Teil der Gebiete eine eher durchschnittliche Entwicklungssteuerung praktiziert, nur wenige Gebiete liegen in einem erheblich unter- oder überdurchschnittlichen Intensitätsbereich, womit sich unter Umständen aufschlussreiche Kontrastgruppenvergleiche ergeben. Die Verteilung ist inhaltlich nachvollziehbar und dürfte der Alltagsbeobachtung und -erfahrung in den Quartieren entsprechen. Das heißt, dem Index kann eine plausible - wenn auch nicht unbedingt mit statistischen Parametern belegbare - Validität zugebilligt werden.
Eine andere systematische Verteilungsform der Indizes ist die Poisson-Verteilung (die Verteilung der seltenen Ereignisse). Ein beliebtes Interpretationsbeispiel sind die Unfälle: Viele Menschen erleiden keine oder wenige Unfälle, dagegen wenige Menschen viele Unfälle.
Nach diesem Muster verteilen sich annähernd die Subindizes zum Gesamtindex Probleme bei der Programmumsetzung, nämlich die Indizes Probleme bei der Kooperation, der Mittelkoordination, der Aktivierung und bei der Verbesserung der Lebensverhältnisse im Gebiet, das heißt, nur für wenige Gebiete werden überdurchschnittlich viele Probleme bei der Programmumsetzung angegeben. Im Gegensatz dazu verteilen sich die thematisch analogen Subindizes zu den Erfolgen bei der Programmumsetzung eher annähernd (allerdings leicht rechtsschief) normal. Da gleichzeitig der Index Steuerungsintensität mit den Erfolgsindizes hoch korreliert, könnte man auf einen systematischen problemreduzierenden Einfluss einer eher intensiven Entwicklungssteuerung in den Quartieren - ganz im Sinne der Zielvorgaben des Programms Soziale Stadt - schließen, womit die in die Berechnung eingegangenen Problem und Erfolgsindizes ebenfalls inhaltlich validiert wären.
5.2 Exemplarische Ergebnisanalyse
Ähnlich eher qualitativ kann man das evaluationsunterstützende Methodenkonzept anhand exemplarischer Ergebnisbausteine validieren. Ohne der Zwischenevaluierung vorgreifen zu wollen, lässt sich im Zuge einer sondierenden Methodentestung ein zentraler (hochsignifikanter) evaluativer Ergebnistrend feststellen, an dessen Validität im Kontext der Programmziele und -vorgaben kaum zu zweifeln ist:
- Je intensiver und planerisch konsistenter die Entwicklungssteuerung in den Quartieren der Sozialen Stadt betrieben wird (wobei der Implementierungsgrad des Integrierten Handlungskonzeptes und eines mehrdimensionalen Managements sowie das Handlungspotenzial der Aktivierung und Beteiligung ausschlaggebend sind), desto umfangreicher und zielgruppenspezifisch vielfältiger fällt der Maßnahmen-Output im Gebiet aus, desto häufiger werden bereits Veränderungen im Quartier (Outcome) registriert und desto positiver ist die allgemeine Erfolgsbewertung bei der Programmumsetzung in den Quartieren.
- Freilich zeigen auch exemplarische Kontrastanalysen ein deutliches Kompetenz- und Qualifikationsgefälle der beteiligten Kommunen bezüglich der Intensität und Planunungskonsistenz der Entwicklungssteuerung in den Programmgebieten.
Exemplarisch zeigt sich dies, wenn man bei den Aktionsfeldern Lokale Ökonomie und Kinder- und Jugendhilfe die Handlungskette: Problem- bzw. Defizitwahrnehmung -> Aufnahme des Aktionsfeldes ins IHk -> Beteiligung der relevanten Verwaltungsressorts -> Akquisition einschlägiger Fördermittel -> Durchführung problemgerichteter Maßnahmen schrittweise verfolgt und dann nur bei einem geringen Teil der thematisch betroffenen Quartiere alle (integrierten) Handlungsschritte komplett (also die volle Wirkungskette durchlaufen) vorfindet.
Falls das letztgenannte exemplarische evaluationsvorbereitende - ganz im Sinne des "Evaluationsmarker-Konzeptes" eruierte - Ergebnis zusätzlich qualitativ validiert werden könnte, so ließe sich eine ganz pragmatische Empfehlung für die Weiterführung des Programms Soziale Stadt ableiten: - Die Entwicklungssteuerung in den Programmgebieten der Sozialen Stadt bedarf einer intensiven planerischen und verwaltungskommunikativen Weiterbildungsoffensive auf kommunaler Ebene.
6. Bewertung des evaluationsunterstützenden Methodenkonzeptes
Die statistische Überprüfung des indexgestützten Methodenkonzeptes weist auf valide und gut operationalisierbare Verfahrensgänge und Ergebnisbausteine für die geplante Zwischenevaluierung hin. Aufgrund der geleisteten Vorarbeiten und der gesammelten methodischen Vorerfahrungen bietet sich eine übergangsweise (Zeit und Doppelarbeit durch ähnliche Analysen ersparende) evaluationsanalytisch unterstützende Beratung durch das Difu an.
| |
|
Quelle: Soziale Stadt - Strategien für die Soziale Stadt, Erfahrungen und Perspektiven – Umsetzung des Bund-Länder-Programms „Stadtteile mit besonderem Entwicklungsbedarf – die soziale Stadt", Deutsches Institut für Urbanistik 2003 |
Im Auftrag des BMVBS vertreten durch das BBR. Zuletzt geändert am 30.03.2005