soziale stadt - bundestransferstelle

Bund-Länder-Programm "Stadtteile mit
besonderem Entwicklungsbedarf - Soziale Stadt"

9.1 Methodische Probleme einer Evaluierung des Programms Soziale Stadt

Nicht nur die Umsetzung des Programms Soziale Stadt ist mit Evaluierung als integralem Bestandteil des Integrierten Handlungskonzepts verknüpft, auch das Programm selbst wird in den Jahren 2003/2004 im Hinblick auf seine mittelfristige Ausgestaltung und Verstetigung einer Zwischenbewertung unterzogen. Diese Zwischenevaluierung wird unter anderem auf Ergebnissen der Difu-Programmbegleitung (Vorbereitung der Evaluation) aufbauen (1). Die Wirkungsanalyse und Erfolgsmessung eines so umfassenden und ambitionierten Programms wie der Sozialen Stadt mit inzwischen mehr als 300 Programmgebieten steht aber vor besonderen Herausforderungen und Schwierigkeiten, die Konsequenzen für den methodischen Ansatz haben. Zu den Merkmalen des Programms, die eine Evaluierung besonders erschweren, gehören:

die Komplexität des Programms mit einer Vielfalt an Handlungsfeldern, die im Integrierten Handlungskonzept zusammengeführt werden sollen; damit verbunden ist eine Fülle ineinander verwobener und sich überschneidender Wirkungen;
der "Mehrebenencharakter" (2) des Programms als Gemeinschaftsinitiative von Bund, Ländern und Gemeinden mit ihren je unterschiedlichen Handlungskalkülen zwischen staatlichen Steuerungsinteressen sowie kommunalen Politikprofilen und Handlungsanforderungen;
die Prozessorientierung der Programmphilosophie, bei der gezielt Experimente gefragt und Kurskorrekturen bei der Umsetzung toleriert sind mit der Folge, dass Ziele überhaupt erst generiert und anfangs noch diffuse Ziele erst im Zuge der Umsetzung präzisiert werden;
eine sehr unterschiedliche gesamtstädtische Bedeutung der Programmgebiete, je nachdem, ob sie in Groß-, Klein- oder Mittelstädten liegen; trotz einer groben Klassifizierbarkeit in die beiden Gebietstypen Großwohnsiedlungen und altindustrielle nutzungsgemischte Altbauquartiere weisen die Programmgebiete eine große Vielfalt an lokalen Besonderheiten sowie spezifischen Problemkonstellationen auf und erfordern jeweils eigene Entwicklungsstrategien und Zielsysteme;
die Vielfalt der Ansätze, die sich nicht zur Standardisierung eignet, mit einem breiten Spektrum an Maßnahmen und Projekten bis hin zu Mehrzielprojekten sowie einer Fülle von Organisations- und Managementstrukturen, Koordinierungsstrategien, Aktivierungstechniken und Beteiligungsverfahren;
die - gewollte - Überlagerung von Förderprogrammen (Bündelung), durch die Überschaubarkeit und Transparenz beeinträchtigt werden und deren je spezifische Programmrationalität jeweils eigene Evaluierungsansätze erfordert.

Über diese Schwierigkeiten, die aus dem umfassenden Programmansatz erwachsen, hinaus komplizieren drei im engeren Sinne methodische Probleme das Evaluierungsverfahren: Erstens ist mit dem Kausalitätsproblem die Schwierigkeit der dem Programm zurechenbaren Wirkungen in einem Feld von Multikausalität (von zwischenzeitlichen Effekten und endgültigen Programmwirkungen, Einflüssen externer Interventionen wie beispielsweise veränderten Rahmenbedingungen und Konjunkturkrisen) angesprochen. Das zweite Problem betrifft die Operationalisierung von Zielen: zum einen deren präzise Formulierung, zum anderen die Entwicklung von Indikatoren, Messgrößen und Kennwerten für die Bewertung des Grads der Zielerreichung und damit des Programmerfolgs. Drittens fehlt in vielen Städten eine kleinräumige Datenbasis (insbesondere für Indikatoren der Lokalen Ökonomie, Daten zu Fluktuation, Leerstand, Wohndauer, Schulabbruch, Gesundheitssituation usw.). Dieser Mangel bestätigt sich auch in der zweiten Difu-Befragung (vgl. Abb. 102) (3). Darüber hinaus wird die Vergleichbarkeit durch unterschiedliche Erfassung und Definition von Daten (beispielsweise bezüglich Sozialhilfe, Arbeitslosigkeit, Kriminalität) sowie verschiedene Erhebungsstichtage und Datenverwaltungen (neben den statistischen Ämtern auch andere Behörden, Wohnungsunternehmen, Polizei usw.) erschwert. Außerdem stimmt die Abgrenzung der statistischen Einheiten nur in seltenen Fällen mit den Grenzen der Programmgebiete überein.

Jenseits der Programmkomplexität und der methodischen Probleme wird die Evaluierung im Hinblick auf zwei Spannungsfelder kontrovers diskutiert: Dies betrifft zum einen die für die Evaluierung geeigneten Akteure und damit die Frage, ob durch Beteiligte (Selbstevaluation) oder durch extern Beauftragte (Fremdevaluation) evaluiert werden soll; zum anderen finden Auseinandersetzungen darüber statt, zu welchen Anteilen quantitative Indikatorensets und qualitative Aspekte in die Evaluierung einbezogen werden sollen. Darin spiegeln sich vor allem unterschiedliche Positionen zu Zielen und Funktionen von Evaluierung: zwischen indikatorengestützter Bewertung der Ergebnisse und begleitender Initiierung von Lernprozessen (4) .

Im Pro und Kontra der Debatte über den adäquaten Akteur werden vor allem Unabhängigkeit, Glaubwürdigkeit, Informationszugang und Lerneffekte als Argumente angeführt (5) . Je komplexer eine Evaluierung angelegt ist, desto häufiger wird eine Kopplung von Externen mit dem Vorteil der größeren Unabhängigkeit und programmübergreifender Kenntnisse sowie Internen mit den Aktivposten des besseren Informationszugangs und des direkten Umsetzens in Lernprozesse vorgenommen. Insgesamt bleibt jede Evaluierung ein Balanceakt zwischen Innen- und Außensicht, der desto erfolgversprechender verläuft, je intensiver der Erfahrungsaustausch und die Rückkopplung zwischen den Programmbeteiligten ausgestaltet sind.

In der Auseinandersetzung über quantitative sowie qualitative Methoden und Verfahren kommen unterschiedliche Vorlieben für das eher traditionelle, rationalobjektivistische Modell oder für einen argumentativen Ansatz zum Ausdruck, bei dem Politik als kontinuierlicher Dialog begriffen wird (6) . Am rein quantitativ-statistischen Ansatz mit Reduktion auf einen Vorher-Nachher-Vergleich wird abgesehen von der eingeschränkten Datenlage bemängelt, dass die problematischen kausalen Zuordnungen ignoriert werden und die Prozessorientierung fehlt. Die Interpretation der Daten könne leicht zu Fehlschlüssen verleiten, wenn sie nicht um qualitative Erklärungsmuster ergänzt wird. Erfahrungen bei der Evaluation von EU-Programmen haben außerdem gezeigt (7) , dass ausgeklügelte rein quantitative Indikatorensysteme dann ins Leere laufen, wenn sie im Widerspruch zur statistischen Datenlage stehen, das heißt, ohne zusätzliche Primärerhebungen gar nicht realisiert werden können. Kritik am allein qualitativen Ansatz bezieht sich auf die Interpretationsbedürftigkeit der eher weichen Befunde und deren mangelhafte Objektivierbarkeit. Die Evaluierung der Strukturfondspolitik ist bisher fast ausschließlich quantitativ ausgerichtet. Doch auch hierzu wird gefragt, "ob mit Blick auf die qualitativen Aspekte der Politik und die Berücksichtigung des Lernens in Organisationen eventuell auf Kosten der Legitimationsfunktion und der statistischen Vergleichbarkeit langfristig eine Neuausrichtung der Evaluation avisiert werden sollte" (8) .

Abbildung 102: Quoten der Datenangabe auf Quartiers- und Gesamtstadtebene (n=222; Zweite Befragung Difu 2002)

Deutsches Institut für Urbanistik

Während bei der Evaluierung der EU-Strukturpolitik die summative im Vergleich zur formativen Funktion im Vordergrund steht (9), zeichnet sich bei bisherigen Diskussionen und Überlegungen zur Evaluierung des Programms Soziale Stadt (10) eine deutliche Tendenz zum Einsatz von Evaluierung als diskursorientiertem Begleitsystem ab. Dabei soll keineswegs auf quantitative Kernindikatoren verzichtet werden; vielmehr werden Methodenmixe bevorzugt, die qualitative wie quantitative, daten- wie dialoggestützte Verfahren umfassen. Übereinstimmung besteht außerdem darin, dass ein so komplexes Konzept wie die integrative Stadtteilentwicklung nur mit einer Kombination von Verfahren in Zusammenarbeit von internen und externen Evaluatoren evaluiert werden kann. Vor allem auf kommunaler Ebene werden Praxisbezug und Lernpotenzial der prozessbegleitenden Evaluierung hoch eingeschätzt. Je deutlicher für Qualitätsmanagement und Politiksteuerung votiert wird, Lernprozesse und Akzeptanz bei den Akteuren als Ziele angestrebt werden, desto stärker muss die formative Funktion der Evaluierung ausgeprägt sein. Als zusätzliche Validierungsstrategie bieten dabei exemplarische Fallstudien "ein beachtliches und leistungsfähiges Erkenntnisverfahren, um akteurs- und prozessorientiert den Verlauf und das Ergebnis von (lokalen) Handlungsprogrammen zu interpretieren" (11).

(1) Vgl. dazu weiter Kapitel 9.4.

(2) Walther, Gesichtspunkte zu einer Evaluation ...

(3) Die quantitativen Angaben zum Leerstand (68 Prozent ohne Angabe), zur Arbeitslosenquote (52 Prozent ohne Angabe) und zum Aussiedleranteil (81 Prozent ohne Angabe) weisen für die Programmgebiete (und auch für die Städte) eklatante Lücken auf. Auf Gesamtstadtebene war es für 43 Prozent nicht möglich, Angaben zur Zahl der Wohnungen zu machen, für ein Drittel fehlen Daten zum Sozialhilfebezug, für jeweils rund ein Fünftel konnten die Arbeitslosenquote sowie die Anteile junger und alter Menschen nicht angegeben werden.

(4) "Spannungsfeld zwischen Leistungsmessung (summative Funktion) und Lernmedium (formative Funktion)", Eser, S. 335.

(5) Hierzu und zum Folgenden: ebenda, S. 335 f.

(6) "The rational-analytic approach versus the argumentative approach", Knaap, S. 359.

(7) Kathleen Toepel, Robert Sander und Wolf-Christian Strauss, Europäische Strukturpolitik für die Stadterneuerung in Ostdeutschland. Evaluierung der Gemeinschaftsinitiative URBAN, Frankfurt/ Main und andere 2000.

(8) Eser, S. 328: So ließe sich "eine weitere Stufe auf der Entwicklung der Evaluationskultur" erreichen.

(9) "Dies ist eine politische Entscheidung...", ebenda, S. 336.

(10) Vgl. z.B. die Niederschrift zur 6. Sitzung der Fachkommission "Städtebau" am 21. und 22. Februar 2002 in Fulda, einer Sondersitzung unter dem Titel "Evaluierung von Prozessen und Programmen der Stadtentwicklung" (unveröffentlichtes Typoskript); Impulsreferat und Bericht zur Arbeitsgruppe 12 "Erfolgskontrolle und Monitoring", abgedruckt in Deutsches Institut für Urbanistik (Hrsg.), Impulskongress Integratives Handeln, S. 177-189.

(11) Hartmut Häußermann, Wolfgang Jaedicke und Hellmut Wollmann, Evaluierung des Programms "Quartiersmanagement". Expertise des Instituts für Stadtforschung und Strukturpolitik im Auftrag von SenSut, Entwurf vom September 1999, S. 6 (unveröffentlichtes Typoskript). Dazu auch Wollmann/Hellstern, die in den Achtzigerjahren des letzten Jahrhunderts angesichts der Programmstruktur der Städtebauförderung und "des Defizits sowohl im Theoriewissen als auch im Datenbestand" Fallstudien "als am ehesten geeignet" ansahen, "das breite Spektrum an Wirkungen in ihrer zeitlichen, räumlichen, wirtschaftlichen und sozialen Dimension zu identifizieren" (S. 101).

Quelle: Soziale Stadt - Strategien für die Soziale Stadt, Erfahrungen und Perspektiven – Umsetzung des Bund-Länder-Programms „Stadtteile mit besonderem Entwicklungsbedarf – die soziale Stadt", Deutsches Institut für Urbanistik 2003

Soziale Stadt © 2000-2007 Deutsches Institut für Urbanistik
Im Auftrag des BMVBS vertreten durch das BBR. Zuletzt geändert am 24.03.2005