Gestaltung verständlicher, praxiswirksamer Evaluationsberichte im Schulsetting MASTER-ARBEIT 2020/2021 Autorin: Bannwart, Rebecca betreuende Person: Prof. Dr. Krause, Andreas Praxispartner: Pädagogische Hochschule Schwyz Prof. Dr. Sandmeier, Anita Dank Masterarbeit Dank Ich möchte mich herzlich bei allen Personen bedanken, die mich bei der Erstellung dieser Masterarbeit unterstützt haben. Hervorheben möchte ich meinen Dank an Prof. Dr. Andreas Krause (Hochschule für Angewandte Psychologie, FHNW) und Prof. Dr. Anita Sandmeier (Pädagogische Hochschule Schwyz), die mich hervorragend betreut und mit zahlreichen fachlichen Inputs gefördert haben. Ich möchte mich auch bei allen Interviewpartnern und Interviewpartnerinnen für die spannenden, aufschlussreichen und informativen Gespräche und die Zeit, die sie sich genommen haben, bedanken. Für die Geduld, die tatkräftige Unterstützung und die anspornenden Worte danke ich meinen Freunden und meiner Familie. Zuletzt gilt mein besonderer Dank meiner Studiengruppe SMB, die für einen regen Austausch und Unterstützung während der Zeit gesorgt hat. Die Exkursionen auf den Seelisberg haben die nötige Energie und Ausdauer für die lehrreiche Zeit gegeben. Seite 2/130 Rebecca Bannwart Zusammenfassung Masterarbeit Zusammenfassung Vor dem Hintergrund zunehmender Schulentwicklung untersucht die vorliegende Arbeit die Gestaltung von verständlichen und praxiswirksamen Evaluationsberichten im Setting Schule. Die Annahme ist, dass das Verstehen der Berichte und ihrer Inhalte deren Akzeptanz verbessert, dadurch die Selbstwirksamkeit der Schulleitungen erhöht und somit die Umsetzung von Interventionen fördert. Die Annahme wurde in einem zirkulären Forschungsprozess mit einer explorativen Fallstudie nach Yin (2003) untersucht. Es wurden Dokumentenanalyse (N = 3) und Experten- und Leitfadeninterviews (N = 19) eingesetzt. Den Ergebnissen zufolge spielt das Verständnis des Evaluationsberichts eine wesentliche Rolle für die spätere Nutzung und Ableitung von Interventionen. Es werden verschiedene Einflussfaktoren (z. B. Benutzerfreundlichkeit, Anschlussfähigkeit, ressourcen- und entwicklungsorientierte Handlungsempfehlungen, Partizipation und Zusammenhänge etc.) identifiziert, die sowohl bei der zukünftigen Berichtsgestaltung als auch im Evaluationsprozess berücksichtigt werden sollten. Schlüsselwörter: Schulentwicklung, Evaluationen, Berichtgestaltung, Veränderungsprozesse, Wirksamkeit, Interventionen 236’774 Zeichen (inkl. Leerzeichen) Seite 3/130 Rebecca Bannwart Abstract Masterarbeit Abstract Against the background of increasing school development, this paper examines the design of comprehensible and practical evaluation reports in the school setting. The assumption is that understanding the reports and their content improves their acceptance, thereby increasing the self-efficacy of school principals and thus promoting the implementation of interventions. The assumption was examined in a circular research process using an exploratory case study based on Yin (2003). Document analysis (N = 3) and expert and guided interviews (N = 19) were used. According to the results, understanding the evaluation report plays an important role in the subsequent derivation and use of interventions. Several influencing factors (e.g., ease of use, connectivity, resource and development-oriented recommendations for action, participation and contexts, etc.) are identified that should be considered in future report design and in the evaluation process. Keywords: school development, evaluations, report design, change-processes, impact, interventions Seite 4/130 Rebecca Bannwart Inhaltsverzeichnis Masterarbeit Inhaltsverzeichnis 1 EINLEITUNG ................................................................................................. 7 1.1 BESCHREIBUNG UND AUSGANGSLAGE DES PROJEKTPARTNERS PHSZ ........... 11 1.2 ZIELSETZUNG UND FRAGESTELLUNG ............................................................ 11 1.3 AUFBAU DER ARBEIT ................................................................................... 13 1.4 ABGRENZUNG DES THEMAS ......................................................................... 13 2 THEORETISCHER RAHMEN ..................................................................... 14 2.1 EINBETTUNG DER FRAGESTELLUNG IN DIE THEORIE ....................................... 14 2.2 SCHULENTWICKLUNG .................................................................................. 16 2.2.1 Survey-Feedback-Prozesse .............................................................. 18 2.2.2 Evaluation ......................................................................................... 19 2.2.3 Rolle Schulleitungen ......................................................................... 21 2.3 HAPA-MODELL .......................................................................................... 22 2.4 TECHNOLOGIE-AKZEPTANZ-MODELL (TAM) ................................................. 25 2.5 FAZIT THEORIE ........................................................................................... 27 3 METHODIK.................................................................................................. 29 3.1 FORSCHUNGSDESIGN .................................................................................. 29 3.1.1 Gütekriterien ..................................................................................... 31 3.2 DOKUMENTENANALYSE ............................................................................... 33 3.2.1 Durchführung und Datenauswertung – Aufbereitung ........................ 34 3.3 LEITFADENGESTÜTZTES EXPERTENINTERVIEW .............................................. 35 3.3.1 Leitfadenerstellung ............................................................................ 36 3.3.2 Sampling ........................................................................................... 37 3.3.3 Durchführung .................................................................................... 38 3.4 LEITFADENINTERVIEW ................................................................................. 38 3.4.1 Sampling ........................................................................................... 39 3.4.2 Durchführung .................................................................................... 39 3.5 INHALTLICH STRUKTURIERENDE QUALITATIVE INHALTSANALYSE ...................... 41 4 ERGEBNISSE ............................................................................................. 46 Seite 5/130 Rebecca Bannwart Inhaltsverzeichnis Masterarbeit 4.1 DOKUMENTENANALYSE ............................................................................... 46 4.2 INTERVIEW ................................................................................................. 48 4.2.1 Ergebnisse zur Forschungsfrage 1 ................................................... 48 4.2.2 Ergebnisse zur Forschungsfrage 2 ................................................... 61 4.2.3 Ergebnisse zur Forschungsfrage 3 ................................................... 70 4.2.4 Ergebnisse zur Forschungsfrage 4 ................................................... 74 4.2.5 Ergebnisse zur Forschungsfrage 5 ................................................... 85 5 DISKUSSION UND REFLEXION ................................................................ 92 5.1 BEANTWORTUNG DER FRAGESTELLUNG UND DISKUSSION .............................. 92 5.2 THEORETISCHE LIMITATION UND AUSBLICK ................................................... 98 5.3 PRAKTISCHE IMPLIKATIONEN ...................................................................... 100 6 VERZEICHNISSE ...................................................................................... 105 6.1 LITERATURVERZEICHNIS ............................................................................ 105 6.2 ABBILDUNGSVERZEICHNIS ......................................................................... 114 6.3 TABELLENVERZEICHNIS ............................................................................. 115 7 ANHANG ................................................................................................... 116 Seite 6/130 Rebecca Bannwart Einleitung Masterarbeit 1 Einleitung Die Schulentwicklung steht seit geraumer Zeit im Fokus des öffentlichen und wissenschaftlichen Interesses und wird in verschiedenen Projekten vorangetrieben. Ziel der Projekte ist es, Schulen in sogenannte «... lernende bzw. problemlösende Organisationseinheiten [zu] verwandeln» (Fischer, 2016, S. 287). Dabei werden vielfältige Ansätze zur Schulentwicklung herangezogen, die für Diversität, Verwirrung und Wettbewerb sorgen. Als ‹Schulentwicklung› wird beinahe jede Handlung der Schule benannt. Nahezu jede Person, die sich mit Schulen und Lehrpersonen beschäftigt, bezeichnet sich als ein Schulentwicklungsexperte oder eine Schulentwicklungsexpertin (Rolff, 2016). Immer häufiger werden folgende Fragen gestellt: Was bedeutet Schulentwicklung? Kann sie erfolgreich gelingen? In der Literatur wird Schulentwicklung als eine bewusste und systematische Weiterentwicklung von Schulen zur Sicherung der Qualität beschrieben. Qualität bezieht sich hierbei auf die Personal-, Unterrichts- und Organisationsentwicklung. Diese drei Entwicklungsebenen sind nach Rolff die zentralen Elemente des Schulentwicklungsprozesses (Burow, Plümpe & Bornemann, 2020; Rolff, 2016). Insbesondere mit der zunehmenden Digitalisierung, der erhöhten Fluktuation im Lehrberuf, der Notwendigkeit einer stärkeren Gesundheitsförderung im Bildungskontext und dem kontinuierlichen Anspruch an eine erhöhte Unterrichtsqualität ist Schulentwicklung gefragt. In den Schulen schreitet die Digitalisierung schnell voran und bedingt eine systematisch gesteuerte und geplante Schulentwicklung. Laut dem Bildungsmagazin eduwo beeinflusst die Digitalisierung die Schulen stark (Mathiuet, 2020, S. 1). Deshalb hat der Bund im Jahr 2017 ein Handlungsfeld zur Verbesserung der digitalen Kompetenzen an Schulen verabschiedet (SBFI, 2017). Ein weiteres Beispiel für Schulentwicklung ist, auf das umfassende Themenfeld der Gesundheit zu verweisen. Im Jahre 2016 legte der Dachverband Lehrerinnen und Lehrer Schweiz (LCH) den Fokus auf die Entwicklung der Gesundheit an Schulen mit der Initiative «Gesundheit der Lehrpersonen». Ebenso wirbt das «Schulnetz21 – Schweizerisches Netzwerk Gesundheitsfördernder und Nachhaltiger Schulen» immer wieder mit neuen Projekten für dieses aktuelle Schulentwicklungsprojekt (Schulnetz 21, 2016). Auch mit Seite 7/130 Rebecca Bannwart Einleitung Masterarbeit dem neuesten Projekt der Allianz für Schulqualität unterstützt der ProfilQualité-Fonds Projekte, die der nachhaltigen Entwicklung von Schulen dienen (Zebis, 2021). Dies sind nur Auszüge der Entwicklungsfelder, die Schulen aktuell beschäftigen bzw. künftig herausfordern. Die Schulentwicklung ist daher eine zentrale Aufgabe auf den unterschiedlichsten Führungs- und Steuerungsebenen. Die Schulleitungen spielen dabei eine Schlüsselrolle, weil sie das zentrale Steuerungsorgan der Schulen sind. Sie sind eine elementare Schnittstelle zu den Schulbehörden (z. B. Gemeinde- und Kantonsebene) sowie zu den Lehrpersonen, den Schülerinnen und Schülern, dem weiteren Schulpersonal und den Eltern. Damit kommt ihnen eine entscheidende Rolle bei der Schulentwicklung zu (Bonsen, 2010). Schulleitungen sind für viele Entscheidungsprozesse verantwortlich. «Das Spektrum an vielfältigen Aufgaben ist bei Schulleitenden … in den letzten Jahren stark gewachsen» (Baumann, 2021, S. 2). Damit die Schulleitung die Schulentwicklung in den Schulen gezielt steuern kann, braucht sie einen Überblick über die Ausgangssituation der Schule. Dazu ist die Methodik der Survey-Feedback-Prozesse weit verbreitet, die ihren Ursprung mit Kurt Lewin hat (Lewin, 1951). Darunter wird eine systematische Datensammlung über die Organisation verstanden, die anschliessend evaluiert wird und die Organisationsveränderungen indiziert (Weber & Wieners, 2018). Der Fokus der Methodik liegt dabei in der partizipativen Kommunikationsgestaltung sowie in der Rückkopplung und in der Diskussion der Ergebnisse mit allen Beteiligten, nach dem Motto Betroffene werden zu Beteiligten (Landwehr, 2012). Mit diesem durchdachten Feedbackprozess können Ergebnisse aus den Befragungen für Organisationsveränderungen genutzt werden (Dadaczynski, 2012). Ein umfassender und organisationsorientierter Blick auf Schule erfordert ein anderes Wissen, andere Kompetenzen und ein anderes Selbstverständnis von den an Schule beteiligten Personen .... In einer solchen erweiterten Sichtweise auf Schule müssen die verschiedensten Struktur-, Ergebnis- und Prozessfaktoren der Schule gleichermassen zum Gegenstand der Evaluation und Weiterentwicklung gemacht werden (Lindemann, 2017, S.18). Zu diesem Zweck gibt es bereits einige etablierte Evaluationstools, die zur Erfassung von Daten in bestimmten Themenbereichen eingesetzt werden. Zum Beispiel Seite 8/130 Rebecca Bannwart Einleitung Masterarbeit wird für die Erfassung des Gesundheitszustandes der Lehrpersonen im Projekt «Schule handelt» die Friendly-Work-Space-Job-Stress-Analysis genutzt (Schoch & Keller, 2017). Das Ergebnis der Evaluation sind Berichte, die dann der Schulleitung übergeben werden. Diese Berichte enthalten die Ergebnisse und bieten Anhaltspunkte für mögliche Interventionen. Sie werden von Experten, meist aus wissenschaftlichen oder beraterischen Kreisen, erstellt und zur Verfügung gestellt. Die Berichte sind jedoch nicht immer so aufbereitet und gestaltet, dass sie den Fähigkeiten und den Kompetenzen der Endnutzenden und der Betroffenen, d. h. den Schulleitungen entsprechen. Die Interpretation dieser Berichte bildet die Voraussetzung für die Ableitung von nachhaltigen Interventionen und Schulentwicklungsprojekten. Bereits im Jahr 1979 sagte der Mathematiker Möhr, dass die Ergebnispräsentation für die weitere Bearbeitung der Daten für Benutzende von entscheidendem Einfluss ist (Koller, Reichertz & Überla, 1979). Eine adressatengerechte Datenpräsentation ist einerseits ausschlaggebend, weil die Lehrerinnen und Lehrer, die an der Befragung teilgenommen haben, ein Recht über die Auswertungsdaten haben. Diese Information stellt sicher, dass das Engagement der Beteiligten auch bei der Ableitung und der Umsetzung von Massnahmen aufrechterhalten werden kann. Andererseits ist eine benutzerorientierte Datenpräsentation elementar, damit die Teilnehmenden und die Führungsverantwortlichen die Daten sachlogisch verstehen und dadurch eine nutzbringende Analyse vornehmen können, die die Basis für die Ableitung von Massnahmen bildet. Döring und Bortz (2016) zeigen in ihrem Grundlagebuch «Forschungsmethoden und Evaluation» die Notwendigkeit der sogenannten intersubjektiven Nachvollziehbarkeit als ein wesentliches Kriterium der Ergebnispräsentation auf. Als intersubjektive Nachvollziehbarkeit wird das individuelle Verstehen und das Erfassen eines wissenschaftlich gewonnenen Wissens bezeichnet. Das bedeutet, dass die Daten in transparenter Weise aufbereitet werden, damit sie für die verschiedenen Personengruppen rekonstruierbar werden (Medien-Wiki, 2018). Inwieweit Evaluationsberichte adressatengerecht aufbereitet sind, kann aufgrund fehlender Forschung nicht beantwortet werden. Des Weiteren ist unklar, wie sich die Berichtsgestaltung auf eine wirksame und effektive Interventionsableitung auswirkt. Dies offenbart eine Lücke in der Forschung. Seite 9/130 Rebecca Bannwart Einleitung Masterarbeit Die Lücke kann mit Abbildung 1 veranschaulicht werden, die einen geschlossenen Kreislauf von Schulentwicklungsthemen zur aktiven Steuerung über Interventionen darstellt. Es gibt viele Themen, die durch Schulentwicklung angesprochen werden, ebenso wie verschiedene Methoden der Datenerhebung und - analyse. Wenig erforscht ist der hellgrau schattierte Teil des Kreises. Die rote Linie zeigt, dass der Kreis unterbrochen wird, wenn die Themen nach einer Erhebung und Analyse nicht verstanden und angegangen werden. Abbildung 1. Forschungslücke (eigene Darstellung, 2021) Die Praxis sieht sich dementsprechend mit der Problematik leserfreundlicher Berichte herausgefordert. Die Pädagogische Hochschule Schwyz hat bereits mehrere Studien durchgeführt und darauf aufbauend Berichte erstellt. Beispielsweise untersuchten Sandmeier, Gubler und Herzog (2018) hinsichtlich der Lehrpersonenfluktuation die berufliche Mobilität innerhalb und ausserhalb des Lehrpersonenberufs. Mit dem weiteren Projekt «Der Wert beruflicher Weiterbildung» wurden betriebliche Weiterbildungen evaluiert und an die Praxispartner zurückgespiegelt (Martin & Nadia, 2017). Wiederholt sahen sich die Forscherinnen und Forscher damit konfrontiert, dass die Praxispartner (Schulleitungen, Lehrpersonen etc.) die Berichte nicht ohne Hilfe verstanden haben und deshalb keine weiteren Schritte Seite 10/130 Rebecca Bannwart Einleitung Masterarbeit ableiten konnten. Dementsprechend müssen sich Evaluationsberichte an den Verstehenskompetenzen der Schulleitungen ausrichten, damit sie nützlich und wirksam sein können. 1.1 Beschreibung und Ausgangslage des Projektpartners PHSZ Die Pädagogische Hochschule Schwyz (PHSZ) liegt mit ihrem Standort Goldau im Kanton Schwyz. Gegründet wurde diese im Jahr 2004 als Teilschule der pädagogischen Hochschule Zentralschweiz und im Jahr 2013 wurde sie als eigenständige Hochschule dem Kanton Schwyz übergeben (PHSZ, 2020). Silvio Herzog, Rektor der PHSZ, führt ca. 120 Mitarbeitende, die wiederum ca. 350 Studierende ausbilden. Die Leistungsaufträge der PHSZ liegen dabei in der Ausbildung von angehenden Lehrpersonen, in der Weiterbildung, in der Forschung und der Entwicklung von pädagogischem Wissen sowie in den Dienstleistungen zur Optimierung von Bildungsprozessen (PHSZ, 2020). Hier sieht sich die PHSZ verpflichtet, die obenstehende Thematik aufzugreifen und ihren Leistungsauftrag wahrzunehmen. Als sie die Ergebnisse der WahLis-Studie «Was hält Lehrer in der Schule?» im Jahr 2018 in der Form von Berichten an die Schulleitungen zurückgab, damit diese weitere Schritte oder praktische Massnahmen ergreifen konnten, fiel auf, wie wenig die Ergebnisse zu Interventionen führten. Die PHSZ fragte sich, woran das liegen könnte. Um eine Antwort auf die von der PHSZ aufgeworfene Frage geben zu können, beschäftigt sich die Autorin in der vorliegenden Arbeit mit dem Thema. 1.2 Zielsetzung und Fragestellung Bei der Erstellung von Evaluationsberichten definieren die Deutsche und die Schweizerische Gesellschaft für Evaluation Standards, die für externe Evaluationen als massgebend angesehen werden (DeGEval, 2016; SEVAL, 2016). Diese Standards verdeutlichen das Spannungsfeld, in dem sich Evaluationen bewegen. Sie müssen genügend Informationen erheben, um eine angemessene Antwort auf die Fragestellung zu liefern. Der Aufwand muss in einem vertretbaren Rahmen zum angestrebten Nutzen der Evaluation stehen. Zugleich müssen die Erhebungsmethoden und die Datenquellen so gewählt werden, dass die Zuverlässigkeit und die Validität der erhaltenen Daten den Gütekriterien der Wissenschaft genügen. Dabei handelt es sich um einen Spagat Seite 11/130 Rebecca Bannwart Einleitung Masterarbeit zwischen Wissenschaftlichkeit und Praktikabilität. Dieses Dilemma zu untersuchen und Kriterien zu ermitteln, die für die Weiterentwicklung der Berichte genutzt werden können oder die notwendig sind, führt zur ersten Frage, die den Istzustand der Berichte aus der Perspektive der Experten und Expertinnen erfasst. 1. Worauf achten wissenschaftliche Einrichtungen beim Erstellen von Evaluationsberichten, die die Schulentwicklung unterstützen? Damit die Schulleitung mit Evaluationsberichten arbeiten kann, muss sie die Berichte zunächst verstehen und deren Inhalt erfassen können. Andererseits muss die Schulleitung auch motiviert sein, auf der Grundlage der Ergebnisse Veränderungen einzuleiten. Daher ist es notwendig, zu untersuchen, was die Schulleitung versteht und inwieweit sie mit den Berichten zufrieden ist. Die zweite Fragestellung gibt Auskunft darüber, wie der Istzustand der Schulleitung wahrgenommen wird und welche Wünsche an den Sollzustand gerichtet sind. 2. Wie zufrieden sind die Schulleitungen mit den Evaluationsberichten? Das Ziel eines Evaluationsberichts ist, dass die Ergebnisse zu einem Lern- und Veränderungsprozess führen. Die Ergebnisse sollten genutzt werden, um einen Schulentwicklungsprozess anzustossen, um die Schulqualität zu verbessern, Kosten zu reduzieren und gesündere und zufriedenere Lehrpersonen zu haben. Dem ist die dritte Fragestellung nachgegangen: 3. Inwiefern helfen Evaluationsberichte in der Ableitung von Massnahmen? Darüber hinaus muss ein Evaluationsbericht wirksam sein. Zu diesem Zweck sollten für zukünftige Berichte aus den Ergebnissen der obigen Fragen Erkenntnisse gezogen werden, damit die Berichte weiterentwickelt werden können. In der vierten Fragestellung wird damit dem Sollzustand des Berichts nachgegangen. 4. Wie können Berichte weiterentwickelt werden, damit die Schulleitungen damit arbeiten können? Seite 12/130 Rebecca Bannwart Einleitung Masterarbeit Letztendlich hängt die Schulentwicklung nicht allein von einem Evaluationsbericht ab. Weitere Faktoren können die Ableitung von Massnahmen aus Ergebnissen beeinflussen. Die fünfte Frage liefert Aspekte, die bei der Schulentwicklung zu berücksichtigen sind. 5. Was ist aus der Perspektive der Schulleitung neben dem Bericht noch wesentlich, damit Interventionen abgeleitet werden können? Forschungsgegenstand Der Forschungsgegenstand basiert einerseits auf einer Reproduktion von erfahrungsbasiertem semantischem Wissen (Helfferich, 2011), welches in einem Interview retrospektiv erfragt wird. Andererseits werden sowohl implizite als auch explizite Erkenntnisse durch die Interpretation der Berichte gewonnen. In der Arbeit stellt dies die Analyse der Gestaltung und der Interpretationen der Berichte dar. 1.3 Aufbau der Arbeit Im ersten Abschnitt der Arbeit wird die theoretische Grundlage (Kapitel 2) für die empirische Untersuchung geschaffen. Relevante Schlüsselbegriffe werden zunächst definiert, gefolgt von der Darstellung des Wirkungsmodells Schulentwicklung nach Reezigt und Creemers (2005), des Health-Action-Process-Approach-Modells (Schwarzer, 1992) und des Technik-Akzeptanz-Modells (Davis, 1989). Das methodische Vorgehen (Kapitel 3) im empirischen Teil erläutert die Dokumentenanalyse und das qualitative Vorgehen bei den Experteninterviews und den Leitfadeninterviews. Der Hauptteil der Arbeit besteht aus der Besprechung der Ergebnisse und deren Interpretation (Kapitel 4). Daran schliesst sich die Diskussion der Ergebnisse und die Beantwortung der Forschungsfragen an. Ebenso wird auf die praktischen und die theoretischen Implikationen eingegangen. Abschliessend erfolgt der Rückblick mit der kritischen Würdigung der Arbeit (Kapitel 5). 1.4 Abgrenzung des Themas Der Fokus dieser Arbeit liegt auf den Evaluationsberichten. Es gibt neben diesen Berichten noch andere Einflussfaktoren auf die Schulentwicklung, diese werden aber Seite 13/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit aus Gründen der Quantität nicht berücksichtigt. Ebenso ist das inhaltliche Thema, das in den Berichten evaluiert wird, irrelevant. In der Arbeit wird davon ausgegangen, dass unabhängig vom Thema die Struktur und die Gestaltung der Berichte ähnlich aufgebaut sein müssen. Das Thema spielt erst in zweiter Linie eine Rolle. Die Schulentwicklung ist auf der inhaltlichen Ebene gut erforscht, jedoch weniger auf der prozessualen Ebene in Bezug auf das Verfassen von Berichten. Die Fragestellungen werden explorativ erforscht; eine quantitative Aussage und ein Vergleich sind nicht möglich. 2 Theoretischer Rahmen Im folgenden Kapitel werden die zentralen Konzepte dieser Arbeit dargestellt. Die Einbettung der Fragestellung in die zu diskutierende Theorie bildet den Einstieg in das Kapitel. Zum vertieften Verständnis der Rahmenbedingungen von Evaluationsberichten werden verschiedene Aspekte der Schulentwicklung über den Zugang von Survey-Feedback-Prozessen, die Organisationsentwicklung über Führungspersonen und die Wirkmodelle der Schulentwicklung beleuchtet. Weiter wird auf den Begriff ‹Evaluation› kurz eingegangen. Dem folgen die theoretischen Grundlagen mit ausführlichen Darstellungen des Health-Action-Process-Approach- Modells (HAPA) und des Technik-Akzeptanz-Modells (TAM). 2.1 Einbettung der Fragestellung in die Theorie Die erste Fragestellungen die nach den Rahmenbedingungen der Erstellung und Gestaltung der Berichte fragt, lässt sich mit der Theorie dem Schulentwicklungswirkmodell von Reezigt und Creemers (2005) und dem Feedback Survey von Lewin (1951) ableiten. Die zweite, dritte und vierte Fragestellung bezieht sich auf die Zufriedenheit, Unterstützungswirkung und mögliche Weiterentwicklung der Berichte. Hierfür werden die Modelle HAPA von Schwarzer (1992) und TAM von Davis (1989) herangezogen. Für die letzte und fünfte Fragestellung wird wieder auf das Wirkmodell von Reezigt und Creemers (2005) zurückgegriffen. Die folgende Tabelle 1 fasst den Zusammenhang zwischen den Fragestellungen und Theorien anschaulich zusammen. Seite 14/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit Tabelle 1 Einbettung Fragestellung in Theorie (eigene Darstellung, 2021) Fragestellung Theorie Begründung 1. Worauf achten wissenschaftliche Schulentwicklung/Wirkmodell Das Wirkmodell Schulentwicklung und auch der theoretische Einrichtungen beim Erstellen von von Reezigt und Creemers, Ansatz Feedback Survey erklären, warum Evaluationen notwendig Evaluationsberichten, die die 2005 sind. Daraus lassen sich Rahmenbedingungen aus der Theorie Schulentwicklung unterstützen? ableiten, die bei der Evaluation eine Rolle spielen. Die erste Frage Feedback Survey (Lewin, gibt Aufschluss darüber, ob diese Rahmenbedingungen der Praxis 1951) entsprechen. 2. Wie zufrieden sind die Schulleitungen mit TAM (Davis, 1989) Die Zufriedenheit der Schulleitungen gegenüber den Berichten den Evaluationsberichten? hängt von der Akzeptanz des Berichts ab. Das TAM-Modell geht davon aus, dass, wenn die Berichte als nützlich und benutzerfreundlich wahrgenommen werden, sie auch einen tatsächlichen Nutzen zeigen. 3. Inwiefern helfen Evaluationsberichte in der HAPA (Schwarzer, 1992) Nach dem HAPA-Modell ist das gezeigte Verhalten von der Ableitung von Massnahmen? Motivation abhängig. Für die Ableitung von Massnahmen braucht die Schulleitung Motivation, damit sie ein Entwicklungsprozess einleitet. 4. Wie können Berichte weiterentwickelt HAPA (Schwarzer, 1992) Wenn der Bericht akzeptiert (TAM) und verstanden wird, motiviert werden, damit die Schulleitungen damit und TAM (Davis, 1989) (HAPA) dies die Schulleitung, die wiederum Massnahmen zur arbeiten können? Entwicklung ableitet. Daher müssen die ersten beiden genannten Faktoren vorhanden sein. 5. Was ist aus der Perspektive der Schulleitung Schulentwicklung/Wirkmodell Der Bericht ist ein Teil der Schulentwicklung, aber diese ist viel neben dem Bericht noch wesentlich, damit von Reezigt und Creemers, umfassender. Diese anderen Faktoren müssen ebenfalls Interventionen abgeleitet werden können? 2005 berücksichtigt werden, um den Kontext und den möglichen Einfluss, den ein Bericht haben kann, zu verstehen und auch abgrenzen zu können. Seite 15/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit 2.2 Schulentwicklung Schulentwicklung wird als eine bewusste und systematische Weiterentwicklung von Schulen zur Qualitätssicherung verstanden. Qualität bezieht sich hierbei auf die Personal-, Unterrichts- und Organisationsentwicklung. Diese drei Entwicklungsebenen sind nach Rolff die zentralen Elemente des Schulentwicklungsprozesses (Burow et al., 2020; Rolff, 2016). Strategische, strukturelle und kulturelle Bedingungen können als Qualitätsfaktoren erklärt werden (Rolff, 2016). Strategische Bedingungen beziehen sich auf die Zielerreichung und die konzeptionelle Ausrichtung einer Schule. Mit anderen Worten beantworten sie folgende Frage: Wie können die höchstmöglichen Schüler- und Schülerinnenergebnisse erreicht werden? Struktur beschreibt die Organisationsform, in der die Ziele erreicht werden können: wie die Lehrpersonen arbeiten, wie sie miteinander kooperieren und wie Führung erlebt wird. Kultur bezieht sich auf Normen und Werte, die in der Organisation gelebt werden: Welche Art von Lern- und Schulkultur wird gelebt? Schulentwicklung kann nachhaltig über Organisationsentwicklung erfolgen (Pelikan, 2007). Grundsätzlich wird Organisationsentwicklung als eine Veränderung bestehender Prozesse verstanden. Einerseits geht es um die Verbesserung der Ergebnisse, der Leistungen und der Entwicklung der Schüler und Schülerinnen. Auf der anderen Seite betrifft es die Entwicklung der Schule als Arbeitgeber und Arbeitgeberin, das Verhalten der Lehrpersonen und deren Zufriedenheit (Husfeldt, 2011). Derzeit gibt es nur wenige Wirkungsmodelle im Schulkontext; eines davon ist das von Reezigt und Creemers (2005). Das ‹Effective school improvement (ESI)›- Rahmenmodell enthält fünf Entwicklungsschritte und erläutert einen Idealfall einer Schulentwicklung (siehe Abbildung 2). Die fünf Entwicklungsschritte werden wie folgt beschrieben. (1) In Evaluationen ist der erste Prozessschritt der Diagnose besonders relevant, da hier das Problemverständnis im Vordergrund steht. (2) Ebenso ist die Definition von Kriterien nötig, die der Überprüfung der Ziele dienen. Das heisst, anhand der Kriterien kann ein Vergleich von Ist- und Sollzustand vorgenommen werden. (3) Dies wiederum bietet die Chance zur Verbesserung. (4) Erst dann kann eine Massnahme geplant und durchgeführt werden. (5) Anschliessend muss die Erreichung der Ziele anhand der definierten Kriterien überprüft werden. Dieser Schritt führt in der Regel zu einer erneuten Evaluation (Reezigt & Creemers, 2005). Seite 16/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit Entwicklungswirksamkeit tritt ein, wenn die Qualität der Schule, der Lehrpersonen und der Schüler- und Schülerinnenleistung steigt (Husfeldt, 2011). Weiter wird der Entwicklungsprozess von zwei zentralen Faktoren beeinflusst, den internen und den externen Bedingungen. Die internen Bedingungen beziehen sich auf die Entwicklungskultur, den Entwicklungsprozess und die Entwicklungsergebnisse. Entwicklungskultur befasst sich mit der Verbesserungskultur, also dem Ausmass, in dem eine Schule nach Verbesserung und Fortschritt strebt. Entwicklungsprozess beschreibt die Dynamik von Schulen, das heisst, ob Verbesserung als laufender Prozess und Teil des täglichen Lebens gesehen wird. Entwicklungsergebnisse werden als Verbesserungsbemühungen mit klar definierten und realistischen Zielen verstanden. Zu den äusseren Bedingungen zählen Entwicklungsdruck, Ressourcen und Ziele. Externe Einflüsse wie der Markt, die Beratungspersonen oder gesellschaftliche Anforderungen werden als Druck bezeichnet. Dieser kann einen positiven oder negativen Einfluss auf den Entwicklungsprozess haben. Grundsätzlich ist bekannt, dass Schulen einen gewissen äusseren Druck benötigen, um mit den Verbesserungen zu beginnen (Dadaczynski, 2012). Damit Schulentwicklung stattfinden kann, werden die notwendigen Ressourcen benötigt. Die Ressourcen können materieller oder menschlicher Natur sein. Dies ist zu beachten, da es in einem gegebenen Kontext immer eine Ressourcenbeschränkung gibt. Mit Zielen ist die Einordnung der Entwicklungen in übergeordnete Ziele gemeint, wie sie beispielsweise von den Kantonen gesetzt werden (Bildungsziele). Die Zuordnung zu übergeordneten Zielen soll einen Orientierungsrahmen bieten (Reezigt & Creemers, 2005). Abbildung 2. Wirkmodell Schulentwicklung (in Anlehnung an Reezigt & Creemers, 2005) Seite 17/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit Bevor jedoch eine Entwicklung stattfinden kann, ist ein Verständnis für die Bedürfnisse und/oder Probleme einer Schule erforderlich. Wie erläutert steht am Anfang der fünf Prozessschritte die Festlegung der Problemdefinition und die Formulierung eines oder mehrerer Ziele. Diese können aus den zuerst durchgeführten Evaluationen und deren Berichten abgeleitet werden (siehe Kapitel 2.1.1). Am Modell wird jedoch kritisiert, dass es eine sehr oberflächliche Erklärung der Wirkmechanismen vornimmt und somit keine konkreten Beschreibungen der Wirkmechanismen sowie der genauen Aktivitäten in den einzelnen Phasen liefern kann (Husfeldt, 2011). Dennoch erklärt das Modell nachvollziehbar die Phasen und ihre Anforderungen für einen erfolgreichen Entwicklungsprozess. Als Voraussetzung aller Phasen bedarf es der Koordination des Entwicklungsprozesses. Im Fall der Schule ist die Schulleitung dafür geeignet. Das Management spielt eine zentrale Rolle im Veränderungsprozess; es entscheidet, ob und wie der Organisationsentwicklungsprozess ablaufen wird. Eine Führungskraft hat wesentliche Entscheidungsbefugnisse und damit einen grossen Einfluss auf die Organisationsentwicklung. Zusammenfassend lässt sich also sagen, dass die Intention des Managements eine Voraussetzung für organisatorische Veränderungen ist. Die Führung sorgt dafür, dass sich etwas bewegt (Bauer, 2011). Wird die Schulentwicklung als Organisationsentwicklung betrachtet, braucht sie die Schulleitung, die sie vorantreibt und sich dafür engagiert. Die Qualität der Veränderung steht in engem Zusammenhang mit der Qualität der Führung (siehe Kapitel 2.1.3 Rolle Schulleitungen) (Pundt & Nerdinger, 2012). 2.2.1 Survey-Feedback-Prozesse Dem dynamischen Prozess der Schulentwicklung wird heute vor allem mit dem Feedback-Verfahren begegnet. Der Ursprung dieses Konzepts geht viele Jahre zurück, als Lewin (1951) sein Phasenmodell zur Einstellungsänderung entwarf. Lewin spricht von drei Phasen, die in Veränderungsprozessen durchlaufen werden müssen: (1) Auftauen, (2) Verändern und (3) Einfrieren bzw. Festigen. Die Idee des Survey- Feedback-Prozesses basiert deshalb auf Lewins Phasenmodell, weil er die Problematik der Rückkopplung von Daten an die Befragten bei der Entwicklung des Modells entdeckte. Er stellte fest, dass Veränderungsprozesse nur dann stattfinden, wenn ein Seite 18/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit möglichst umfassendes Verständnis vorhanden ist. Er bemerkte auch, dass Wissenschaft nicht nur den Menschen verändern soll, sondern ihn vor allem befähigen soll, Veränderungen anzugehen und zu verstehen (Lewin, 1951). Daraus entstand die Idee einer demokratischen Entwicklung (Göhlich & Weber, 2011). Beim Survey- Feedback-Prozess werden die gewonnenen Ergebnisse einer Analyse an die Basis im Unternehmen zurückgeführt. Mit diesem Feedback soll ein partizipatives Verhalten ausgelöst werden. Betroffene werden zu Beteiligten, indem sie die Entwicklung der Organisation aktiv mitgestalten (Weber, 2014; Weber & Wieners, 2018). Gemeinsam werden Ideen und Ziele für Lösungsvorschläge zu den durch die Analyse definierten Problemen erarbeitet (Friedlander & Brown, 1974). Damit wird schliesslich ein organisatorischer Lernprozess angestossen, der nachhaltig wirkt (Stockmann, 2006; Weber & Wieners, 2018). 2.2.2 Evaluation Der Survey-Feedback-Prozess ist eine Art der Evaluation. Evaluation wird als eine Methodik verstanden, die darauf abzielt, einen aktuellen Istzustand mit einem zukünftigen Sollzustand anhand definierter Kriterien zu vergleichen (beispielsweise Schul-/Unterrichtsqualität) (Landwehr, 2011; Widmer, Beywl & Fabian, 2009). Laut Rolff (2016) gibt es «…keine Maßnahme ohne vorherige Diagnose.» (S. 15). Dabei können unterschiedliche Intentionen im Schulkontext im Fokus stehen. Das Wirkungsmodell nach Landwehr (2011) enthält folgende vier Dimensionen: (1) Wissensgewinnung, (2) Rechenschaftslegung, (3) Schulentwicklung und (4) Normendurchsetzung. Unter Wissensgewinnung werden datenbasierte Erkenntnisse verstanden, die die Schule widerspiegeln und die Schwierigkeiten, aber auch Potenziale aufzeigen. Ebenso dient die Datenbasis als Qualitätsnachweis bzw. Rechenschaftslegung gegenüber dem politischen Auftrag einer Schule an den Kanton. Das erkannte Potenzial kann sachlich dargestellt werden und daraus können Entwicklungsschlüsse (Schulentwicklung) gezogen werden. Nicht zuletzt kann damit auch die Umsetzung geltender Standards überprüft werden (Normendurchsetzung). Das Wirkungsmodell geht davon aus, dass für eine gute Schulevaluation eine Kombination und Interaktion aller vier Dimensionen notwendig ist. Seite 19/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit Evaluationen können sowohl intern als auch extern stattfinden. Externe Evaluationen sind solche, die von externen Personen/Instituten durchgeführt und beaufsichtigt werden. Beispielsweise können dies kantonale Vorgaben, die Teilnahme an einer Forschungsstudie oder eine selbst in Auftrag gegebene Befragung zu einem bestimmten Thema sein (Baumann, 2021; Husfeldt, 2011; Kanton Luzern, 2020; Widmer et al., 2009). Die externen Personen/Institutionen sind meist Experten und Expertenorganisationen. Experten zeichnen sich dadurch aus, dass sie über spezifisches und tiefergehendes Fachwissen in einem bestimmten Themenbereich verfügen als andere Personen (Dadaczynski, 2012; Fischer, 2016; Meuser & Nagel, 2009). Als Vorteile externer Evaluationen werden das stark standardisierte Verfahren, das Expertenwissen, die externe Perspektive, die eingebracht wird, und die Neutralität angegeben. Expertise hat eine überzeugende Wirkung auf Betroffene und kann bis zu Einstellungsänderung führen (Petty & Cacioppo, 1986) Andererseits werden Unsicherheit, passives/defensives Verhalten seitens der Schule und geringere Akzeptanz als Nachteile gesehen. Für interne Evaluationen sprechen eine höhere Beteiligung und Akzeptanz, eine effizientere Durchführung und Auswertung und eine höhere Erfüllung der Entwicklungsfunktion. Auch hier erschweren fehlende Kompetenzen, höherer Aufwand, geringe Standardisierung, fehlende Routine und Voreingenommenheit sowie «Window Dressing1» den Prozess (Gärtner, 2013). Nach den Standards für Evaluationen von Deutschland (DeGEval, 2016) und der Schweiz (SEVAL, 2016) haben Evaluationsberichte die notwendigen Angaben über Kontext, Gegenstand, Ziele, Verfahren, Ergebnisse und deren Interpretation zu enthalten. Ebenso muss die Sprache adressatengerecht und verständlich sein. Die verwendeten Begrifflichkeiten müssen definiert und einheitlich verwendet werden. Für Evaluationsberichte gibt es keine Best-Practice-Richtlinie, da diese durch unterschiedliche Faktoren wie Ziele, Rollen, Kontexte sehr abweichend zu gestalten sind. Klar ist jedoch Folgendes: «…[U]m von Nutzen zu sein, muss eine Evaluation verstanden werden» (eXe, 2008, S. 1). 1 Bilanzkosmetik; Unternehmen nach aussen besser darstellen, um für ein ansprechenderes Bild zu sorgen; «Fenster dekorieren» (Wirtschaftslexikon, 2018). Seite 20/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit Als Orientierung für die Gestaltung verständlicher Berichte ist es sinnvoll, die Gestaltungsgesetze von Max Wertheimer aufzugreifen. Wertheimer definiert das Gesetzt der Nähe, der Ähnlichkeit, der Prägnanz, der durchgehenden Linie, der Geschlossenheit und des gemeinsamen Schicksals (King & Wertheimer, 2017; Wertheimer, 1938, 2020). Das Gesetz der Nähe beschreibt, dass nähere Objekte als zusammengehörig betrachtet werden, ebenso wie ähnlich aussehende Objekte (Gesetz der Ähnlichkeit). Prägnanz beschreibt die Einfachheit eines Objekts, je prägnanter ein Objekt wahrgenommen wird, desto eingängiger ist es. Das Gesetz der durchgezogenen Linie erklärt, dass zwei gezeichnete Linien als gerade und nicht mit einem Knick wahrgenommen werden. Zudem erläutert das Gesetzt der Geschlossenheit die Tatsache, dass geschlossene Objekte einfacher wahrgenommen werden. Und das letzte Gesetz des gemeinsamen Schicksals bezieht sich auf die wahrgenommene Richtung, in die sich eine Linie bewegt. Alle Gesetze gehen davon aus, dass sich Menschen an einfachen und stabilen Formen und Mustern orientieren. Dementsprechend sollten diese Gesetze bei der Gestaltung der Berichte berücksichtigt werden. 2.2.3 Rolle Schulleitungen Im schulischen Umfeld hat die Schulleitung die Führungsrolle. Sie ist damit auch für ihre Mitarbeitenden, die Lehrpersonen, verantwortlich. Wie bereits im Kapitel zur Schulentwicklung (siehe Kapitel 2.1) beschrieben, wird der Schulleitung eine zentrale Rolle im Veränderungsprozess zugewiesen. Sie muss Schulentwicklung als Teil der täglichen Arbeit sehen und nicht als zusätzliche Aufgabe. Dabei kann auch von einem Führungsstil gesprochen werden, der von der Schulleitung gelebt werden sollte. Es hat sich gezeigt, dass eine wertschätzende Führung ein Schlüsselfaktor für die Entwicklung guter Schulen ist (Burow, 2014, 2016; Burow et al., 2020). Als wertschätzende Führung wird die Haltung der Führungskraft beschrieben, die durch Vertrauen, Respekt, Toleranz und Nähe gekennzeichnet ist (Bothe, 2020). Eine Voraussetzung für diesen Führungsstil ist die Motivation und das Engagement der Schulleitung. Daraus ergibt sich eine entwicklungsorientierte Führung. Die Entwicklung der Motivation auf der Verhaltensebene der Schulleitung wird im folgenden Kapitel 2.2 anhand des HAPA- Modells erklärt. Seite 21/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit 2.3 HAPA-Modell Das Health-Action-Process-Approach-Modell von Schwarzer (1992, 1999, 2016) ist ein sozial kognitives Prozessmodell, welches es ermöglicht, das Verhalten zu erklären und vorherzusagen. Zentral sind die beiden Prozesse (a) der präintentionalen Motivation und (b) der postintentionalen Volition (siehe Abbildung 3). Um von einem Prozess in den anderen zu gelangen, bedarf es seines Abschlusses und einer ausreichenden Selbstwirksamkeitserwartung auf dieser Ebene (Schwarzer, 2016). Das Modell umfasst die Intentionsbildung bis hin zur konkreten Umsetzung der Intention in Handlungspläne. Abbildung 3. HAPA-Modell (in Anlehnung an Schwarzer, 1992) (a) Der präintentionale Motivationsprozess erklärt, dass das gezeigte Verhalten von Menschen zeitlich sehr stabil ist und langfristige Verhaltensänderungen nur schwer zu erreichen sind. Die Motivation stellt sich als Voraussetzung für eine Intention dar, die wiederum ein Verhalten zeigt. Somit ist eine stark ausgeprägte Motivation nötig, um dauerhafte Veränderungsprozesse im Verhalten zu erzielen. Der Motivationsprozess lässt sich in drei Aspekte unterteilen: (1) Risikowahrnehmung, (2) (Handlungs- )Ergebniserwartung und (3) der Selbstwirksamkeit (Schwarzer, 1992). Die subjektive Einschätzung über eine Situation und deren Auswirkungen wird als Risikowahrnehmung Seite 22/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit definiert. Dort stellt sich die Frage, was passiert, wenn Verhalten X weiter gezeigt wird. Dabei wird versucht, die Zusammenhänge zwischen Verhalten und Output aufzuzeigen. Im Schulkontext bedeutet dies, dass die Schulleitung erkennt, wo in ihrer Schule Handlungsbedarf besteht. Wenn der im Bericht vermittelte Handlungsbedarf verstanden wird, müssen sich die Schulleitungen bewusst sein, dass, wenn jetzt keine Interventionen geplant werden, die Wahrscheinlichkeit von ernsthaften Problemen innerhalb ihrer Schule hoch ist. Aus dem Evaluationsbericht könnte zum Beispiel abgeleitet werden, dass der Stresspegel zu hoch ist, wenn die Arbeit wie gewohnt weitergeht, und dies zu Krankheitsausfällen bei den Lehrpersonen führt. Als (Handlungs-)Ergebniserwartung wird das Erkennen von Verhaltensalternativen und deren Konsequenzen verstanden. Typische Aussagen dazu sind, ‹wenn…dann›. Für die Schulleitung heisst das, dass die Vorteile die Nachteile überwiegen, wenn sie jetzt aktiv wird. Schulleitungen könnten zum Beispiel ein wöchentlicher Gedankenaustausch zum Wohlbefinden ansetzen, damit sie einen besseren Überblick über die Arbeitsbelastung ihrer Mitarbeitenden haben. Zu guter Letzt wird die Selbstwirksamkeitserwartung als Grundstein des motivationalen Prozesses genannt. Die Selbstwirksamkeit ist, wie Bandura (1997) erläutert, der Glaube, aus eigener Kraft und mit seinen Kompetenzen schwierige oder unbekannte Situationen bewältigen zu können. Dazu gehört auch, sich Ziele zu setzen und diese zu verfolgen. Für die Schulleitung bedeutet dies, dass sie das Vertrauen in sich hat, etwas bewegen zu können. Sie braucht die Zuversicht, um mit ihren eigenen Aktionen etwas initiieren und erreichen zu können. Die Selbstwirksamkeitserwartung ist ein essenzieller Faktor in der Verhaltensänderung. Sind diese drei Aspekte (Risikowahrnehmung, [Handlungs- ]Ergebniserwartung und Selbstwirksamkeit) im Motivationsprozess gegeben, führt dies zu einer Intention. Die Absicht/Intention der Schulleitung ist es, die Ergebnisse der Berichte zu nutzen, um notwendige Veränderungen einzuleiten. Je höher die Intention ist, desto eher zeigt sich ein Verhalten. Jedoch kann die Intention 70–80 % des Verhaltens nicht erklären (Wiedemann, 2019). (b) Hierbei kommt der postintentionale Volitionsprozess ins Spiel. Dieser hilft bei der Realisierung von langfristigen Verhaltensänderungen dabei, dass die Intention auch umgesetzt wird. Er beeinflusst die Zielauswahl und -setzung. Für dauerhafte Verhaltensänderungen sind folgende drei aufeinander aufbauenden Phasen relevant: Seite 23/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit die Präaktionale, die Aktionale und die Postaktionale Phase (Schwarzer, 1992). (1) Der erste ist die präaktionale Phase, die die Planung eines Ziels übernimmt und somit vorbereitend wirkt. Die als Ziel formulierte Intention wird konkretisiert (Handlungsplanung) und Ausführungsintentionen (Bewältigungsplanung) werden gebildet. Die Ausführungsintentionen dienen der Vorbereitung auf Situationen, die wahrscheinlich eintreten werden, im Sinne von: ‹Wenn Situation X eintritt, wird die Handlung Y durchgeführt›. Die Selbstwirksamkeitserwartung der Bewältigung unterstützt die Fähigkeit, sich selbst in der Lage zu sehen, den Rahmen der Intention sowie die entsprechenden Ressourcen zu kennen und einschätzen zu können. Zum Beispiel kann der geplante wöchentliche Austausch zum Wohlbefinden bei einem gemütlichen Kaffee im Pausenraum stattfinden, und zwar am Mittwochnachmittag, wenn kein Unterricht angesetzt ist. Auf diese Weise findet dennoch ein kurzer Austausch statt, auch wenn die Lehrpersonen sehr beschäftigt sind. Dazu muss die Schulleitung jedoch das Programm der Mitarbeitenden kennen und einschätzen können, wann, wie und wo dieser Austausch am realistischsten geplant werden kann. Die Ressourcen müssen realistisch eingeschätzt und eingesetzt werden. (2) Die aktionale Phase setzt das Ziel in ein konkretes Handeln um und (3) in der postaktionalen Phase wird die Handlung bewertet. Wird eine Handlung positiv bewertet und als eigene Leistung empfunden, stärkt dies wiederum die Selbstwirksamkeit im Motivationsprozess. Die Selbstwirksamkeitserwartung der Wiederaufnahme ist ein wesentlicher Aspekt, der durch den Grad der Anstrengung und der Beharrlichkeit gekennzeichnet ist. Setzt die Schulleitung die Intervention des wöchentlichen Austausches um, muss dieser evaluiert werden. Zeigt die Intervention Erfolg, wird sich die Schulleitung motiviert fühlen. Falls Schwierigkeiten auftreten, müssen die alternativen Handlungsoptionen konsultiert und wiederaufgenommen werden. Die Planung solcher alternativen Handlungsoptionen wird im Modell jedoch nicht ausreichend berücksichtigt. Die Kritik, die am HAPA-Modell geübt werden kann, besteht darin, dass es keine kontinuierliche Planung von Massnahmen oder alternativen Bewältigungsstrategien vorsieht (Lippke & Renneberg, 2006). Dies wäre ein wichtiges Element zur Stärkung der Selbstwirksamkeit. Im ersten präintentionalen Motivationsprozess wird das Erkennen von Verhaltensalternativen angesprochen. Im zweiten Teil der postintentionalen Volitionsphase fehlt jedoch der Schritt, das gewählte Seite 24/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit Verhalten zu überprüfen und ggf. ein alternatives Verhalten entsprechend auszuwählen. Dieser Punkt muss bei der Anwendung der Fragestellung dieser Arbeit beachtet werden. Das bedeutet, dass die Selbstwirksamkeit der Schulleitung in der volitionalen Phase gestärkt werden kann, in dem sie ihre Alternativen, die in der ersten Phase eruiert wurden, heranziehen kann und somit handlungsfähig bleibt. Darüber hinaus gelingt es dem Modell nicht ausreichend, implizite Prozesse und Handlungen zu berücksichtigen. Menschliches Verhalten wird nicht nur durch bewusste Schritte gesteuert, sondern vor allem die unbewussten Prozesse müssen erst erklärt werden. Diese Kritik ist berechtigt, hat aber nur wenig Einfluss auf diese Arbeit, da die Diskussion auf der expliziten Einstellungs- und Verhaltensebene der Schulleitungen stattfindet (Borland, 2015; Chiu, Lynch, Chan & Rose, 2012). Die Arbeit erfasst, welche Einstellung und welches Verständnis Schulleitungen gegenüber Evaluationsberichten haben und wie sie sich bei der Ableitung von Interventionen verhalten. Dabei wird das bewusste Handeln und Verhalten der Schulleitung untersucht und berücksichtigt. Implizite und unbewusste Prozesse sind nicht Teil dieser Arbeit. 2.4 Technologie-Akzeptanz-Modell (TAM) Neben dem motivationalen Aspekt spielt auch die Akzeptanz des Berichts eine zentrale Rolle. Dafür eignet sich das Technologie-Akzeptanz-Modell (TAM) von Davis (1989) als Erklärung. Es gilt als eines der am häufigsten verwendeten Modelle für die Akzeptanz von Technologie (Classen, 2012; Fazel, 2014; Davis, Granić & Marangunić, im Druck). Für diese Arbeit wird der Evaluierungsbericht metaphorisch als eine Technologie betrachtet. Davis (1989) erklärt, dass die Intention und die Nutzung von Technik zusammenhängen. Wie im HAPA-Modell wird auch hier die Intention als ein bedeutsamer Prädiktor für das gezeigte Verhalten genannt. Die Intention hängt von zwei kognitiven Einflussfaktoren ab, (1) der wahrgenommenen Nützlichkeit und (2) der Benutzerfreundlichkeit (siehe Abbildung 4). Dabei wird auch ein Wirkungszusammenhang zwischen der wahrgenommenen Nützlichkeit und der Benutzerfreundlichkeit im Modell erklärt (Venkatesh & Davis, 2000). Ausserdem werden die genannten kognitiven Faktoren von externen Variablen beeinflusst. Dies sind individuelle (z. B. Kompetenzen), kontextuelle (z. B. Freiwilligkeit) und systemische (z. B. Funktionsweisen) Faktoren (Venkatesh & Davis, 2000). Seite 25/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit Abbildung 4. Technologie Akzeptanz Model (eigene Darstellung nach Davis, 1989) (1) Die wahrgenommene Nützlichkeit wird als effektiver Nutzen erklärt, inwieweit die Verwendung einer Technologie einen Mehrwert erbringt (z. B. verbesserte Arbeitsleistung): Wie sehr hilft der Einsatz dieser Technik? In Bezug auf den Evaluationsbericht kann die Frage gestellt werden, welchen Nutzen der Bericht der Schulleitung bringen kann. (2) Unter der Benutzerfreundlichkeit wird die subjektive Einschätzung der Leichtigkeit der Benutzung verstanden: Wie einfach oder schwierig ist es, die Technik ohne Anstrengung zu benutzen (Davis, 1989) beziehungsweise wie nachvollziehbar und verständlich ist der Bericht? Je benutzerfreundlicher etwas wahrgenommen wird, desto eher wird es akzeptiert (Venkatesh & Davis, 2000). Die beiden kognitiven Faktoren (Benutzerfreundlichkeit und Akzeptanz) bilden eine Einstellung gegenüber der Technologie. Die Einstellung wiederum beeinflusst die Intentionsbildung und die damit verbundene Absicht bei der tatsächlichen Nutzung. Für Schulleitungen bedeutet dies, dass ihre Einstellung von dem wahrgenommenen Nutzen abhängt, den der Bericht für sie aufweist, und von der Leichtigkeit, mit der sie den Bericht lesen und verstehen können. Wenn diese Umstände vorliegen, wird der Bericht mit grösserer Wahrscheinlichkeit als nützlich empfunden und es können daraus Interventionen abgeleitet werden. Selbst wenn die Einstellung gegenüber der Technik bzw. dem Bericht negativ ist, kann mit einer hohen wahrgenommenen Nützlichkeit der tatsächliche Nutzen erhöht werden (Venkatesh & Davis, 1996; Classen, 2012). Die Schulleitung mag dem Evaluierungsbericht kritisch gegenüberstehen, sieht aber möglicherweise einen potenziellen Nutzen in der Verbesserung der aktuellen Seite 26/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit Arbeitssituation und erhöht dadurch den tatsächlichen Nutzen, der sich daraus ergibt. Zusätzlich wird die wahrgenommene Benutzerfreundlichkeit auch als Grund der wahrgenommenen Nützlichkeit charakterisiert (Davis, 1989). Wenn etwas einfach zu handhaben und leicht zu verstehen ist, erhöht dies auch den erkennbaren Nutzen. Trotz des hohen Ansehens des Modells wird seine Einfachheit kritisiert (Classen, 2012). Das Modell kann die Komplexität des Themas nicht allein auf die beiden Einflussfaktoren herunterbrechen (Adams, Nelson & Todd, 1992; Bagozzi, 2007; Benbasat & Barki, 2007). Ebenfalls bemängeln Davis, Bagozzi und Warshaw (1992), dass das Modell nicht explizit auf die Zielbildung und -verfolgung ausgelegt ist. Aus der Perspektive dieser Arbeit ist es jedoch ein einfaches und nützliches Modell, um den Aspekt der Akzeptanz durch die Schulleitung im Hinblick auf die Evaluationsberichte abzuleiten. Gerade die Einfachheit und die Reduktion der Komplexität machen es klar und logisch, die eigenen Sachverhalte zu verorten. Was die Zielformulierung betrifft, so kompensiert das HAPA-Modell diesen Aspekt. 2.5 Fazit Theorie Die Gestaltung von verständlichen, praxiswirksamen Evaluationsberichten im Schulsetting wird in die Schulentwicklung eingebettet. Die Schulentwicklung wird zum einen vom zentralen Player Schulleitung vorangetrieben. Zum anderen nehmen weitere Player Einfluss auf die Gestaltung, wie die Lehrpersonen, die Schulbehörde und politische Faktoren, die jedoch nicht Teil dieser Fragestellung und Arbeit sind (siehe Kapitel 1.4). Die optimale Umsetzung der Schulentwicklung zeigt das Rahmenmodell von Reezigt und Creemers (2005) auf. Die ersten zwei der fünf Entwicklungsschritte, die im Rahmenmodell erklärt werden, beziehen sich auf die Vereinbarung der Problemdefinition und auf die Formulierung eines oder mehrerer Ziele. Dabei kann die Annahme getroffen werden, dass diese Schritte eine optimale Verständlichkeit und Gestaltung des Evaluationsberichts bedingen. Nach Schwarzers HAPA-Modell (1999) gibt es drei Voraussetzungen für die Indikation eines bestimmten Verhaltens: (1) Selbstwirksamkeitserwartung, (2) Ergebniserwartung und (3) Risikowahrnehmung. Ersteres lässt sich durch die Frage Traue ich mir das zu? erklären. Diese Frage stellt sich die Schulleitung, wenn sie einen Seite 27/130 Rebecca Bannwart Theoretischer Rahmen Masterarbeit Evaluationsbericht mit den Ergebnissen der Analyse der eigenen Schule erhält. Die Tatsache, dass Schulleitungen aus den Ergebnissen Massnahmen planen, erfordert ein hohes Mass an Selbstwirksamkeit, das erreicht werden kann, wenn sie die Berichte und ihre Inhalte verstehen. Selbstwirksamkeit gibt der Schulleitung ausreichend Vertrauen in ihr Handeln und stärkt so ihr Verhalten. Dies löst auch eine Motivation aus, sich mit den Ergebnissen auseinanderzusetzen, wenn ein Verständnis für die Risiken und möglichen Folgen der indizierten Interventionen vorhanden ist. Zu diesem Zweck muss der Evaluationsbericht jedoch so gestaltet sein, dass er verstanden wird. Wie die Inhalte des Berichts vermittelt werden, kann zum einen durch die gewählte Sprache und durch den Aufbau des Evaluationsberichts gesteuert werden, zum anderen mit der Akzeptanz des Berichts. Das Modell der technischen Akzeptanz (TAM) geht davon aus, dass die Absicht, eine Technik (hier den Bericht) zu nutzen, von zwei Überzeugungen bestimmt wird: die wahrgenommene Nützlichkeit und die wahrgenommene Benutzerfreundlichkeit (Venkatesh & Davis, 1996). Mit der wahrgenommenen Nützlichkeit wird die Einschätzung bezüglich des Nutzens zur Erledigung der Arbeitsaufgaben – im Kontext dieser Arbeit die Verständlichkeit der Ergebnisse, um eine Intervention zu planen – verstanden. Die Benutzerfreundlichkeit bezieht sich auf die wahrgenommene Einfachheit der Benutzbarkeit. Beide Faktoren beeinflussen die Einstellung gegenüber der Nutzung und somit die tatsächliche Nutzung. Wie Abbildung 5 darstellt, kann unter Berücksichtigung dieser beiden theoretischen Annahmen ein Bericht möglichst nachvollziehbar gestaltet werden, an die Kompetenzen der Schulleitungen anknüpfen und so ihre Selbstwirksamkeit stärken. Nach dem HAPA-Modell führt dies wiederum zum Handeln, in diesem Fall zur Planung von entwicklungsorientierten Interventionen aus den in der Analyse erhobenen Daten. Abbildung 5. Theoretische Einbettung (eigene Darstellung, 2020) Seite 28/130 Rebecca Bannwart Methodik Masterarbeit 3 Methodik In diesem Kapitel wird das Forschungsdesign erläutert, das dieser Arbeit zugrunde liegt und schildert, wie die Forschungsfragen dieser Arbeit beantwortet werden. Im folgenden Abschnitt werden die Methoden der Dokumentenanalyse, des leitfragengestützten Experteninterviews und des offenen Leitfadeninterviews sowie der Datenanalyse näher beschrieben. Im Rahmen der Masterarbeit wurden folgende Methodikschritte angegangen. Der Zugang zum Thema wurde über eine Literaturrecherche gefunden. Mit der Dokumentenanalyse konnten ableitend Kriterien für die Leitfaden der Interviews definiert werden. Die zentrale Datenerhebung fand über Experten- und Leitlinieninterviews statt. Abbildung 6. Ablauf Methodik (eigene Darstellung, 2020) 3.1 Forschungsdesign Die Forschungsstrategie der vorliegenden Arbeit verwendet einen zirkulären Forschungsprozess. Zirkulär bedeutet, dass die Forschungsfrage im Mittelpunkt des Forschungsprozesses steht und Auswirkungen auf jeden Schritt hat (Flick, 2016). Als übergeordneter Ansatz (Meta-Methodologie) wird das Design der explorativen Fallstudie nach Yin (2003) gewählt. Das Design geht von einer ergebnisoffenen Analyse der Daten aus. Nur der Kontext der Fallstudie ist klar definiert, hier der der Schule. Es handelt sich um einen linearen, aber dennoch iterativen Prozess. Ein iterativer Prozess wird beschrieben als ein Schritt, der auf den anderen folgt, wobei die Ergebnisse des vorherigen Schritts in den neuen Schritt einfliessen. Unter linear ist zu verstehen, dass Seite 29/130 Rebecca Bannwart Methodik Masterarbeit die Schritte nacheinander erfolgen (siehe Abbildung 6). Gerade bei einer so grossen Datenmenge wie der Fallanalyse ist dieser iterative Prozess ein Vorteil, da die neuen Erkenntnisse in die weitere Befragung einfliessen können und somit bereits eine erste Analyse der Daten bringen (Flyvbjerg, 2006). Dies ist einer der Gründe für die hier gewählte Fallstudie. Die Forschungsfragen stehen dabei immer im Mittelpunkt, eingebettet in den aktuellen themenbezogenen Forschungstand, was nach Yin (2009) zu einer hohen externen Validität führt. Die Forschungsfrage sucht nach aktuellen Zeitgeschehnissen mit dem Fokus auf das Wie und/oder Warum (Yin, 2009). Mit dieser Form der Fragestellung kann ein tieferer Eindruck vom Fall gewonnen werden. Somit kann ein ganzheitliches Bild entstehen. Dies ist damit ein weiterer Grund für die Auswahl der Fallstudie. Fallstudien eignen sich besonders gut, um Wirkmechanismen nachzuvollziehen, Interdependenzen aufzudecken und diese zu erklären (Yin, 2003). Die vorliegende Fallstudie konzentriert sich auf den Wirkungsmechanismus von Evaluationsberichten im Setting Schule und auf die unterschiedlichen Verständnisse der Berichte durch die beteiligten Personen. Die Berichte im Zentrum werden aus verschiedenen Perspektiven betrachtet. Daher kann vom spezifischen Forschungsdesign der multiplen Fallstudie gesprochen werden (Yin, 2003). Ein Fall wird aus verschiedenen Perspektiven mit unterschiedlichen Methoden untersucht. Durch die unterschiedlichen Datenquellen ergibt sich ein transparenteres, nachvollziehbareres und substantielleres Ergebnis zur Beantwortung der Forschungsfrage (Gehrmann, 2001). Dies wird auch durch eine höhere Konstruktvalidität durch die Verwendung von vielseitigen Datenquellen unterstützt (Yin, 2003). Die Datenquellen dieser Fallstudie sind Dokumente, Experteninterviews und Leitfadeninterviews von verschiedenen Stichproben mit mehreren Personen (siehe Kapitel 3.3.2 und 3.4.1). Diese Methoden sind besonders gut geeignet, um subjektive Einstellungen zum Verständnis und zur Gestaltung von Evaluationsberichten zu erfassen. Tabelle 2 gibt einen Überblick über das Forschungsdesign. Die methodischen Zugänge, die zur Beantwortung der jeweiligen Fragestellungen verwendet werden, sind in den Zielsetzungen erläutert. Die aus den oben genannten Methoden gewonnenen Daten werden transparent dargestellt und nachvollziehbar dokumentiert, sodass eine hohe Reliabilität nach Yin (2009) gewährleistet ist (siehe Kapitel 3.5). Seite 30/130 Rebecca Bannwart Methodik Masterarbeit Tabelle 2 Forschungsdesign (eigene Darstellung, 2020) Forschungsdesign Fallanalyse Methode Dokumentenanalyse Experteninterview Leitfadeninterview Ziel • Orientierung im Feld • Fachexpertise/- • (subjektive) • Kriterien für Leitfäden wissen einholen Sichtweisen und festlegen • Fragestellung 1, 4 Relevanzen abholen • Fragestellung 1 und 4 und 5 beantworten • Fragestellung 2 bis beantworten 5 beantworten Auswertung inhaltsstrukturierende inhaltlich strukturierende qualitative Dokumentenanalyse nach Inhaltsanalyse nach Kuckartz (2016a) Mayring (2007) Sampling Qualitative Datensätze 7 Experten 12 Schulleitungen ARGVS IQES-Hilfsmittel 3.1.1 Gütekriterien Die qualitative Forschung bedient folgende sechs Gütekriterien nach Mayring (2000): (1) die Verfahrensdokumentation, (2) die argumentative Interpretationsabsicherung, (3) die Nähe zum Gegenstand, (4) die Regelgeleitetheit, (5) die kommunikative Validierung und (6) die Triangulation. 1. Die Verfahrensdokumentation ist durch eine verständliche Beschreibung des Forschungsprozesses im Kapitel 3 Methodik gewährleistet. Damit der Prozess für Dritte nachvollziehbar ist, wird die Vorgehensweise klar dokumentiert und Schritt für Schritt erklärt. 2. Die Interpretation der Daten erfolgt erst nach einer klaren, neutralen Beschreibung der Ergebnisse. Die Interpretation wird nachvollziehbar mit Theorie und Quellen begründet und folgt einer klaren Argumentationskette. Dies macht die Ausführungen für Dritte überprüfbar. 3. Die Nähe zum Gegenstand wird mit dem Leitfragebogen gewährleistet, da die Fragen immer nahe am Forschungsgegenstand gestellt werden. Auch wird sie dadurch gesichtet, dass zwischen der Forschenden und den Befragten ein offenes Seite 31/130 Rebecca Bannwart Methodik Masterarbeit und transparentes Verhältnis gepflegt wurde. Darüber hinaus wird das Kriterium unterstützt, weil der Grossteil der Befragungen vor Ort im Umfeld der Befragten stattfand. 4. Die Regelgeleitetheit besteht durch das systematische Vorgehen der Inhaltsanalyse nach Kuckartz (2016). Die Auswertung erfolgte mit einem Kategoriensystem, das eine regelgeleitete Analyse ermöglicht und dennoch genügend Offenheit für Anpassungen der Regeln zulässt. Anpassungen werden klar dokumentiert. 5. Die kommunikative Validierung findet nur teilweise während der Interviews mit gezielten Rückfragen zum Gesagten statt. Eine systematische und aktive Einbindung der Befragten in die Diskussion der Ergebnisse findet aufgrund des Zeitaufwands nicht statt. 6. Durch die Verwendung vielseitiger Datenquellen und einer breit abgestützten Theorie ist die Triangulation der Forschungsfrage gewährleistet. Die klassischen drei Gütekriterien Objektivität, Validität und Reliabilität werden in dieser Arbeit nur bedingt in den Fokus gerückt. Die Objektivität in der Masterarbeit ist nur ansatzweise gewährleistet. Mit Hilfe des Leitfadens konnten die Interviews nach den gleichen Themen strukturiert werden und mit dem Kategoriensystem liessen sie sich die Ergebnisse anhand der festgelegten Kriterien auswerten, ohne Raum für persönliche Empfindungen zu lassen. Andererseits war es aus Zeit- und Ressourcenmangel nicht möglich, einen Aussenstehenden als neutrale Perspektive bei der Auswertung und Interpretation einzubeziehen. Im Gegensatz zur quantitativen Forschung sind die Validität und Reliabilität in der qualitativen Forschung nach Kirk und Miller (1986) nicht sinnvoll und umsetzbar, denn die Stabilität und die identische Wiederholung von erzählten narrativen Inhalten ist nicht möglich oder erwünscht, da sie den Eindruck einer erfundenen Version erweckt. Ebenso ist die Validität nicht umsetzbar, da die Standardisierung der Erhebungs- oder Auswertungssituation die eigentliche Stärke der Methodik aufhebt. Seite 32/130 Rebecca Bannwart Methodik Masterarbeit Abschliessend kann gesagt werden, dass fünf von sechs Gütekriterien nach Mayring (2000) erfüllt werden. Die kommunikative Validierung sowie die Objektivität zeigt Schwachstellen und ist daher nicht vollständig gewährleistet. 3.2 Dokumentenanalyse Die Dokumentenanalyse ist ein sozialwissenschaftliches Verfahren zur Datengewinnung (Schmidt, 2017). Sie basiert auf genuinen bzw. natürlichen Dokumenten, die bereits existieren (Döring & Bortz, 2016b). Dabei wird diese Methodik oft als Vorabanalyse eingesetzt, um sich ein Bild vom Forschungsfeld zu machen. Die Vorteile liegen in der Vermeidung von äusseren Einflüssen und Störungen wie der der sozialen Erwünschtheit. Daher wird die Methodik auch als nichtreaktiv2 bezeichnet. Ebenso ermöglicht die Methodik einen anderen Zugang zu Informationen, die zum Teil über Interviews oder Beobachtungen nicht zugänglich wären (Schmidt, 2017). Prior (2008) unterscheidet vier Forschungsansätze in der Dokumentenanalyse. Der erste Ansatz konzentriert sich nur auf den textuellen Inhalt, der zweite darauf, wie der Dokumenteninhalt erstellt wird. Der dritte betrachtet, wie die Dokumente verwendet werden und der vierte, wie die Dokumente funktionieren und wirken. Der Fokus liegt hier auf der klassischen Analyse des eigentlichen textuellen Inhalts, also auf dem ersten Ansatz. Mittels einer inhaltsstrukturierenden Dokumentenanalyse werden die Hilfsmittel IQES für die Schulleitungsausbildung und die bestehenden Berichte und Dokumente des ARGEV-Netzwerkes nach Mayring (2007) analysiert. Grundsteine der Analyse sind (1) die Festlegung von Zielen, die mit dieser Analyse erreicht werden sollen, (2) klare Regeln, wie die Analyse abläuft, (3) definierte Kategorien, die zur Auswertung beitragen, und (4) hohe Gütekriterien, die einen Vergleich mit anderen Dokumenten ermöglichen (Mayring, 2000). Ziel der Dokumentenanalyse ist es, eine Orientierung im Feld zu gewinnen und Kriterien für die Leitfäden der Experteninterviews und der Leitfadeninterviews abzuleiten. Dafür werden schrittweise induktiv Kategorien abgeleitet. Die Kategorien werden mit dem Durcharbeiten des Materials immer wieder angepasst und auch umformuliert. Dokumenteninhalte werden paraphrasiert und 2 Mess- und Untersuchungsverfahren, die nicht durch den Untersucher, die Untersuchungssituation oder den Untersuchten verfälscht werden können (naturalistische Methode) (Häcker, 2019). Seite 33/130 Rebecca Bannwart Methodik Masterarbeit fokussieren sich dadurch nur noch auf inhaltsgenerierende Textstellen. Diese Textstellen werden vereinheitlicht und auf ein aussagekräftiges Minimum reduziert (Mayring, 2010). Darüber hinaus helfen die Ergebnisse aus dieser Dokumentenanalyse bei der Beantwortung der ersten und vierten Fragestellung, Worauf achten wissenschaftliche Einrichtungen beim Erstellen von Evaluationsberichten, die die Schulentwicklung unterstützen? und Wie können Berichte weiterentwickelt werden, damit die Schulleitungen damit arbeiten können?. 3.2.1 Durchführung und Datenauswertung – Aufbereitung Die Analyse des ARGEV-Datensatzes zielt darauf ab, die Themen zu identifizieren, die in den Interviews mit den Experten angesprochen werden müssen, sowie auf das Erkennen der zukünftigen Kriterien zur Berichtserstellung. Dafür wurden in der Analyse induktiv Kategorien abgeleitet. Dadurch wurde sichergestellt, dass die Daten so offen und unvoreingenommen wie möglich sind. Folgende sechs Kategorien haben sich aus der Analyse gebildet: Berichtlänge, Berichtart, Inhaltliche Struktur, Sprache, Verständlichkeit und Argumente. Dafür wurde zunächst der qualitative ARGEV-Datensatz mit Umfrageergebnissen aus dem Jahr 2012 zum Thema Ergebnisdarstellung/Evaluationsberichterstattung durchgelesen. Es wurden Auffälligkeiten notiert und Textpassagen wurden paraphrasiert. Anschliessend wurden die Ergebnisse in Stichworten zusammengefasst (siehe Anhang A). Bereits hier wurden unbedeutende Inhalte weggelassen. Die Stichworte wurden dann nach inhaltlichen Gemeinsamkeiten sortiert und gebündelt. Die Inhalte der Gruppen wurden definiert und betitelt. Schliesslich wurden doppelte Inhalte gelöscht. Zum Schluss wurden die Stichworte zum besseren Verständnis in einen Fliesstext umformuliert. Mit den Dokumenten von IQES, Anleitung Ergebnisbericht lesen und bearbeiten und Tipps für die Interpretation und Verarbeitung von Evaluationsergebnissen, sind Hilfsmittel der Schulleitungen geprüft worden. Bei den IQES-Dokumenten wurden bestehende Werkzeuge berücksichtigt, die den Schulleitungen für Evaluationen zur Verfügung stehen. Die beiden IQES-Dokumente wurden durchgelesen und die signifikantesten Erkenntnisse wurden nach den drei Kategorien Adressaten, Art des Berichts und Funktion des Berichts zusammengefasst. Seite 34/130 Rebecca Bannwart Methodik Masterarbeit Aufgrund des gewählten iterativen Vorgehens wurden die folgenden Ergebnisse der Analyse in den Leitfaden für die Interviews mit den Experten und den Schulleitungen eingearbeitet. Die beiden Leitfäden orientierten sich an den in Tabelle 3 aufgeführten Erkenntnissen (siehe Kapitel 3.3.1). Zur besseren Lesbarkeit sind die detaillierteren Ergebnisse der Dokumentenanalyse in Kapitel 4.1 aufgeführt. Tabelle 3 Ergebnisse aus der Dokumentenanalyse (eigne Darstellung, 2021) Strukturelle • Berichtstruktur Berichtgestaltung • Berichtlänge Inhaltliche • Themenauswahl Berichtgestaltung • Anzahl der zu befragenden Themen • Verständliche Sprache (inkl. Verständlichkeit von statistischen Werten) Ergebnisse • Detailierungsgrad Ergebnisse • Ergebnisdarstellung und -präsentation • Weiterverarbeitung der Ergebnisse 3.3 Leitfadengestütztes Experteninterview Ein Experteninterview ist eine Interviewform, die spezifisches und differenziertes Wissen von Fachleuten sammelt, um eine Forschungsfrage zu beantworten. Nach Liebold und Trinczek (2009) ist das Experteninterview eine häufig eingesetzte Methodik. Dabei eignet sich die Interviewform zur Erkundung von Unbekanntem bzw. zur Erschliessung von komplexen Sachverhalten (Gläser & Laudel, 2010). Obwohl der Begriff des Experten nicht eindeutig definiert werden kann (Helfferich, 2011), besteht innerhalb der qualitativen Forschung Einigkeit darüber, dass es sich um eine Person handelt, von der angenommen wird, «dass sie über ein Wissen verfügt, das sie zwar nicht notwendigerweise alleine besitzt, das aber doch nicht jedermann in dem interessierenden Handlungsfeld zugänglich ist» (Meuser & Nagel, 2009, S. 467). Der Fokus liegt nicht auf der Person, sondern auf ihrer Expertise in einem bestimmten Bereich. Die Person wird als Vertretung einer bestimmten Gruppe definiert, die über spezifisches Wissen verfügt (Flick, 2016). Die Expertise wird subjektiv über das Interview abgefragt. In dieser Arbeit wird zur Strukturierung ein halbstandardisiertes Seite 35/130 Rebecca Bannwart Methodik Masterarbeit Leitfadeninterview verwendet. Der Leitfaden dient als Instrument, das Fragen und Erzählanregungen zur Orientierung bietet (siehe 3.3.1.) (Helfferich, 2011). Die halbstandardisierte Form ermöglicht neben einer orientierenden Struktur auch genügend Offenheit, um auf eingebrachte Themen von der Interviewperson einzugehen (Flick, 2016). Sie erhöht auch die Akzeptanz bei den Befragten, da sie nicht in ein vordefiniertes Antwortformat gezwungen werden (Helfferich, 2011). 3.3.1 Leitfadenerstellung Der Leitfaden für das Experteninterview wurde nach dem SPSS-Prinzip nach Helfferich (2011) erstellt. Der Leitfaden ist in Anhang B vorzufinden. Das SPSS-Prinzip hilft bei der Leitfadenerstellung und verfolgt die Maxime «so offen und flexibel wie möglich, so strukturiert wie aufgrund des Forschungsinteresse notwendig» (Helfferich, 2011, S.161). Zu Beginn steht das S für das Sammeln von Fragen. Dabei wurden Fragen, die im Hinblick auf die übergeordneten Forschungsfragen von Interesse sind, zusammengefasst. Die Frage «Welche Fragen erlauben es, Informationen zur Beantwortung der Forschungsfrage zu generieren?» wurde als Orientierung betrachtet. Hier flossen die Ergebnisse aus der Dokumentenanalyse mit in das Brainstorming ein (siehe Tabelle 3 in Kapitel 3.2). Die Fragen sind offen und generativ, um so viele Informationen wie möglich zu erhalten. Im nächsten Schritt, P, fand eine Prüfung statt. Die Fragen wurden auf Fakten, Eignung, implizite Erwartungen, Vorannahmen und Forschungsinteresse geprüft. Durch diese Überprüfung konnten Fragen, die für die Forschungsfrage nicht sinnvoll waren, eliminiert werden. In einem dritten Schritt, S, wurden die Fragen sortiert. Die Fragen wurden aufeinander aufbauend sortiert. Es entstanden die ersten Kategorien: Kriterien an Berichte, Struktur und Gestaltung der Berichte, Darstellung und Detailierungsgrad der Ergebnisse, Nutzen, Akzeptanz und Verhaltenseinflüsse. Das letzte S steht für subsumieren. In diesem Schritt wurden die Fragen nach den Theorien der Technologie-Akzeptanz (Davis, 1989) und dem HAPA-Modell (Schwarzer, 1992) geordnet. Als Ausgangspunkt für jede Gruppe wurde eine erzählgenerierende Frage gewählt, die nach besonders vielen interessanten Aspekten Seite 36/130 Rebecca Bannwart Methodik Masterarbeit fragen kann (Helfferich, 2011). Des Weiteren wurden Stichworte formuliert, die bei der Beantwortung der Frage unbedingt angesprochen werden sollten, sowie weitere Fragen, die zusätzlich zu der narrativen Aufforderung in gleicher Weise gestellt werden müssen, um eine möglichst hohe Validität zu erreichen. Diese Fragen werden an alle Befragten gleichermassen gestellt. Die letzte Art von Fragen dient der Aufrichtung und der Kontrolle. Nach diesem Vorgehen wurde der Interviewleitfaden entwickelt. 3.3.2 Sampling Die Stichprobe folgte einem stufenweisen Sampling und umfasst sechs Experten, die Evaluationsberichte erstellen. Nach jedem Interview wurde eine weitere Person auf Basis der Erkenntnisse des vorherigen Interviews ausgewählt, sodass die Stichprobe möglichst reich an neuen Erkenntnissen ist. Als Spektrum wurden Merkmale wie Geschlecht und Alter maximiert. Andererseits wird eine Minimierung in der Tätigkeit gefordert; die Person muss explizite Kenntnisse zum Thema Berichterstattung in ihrer Tätigkeit haben. Die Ausnahme war eine Expertenperson, die vertiefte Kenntnisse über die Ausbildung von CAS-Schulleitenden weitergeben konnte. Ebenso muss diese Person bereits mindestens fünf Jahre in diesem Tätigkeitsfeld gearbeitet haben (siehe Tabelle 4). Tabelle 4 Stichprobe Experteninterviews (eigene Darstellung, 2020) Informationen A3 B C D E F G Externe Tätigkeit Beratung Weiterbildung Externe Externe Evaluation Externe CAS Evaluation Evaluation Forschung Evaluation Forschung Berufsjahre im Tätigkeitsfeld 7 5 8 10 10 7 5 Geschlecht männlich männlich männlich männlich männlich weiblich männlich Dauer Interview 44 min 53 min 56 min 49 min 40 min 43 min 60 min 3Pretest Seite 37/130 Rebecca Bannwart Methodik Masterarbeit 3.3.3 Durchführung Zu Beginn der Interviewserie wurde ein Pretest durchgeführt, mit dem Ziel, den Leitfaden zu testen und anfällige Anpassungen vorzunehmen. Die Fragen im Leitfaden funktionierten und waren erzählgenerierend, weswegen sie nicht verändert wurden. Hingegen mussten die Einleitung und die Verortung der Forschungsfrage nochmals überarbeitet werden, da Interviewperson (A) keinen klaren Überblick bekommen konnte. Die befragte Person verfügte bereits über Expertenwissen und daher wurden die Ergebnisse des Interviews in die Ergebnisse einbezogen. Aufgrund der pandemischen Situation wurden die Interviews online über Zoom von Januar bis Februar 2021 durchgeführt. Die Interviewpersonen wurden im Vorfeld per E-Mail kontaktiert und informiert. Die Interviews dauerten zwischen 40 und 60 Minuten und wurden mit dem Einverständnis der Befragten für die weitere Auswertung aufgezeichnet. Den Interviewpersonen wurde zunächst ein kurzer Überblick über den Inhalt der Masterarbeit gegeben. Anschliessend wurden sie über die Anonymität und die Datenverarbeitung informiert. Gleichzeitig wurde eine Einverständniserklärung eingeholt, die dann per E-Mail unterschrieben wurde (Anhang C). Dann begann das eigentliche Interview. Zu Beginn wurden demographische Daten abgefragt und anschliessend wurden die inhaltlichen Fragen gestellt. Zum Schluss wurden die Befragten über das weitere Vorgehen informiert. 3.4 Leitfadeninterview Die inhaltsorientierten Leitfadeninterviews wurden parallel zu den Experteninterviews durchgeführt. Diese Interviewform ist auf Informationen ausgerichtet, die an klar definierte und abgegrenzte Fragethemen anknüpfen. Der Leitfaden erzeugt einen narrativen Raum, indem er das Thema zur Strukturierung vorgibt, während die Interviewperson innerhalb des Themas offen sein kann, um eigene Sichtweisen und Relevanzen einzubringen. Ziel ist es, nicht nach feststehendem Wissen zu fragen, sondern nach Erfahrungen und erworbenem Wissen. Dabei dient der Leitfaden auch der Vergleichbarkeit der erhobenen Daten, die wiederum bei der Weiterverarbeitung der Daten relevant ist (Helfferich, 2011; Liebig, Matiaske & Rosenbohm, 2017). Die Vorgehensweise bei der Erstellung des Leitfadens ist die Seite 38/130 Rebecca Bannwart Methodik Masterarbeit gleiche wie bei den Experteninterviews und wird der Einfachheit halber nicht noch einmal wiederholt. Der einzige Unterschied ist der dritte Schritt (Sortierung), bei dem die folgenden drei Kategorien abgeleitet wurden: Verständlichkeit, Strukturierung und Gestaltung der Berichte und Verhaltenseinflüsse. Der Leitfaden ist in Anhang B vorzufinden. 3.4.1 Sampling Die Stichprobe besteht aus zwölf Schulleitenden, die nach einem qualitativen Stichprobenplan ausgewählt wurden. Für die Stichprobenziehung wurde das folgende Spektrum festgelegt. Merkmale wie Alter und Geschlecht wurden maximiert, um eine möglichst vielfältige Stichprobe zu erhalten. Andererseits wurde das Merkmal des Standorts auf die Kantone Schwyz, Uri und Zug minimiert (siehe Tabelle 5). Tabelle 5 Stichprobenplan Leitfadeninterviews (eigene Darstellung, 2020) Informationen 01 02 03 04 05 06 07 08 09 10 11 12 Kanton Uri (UR) | Schwyz (SZ) | SZ ZG UR SZ SZ SZ SZ SZ SZ SZ SZ SZ Zug (ZG) Geschlecht m m m m w m m w w w m m männlich (m) | weiblich (w) Dauer Interview (min) 43 53 34 48 40 43 40 44 25 38 52 46 3.4.2 Durchführung Ursprünglich waren anstelle von Leitfadeninterviews Interviews mit der Methode des lauten Denkens geplant. Um die Logik des Vorgangs und die Funktionalität des Verfahrens zu testen, wurde ein Pretest mit einer Schulleitungsperson durchgeführt. Die Person verfügte über keine Erfahrungen zu Evaluationsberichten. Der Pretest erfolgte bei der Person zu Hause und dauerte ca. 1 ½ Stunden. Die Person wurde zunächst über die Testsituation und den Testgegenstand informiert. Im Anschluss daran wurde der eigentliche Test durchgeführt. Zu Beginn wurden die demographischen Daten Seite 39/130 Rebecca Bannwart Methodik Masterarbeit abgefragt, es wurden Informationen zum Ablauf gegeben, die Anonymität wurde erklärt und die Einwilligung wurde eingeholt. Daraufhin folgten die ersten inhaltlichen Fragen und danach die Aufgabe, den vorgelegten Bericht zu lesen und zu verstehen, mit der Aufforderung, alle Gedanken laut zu kommunizieren. Im Nachgang folgten vertiefende Fragen zu den angesprochenen Inhalten. Der Pretest zeigte, dass die Methode des lauten Denkens für diese Befragungssituation nicht geeignet war. Die Testperson wünschte sich einen umfassenderen Kontext zum Bericht und fühlte sich desorientiert. Dies lässt sich damit erklären, dass ein Evaluationsbericht kein gewöhnlicher Usability-Test ist, wie z. B. eine Homepage oder ein Tool, sondern eher ein Instrument, um in einen Dialog zu treten. Daher sind zusätzliche Informationen nötig, um ein solches Format der Methodik zu wählen. Der Pretest führte daher zu dem Ergebnis, dass ein Leitfadeninterview das geeignetere Format ist. Die Fragen, die am Ende zur Vertiefung der Diskussion vorgesehen waren, sind im Leitfaden zu Leitfragen geworden. Ebenfalls wurde eine Frage zum Thema der regelmässigen Evaluation ergänzt und die beiden folgenden Fragen (Nr. 4 und 5) wurden zu einer zusammengefasst: (4) In welchen Teilen haben Sie sich Neu: An welchen Stellen hätten Sie sich gewünscht, noch mehr Informationen zu mehr Informationen zum besseren erhalten? Verständnis gewünscht? (5) Was fehlt Ihnen, um die Informationen bestmöglich zu verstehen? Für die eigentlichen Interviews wurden die Interviewpersonen im Vorfeld per E- Mail kontaktiert und informiert. Zehn der zwölf Interviewtermine wurden unter der Einhaltung des dort geltenden Schutzkonzeptes vor Ort durchgeführt. Die beiden anderen erfolgten online über Zoom. Die Interviews fanden im Februar 2021 statt. Sie dauerten zwischen 25 und 50 Minuten und wurden mit dem Einverständnis der Befragten für die weitere Auswertung aufgezeichnet. Den Interviewpersonen wurde zunächst ein kurzer Überblick über den Inhalt der Masterarbeit gegeben. Anschliessend wurden sie über die Anonymität und die Datenverarbeitung informiert. Gleichzeitig Seite 40/130 Rebecca Bannwart Methodik Masterarbeit wurde eine Einverständniserklärung eingeholt und unterschrieben. Daraufhin begann das eigentliche Interview. Zu Beginn wurden die demographischen Daten abgefragt. Mit der ersten Leitfrage wurden die Befragten gebeten, sich an einen Bericht zu erinnern und laut zu sagen, was ihnen dazu einfällt. Es wurde kein Bericht wie im Pretest vorgelegt, sondern ein eigener und selbstgewählter herangezogen. Dabei wurde zwischen drei Arten von Berichten unterschieden. Typ A umfasst Berichte aus wissenschaftlichen Studien, Typ B Berichte zu spezifischen evaluierten Themen (z. B. Gesundheit, Zufriedenheit, Schulsozialarbeit etc.) und Typ C Berichte zu kantonalen Schulevaluationen (siehe Kapitel 2.1.2). Am Ende kamen in allen Interviews immer alle drei Typen zur Sprache. Anschliessend wurden die weiteren Leitfragen zum Verständnis des Berichts gestellt. Abschliessend wurden die Befragten über das weitere Vorgehen informiert. 3.5 Inhaltlich strukturierende qualitative Inhaltsanalyse Bei der Auswertung von sowohl den Experteninterviews als auch den Leitfadeninterviews wurde nach der inhaltlich strukturierenden Inhaltsanalyse nach Kuckartz (2016) mit dem Tool MAXQDA transkribiert. Das Transkript gibt möglichst exakt die Sprachdaten verschriftlicht wieder. Es erfolgte eine Wort-für-Wort- Transkription nach den Regeln von Kuckartz (2016) (siehe Anhang D). Die Sprache wurde an einigen Stellen geglättet, sodass ein angenehmer Lesefluss entsteht. Schweizerdeutsche Interviews wurden ins Hochdeutsche übersetzt und grammatisch angepasst. Alle Daten wurden anonymisiert, sodass keine Rückschlüsse auf einzelne Personen möglich sind. Jeder Sprechbeitrag wurde in einem eigenen Absatz mit einem Buchstaben versehen, M für Moderatorin und P für Interviewperson. Anschliessend erfolgte eine inhaltlich strukturierende Inhaltsanalyse nach Kuckartz (2010, 2016) (siehe Abbildung 7). Für die Experteninterviews wurde diese Analyse immer nach jedem Interview durchgeführt, um mit den ersten Erkenntnissen die weiteren Interviewpersonen zu akquirieren, da diese einem stufenweisen Sampling folgten. Die Interviews mit den Schulleitungen erfolgten im selben Zeitrahmen. Zu Beginn in der initiierenden Textarbeit wurde das Material oberflächlich durchgearbeitet und bedeutende Punkte wurden an der jeweiligen Stelle markiert bzw. mit einem Memo festgehalten. Als zweiter Schritt wurde das gesamte Material nach den Hauptkategorien Seite 41/130 Rebecca Bannwart Methodik Masterarbeit (HK) codiert. Die HK wurden aus dem Interviewleitfaden abgeleitet. Während des Codierens ergaben sich induktiv neue HK aus dem Material. Diese wurden kurz festgehalten, in einem Memo definiert und codiert. Dann folgte die Differenzierung. Aus den HK wurden induktiv Subkategorien (SK) gebildet und diese wurden im Kategoriensystem definiert. Die Textpassagen wurden wieder mit den SK codiert. Es gab 817 codierte Textstellen. Im Anschluss daran erfolgte die kategorienbasierte Auswertung. Abbildung 7. Ablauf einer inhaltlich strukturierenden qualitativen Inhaltsanalyse in sieben Phasen (in Anlehnung an Kuckartz, 2016) Wie bereits oben angesprochen, wurde aus dem Leitfaden und der Theorie sowie induktiv aus den Ergebnissen das Kategoriensystem erstellt. Die Kategorien wurden in sechs HK mit bis zu vier SK unterteilt. Die jeweiligen Definitionen der endgültigen Kategorien befinden sich im Kategoriensystem in Anhang E. Die HK wurden in (1) Gestaltung, (2) Nutzen, (3) Kompetenzen, (4) Akzeptanz, (5) Interventionen und (6) Begleitung/Selbstwirksamkeit unterteilt. Die Gestaltung (1) bezieht sich auf Kriterien in Bezug auf die Struktur und den Inhalt sowie auf zukünftige Anforderungen und das Berichtsformat. Dies sind modifizierbare/anpassbare Elemente, die die Benutzerfreundlichkeit beeinflussen. Für die Nützlichkeit (2) wird der Zweck des Berichts erfasst. Darüber hinaus werden die Fähigkeiten, die eine Schulleitung haben muss, um einen Bericht zu verstehen, als Kompetenzen (3) codiert. Alle Einflussfaktoren, die zur Zustimmung zum Bericht beitragen, sind unter Akzeptanz (4) Seite 42/130 Rebecca Bannwart Methodik Masterarbeit gruppiert. Als HK (5) Interventionen werden die Einflussfaktoren bezeichnet, die sich auf die Ableitung einer Intervention auswirken, sowie die Vorgehensweise bei der Ableitung. Schliesslich wird unter Begleitung und Selbstwirksamkeit (6) der Beratungsbedarf bzw. das Ausmass an Selbsterklärung eines Berichts codiert. Die kategorienbasierte Auswertung erfolgte im MAXQDA mit dem Code-Matrix- Browser (CMB). Der CMB zeigt die vorgenommenen Codierungen über den ausgewählten Dokumenten an. Die Anzahl der Segmente bzw. der codierten Stellen wird auch quantitativ auf einen Blick dargestellt. Bei den ausgewählten Dokumenten handelte es sich um die Sets der Stichprobe der Experten und die der Schulleitungen. Zunächst wurde innerhalb der Stichprobe der Schulleitungen zwischen drei Typen A, B oder C von Berichten unterschieden (siehe Kapitel 3.4.2.) Die Analyse ergab eine Vielzahl von Überschneidungen und keine wesentlichen Unterschiede. Entsprechend wurde für die weitere Analyse keine weitere Differenzierung vorgenommen, um Wiederholungen und Doppelspurigkeit zu vermeiden. Mithilfe der kategorienbasierten Auswertung ist es dennoch möglich, individuelle Unterschiede in den drei Typen hinsichtlich der Kategorien zu identifizieren, ohne dass eine separate Analyse nötig war. Der CMB zeigt in den Spalten die ausgewählten Sets und in den Zeilen die Codes (siehe Abbildung 8). Die Felder zeigen zum einen mit der Zahl an, wie viele Textstellen im jeweiligen Set mit dem Code codiert wurden. Zum anderen unterstreichen die Farben die quantitativen Grössen. Je dunkler die Farbe ist, desto höher ist die Anzahl der codierten Stellen. Die Kategorien lassen dadurch eine quantitative Zählung der Kategorienhäufigkeit in bestimmten Textsegmenten zu. Dies wurde für einen Überblick über die Inhalte und für einen analytischen Blick über die Gemeinsamkeiten bzw. Unterschiedlichkeiten der Daten genutzt. Seite 43/130 Rebecca Bannwart Methodik Masterarbeit Abbildung 8. Ausschnitt CMB als Headmap mit Zahlen (eigene Darstellung, 2021) Durch Klicken in eines der Felder wird die Liste der codierten Segmente geöffnet. Für jeden Code wurde diese Liste als Excel-Datei exportiert. Die Matrix der Liste enthält pro Zeile eine codierte Textpassage mit der jeweiligen Quelle des Interviews. Jede dieser Passagen wurde paraphrasiert und zusammengefasst. Die Zusammenfassungen wurden nach den fünf Hauptfragen (siehe Kapitel 1.2) sortiert. Dazu wurde jeder der Codes vorab einer der fünf Fragen zugeordnet, wobei in einigen Fällen Codes mehrfach pro Frage verwendet wurden. Schliesslich gab es fünf Excel-Dateien, eine für jede Frage. Innerhalb jeder Excel-Datei gab es pro Code eine Arbeitsmappe mit den Zusammenfassungen. Die Codes in der Arbeitsmappe wurden noch weiter verdichtet, sodass es nur noch eine Zusammenfassung pro Code gab. Die folgende Abbildung 9 zeigt ein Beispiel der Zusammenfassungen. Seite 44/130 Rebecca Bannwart Methodik Masterarbeit Abbildung 9. Zusammenfassung pro Code (eigene Darstellung, 2021) Die Zusammenfassung der Codes wurde schlussendlich pro Fragestellungen zusammengefügt und deskriptiv beschrieben. Seite 45/130 Rebecca Bannwart Ergebnisse Masterarbeit 4 Ergebnisse Im folgenden Kapitel werden die Ergebnisse aus der Dokumentenanalyse und aus den Interviews erläutert. Die Ergebnisse aus dem Leitfaden- und den Experteninterviews werden entsprechend der Fragestellungen strukturiert, zunächst deskriptiv beschrieben und anschliessend interpretiert. Wie in Kapitel 3.1 erläutert, erfolgte das methodische Vorgehen in einem iterativen Prozess. Abbildung 10 zeigt den Prozess, wie der Fall Wirkmechanismus von Evaluationsberichten im Setting Schule über verschiedene Methoden untersucht wurde und wie sich die einzelnen Ergebnisse aus den verschiedenen Analysen gegenseitig beeinflussen (iterativer Prozess). Abbildung 10. Iterativer Prozess der Ergebnisherleitung (eigene Darstellung, 2021) 4.1 Dokumentenanalyse Die Arbeitsgemeinschaft für externe Evaluation von Schulen (ARGEV) hat sich im Jahr 2012 auf einer ihrer Netzwerktagungen mit dem Thema Ergebnisdarstellung und Evaluationsberichterstattung beschäftigt. Für diese Tagung wurden von verschiedenen Fachstellen Informationen zum Thema zusammengetragen. Unter anderem hat die Pädagogische Hochschule Bern (PHBern) eine Übersicht über die Seite 46/130 Rebecca Bannwart Ergebnisse Masterarbeit schriftlichen und mündlichen Berichte der einzelnen Fachstellen, die sich mit Schulevaluation beschäftigen, zusammengestellt. Folgende Erkenntnisse ergaben sich aus der Auswertung der Umfrage der PHBern (N = 17) (PHBern, 2012). Die Ergebnisse lassen Aussagen über die Berichtlänge, Berichtart, Verständlichkeit, Inhaltliche Struktur, Sprache und Argumente zu. Der Bericht sollte so kurz wie möglich gehalten werden und der inhaltliche Fokus sollte auf das Wesentliche gerichtet sein. Detaillierte Informationen können im Anhang, z. B. als CD, an die Schule gegeben werden. Auch kann Platz gespart werden, wenn Handlungsempfehlungen nur dann gegeben werden, wenn sie von den Schulen gewünscht werden. Zudem kann nach dem Motto weniger ist mehr eine Datenreduktion durch eine reduzierte Befragung erreicht werden. Das heisst, es ist nicht immer notwendig, bei jeder Befragung möglichst viele Daten zu erheben, sondern es ist auch möglich, sich auf nur ein Thema zu konzentrieren (Berichtlänge). Dies erlaubt einen besseren Überblick und eine realistischere Aufbereitung der Daten. Diese Inhalte können zunehmend in Powerpoints statt nur in Fliesstexten präsentiert werden. Das bedeutet einen Schritt weg von langen Fliesstexten hin zu prägnanten Darstellungen, Zitaten und Referenzwerten zum Vergleich, allerdings so, dass die Anonymität auch in kleinen Schulen immer gewährleistet ist (Berichtart und Verständlichkeit). Um eine hohe Qualität und Nachvollziehbarkeit zu gewährleisten, ist es notwendig, klare Ursache-Wirkungs- Beziehungen zwischen den Ergebnissen und möglichen Empfehlungen aufzuzeigen. Ebenfalls sollen die Qualitätsansprüche klar definiert werden. Eine logische Darstellung und Strukturierung der Aussagen ist für die Verständlichkeit erforderlich (inhaltliche Struktur). Die gewählte, auf die Zielgruppe abgestimmte Sprache ist unabdingbar. Ein stichprobenartiges Lesen wird für eine verbesserte Leseführung empfohlen (Sprache). Für die Schulentwicklung wird ein praxiswirksamer Evaluationsbericht als ein zentrales Instrument argumentiert (Argument) (PHBern, 2012). In einem zweiten Schritt wurden zwei Dokumente von IQES, einer digitale Arbeits- und Lernplattform für Schule und Unterricht, analysiert. Der Fokus lag auf Themenfelder, die in den Dokumenten angesprochen werden, um Schulleitung bei der Arbeit mit den Evaluationsberichten zu unterstützen. Das erste Dokument Tipps für die Interpretation und Verarbeitung von Evaluationsergebnissen (Brägger & Posse, 2011) Seite 47/130 Rebecca Bannwart Ergebnisse Masterarbeit gibt den Schulleitungen Unterstützung in der Dateninterpretation und deren Weiterverarbeitung. Darin wird ein Ablauf vorgestellt, der für die Ergebnisinterpretation genutzt werden kann. Dabei wird auf die Zusammenarbeit mit einer Steuergruppe plädiert. Es gibt Hinweise zu den Durchschnittswerten, zu den Prozentsätzen, zur Verteilung der Antworten. Zudem sind weiterführende Fragen enthalten, die der Interpretation helfen. Ebenfalls wird zwischen drei Anspruchsgruppen bzw. Adressaten unterschieden: der Schulleitung inkl. Kollegium, der politischen Behörde sowie den Befragten. Die Unterschiede der Berichtart und der Funktion werden beschrieben. Im zweiten Dokument Anleitung Ergebnisbericht lesen und bearbeiten (Mauchle, 2012) gibt es eine Anleitung, wie der Bericht mit den eigenen erhobenen Daten aufgerufen und heruntergeladen werden kann. Ebenfalls werden Auswertungshinweise erläutert. 4.2 Interview 4.2.1 Ergebnisse zur Forschungsfrage 1 Die folgenden Ergebnisse werden unter der Betrachtung der ersten Forschungsfrage Worauf achten wissenschaftliche Einrichtungen beim Erstellen von Evaluationsberichten, die die Schulentwicklung unterstützen? erläutert. Dazu werden in den Unterkapiteln (1) Nutzes des Berichtes, (2) Herausforderungen in der Berichtgestaltung, (3) Kompetenzen der Schulleitungen für das Berichtverständnis, (4) Berichtgestaltung strukturelle Ebene, (5) Berichtgestaltung inhaltliche Ebene, (6) Handlungsempfehlung im Bericht, (7) Akzeptanz und (8) Evaluationsformat, die Ergebnisse für die darauffolgende Interpretation deskriptiv beschrieben. 4.2.1.1 Deskriptive Beschreibung (1) Nutzen eines Berichts Grundsätzlich ist zu unterscheiden zwischen dem Nutzen, den ein Bericht als Ergebnis für die Schulen aus Expertensicht hat und dem Nutzen, den eine Evaluation, die einen Prozess anstösst, mit sich bringt. Die Evaluation kann der Schule als Standortbestimmung dienen und bringt eine objektive Aussensicht auf die subjektive Wahrnehmung der Situation. Mit der Ist-Analyse findet ein Erkenntnisgewinn statt, der die Möglichkeit für eine Weiterentwicklung der Schul- und der Unterrichtsqualität mit Seite 48/130 Rebecca Bannwart Ergebnisse Masterarbeit sich bringt, aber auch eine Legitimation, eine Rechenschaftslegung gegenüber Behörden oder eine präventive Wirkung für ein Thema darstellt (Interview A und C–G). Rechtfertigung würde ich als falschen Begriff anschauen. Es soll ihnen wie ein Spiegel sein, ihre [Anm. der Autorin: die Schulleitung] subjektive Meinung soll objektiviert werden. Es soll eine Standortbestimmung sein, sie sollen wissen, wo sie mit ihrer Schule und die Schule mit ihnen steht. Das ist in einer Wechselwirkung. (Interview A, Pos: 35) Dazu müssen die auftraggebende Stelle oder Person und ihre Ziele für eine Evaluation im Vorfeld klar kommuniziert sein. Die Ergebnisse zeigen, dass eine Evaluation einen Prozess der Auseinandersetzung mit der eigenen Situation an der Schule auslöst und somit bereits eine erste Wirkung auf die bestimmten Themen zeigt (Interview A, C, 3–6, 11, 12). Auch das Wissen, dass eine Evaluation stattfindet, kann laut Interviewperson C eine präventive Wirkung haben. Der Prozess einer Evaluation allein reicht jedoch nicht aus, um eine nachhaltige Wirkung zu erzielen. Dazu müssen die gesammelten Daten in einem Bericht dargestellt werden. Der Bericht ist das Einzige, was nach einer Evaluation bleibt (Interview D und G). Er ermöglicht eine datenbasierte Diskussion und Auseinandersetzung mit dem aktuellen Stand und kann «…nicht als einzige Wahrheit dienen. Es ist eine Hilfe, dass wir datengestützt eine Diskussion führen können» (Interview A, Pos: 25). Auch können die Daten die Schule in die Lage versetzen, eine Entwicklung anzustossen und mit ihnen zu argumentieren, warum etwas getan wird. Was ein Bericht nicht leisten kann, ist die Erklärung von Ursache und Wirkung einer Situation. Dazu bedarf es einer Diskussion, denn die Daten sind situationsabhängig und spiegeln die subjektive Wahrnehmung der Befragten wider, unabhängig von den Erhebungsmethoden (Interview A). Eine andere Sichtweise bringt eine Expertenperson als Vorteil vor. Solche Berichte können für neue Lehrpersonen interessant sein, da bestimmte Themen die Schule datenbasiert erklären und somit keine Selbstdarstellung möglich ist. Somit kann dies einen guten Hinweis auf die offene Stelle geben (Interview D und G). Ein weiterer Nutzen, der nur indirekt für die Schule wirkt, aber für die Wissenschaft erwähnenswert ist, ist Folgendes: Für die Forschung ist der Bericht und die gemeinsame Interpretation mit den Schulen eine Erweiterung ihrer Perspektive. Seite 49/130 Rebecca Bannwart Ergebnisse Masterarbeit Die Modelle sind immer ganz holzschnittartig, die gemeinsame Interpretation mit den Schulleitungen finde ich immer sehr spannend, weil sie einen anderen Blick darauf haben. (Interview F, Pos: 47–48) Die Schulen sind die Experten der Praxis und dieses Wissen kann die Wissenschaft bereichern, indem sie ihre Erkenntnisse mit der Praxis vergleicht und prüft. Eine indirekte Wirkung ergibt sich dahingehend, dass die Schulen später von dieser praxiserprobten Forschung auch wieder profitieren. (2) Herausforderungen in der Berichtgestaltung Berichte bringen immer Herausforderungen mit sich. Konkret lassen sich aus der Expertenperspektive vier verschiedene Spannungsfelder identifizieren. Bei Spannungsfeldern handelt es sich um unterschiedliche Bedürfnisse, die nicht miteinander vereinbar sind. Das erste sind die Zielkonflikte von Kunden mit unterschiedlichen Bedürfnissen (Interview C, E, F und G): die Schule, die ein praxisnahes, anpassungsfähiges und angemessenes Wissen benötigt, und der Kanton, der per Gesetz Steuerungswissen, Legitimation und übergreifende schulspezifische Vergleiche fordert. Dazu wollen die Auftraggebenden verschiedene Themen und Fragen aufgreifen. Interviewperson G fragt sich, wer hier die Entscheidung trifft. Wenn die Themen freiwillig gewählt werden können, erhöht dies die Auseinandersetzung mit dem Thema und dessen Akzeptanz. Wiederum kann eine gewisse Konsistenz der Themen und Fragestellungen einen Vergleich über die Zeit und mit anderen Schulen ermöglichen. Das zweite Spannungsfeld sind die Kriterien für einen Bericht (Interview F). Hier stehen sich Praxis und Wissenschaft gegenüber. Auf der einen Seite wird eine gewisse wissenschaftliche Fundierung der Daten benötigt, um auch die Nachvollziehbarkeit der Daten zu ermöglichen, was eine gewisse Anzahl von Zeichen und Fragen für die Erfassung eines Konstrukts erfordert. Zum anderen sollte der Bericht möglichst kurz und auf die Kernelemente reduziert sein. Auch sollte die Umfrage nicht unnötig viele Fragen zum gleichen Thema stellen. Da liegt auch die Grenze der Zusammenarbeit, da es die Logik der jeweiligen Systeme [ist]. Beispielsweise möchte die Praxis möglichst kurze Fragen, die nicht langweilig sind, und die Wissenschaft braucht die Sicherstellung der Gütekriterien und misst daher auch anders. (Interview F, Pos: 52) Seite 50/130 Rebecca Bannwart Ergebnisse Masterarbeit Als drittes Spannungsfeld kann betrachtet werden, dass im Bericht (Handlungs- )Empfehlungen ausgesprochen werden sollen. Die Empfehlungen sollten aber nicht nur Schwächen aufzeigen, sondern auch positive Aspekte, wie Stärken und Ressourcen. Hier eine Balance zu finden, ist eine Herausforderung (Interview E). Der vierte und letzte Punkt, der bei der Erstellung von Berichten zu beachten ist, ist die Herausforderung der benötigten Ressourcen. Solche Verfahren sind zeitlich und finanziell aufwendig (Interview F). Dabei stellen sich die Fragen, woher die finanzielle Unterstützung kommt und wie eine Evaluation noch in den vollen Terminkalender eines Schuljahres eingeplant werden kann. (3) Kompetenzen der Schulleitungen für das Berichtverständnis Schulleitungen bringen sehr unterschiedliche Hintergründe und Kompetenzen für Evaluationen und für das Verständnis von Berichten mit. Experten geben jedoch als Voraussetzung an, dass solche Berichte auch ohne wissenschaftlichen Hintergrund verstanden werden müssen (Interview A, B, C, F und G). Dies gilt insbesondere, weil die statistischen Kenntnisse der Schulleitung sehr unterschiedlich sind und nicht vorausgesetzt werden dürfen. Ausschlaggebend ist auch, dass die Schulleitungen Eigeninitiative zeigen, Willen mitbringen und Grundkenntnisse über Schulentwicklung haben, damit sie die Daten im Bericht lesen können und verstehen können, was die nächsten Schritte sind. Die Denk- und Prozessarbeit muss von einer Schulleitung selbst geleistet werden (Interview A). Es können jederzeit Beratungspersonen zur fachlichen oder prozessualen Unterstützung hinzugezogen werden (siehe Kapitel 4.2.9 «Ergebnisse der Forschungsfrage 5»). Laut Interviewperson B ist es nicht zu unterschätzen, dass Personen mit einer Ausbildung an einer pädagogischen Hochschule (PH) mehr wissenschaftliches Grundwissen haben als Personen, die das Lehrerseminar besucht haben. Es kommt auch auf das Thema an; in schulischen Themen sind die Schulen gut aufgestellt und brauchen keine Unterstützung. Anders verhält es sich bei Themen ausserhalb der Bildungslandschaft, wie bei der Gesundheit. Auch das technische Know-how, wie Daten interpretiert werden müssen, fehlt in den Schulen. Allerdings gibt es bereits viele Tutorials zur Auswertung und Interpretation (z. B. IQES, siehe Kapitel 4.1 «Ergebnisse der Dokumentenanalyse») (Interview B). Ein entscheidender Faktor ist auch die Zeit. Schulleitungen müssen sich Zeit für die Seite 51/130 Rebecca Bannwart Ergebnisse Masterarbeit Interpretation der Daten nehmen, um daraus echte Massnahmen ableiten zu können. Nicht zuletzt ist auch der Mut nötig, sich bei Unklarheiten an eine Ansprechperson zu wenden (Interview G): «Hilfreich ist es, wenn eine Schulleitung sich getraut, rückzufragen. Das ist ein heikler Punkt, offenbare ich eine Schwäche, wenn ich eine Verständnisfrage stelle» (Interview G, Pos: 34). (4) Berichtgestaltung strukturelle Ebene Der Bericht erfordert eine kurze Zusammenfassung von ca. ein bis zwei Seiten, z. B. einen Abstract. Die Kernelemente müssen mit entsprechenden Handlungsanweisungen erläutert werden (Interview A, C, D, F und G). Ansonsten sollte der Bericht wie ein normaler Bericht aufgebaut sein, mit einer kurzen Zusammenfassung zu Beginn, der Aufnahme der Forschungsfrage samt methodischem Vorgehen, den Ergebnissen anhand der aufbereiteten Daten und einer Diskussion mit Entwicklungshinweisen. Die Interviewpersonen D und G plädieren zusätzlich für eine kurze Vorstellung der Schule mit schulspezifischen Worten anhand des Leitbildes und der Infrastruktur. Die inhaltliche Struktur der Ergebnisse sollte sich an einem Leitbild oder Konzept orientieren (Interview A, C, F und G). Im Fliesstext werden Daten als Quelle verwendet. Die Themenblöcke müssen klar trennbar und in sich abgeschlossen sein. Mit einer solchen klaren, stabilen Struktur stärkt der Bericht die Leseführung für die Rezipienten (Interview A, D, F und G). Die Länge eines Berichts sollte fünfzig Seiten nicht überschreiten, darüber sind sich alle befragten Experten einig (Interview C, D, F und G). Konkret könnte das so aussehen: Die Zusammenfassung ist etwa zwei bis vier Seiten lang, die Beschreibung der Schule nimmt etwa eine Seite ein, zwei Seiten beinhalten die Ergebnisse pro Hauptthema und in etwa einer halben Seite wird die schulspezifische Auswertung geschildert (Interview D und G). Um den Bericht auf das Wesentliche zu kürzen, schlagen die Interviewpersonen F und G vor, ein separates Arbeitspapier abzugeben, in dem nur die Ergebnisse und die Handlungsempfehlungen niedergeschrieben werden. Darin werden die Methodik, die Herleitung und die Konzepte weggelassen. Dies dient vor allem, wie der Name schon sagt, der Arbeit in den Steuerungsgruppen und im Lehrpersonenteam. Experte G macht deutlich, dass die Empfänger andere Lesegewohnheiten haben als noch vor ein paar Jahren; heutige Texte sind kurz und Seite 52/130 Rebecca Bannwart Ergebnisse Masterarbeit reich an Abbildungen. Die Darstellung der Ergebnisse benötigt eine klare, nachvollziehbare und logische Struktur. Die Ergebnisse sollten entweder nach Themenblöcken geclustert werden oder sich an eine bereits vorhandene Struktur anlehnen, z. B. an ein zugrundeliegendes Konzept oder Modell. Die Ergebnisse können mithilfe von Farben oder Symbolen klassifiziert oder interpretiert werden. Bestimmte Berichte machen von einem Ampelsystem Gebrauch. Das System der drei Farben einer Ampel ist bekannt und kann schnell eingeordnet werden. Das Ampelsystem mit den drei Farben, der Mensch hat gerne Formen, die ihn nicht überfordern. In der Lernpsychologie kann man heute sagen, dass man sich ca. vier Sachen merken [kann]. Der Dreischritt der Ampel ist uns sehr vertraut. (Interview A, Pos: 53) Ebenso sehen die Experten einen Mehrwert in der Erläuterung der Mittelwerte im Zusammenhang mit Vergleichen mit anderen Schulen (Interview A, C, D, E und G). Hinsichtlich der Verwendung eines Benchmarks und der Standardabweichung gibt es jedoch unterschiedliche Meinungen. Einige halten den Benchmark für nützlich und für einen Mehrwert für den Vergleich mit anderen Schulen und Unternehmen (Interview A, E und G). Wiederum andere weisen auf die Gefahr hin, dass der Benchmark je nach Zusammensetzung der Stichprobe nicht aussagekräftig ist oder die Schulen pathologisiert (Interview C, D und F). Hier entkräftet jedoch Interviewperson A das Argument mit dem Beispiel eines Berichts, der den Benchmark auf 59 % statt auf 50 % setzt. Dies fördert die ressourcenorientierte Einordnung der Ergebnisse. Der Benchmark ist ein Referenzwert, der sich auf Daten bezieht, die bereits in der gleichen Umfrage erhoben wurden. So kann sich eine Schule beispielsweise mit anderen teilnehmenden Schulen vergleichen. Bei einem Benchmark von 50 % würde dies jedoch bedeuten, dass der Durchschnitt aller Ergebnisse ab 51 % von der Norm abweicht. Dies würde zu einer Pathologisierung der Schule führen. Der Durchschnitt, die Hälfte, kann bei subjektiv erhobenen Daten nicht «schlecht» sein. Im Sinne des Prinzips der Gaussschen Glocke, welches die Normalverteilung erklärt. Nur mit objektiven Daten wäre es möglich, klare Indikatoren zu definieren und damit zu bestimmen, was gut und was schlecht ist, unabhängig vom Prozentsatz der Teilnehmenden. Seite 53/130 Rebecca Bannwart Ergebnisse Masterarbeit Zur besseren Lesbarkeit werden die Ergebnisse in Tabellen, Diagrammen und Abbildungen dargestellt (Interview A, C, D, F und G). Interviewperson D beschreibt: «Wir haben gemerkt, auf Diagramme und Zahlen sind die giggerig [gespannt] drauf» (Interview D, Pos: 21). Es ist signifikant, eine verständliche Legende zu den jeweiligen Tabellen und Abbildungen zu haben (Interview G). Tabellen und Grafiken allein sind jedoch nicht die beste Praxis, sondern sollten in Kombination mit qualitativen Texteinheiten vorhanden sein. Nur eine Meinung weicht hier ab und äussert, stärker den Fokus auf die reine Textformulierung der Ergebnisse zu legen und Tabellen und Diagramme nur im Anhang zur Verfügung zu stellen (Interview E). Darüber hinaus sehen die Interviewpersonen F und G zukünftig einen Vorteil in der langfristigen Erfassung der Daten. Das ermöglicht einen Vergleich über die Zeit und ist für die Schulen interessant. Dadurch entstehen Intravergleiche mit sich selbst und nicht nur die Intervergleiche mit anderen Schulen. Die Mehrheit der Experten plädiert auf den Verzicht der Abgabe von Rohdaten. Nur wenige geben jedoch die statistischen analysierten Daten als Anhang ab, damit die neugierigen Schulen Informationen nachschlagen können. Ausreichende Transparenz wird mit der Quellenangabe im Bericht hergestellt. Interviewperson G ist die Einzige, die angibt, dass die quantitativen, anonymisierten Rohdaten an die Schulleitungen weitergegeben werden sollten, damit diese die Daten mit der Steuergruppe weiterbearbeiten können. Deutlich macht Interviewperson D die Notwendigkeit, die Dauer der Erstellung und Abgabe eines Berichts zu beachten. Die Übermittlung der Resultate nach einer Erhebung soll möglichst schnell erfolgen, um die Aktualität des Themas zu sichern und an die Energie anzuknüpfen. Dabei wird von ca. einem Monat gesprochen, der zwischen der Erhebung und der mündlichen Ergebnispräsentation liegt. Der Bericht beansprucht ca. vier Monate (Interview D und F). (5) Berichtgestaltung inhaltliche Ebene Die Wahl der Themen ist ein Konflikt zwischen dem Kanton, der zu bestimmten Themen Steuerungswissen haben will, und den einzelnen Schulen, die zu einem Thema sehr spezifisches lokales Wissen haben wollen (Interview C, F und G). Externe kantonale Auswertungen sind in den Themen weitgehend vorgegeben. Der Fokus liegt immer auf der Analyse der Diskrepanz zwischen Ist und Soll. Zunehmend steht es den Seite 54/130 Rebecca Bannwart Ergebnisse Masterarbeit Schulen frei, eigene Themen zu den kantonal vorgegebenen Themen einzuführen. Bei wissenschaftlichen Studien werden die Themen aus praktischen Problemstellungen abgeleitet, um möglichst nah an den Schulen zu sein. Nichtsdestotrotz muss die Studie auch eine gewisse Grundlagenforschung mit sich bringen. Daher ist eine Kombination dieser beiden Anforderungen notwendig (Interview F). Interviewperson G ergänzt, dass eine gewisse Stabilität der Fragen und Themen für einen Vergleich über die Zeit interessant sein kann. Es wird erwartet, dass der Bericht einen plausiblen wissenschaftlichen und dennoch bewertenden Inhalt hat. Als wissenschaftlich gelten für die Experten die drei Qualitätskriterien Validität, Repräsentativität und Objektivität. Obwohl Objektivität vor allem durch Triangulation der Daten erreicht wird, ist ein gewisses Mass an Subjektivität unvermeidbar. Die Expertensicht in den Berichten ist ein grosser Mehrwert, besonders im Vergleich mit anderen Schulen. Daher ist es nicht immer notwendig, dass die Aussage zu 100 % quantifizierbar ist. Nach Interviewpersonen A und E sollte der Bericht auch wertende Aspekte enthalten, was eine gewisse Subjektivität voraussetzt: «Es darf nicht rein wissenschaftlich und deskriptiv sein, sondern braucht auch einen wertenden Ansatz» (Interview A, Pos: 7). Dennoch darf die Nachvollziehbarkeit nicht darunter leiden. Es muss immer klar sein, wie der Bericht zustande gekommen ist; die Voraussetzung dafür ist eine solide Methodik. Die Items und Konstrukte müssen validiert sein und die analysierten Ergebnisse müssen möglichst lokal und angemessen sein. Das erfordert eine gewisse Fokussierung auf schulspezifische Themen, ohne die Daten zu verarmen. Die Ergebnisse müssen so leserfreundlich wie möglich dargestellt werden; dies kann mit Hilfe von Visualisierungen geschehen. Der Wunsch nach Vollständigkeit ist zwar vorhanden, aber nicht realisierbar, dennoch versuchen Berichtverfassende, ihm so nahe wie möglich zu kommen. Die Mehrheit der Experten verweist auf einen gemeinsamen Bericht für alle (Interview A, D, F und G). Ausser bei sehr sensiblen Daten würde dieser dann nur in reduzierter Form der Aussenwelt zur Verfügung gestellt werden. Eine Expertenperson berichtet von der Erfahrung mit einem geteilten Bericht, einem für die Schulleitung und einem für die ganze Schule. Der Vorteil sei die präzisere Formulierung, insbesondere bei Themen, die die Leitung betreffen. Andererseits ist bei einem Bericht, wie er jetzt vorliegt, die Transparenz durch das Öffentlichkeitsprinzip höher (Interview D). Zwei Seite 55/130 Rebecca Bannwart Ergebnisse Masterarbeit Experten berichten über zwei unterschiedliche Berichte, angepasst an die Kundenbedürfnisse des Kantons und der Schule (Interview C und E). Hier wird auf schulbezogene Fremdwörter für den Kanton verzichtet, ebenso auf detaillierte Aussagen. Wie bereits erwähnt, besteht eine Möglichkeit darin, die Berichte bedürfnisorientierter zu gestalten, indem ein Gesamtbericht, eine schulleitungsspezifische Management-Summary mit Entscheidungs- und Kontrollwissen und ein Arbeitsdokument, in dem nur die Ergebnisse und Handlungsempfehlungen aufgegriffen werden, erstellt werden. Auf diese Weise kann neben dem Gesamtbericht der Bedarf weiter spezifiziert werden. Diese Vorgehensweise wird von den Schulleitungen geschätzt, denn sie beinhaltet für jeden Anlass den richtigen Bericht. Voraussetzend für alle Berichte unabhängig vom Format ist eine angepasste Sprache. Der Bericht von Projekt Schule handelt verwendet laut Interviewperson A eine sehr einfache und reduzierte Sprache. Dies ist das Kriterium, das alle Experten an die erste Stelle setzen: eine Sprache, die zugänglich und praktisch ist (Interview A, D, D, E, F und G). Schulische Fachbegriffe, keine statistischen (qualitativen) Begriffe und kurze Sätze werden als anschlussfähig verstanden. «…[D]er Bericht sollte so geschrieben sein, dass sich die Schule darin wiederfindet/wiedererkennt» (Interview G, Pos: 4). Laut Interviewperson D ist zu beachten, dass in den Berichten nicht nur das Vokabular der Schulleitung, sondern auch das der Lehrpersonen und der Adressaten der bildungspolitischen Ebene verwendet werden muss. «Wir versuchen, Fachbegriffe der Bildungslandschaft einzusetzen, da wir davon ausgehen, dass sie wissen, was diese heissen» (Interview E_ 210114 Pos: 20). Ausserdem sollte der Bericht ansprechend, einladend und interessant zu lesen sein. Um möglichst verständlich zu sein, sollten die Aussagen begründet sein und die Möglichkeit zum Nachschlagen geben. (6) Handlungsempfehlung im Bericht Jeder Bericht mit gesammelten Daten wird nach Meinung der meisten Experten von Empfehlungen begleitet. Für diese gibt es sehr unterschiedliche Bezeichnungen, die von ‹Handlungs- und Entwicklungshinweise› über ‹Entwicklungs- und Handlungsempfehlungen› oder ‹Entwicklungs- und Optimierungspotenziale› bis hin zu ‹Handlungs- und Entwicklungsfeldern› reichen. Diese lassen sich in verbindliche und Seite 56/130 Rebecca Bannwart Ergebnisse Masterarbeit optionale Empfehlungen unterteilen. Verbindliche Empfehlungen müssen innerhalb eines bestimmten Zeitrahmens umgesetzt werden, da sie eine gesetzliche Vorgabe sind, im Gegensatz zu den optionalen, die zur Optimierung der Qualität und zur Weiterentwicklung der Schule dienen. Um eine möglichst hohe Umsetzungsquote zu erreichen, sollten die Empfehlungen freiwillig sein, damit sie weniger bedrohlich wirken (Interview G). «Sobald etwas freiwillig ist, verliert es an Bedrohlichkeit und war damit kein Thema mehr. Das stärkt die Annehmbarkeit» (Interview G, Pos: 10). Laut Interviewpersonen D, E und G sollten die Empfehlungen einfach, prägnant und klar sein. Die Empfehlungen sollten ein Gleichgewicht zwischen Stärken und Entwicklungen aufweisen. Dies steht im Gegensatz zu den Entwicklungspunkten, die zeigen, wo eine Schule noch wachsen kann. Um ein gutes Verständnis für die Empfehlungen zu bekommen, ist es notwendig, die Beziehung zwischen den Ergebnissen und den Empfehlungen zu erklären. Um z. B. Ergebnis x zu stärken oder zu verbessern, ist es notwendig, an y zu arbeiten. Interviewpersonen machen die Erfahrung, dass Schulleitungen nicht alle Empfehlungen umsetzen wollen, sondern die Ansatzpunkte mit der grössten Wirkung nutzen. Grundsätzlich sind etwa zwei bis sechs Empfehlungen eine angemessene und praktikable Anzahl (Interview E). Das Format wird von den befragten Experten unterschiedlich gehandhabt. Für einige ist es Teil des Gesamtberichts, für andere ist es ein separates Blatt. Nach Aussage von Interviewperson G stärkt das zusätzliche Dokument die Akzeptanz. (7) Akzeptanz Die Experten erleben die Akzeptanz der Berichte bei den Schulleitungen als mittel bis hoch, bei den Lehrpersonen als mittel bis gering (Interview A, C, E und G). Dies lässt sich damit erklären, dass der Alltag der Lehrpersonen von anderen Themen dominiert wird (Interview C). Eine hohe Akzeptanz geht mit der Anschlussfähigkeit des Berichts einher. Unter Anschlussfähigkeit werden schulspezifische Aussagen, eigene Betroffenheit und nachvollziehbare Entwicklungshinweise verstanden. Auch nach der Erfahrung von Interviewperson E hilft ein partizipativer Prozess, die Schule mit Schulleitung und Lehrpersonen vor der eigentlichen Evaluation in den Prozess einzubinden, die Themenauswahl für eigene Schwerpunktthemen zu öffnen und schliesslich ein umfassendes Verständnis für die Interpretation und Bedeutung der Seite 57/130 Rebecca Bannwart Ergebnisse Masterarbeit Daten zu schaffen. «…[W]ir haben ein sehr partizipatives Verfahren, die Schulen können die Hälfte der Fokusbereiche selber mitbestimmen» (Interview E_210114 Pos: 40). Dies erfordert eine Ansprechperson für Fragen und Unklarheiten und macht auch die Vorhersehbarkeit des Prozesses transparent. Darüber hinaus steigt die Akzeptanz eines Verfahrens, das bekannt ist und eine gewisse Stabilität aufweist. (8) Evaluationsformat Evaluationen können sehr unterschiedlicher Natur sein. Grundsätzlich werden zwei Formate unterschieden, die externe und die interne Evaluation (siehe Kapitel 2.1.2). Externe Evaluationen können vorgegebene Fragen vom Kanton, eine eigene beauftragte Frage oder die Teilnahme an einer Studie sein. Interne Evaluationen sind nur eigene Fragen, die ohne fremde Hilfe beantwortet werden. Externe Evaluationen haben den Vorteil der Aussenperspektive, der Neutralität und der Möglichkeit, Vergleiche anzustellen. Die Neutralität externer Personen wird besonders bei kritischen und anspruchsvollen Themen geschätzt (Interview E). Auf der anderen Seite sind interne Evaluationen transparenter und leichter zu beeinflussen. Schliesslich sind sich die Experten einig, dass unabhängig vom Berichtsformat die Kommunikation der Ergebnisse signifikanter ist. Der Bericht ist ein Instrument, um in einen Dialog zu treten (Interview, A, B, C, D, E, F und G). 4.2.1.2 Interpretation bezüglich der Ergebnisse im Kontext von Forschungsfrage 1 Die Ergebnisse aus den Experteninterviews zeigen, dass wissenschaftliche Einrichtungen beim Verfassen von Evaluationsberichten den Nutzen des Berichts betonen. Zusätzlich zu den in Diagrammen und Abbildungen dargestellten Daten lassen Experten ihre eigenen Meinungen einfliessen. Ebenfalls leiten sie die Schulentwicklung durch persönlichen Kontakt und anschlussfähige Interventionsvorschläge ein. Eine neue Erkenntnis in Bezug auf den aktuellen Forschungsstand ist die Unterscheidung, die die Experten zwischen dem Bericht und dem Prozess, den eine Evaluation anstösst, machen. Die Ergebnisse zum Nutzen des Berichts waren vorhersehbar und zu erwarten. Der Bericht zeigt gestützt auf Daten eine Aussenperspektive der Stärken und der Entwicklungspotenziale einer Schule. Diese Seite 58/130 Rebecca Bannwart Ergebnisse Masterarbeit Daten können für die weiteren Schritte als Ausgangslage genutzt werden, z. B. um eine angestrebte Veränderung zu begründen und zu initiieren. Der Bericht wird laut den Ergebnissen aber auch als Grundlage für eine Diskussion gebraucht. Der Nutzen, dass der Evaluationsprozess bereits eine erste Auseinandersetzung auslöst, war dagegen eine neue Erkenntnis. Dieser Nutzen könnte damit erklärt werden, dass allein das Wissen, beobachtet zu werden, erste Verhaltensänderungen zeigen kann. Mit Beobachtung sind nicht nur direkte Beobachtungen, sondern auch Interviews und Befragungen gemeint. Ausserdem war die Bedeutung des Berichts für die Stellenbewerbung von Lehrpersonen eine neue Erkenntnis, die aus der Literatur nicht bekannt war. Die Ergebnisse zeigen, dass der Bericht aus externen Evaluationen als Quelle verwendet werden kann, um eine freie Stelle an einer Schule zu beurteilen. Der Bericht gibt den interessierten Lehrpersonen einen neutral verfassten Überblick der Schulen. Allerdings sieht die Autorin hier den Widerspruch, dass dies nur für veröffentlichte Berichte gilt. Daher bezieht sich das Ergebnis wohl eher auf kantonale Evaluationsberichte, die dem Öffentlichkeitsprinzip unterliegen. Andernfalls kann eine Schule wieder den Eindruck steuern, den sie hinterlassen möchte, indem sie nur ausgewählte Berichte über ihre Schule veröffentlicht. Dies hängt mit dem gewählten Evaluationsformat zusammen. Die Ergebnisse unterscheiden zwei Formate; interne und externe Evaluationen. Bei den externen Evaluationen gibt es Formate, die vom Kanton vorgegeben werden und solche, die von den Schulen selbst in Auftrag gegeben werden. Das erwähnte Prinzip der Öffentlichkeit gilt nur für kantonale Evaluationen. Damit einher geht eine geringere Akzeptanz aufseiten der Schule. Hingegen ist die Akzeptanz bei selbst initiierten Evaluationen höher. Dies lässt sich damit erklären, dass bei selbst initiierten Evaluationen eine stärkere Partizipationsmöglichkeit im Prozess besteht und die Auswahl des Themas selbstbestimmter ist. Darüber hinaus kann eine aktive Beteiligung die Anschlussfähigkeit des Berichts stärken. Die Ergebnisse zeigen, dass die Anschlussfähigkeit mit der Widerspiegelung der Realität der Schule im Bericht zusammenhängt. Dies lässt sich dadurch erklären, dass sich eine Schule ernster genommen fühlt und die Betroffenheit steigt, wenn sich der Bericht mit spezifischen Punkten der Schule beschäftigt. Die Schule wird damit in den Mittelpunkt gesetzt. Dies erklärt auch die Aussage der befragten Experten zur Anschlussfähigkeit der Handlungsempfehlungen. Den Ergebnissen zufolge sollten die Empfehlungen ein Seite 59/130 Rebecca Bannwart Ergebnisse Masterarbeit Gleichgewicht zwischen Stärken und Entwicklungen aufweisen. Dies lässt sich gut damit erklären, dass Stärken Ressourcen sind, die gefördert und erhalten werden sollten, im Gegensatz zu Entwicklungspunkten, die zeigen, wo eine Schule noch wachsen kann. Die Balance ist also wesentlich, damit eine Schule, die sich zu sehr auf die Stärken konzentriert, nicht das Gefühl bekommt, sie müsse nichts mehr tun und sei schon perfekt. Aber auch, wenn sie sich auf zu viele Entwicklungspunkte konzentriert, hat sie das Gefühl, eine Baustelle zu sein und sieht daher nur die negativen Seiten. Nach den Ergebnissen wird dieses Gleichgewicht auch durch den Zielkonflikt der Auftraggeber bzw. der Auftraggeberin beeinflusst. Der Konflikt zwischen den Auftraggebern Schule und Kanton bzw. Forschungsinstituten lässt sich durch die unterschiedlichen Bedürfnisse und Nutzen erklären, die durch einen Bericht bzw. eine Evaluation abgedeckt werden sollen. Die Schulen wollen mit dem Bericht eine Entwicklung anstossen, der Kanton benötigt eine Legitimation und die Forschung will neue Erkenntnisse ableiten. Dies ist jedoch ein Widerspruch in sich und kaum zu lösen. Die Ergebnisse zeigen jedoch deutlich die notwendige Unterscheidung zwischen praktischen und wissenschaftlichen Berichten. Eine Unterscheidung ist notwendig, um die Erwartungen, die die Schulen an den Bericht haben, zu steuern. Der Praxis- und der Wissenschaftsbericht setzen unterschiedliche Schwerpunkte. Die möglichst realitätsnahe Erklärung bezüglich des Nutzens der Berichte kann Transparenz schaffen. Die Ergebnisse sowohl der Dokumentenanalyse (ARGEV) als auch der Experteninterviews zeigen erwartungsgemäss, dass eine Zusammenfassung der Kernelemente und der entsprechenden Handlungsempfehlungen der zentrale Aspekt eines Berichts ist. Dies liegt an der schnellen und einfachen Verständlichkeit, die den Schulleitungen im Bericht mit auf den Weg gegeben wird. Dazu tragen auch ein kurzer Umfang und eine klare Struktur im Bericht bei. Die klare Struktur kann beispielsweise mit einem stabilen, sich wiederholenden Aufbau gewährleistet werden. Menschen finden sich in vertrauten und gewohnten Umgebungen schneller zurecht und das gilt auch für Berichte. Ein gutes Beispiel ist das mit dem Projekt Schule handelt verbundene Ampelsystem. Auffallend war, dass nach Aussage der Experten und den abgeleiteten ARGEV-Kriterien die Schulen gerne Diagramme und Zahlen nutzen. Dies könnte durch den Wunsch erklärt werden, die subjektiven Ansichten der Lehrpersonen in den Schulen zu quantifizieren und zu visualisieren. Diagramme und Zahlen machen es Seite 60/130 Rebecca Bannwart Ergebnisse Masterarbeit möglich, die Gefühle und Meinungen darzustellen und für alle zugänglich zu machen. Im Gegensatz zur Annahme zeigen die Ergebnisse bezüglich der inhaltlichen Gestaltung der Berichte, dass ein Drang nach Expertenwissen bei den Schulen besteht. Gegen die Annahme also, weil Expertenwissen einen gewissen Widerspruch zu dem oben erläuterten Wunsch nach Quantifizierung von Ergebnissen auslöst. Denn Expertenwissen ist qualitatives Fach- und Erfahrungswissen und kein reines Zahlenmaterial. Dennoch ist es erklärbar, dass die Schulen neben den Zahlen auch eine erste Interpretation der Daten und eine Einschätzung mitbekommen, wie die Experten diese Daten einordnen, z. B. im Vergleich mit anderen Schulen. Der Wunsch nach Vergleichbarkeit ist gross, um sich in einem System verorten zu können. Im Hinblick auf die Verständlichkeit der Berichtsinhalte zeigen die Ergebnisse, dass die Experten den persönlichen Kontakt bevorzugen. Dies lässt sich damit erklären, dass der enge Austausch die Hemmschwelle für Rückfragen minimiert und eine gewisse Verbindlichkeit gegenüber den Berichterstellenden aufbaut. Sobald ein Gesicht hinter dem Bericht vorhanden ist und sichtbar wird, welche Arbeit dahintersteckt, fühlt sich eine Schule eher verpflichtet, etwas mit dem Bericht zu machen. Eine neue Erkenntnis war, dass es auch ein Weg für die Experten ist, die Schule besser kennenzulernen und dieses Wissen wiederum in den Bericht einfliessen zu lassen, wodurch die Anschlussfähigkeit des Berichts erhöht wird. Ein weiterer Punkt, dem die Experten laut den Ergebnissen grosse Bedeutung beimessen, ist die zeitnahe Abgabe des Berichts. Hier kann wie folgt argumentiert werden: Je näher der Zeitpunkt der Befragung und der der Berichtsabgabe beieinander liegen, desto eher sind die Schulen noch motiviert und haben das Thema noch präsent. Der Zusammenhang zwischen der Befragung und dem Bericht ist damit noch erkennbar. 4.2.2 Ergebnisse zur Forschungsfrage 2 Die folgenden Ergebnisse werden unter der Betrachtung der zweiten Forschungsfrage Wie zufrieden sind die Schulleitungen mit den Evaluationsberichten? erläutert. Dazu werden in den Unterkapiteln (1) Akzeptanz und Motivation gegenüber Seite 61/130 Rebecca Bannwart Ergebnisse Masterarbeit dem Bericht (2) Kompetenzen der Schulleitungen für den Bericht, (3) Herausforderungen, (4) Strukturelle Ebene des Berichts, (5) Inhaltliche Ebene des Berichts und (6) Anforderungswünsche an den Bericht, die Ergebnisse für die darauffolgende Interpretation deskriptiv beschrieben. 4.2.2.1 Deskriptive Beschreibung (1) Akzeptanz und Motivation gegenüber dem Bericht Die Ergebnisse aus den Interviews zeigen, dass Evaluationen im schulischen Kontext bei den Lehrkräften nicht leicht akzeptiert werden. Die Akzeptanz von Evaluationen und deren Berichten wird nach den Ergebnissen aus den Interviews von den Lehrpersonen nur bedingt gezeigt und lässt die Ergebnisse weniger relevant erscheinen, als sie tatsächlich sind. Die Schulleitungen beschreiben das Vertrauen der Lehrpersonen in die Wissenschaft als lückenhaft. Eine Schulleitung erklärt dies mit der Schwierigkeit, Feedback anzunehmen, da die Lehrpersonen sich vor allem in der Rolle der Feedback-Gebenden sehen (Interview 4). Ein weiterer Grund könnten laut Interviewperson 7 die negativen Erfahrungen mit den Evaluationen sein. Wenn aus einem Bericht nichts wird, hat das Auswirkungen auf die Akzeptanz der kommenden Berichte. Für die Schulleitung sind die Berichte aus Evaluationen ein willkommenes Instrument, um eine Entwicklung anzustossen. Sie tragen daher eine hohe Akzeptanz. Transparente Ziele eines Berichts und das Anliegen des Themas sind förderlich. Je näher ein Thema an der Schule ist, desto höher ist die Akzeptanz. Ebenso lösen ein persönlicher Kontakt und eine klare Prozessbeschreibung ein höheres Mass an Engagement und Verbindlichkeit aus und der Bericht wird dann besser akzeptiert. Schulleitungen finden interessante, spannende und praktische Ergebnisse motivierend. «Da ist jeder giggerig [gespannt] auf die Resultate, aber natürlich mit dem nötigen Respekt» (Interview 1, Pos: 26). Zu Beginn ist ein klarer Überblick nötig, der nicht überwältigt. Wenn ich jedes Detail lesen muss, überschreitet das meine zeitlichen und fachlichen Kompetenzen und wenn es eine kurze und knackige Zusammenfassung gibt, wie ein inhaltliches Abstract, um was geht es, konkret der Kernelemente inklusive der Handlungshinweise. (Interview A, Pos: 7) Seite 62/130 Rebecca Bannwart Ergebnisse Masterarbeit Die zunehmende Betroffenheit vom Thema stärkt die Motivation und die Akzeptanz (Interview 1, 4, 5, 6, 8 und 12). Als Voraussetzung wird jedoch die Einstellung (Mindset) benötigt, neugierig auf den Istzustand der Schule zu sein und Entwicklungsinformationen zu erhalten (Interview 5 und 8). Ausserdem stärkt das Verstehen die Motivation. Wenn die Ergebnisse beispielsweise präsentiert und diskutiert werden, löst dies die Motivation aus (Interview 6). (2) Kompetenzen der Schulleitungen für den Bericht Die Schulleitung verfügt über die Instrumente zur Durchführung von Evaluationen. Hingegen fühlt sie sich nicht kompetent genug, um die Ergebnisse auszuwerten und zu interpretieren sowie weiterzuführen, z. B. Massnahmen abzuleiten. Es würde viel Zeit in Anspruch nehmen, sich in diese Materie einzuarbeiten (Interview 3, 4, 6 und 12). Auch dem Wunsch nach einem Vergleich mit anderen Schulen kann nicht nachgegangen werden. Daher sind externe Personen wertvoll, obwohl, laut Interviewperson 6, nicht nur Externe, sondern auch Interne das fehlende Wissen abdecken können. Damit wird ein möglicher Pool an unterschiedlichen Fähigkeiten und Kompetenzen sowohl intern als auch extern beschrieben, der bei Bedarf in Anspruch genommen werden kann. Darüber hinaus ergänzt Interviewperson 12, dass gerade bei schwierigen Themen eine neutrale kompetente Person wertvoll ist. (3) Herausforderungen Berichte dienen dazu, in eine Diskussion einzusteigen (Interview 1, 4 und 8). Dazu müssen auch Ressourcen mobilisiert werden. In diesem Zusammenhang stellt sich für die Schulleitung die Frage nach Aufwand und Nutzen (Interview 1), denn, so Interview 4, die ausschlaggebendste Zeit liegt vor der eigentlichen Evaluation und Berichterstattung. Die Schulleitung allein kann keine Veränderungen durch Evaluationen herbeiführen, geschweige denn eine gute Evaluation durchführen. Dazu müssen die Lehrpersonen mit ins Boot geholt werden, und das erfordert eine Änderung der Einstellung zu Evaluationen: «…[D]ie Akzeptanz der Lehrpersonen ist sehr wichtig, sonst bringt die Evaluation nichts» (Interview 4, Pos: 48). Lehrpersonen haben eine kritische Haltung gegenüber Evaluationen, was laut Interviewperson 4 natürlich ist, da es zu ihrem Job gehört, Feedback zu geben, anstatt es anzunehmen. Ausserdem sind Lehrpersonen in ihren Klassenzimmern Einzelkämpfende und sehen sich weniger als Seite 63/130 Rebecca Bannwart Ergebnisse Masterarbeit Teil des Ganzen. Erst wenn die Akzeptanz und das Verständnis da ist, ist eine Evaluation wirklich sinnvoll. Für eine gute Evaluation, bei der Massnahmen abgeleitet werden können, müssen alle einbezogen werden (Interview 4 und 8). Je nach Situation ist eine Begleitung dafür geeignet. Es stellt sich die Frage, ob ein Bericht allein den Bezug zur Praxis aufzeigen kann oder ob dafür eine Prozessbegleitung notwendig ist. Eindeutig ist hier die Meinung der Schulleitung 8, die für eine Begleitung plädiert, da voreilige Schlüsse aus dem Bericht gezogen werden. Eine weitere Herausforderung für die befragten Schulleitungen (Interview 1 und 10) ist das Wecken von realitätsfernen Wünschen und Problemen oder der Rückschluss von einzelnen Aussagen auf das Ganze. Hier ist manchmal ein hohes Mass an Kontrolle durch die Schulleitung notwendig. Die Schulleitungen bedauern insbesondere die Abschaffung bzw. Anpassung der kantonalen Evaluation. Der Hauptnutzen der Aussenperspektive und damit das Aufdecken der blinden Flecken des Systems geht damit verloren. Ebenso verliert das aktuelle Format an Wissenschaftlichkeit und Akzeptanz. Die Mehrheit der Schulleitungen kann aus der Analyse weniger Nutzen ziehen als aus dem alten Format (Interview 4, 5, 6, 8 und 11). Die verminderte Akzeptanz hängt laut den Ergebnissen damit zusammen, dass zwar etwas gefragt wird, aber nichts zurückgegeben wird. Die Schulen bzw. Lehrpersonen füllen die Umfragen aus, haben aber keinen Effekt aus der investierten Zeit (Interview 8 und 11). (4) Strukturelle Ebene des Berichts Die Schulleitung schätzt einen kurzen Überblick über die im Bericht angesprochenen Inhalte (Interview 1–11). Hierfür eignen sich Überschriften und aussagekräftige Titel, wie in einer Zeitung. Ziel ist es, den Lesenden durch ein kurzes Überfliegen deutlich zu machen, was der Bericht ihnen sagen kann. Die Gliederung sollte sich entweder an der Relevanz der Themen nach Stärken und Entwicklungspotenzial oder an Themenblöcken orientieren (Interview 3, 4, 6,7, 10 und 11). Für ein gutes Verständnis sollte der Bericht mit einer kurzen Zusammenfassung der wichtigsten Kernelemente beginnen, dann die Schule kurz beschreiben, die Ergebnisse erläutern und entsprechende Empfehlungen aussprechen. Die Gliederung sollte nach Interviewperson 10 von der Übersicht (allgemeine Aussagen) bis zu den Seite 64/130 Rebecca Bannwart Ergebnisse Masterarbeit Details gehen. Gerade bei umfangreichen Berichten wird die Funktion der Filterung sehr geschätzt. Die Filterung sollte nach Alter, Gruppen, Arbeitsbelastung, Geschlecht, Organisationseinheit und Fach-/Klassenlehrpersonen möglich sein (Interview 3, 5 und 7). Was die Länge betrifft, sind sich die Schulleitungen in einem Punkt einig: Der Bericht darf nicht zu lang sein. Einige denken, dass sechzig Seiten zu lang sind, andere, dass Berichte von dreissig Seiten oder mehr nicht mehr gelesen werden und die Länge abschreckt. Interviewperson 5 ist der Meinung, dass der Inhalt der langen Berichte zu sehr ausgebreitet wird und das Gefühl vermittelt, dass die Absendenden zeigen wollen, was sie erreicht haben. Es soll das Motto ‹manchmal ist weniger mehr› gelten (Interview 5). Manchmal habe ich das Gefühl, der Inhalt wird sehr stark ausgebreitet, dass der Bericht möglichst lange wird, um zu sagen, ich habe einen xy-langen Bericht geschrieben. (Interview 5, Pos: 39) Bei der Präsentation der Ergebnisse sind die Schulleitungen mit der visuellen Darstellung sehr zufrieden. Sie sagen, dass diese besonders leicht zu verstehen ist. Die Farben, Diagramme oder Tabellen geben einen schnellen und verständlichen Überblick über die Ergebnisse (Interview 1–11). Zum Beispiel greift das Ampelsystem eines Berichts auf eine bekannte Logik zurück und ist somit schnell zu interpretieren (Interview 3). Dies allein reicht jedoch nicht aus; es bedarf nach der Aussage der Mehrheit der Befragten auch einer Erläuterung der Abbildungen in Textform (Interview 1–7 und 11). Hingegen wird die Klassifizierung nach Relevanz in der strukturellen Gestaltung als gut angesehen. Die Frage ist jedoch, wer bestimmt, was relevant ist. Laut Interviewperson 5 darf diese Einteilung nicht von den Eltern oder der Schulbehörde vorgenommen werden, sondern erfordert Expertenwissen und ein Konzept, das die wesentlichen Kriterien aufzeigt. Um die Ergebnisse darin nachvollziehen zu können, sind die Quellenangaben und Verweise auf die Daten wertvoll: «…[I]m Prosatext braucht es auch Belege wie Zitationen» (Interview 12_ 210122 Pos: 20). Statistische Werte wie die Standardabweichung sind nicht erwünscht, mit Ausnahme von Interviewperson 3, die jedoch einen statistischen Hintergrund mitbringt. Hingegen nutzen Schulleitungen gerne den Mittelwert und den Benchmark für Seite 65/130 Rebecca Bannwart Ergebnisse Masterarbeit Vergleiche und als Beurteilungshilfe. Interviewperson 4 steht dem allerdings kritisch gegenüber: Der Vergleich könne zwar als Legitimation gegenüber dem Lehrerteam hilfreich sein, aber auch von den eigenen Problemen ablenken. Zusammenhänge werden als spannend, aber sehr anspruchsvoll zu verstehen betrachtet. Eine gute Anleitung ist notwendig, um die Kausalität der Daten zu beschreiben. Bis auf eine Schulleitung hat bisher niemand die Rohdaten erhalten. Dafür scheint auch kein Bedarf vorhanden zu sein (Interview 1 und 3–11). Interviewperson 6 meint zwar, dass es sicher interessant wäre, sich die einzelnen Kommentare anzuschauen und daraus individuellere Massnahmen ableiten zu können, ist sich aber auch der Verletzung der Anonymität bewusst. Die Schulleitung, die die Rohdaten erhält, hat diese im Anhang und lediglich als quantitative Zahlen, aber anonymisiert bekommen (Interviewperson 2). (5) Inhaltliche Ebene des Berichts Die Anforderung an die Wissenschaftlichkeit eines Berichts bezieht sich auf die Professionalität der Evaluation. Diese zeigt sich in der sorgfältigen Formulierung der Items, in der Nachvollziehbarkeit sowie der Transparenz der Ergebnisse (z. B. überprüfbare Aussagen) und in der Gewährleistung der Anonymität. Der Bericht benötigt laut Interviewperson 5 nicht das wissenschaftliche Niveau eines Forschungsberichts einer Universität, da die Schulleitungen nicht die Kapazität und das Wissen haben, einen hochwissenschaftlichen Bericht zu verstehen. Letztendlich sollte der Bericht das angestrebte Ziel ansprechen. Der Wert solcher Berichte ist es, zu wissen, wo die Schule steht (Interview 3). Dazu soll der Bericht eine einfache, klare und prägnante Sprache verwenden; diese komme bei den Schulleitungen gut an (Interview 2, 4, 5 und 7–9). Die Sprache spiegelt die Professionalität eines Berichts wider (Interview 8). Unter einfacher Sprache verstehen die Schulleitungen das Vermeiden von Fachbegriffen, ausser denen der Schule selbst. Verschönerungen der Aussagen empfinden sie als störend, die Schulleitung will Klartext: «[d]as Vertrauen haben zu können, dass der Bericht neutral, klar und deutlich verfasst ist, nicht verschönert, er soll eine klare Auskunft geben» (Interview 5_ 210115 Pos: 7). Aus diesem Grund machen Schulleitungen eine Evaluation, um den aktuellen Zustand der Schule zu analysieren. Der Bericht hat nicht den Anspruch, eine hochwissenschaftliche Sprache wie in einem Seite 66/130 Rebecca Bannwart Ergebnisse Masterarbeit Forschungsbericht zu verwenden. Dafür haben die Schulleitungen weder die Zeit noch das Wissen. Nur wenige, wie Interviewperson 9, die gerade eine Weiterbildung absolviert hat, können sich noch an diese wissenschaftliche Sprache erinnern. Der Bericht hat neben den Schulleitungen weitere Adressaten, je Auftraggeber bzw. Auftraggeberin der Fragestellung. Der Tenor bei der Auswahl der Themen ist bei den Schulleitungen eindeutig. Die Auswahl weniger Themen und deren vertiefte Betrachtung werden als am effektivsten wahrgenommen. Die Gefahren bei der Abdeckung eines breiten Themenspektrums sind die Verzettelung und die unzureichende Aussagekraft der Daten. Allerdings sehen die Befragten 5 und 11 darin auch den Vorteil, um einen Überblick zu gewinnen. Eine generelle Aussage über das geeignete Format kann daher nicht getroffen werden. Auch die Schulleitungen sind sich einig, dass die verschiedenen Adressaten sehr unterschiedliche Kenntnisse über die Verständlichkeit von Berichten und damit auch unterschiedliche Anforderungen an die Berichte haben. Interviewperson 12 gibt jedoch an, dass sie sich als Dienstleisterin versteht und daher die Berichte gerne der empfangenden Stelle oder Person entsprechend anpasst. Sie ist auch davon überzeugt, dass das, was die Schulleitung versteht, auch die Lehrpersonen verstehen können und sieht daher keinen Mehrwert in unterschiedlichen Berichten. Anders sieht es Interviewperson 1, die meint, dass, wenn die Lehrpersonen den Bericht verstehen, der Inhalt für die Schulleitung zu oberflächlich ist. Die Mehrheit spricht sich dafür aus, einen einzigen Bericht zu bekommen (Interview 1, 3, 4, 6, 7, 11 und 12). Bei getrennten Berichten wird auf die Gefahr hingewiesen, dass bereits erste Annahmen über die Zielgruppen getrennt werden (Interview 4). Konkret meint diese Aussage von Interview 4, dass bei der Trennung der Berichtsinhalte bereits erste Entscheidungen darüber getroffen werden, welche Inhalte in welchen Bericht gehen werden. Das heisst, es wird bereits ein erster Filter für die Zielgruppen der Berichte im Hinblick auf die Ergebnisse im Bericht gesetzt. Nichtschulexperten können die Zusammenfassung lesen, was ausreichen sollte; sie ist sehr einfach geschrieben und bringt alles auf den Punkt (Interview 7). (6) Anforderungswünsche an den Bericht Drei Schulleitungen sehen einen Optimierungsbedarf in einer flexibleren Berichtsstruktur (Interview 3, 4 und 6). Zum anderen ist es für die Schulleitung Seite 67/130 Rebecca Bannwart Ergebnisse Masterarbeit spannend, einige Kombinationen und Analysen der Daten vorzunehmen. Bislang ist der Einfluss bei der Analyse der Daten sehr gering bis nicht möglich (Interview 6). Eine Schulleitung spricht noch das Problem der kleinen Stichprobe an. Kleine Schulen mit wenigen Lehrkräften erhalten in den aktuellen Berichten aufgrund der Anonymität meist weniger detaillierte Ergebnisse. Hier wäre eine Optimierung wünschenswert, damit trotz einer kleinen Stichprobe aussagekräftige Ergebnisse erzielt werden können. 4.2.2.2 Interpretation bezüglich der Ergebnisse im Kontext von Forschungsfrage 2 Aus den Daten kann festgestellt werden, dass die Zufriedenheit mit den Berichten mit der Akzeptanz, mit der Gestaltung des Berichts und mit den Kompetenzen der Schulleitungen in Zusammenhang steht. Der Bericht wird von den Schulleitenden als nützliches Instrument gesehen, um eine Entwicklung anzustossen. Eine neue Erkenntnis ist, dass der Bericht vor allem als Instrument gesehen wird, um in einen Dialog zu treten. Dies ist deshalb neu, da der Bericht bereits die Situation der Schule aufzeigt, dies aber nicht als ausreichend erachtet wird. Der Bericht scheint aber aufgrund der Momentaufnahme nicht die Wahrheit zu sein und bedarf daher einer Diskussion. «Idealerweise sehe ich das Ziel eines Berichts, dass man in einen Austausch kommt in der Schule» (Interview 5_210115 Pos: 25). Um einen solchen Dialog führen zu können, bedarf es zunächst eines Verständnisses der Ergebnisse. Hierfür wird die transparente und nachvollziehbare Herleitung der Ergebnisse als zentral erachtet. Eine Beschönigung der Daten wird als störend empfunden. Dies lässt sich damit erklären, dass eine Schule, wenn sie sich schon auf einen Evaluationsprozess einlässt, auch Klartext über die aktuelle Situation erhalten möchte. Dazu sollten die Ergebnisse klar beschrieben und gut dargestellt werden. Das fördert die Motivation und das Verständnis. Das Verständnis ist also gewissermassen die Bedingung für die Motivation. Wenn die Betroffenen die Inhalte verstehen und wissen, was damit gemeint ist, steigt die Motivation, weil sie wissen, was das für sie und die Schule bedeutet und auch sehen, was getan werden kann. Dieser Verständnisprozess wird durch visuelle Darstellung gezielt unterstützt. Hierfür können bereits bekannte Systeme wie die Ampel oder andere Darstellungen mit klaren Kriterien zum Verständnis der Grafiken genutzt werden. Der Seite 68/130 Rebecca Bannwart Ergebnisse Masterarbeit Rückgriff auf bekannte Systeme/Modelle ist naheliegend, da kein zusätzlicher kognitiver Aufwand betrieben werden muss. Ansonsten müsste erst das System verstanden werden und erst dann könnte der Fokus auf den Inhalt gelegt werden. Ausserdem hilft eine Zusammenfassung der Kernaussagen aus den Ergebnissen. Damit kann über aussagekräftige Titel und klare Überschriften schnell und einfach ein Überblick über die Ergebnisse geschaffen werden. So kann wieder die Brücke zur Motivation geschlagen werden. Wenn die zusammengefassten Kernelemente den Lesenden ansprechen, fördert dies die Motivation, den Bericht weiter im Detail zu lesen. Auch der Umfang sollte den Ergebnissen entsprechend nicht zu gross sein. Das Prinzip ist, weniger ist mehr. Der Bericht sollte richtig in Zahlen ausgedrückt werden und nicht länger als dreissig Seiten sein. Dies lässt sich wiederum mit der Motivation erklären. Eine grosse Menge an Seiten und viel Text können diese negativ beeinflussen. Weiter ist aus den Ergebnissen zu entnehmen, dass der Bericht bei den Lehrpersonen nicht ohne Weiteres akzeptiert wird. Der Fokus im Interview lag lange auf der Schulleitung. Dass die Handlungsfähigkeit der Schulleitung aber stark von der Beteiligung und Akzeptanz der Lehrpersonen abhängt, war vor der Befragung nicht klar. Die Lehrpersonen bringen ein lückenhaftes Vertrauen in die Wissenschaft mit. Dies lässt sich nicht eindeutig erklären. Ob es an negativen Erfahrungen mit den Evaluationen der Wissenschaft liegt oder an dem grossen Unterschied, der zwischen dem, was die Wissenschaft tut und dem, was die Lehrpersonen tun, besteht, ist unklar. Daher ist es von Bedeutung, im Bericht eine Sprache zu verwenden, die dem Zielpublikum angemessen ist. Die Sprache sollte die Lehrpersonen als Betroffene der Berichtsinhalte ansprechen und versuchen, die Wissenschaft so nah wie möglich an ihren Alltag heranzubringen. Dazu eignet sich die aktive Einbindung von Stakeholdern (Schulleitungen und Lehrpersonen) in den Prozess. Die Beteiligung am Evaluationsprozess kann die Akzeptanz des Berichts erhöhen und schafft auch ein besseres Verständnis. Indem die Beteiligten ihren Beitrag zum Prozess leisten können, stärkt dies ihr Engagement und die Akzeptanz. Die Einbindung in den Prozess kann auch dazu beitragen, dass sich die Beteiligten als Teil des Prozesses sehen und ihre Themen und deren Relevanz einbringen können. Da die Evaluation aber schon negative Spuren in den Schulen hinterlassen hat, ist mehr als nur Partizipation notwendig. Es ist wesentlich, dass auf Basis der Ergebnisse und des Berichts etwas Seite 69/130 Rebecca Bannwart Ergebnisse Masterarbeit passiert. Eine Veränderung muss sichtbar werden. Dies lässt sich mit den Konzepten Aufwand und Ertrag erklären. Wenn Schulen, insbesondere Lehrpersonen, sich die Zeit nehmen, einen Fragebogen auszufüllen oder an einem Interview teilzunehmen, wollen sie etwas zurückbekommen. In diesem Beispiel wollen sie eine Verbesserung der Situation. Wenn nach einer Umfrage nichts passiert, werden sie beim nächsten Mal nicht bereit sein, die Zeit zu geben oder sich zu nehmen, nach dem Prinzip Fragen Sie mich nicht, wenn Sie es sowieso nicht wissen wollen. Neben den oben genannten Punkten kann das Verständnis der Ergebnisse durch die Präsentation der Ergebnisse sowie durch den persönlichen Austausch mit den Berichterstellenden oder einer Begleitperson verstärkt werden. Die Kommunikation, die über den Bericht hinausgeht, kann die Ergebnisse auf eine andere Art präsentieren und weitere Informationen geben. Gerade die externe Unterstützung kann den Mehrwert bringen, fehlendes Wissen zu decken, spannende Vergleiche zu liefern und bei schwierigen Themen eine Neutralität zu haben. Dies könnte auch die Ableitung von Massnahmen fördern; mehr dazu in den Ergebnissen zu Forschungsfrage 4 (siehe Kapitel 4.2.7). Dies gilt besonders weil die Schulleitung in manchen Fällen nicht über ausreichende Kompetenzen in der Interpretation und in der Weiterverarbeitung der Daten verfügt oder zu sehr in den Schulalltag eingebunden ist. In der Tat liegt die Herausforderung auch in ausreichenden Ressourcen. Daher wird es als positiv angesehen, wenn zumindest die fachlichen Ressourcen durch eine interne oder externe Person abgedeckt werden können. 4.2.3 Ergebnisse zur Forschungsfrage 3 Die folgenden Ergebnisse werden unter der Betrachtung der dritten Forschungsfrage Inwiefern helfen Evaluationsberichte in der Ableitung von Massnahmen? erläutert. Dazu werden in den Unterkapiteln (1) Evaluationsformate für die Berichterstellung, (2) Nutzen der Berichte und (3) Berichtinhalt, die Ergebnisse für die darauffolgende Interpretation deskriptiv beschrieben. 4.2.3.1 Deskriptive Beschreibung (1) Evaluationsformate für die Berichterstellung Seite 70/130 Rebecca Bannwart Ergebnisse Masterarbeit Die Schulleitungen unterscheiden zwischen internen und externen Evaluationen (Interview 1, 4, 5, 6, 8 und 11). Externe Evaluationen können eine kantonale Vorgabe, die Teilnahme an einer Forschungsstudie oder eine selbst in Auftrag gegebene Befragung sein. Bei einer Studie ist die Schule Mittel zum Zweck und erhält als Nebenprodukt einen Wissenszuwachs und die Zusammenhänge verschiedener Daten. Die Einflussnahme seitens der Schulleitung wird jedoch als tief empfunden. Dies führt auch dazu, dass sich die Schulleitungen keine Gedanken darüber machen, welche Art von Feedback an der Schule abgeleitet werden kann. Beides gilt auch bei einer kantonalen Evaluation. Externe Evaluationen sind daher mit Widerstand verbunden (Interview 4–6 und 8). Andererseits werden die hohe Qualität und Professionalität sowie die gewonnene externe Perspektive als Vorteil gesehen. Bei selbst initiierten Evaluationen, egal ob intern oder extern, ist die Einflussnahme hoch und der Anspruch an eine differenziertere Analyse höher (Interview 11). Andererseits erfordert dies tiefergehende Kompetenzen in der Item-Erstellung und in der Analyse der Ergebnisse, was nach Meinung der Befragten nicht vorhanden ist (Interview 1, 4, 5, 8 und 11): «Hingegen die richtigen Fragen zu stellen, für das braucht man ein[en] Spezialist[en]» (Interview 12, Pos: 24). (2) Nutzen der Berichte Der Bericht bringt eine Reihe von Vorteilen mit sich. Zum einen erlauben die erhobenen Daten eine neutrale Aussenperspektive auf die aktuelle Situation an einer Schule. Darüber hinaus können die Daten dazu dienen, einen Überblick und eine Art Standortbestimmung der Schule in Bezug auf den Schwerpunkt eines oder mehrerer der erhobenen Themen zu geben; «…ein Evaluationsbericht ist eine Bestandsaufnahme» (Interview 8, Pos: 47). Allerdings handelt es sich dabei nur um eine Momentaufnahme, was bei der Gewichtung solcher Berichte berücksichtigt werden muss. Ebenso erläutert der Bericht die Zusammenhänge der Themen oder Items und gibt der Schule damit eine umfassende Erklärung über die reinen Rohdaten hinaus. Die Schule kann damit datengestützte Aussagen treffen. Ein weiterer wesentlicher Nutzen ist die Identifikation von Veränderungsbedarf. Der Bericht zeigt damit eine Richtung auf, in die sich die Schule entwickeln kann. Mit diesen Hinweisen gibt es einen Ansatzpunkt, um in eine Diskussion einzusteigen. Neben der Entwicklung kann der Bericht auch als Seite 71/130 Rebecca Bannwart Ergebnisse Masterarbeit Rechtfertigung genutzt werden. Es geht jedoch viel Qualität verloren, wenn die Daten nur zur Legitimation verwendet werden (Interview 1–11). Der Bericht kann auch als Nebenprodukt betrachtet werden, z. B. bei einer Forschungsstudie, eine Art Bonus, um den Teilnehmenden etwas mitzugeben (Interview 2 und F). (3) Berichtinhalt Grundsätzlich steht und fällt die Interventionsableitung mit der Verständlichkeit des Berichts und seiner Ergebnisse, die für die Ableitung von Interventionen entscheidend sind. «…[D]as gute Verständnis der Ergebnisse ist auch die Voraussetzung, damit die Ergebnisse genutzt werden» (Interview G, Pos: 34). Um den Bericht verständlicher zu machen, kann ein Beispiel herangezogen werden (Interview 9, E). Die Ergebnisse zeigen, wo es in einer Schule Schwierigkeiten gibt (Interview, 1, 10, A und E). Dieser Ausgangspunkt dient den Schulen als Einstieg in die Diskussion. Dies ist notwendig, da die Daten und Handlungsempfehlungen nicht aussagekräftig genug sind, um direkt Interventionen abzuleiten (Interview 1, 3, 9, 10, A, D und E). Jedoch erhöhen Handlungsempfehlungen die Wahrscheinlichkeit, dass eine Intervention umgesetzt wird, so Interviewperson A. Nach Ansicht der Befragten brauchen Berichte dringende Handlungsempfehlungen oder zumindest priorisierte Themen, damit daraus wahrscheinlicher Interventionen abgeleitet werden können (Interview 3, 4, 6, 7, 10, A, E und F). Dazu müssen sie aber nah an der Ausgangsfrage und der Schule sein. Je näher der Absender beim Empfänger und seinen operativen Tätigkeiten ist, desto genauer werden die Aussagen und desto einfacher ist es, Massnahmen daraus abzuleiten. Je mehr der Bezug forschungslastig ist, desto weniger präzise werden die praxisorientierten Rückmeldungen. (Interview 7, Pos: 56) Empfehlungen bieten eine Orientierung und eine Aussenperspektive, die für Schulen wertvoll sind (Interview 2, 5, 8 und 12). Daher sind sie laut Interviewperson 5 das Signifikanteste im Bericht. Die Erfahrung von Interviewperson 2 mit Studien, die keine Empfehlungen aussprechen, ist, dass daraus keine Intervention abgeleitet wird. Empfehlungen geben einen Anstoss zum Weiterdenken (Interview 2, 5,6, 7, 8, 11 und 12) Bevorzugt werden Empfehlungen, die in Stärken und Schwächen, gut oder entwicklungsfähig unterteilt sind, so dass sie ein klares Bild der Schule vermitteln (Interview 5, 8 und 11). Seite 72/130 Rebecca Bannwart Ergebnisse Masterarbeit Trotzdem möglichst einfach, prägnant, klar und eine gute Balance zwischen Stärken hervorheben, würdigen und klare Hinweise, wo wir Entwicklungs- und Optimierungspotenzial sehen. (Interview D, Pos: 5) 4.2.3.2 Interpretation bezüglich der Ergebnisse im Kontext von Forschungsfrage 3 Die Ergebnisse zeigen, dass für die Ableitung von Massnahmen aus den Ergebnissen zwischen den verschiedenen Auswertungsformaten unterschieden werden muss. Dies lässt sich damit erklären, dass die verschiedenen Formate unterschiedliche Voraussetzungen sowie Vor- und Nachteile haben. Ob eine interne oder externe Auswertung die Ableitung von Massnahmen begünstigt, geht aus den Ergebnissen nicht hervor. Zu viele Faktoren beeinflussen die Ableitung von Massnahmen; mehr dazu in den Ergebnissen bezüglich der Forschungsfrage 5 (siehe Kapitel 4.2.9). Im Rahmen der dritten Fragestellung kann der Nutzen relevante Informationen zur Beantwortung liefern. Der Bericht hilft bei der Ableitung von Massnahmen, indem er eine Aussenperspektive und eine Einschätzung der aktuellen Situation durch datengestützte Aussagen liefert. Eine Schulleitung kann anhand der Daten objektiv aufzeigen, warum eine Veränderung notwendig ist, und hat dazu Daten, die von anderen erhoben wurden und nicht von der Schulleitung selbst, die ohnehin eine Veränderung herbeiführen wollte. Die Aussenperspektive kann daher mit einer höheren Akzeptanz verbunden werden. Das Wort eines Aussenstehenden wird höher gewichtet als das von jemandem, der selbst betroffen ist. Wenn also ein Veränderungsbedarf erfasst und auf Basis von Empfehlungen formuliert werden kann, ist die Wahrscheinlichkeit hoch, dass daraus Massnahmen abgeleitet werden. Das lässt sich damit erklären, dass den Schulen mit den Empfehlungen eine erste Denkleistung abgenommen wird. Die Ergebnisse werden bereits erstmals weitergedacht, in ihrer Bedeutung interpretiert und mögliche Zusammenhänge werden aufgezeigt. Die Schulleitung kann darauf aufbauen und somit ist die Hürde, mit den Ergebnissen zu agieren, geringer. Nach den Ergebnissen sollten die Empfehlungen möglichst in Stärken und Entwicklungspotenziale differenziert werden. Dies ist auch deshalb sinnvoll, weil so nicht nur die Schwachstellen einer Schule aufgezeigt werden, sondern auch das, was gut läuft. So wird zur Stärkung Seite 73/130 Rebecca Bannwart Ergebnisse Masterarbeit angeregt und es entsteht eine gute Balance in einem Bericht. Positives Feedback tut einer Schule gut und stärkt die Motivation, das anzupacken, was noch nicht optimal ist. Ausserdem lieferten die Ergebnisse eine weitere neue Erkenntnis. Berichte aus wissenschaftlichen Studien werden von Schulleitungen als ein Bonus gesehen. Sie sagen, dass diese Berichte das Nebenprodukt einer Studie sind, die dann als Dankeschön an die Schulen gegeben werden. Dieser Gedanke scheint einleuchtend, da in einer Studie andere Berichte geschrieben werden, die für die Schulen nicht interessant sind. Um aber die Teilnahme an einer Studie zu fördern, kann ein Anreiz, in diesem Fall ein Bericht speziell für die Schulleitungen und Schulen, erfolgreich wirken. Ausschlaggebend ist allerdings, dass der Bericht dann die in Forschungsfrage 2 diskutierten Kriterien berücksichtigt. Sonst wird das kritische Bild gegenüber der Wissenschaft bestätigt. 4.2.4 Ergebnisse zur Forschungsfrage 4 Die folgenden Ergebnisse werden unter der Betrachtung der vierten Forschungsfrage Wie können Berichte weiterentwickelt werden, damit die Schulleitungen damit arbeiten können? erläutert. Dazu werden in den Unterkapiteln (1) Strukturelle Ebene des Berichts, (2) Inhaltliche Ebene des Berichts, (3) Akzeptanz, (4) Interventionsableitung, (5) Format des Berichts und (6) Anforderungswünsche an den Bericht, die Ergebnisse für die darauffolgende Interpretation deskriptiv beschrieben. 4.2.4.1 Deskriptive Beschreibung (1) Strukturelle Ebene des Berichts Die Berichte müssen gekürzt und verdichtet werden – darüber sind sich Experten und Schulleitungen einig (Interview C, E, F, G, 1, 5, 7, 8, 10 und 12). Ein kurzer Bericht mit den zentralen Fakten ist nötig, denn der Bericht dient als Grundlage für die weiteren Schritte und muss daher nicht alles abdecken. Die Zusammenfassung sollte auch wie eine Anleitung sein, wie der Bericht anschliessend aufgebaut ist, und trotzdem die wesentlichsten Inhalte zusammenfassen. Die Länge der Zusammenfassung der Kernelemente soll maximal zwei Seiten betragen. Damit ist der zentrale Teil des Seite 74/130 Rebecca Bannwart Ergebnisse Masterarbeit Berichts die Zusammenfassung der Ergebnisse und der Empfehlungen. Diese sollte am Anfang des Berichts stehen und leicht zu finden sein. Manche Interviewten bringen die Idee eines erweiterbaren Berichts ein, z. B. ein Bericht mit Verlinkungen, die auf weitere Informationen verweisen. So könnte laut Experte C ein Bericht von zwei auf ca. fünfzig Seiten erweitert werden, je nachdem, welchen Detailgrad eine Schule wünscht. Das heisst, der Bericht ab dem Frühling hat unterschiedliche Tiefen der Strukturen, dass er von zwei Seiten auf fünfzig Seiten ausgedehnt werden kann. Das heisst, man kann nur das Management-Summary lesen, wenn einem die zwei Seiten … reichen, dann kennt man die Kernaussagen mit den Kernbotschaften. ... Wenn eine Schulleitung trotzdem das Bedürfnisse [nach] noch genaueren Daten [hat], dann kann man die Einschätzung lesen, die auf einer halben Seite einen Mix aus Werten und Datenabstützung hat. Wenn jemand noch mehr möchte, kann diese Person mit einem Link auf die aggregierten Daten zurückgreifen. (Interview C, Pos: 46) Inhalte in der Zusammenfassung können mit dem Rest des Berichts verlinkt werden, sodass bei weiterem Interesse an detaillierten Inhalten direkt an die richtige Stelle im Bericht geführt werden kann. Dies wird laut Interviewperson 8 als Lesen des Berichts mit Vergnügen beschrieben. Schulleitungen und Experten sind sich einig, dass die Berichte mehr auf veränderbare Faktoren eingehen sollten: «…[Ulanveränderbare Faktoren…bekommen unverhältnismässig ein starkes Gewicht.» (Interview A_210102 Pos: 31) Ebenso braucht der Bericht mehr schulspezifische Aussagen; die Schule muss sich im Bericht wiederfinden (Interview A, F, G, 1, 2, 3, 7 und 11). Diese Aussagen sollten in einem Bericht vorhanden sein. Dabei ist eine stabile, sich wiederholende Struktur des Berichts notwendig, damit sich die Schulleitung schnell in den Strukturen zurechtfindet (Interview D und G). Die Lesenden müssen an die Hand genommen und durch den Bericht geführt werden. Es ist unbedingt zu vermeiden, im Bericht nach Inhalten suchen zu müssen, da dies zu einer höheren Abbruchquote führt. Um die Navigierbarkeit zu verstärken, braucht ein Bericht einen aussagekräftigen und interessanten Titel, der das Bedürfnis weckt, weiterzulesen. Seite 75/130 Rebecca Bannwart Ergebnisse Masterarbeit Der Titel muss aussagekräftig sein und meistens begleitet von einem Beschrieb. Und dann nach dem Motto erster Eindruck zählt, entweder liest man weiter oder nicht. (Interview 11, Pos: 18) Weiterhin wünschen sich die Schulleitungen die Möglichkeit, den Bericht zu filtern, und zwar nach Themen wie Geschlecht, Alter, Fach- oder Klassenlehrkraft, Beschäftigungsgrad und Schulthemen (Interview 1, 3, 4 und 7). Diese Unterteilungen sind für eine zielgruppenspezifische Ableitung von Interventionen relevant. (2) Inhaltliche Ebene des Berichts Damit der Bericht ausreichend Inhalt hat und der Text mit Beweisen untermauert wird, werden qualitative Aussagen oder narrative Elemente benötigt (Interview A, 8). Für ein besseres Verständnis des Berichts und damit auch für eine höhere Wahrscheinlichkeit, dass interne Massnahmenableitungen erfolgen, ist eine Ausgewogenheit und eine Kombination von Grafiken, Tabellen, Diagrammen und Fliesstext notwendig (Interview D, E, G, 1, 2, 3, 6, 7, 11). Eine abwechslungsreiche Darstellung erhöht die Motivation und Aufmerksamkeit (Interview 4). Alle Abbildungen, egal welchen Formats, benötigen eine textliche Erläuterung. Spezifisch Tabellen sollten eine einfache und leicht verständliche Legende verwenden. Farben sind eine gute Orientierung für Grafiken, aber es muss klar definiert sein, was damit gemeint ist (Interview D, E, G, 1, 2, 3, 6, 7, 8, 11). Grundsätzlich sind sich Experten und Schulleitungen einig, dass weniger Fliesstext benötigt wird und mehr von Grafiken Gebrauch gemacht werden sollte. Grafiken sorgen für eine bessere Übersicht und helfen beim Verständnis. Ausserdem müssen die begehrten Vergleiche und Benchmarks mehr Bezug zum schulischen Umfeld haben. Die Schulleitungen wünschen sich eine transparentere Zusammensetzung der Vergleichswerte: «…[D]er Erfahrungswert [der Experten] ist wichtig, dass ich [Schulleitung] weiss, was der Wert im Vergleich heisst» (Interview 3, Pos: 14). Diese Vergleiche sind für die Ableitung von Interventionen von Bedeutung. Zwei Schulleitungen sagen sogar, dass es relevant ist, nur mit Schulen im gleichen Kanton zu vergleichen, da jeder Kanton so unterschiedliche Strukturen hat und kantonübergreifend schwer zu vergleichen ist (Interview C und G). Neben den Vergleichen müssen auch die Konstrukte und Items hinter den Fragen und Ergebnissen verstanden werden. Daraus lassen sich dann die spannenden Seite 76/130 Rebecca Bannwart Ergebnisse Masterarbeit Zusammenhänge zwischen den Konstrukten erklären, was ein starkes Bedürfnis der Schulleitungen ist. Die Experten werden sich in Zukunft verstärkt darum bemühen, den Bericht in einen grösseren numerischen Kontext einzubetten und eine transparente Vergleichbarkeit zu gewährleisten. Ein weiteres Bedürfnis auf Seiten der Schulleitungen ist laut Interview G die Frage «Was braucht es für eine gute Praxis?». (Interview G, Pos: 24). Daher sollte dem Anspruch der Experten, die normative Funktion eines Berichts zu erhöhen, Rechnung getragen werden. Damit verbunden sind validierte Items, von denen einige bereits vorhanden sind, die aber ausgebaut werden könnten. Die Items validiert sein und eine klare Antwort auf eine Frage liefern können, damit die Evaluation ihre Wirkung zeigen kann und daraus Interventionen abgeleitet werden können. Der Wunsch einer Schulleitung ist die datengestützte Berichterstattung für eine Nachvollziehbarkeit der Aussagen (Interview 12). Einige Interviewten sind der Meinung, dass die Rohdaten als Anhang in den Bericht aufgenommen werden sollten, um bei Bedarf genauer hinschauen zu können oder sich unabhängig von der Interpretation der Datensammelnden eine eigene Meinung bilden zu können (Interview 1, 5 und 6). Andere Interviewte denken, dass die Rohdaten nicht notwendig sind und dass eine interpretierte Version der Daten ausreichend für die weiteren Schritte ist (Interview 4, 6, 10 und 11). Ein zusätzlicher Wunsch der Experten ist, dass ihre Expertise neben den objektiven Daten noch stärker in den Bericht einfliesst (Interview E), vor allem als Ausgleich für die Kürzungen in den Berichten. Auch die Schulleitungen sehen darin einen Mehrwert für einen Bericht und dessen Wirkung auf das weitere Vorgehen. Bezüglich des Umgangs mit den Rohdaten gehen die Meinungen der Schulleitungen weit auseinander. In den Interviews wurde ein starker Wunsch nach priorisierten Ergebnissen deutlich. Allerdings sollte die Priorisierung nur durch die Experten erfolgen, die den Bericht erstellen, denn diese Expertise und Aussensicht gibt einer Schule die notwendige Orientierung für die weiteren Schritte einschliesslich der Ableitung von Interventionen (Interview 3, 4, 5, 6, 11 und 12). Mögliche Kriterien, die bei der Priorisierung berücksichtigt werden könnten, sind «... Wichtigkeit, Dringlichkeit und Langfristigkeit ...» (Interview 6, Pos: 19). Die Priorisierung der Ergebnisse könnte auch zur Strukturierung des gesamten Berichts genutzt werden, indem die relevanten Punkte Seite 77/130 Rebecca Bannwart Ergebnisse Masterarbeit am Anfang des Berichts aufgelistet werden. So ist für die Schulleitung auf einen Blick ersichtlich, wo an der Schule Veränderungsbedarf besteht. Nicht zu unterschätzen ist die schnelle Übermittlung der Ergebnisse nach einer Evaluation. Der Bericht sollte zeitnah die Schule erreichen, solange noch Energie und Motivation für das Thema vorhanden sind. Dies ist relevant für die Ableitung von Interventionen (Interview D). (3) Akzeptanz Um die Akzeptanz der Berichte zu erhöhen, ist es notwendig, den Bericht zielgruppengerecht zu formulieren und die Anschlussfähigkeit an die Praxis zu gewährleisten. Damit ist die Nähe zum Schulalltag gemeint. Der Bericht sollte ehrliches und klares Feedback geben und keine Beschönigungen enthalten (Interview C, D, E, G, 7, 8, 9 und 12). Die Art, wie der Bericht formuliert ist, sollte Respekt und Professionalität ausstrahlen (Interview C und 8). Um den Bericht so transparent wie möglich zu gestalten, muss hinter dem Bericht ein Ziel stehen, das kommuniziert wird, ob der Bericht eine Kontrolle oder eine Unterstützung ist. Der Bericht sollte sich auch auf frühere Berichte berufen. Das gibt den Schulen das Gefühl, betroffen zu sein und sie fühlen sich angesprochen. Ein weiterer Punkt ist die Möglichkeit der Partizipation einer Schule. Interviewperson 4 sagte, dass ein höheres Engagement generiert wird, wenn die Schule in den Prozess der Empfehlungen eingebunden ist. Empfehlungen müssen immer eine Umsetzbarkeit aufweisen. Hierfür eignen sich zwei Arten von Interventionen, zum einen Quickwins4, die schnell und effektiv erste Erfolge zeigen, und zum anderen langfristige Aktionspläne, die Nachhaltigkeit verfolgen (Interview 6, 8 und 9). (4) Interventionsableitung Nach Ansicht der Befragten müssen Berichte dringend Empfehlungen aussprechen, dies gilt auch für wissenschaftliche Studien. Berichte müssen zum einen die operative und strategische Bedeutung erläutern, zum anderen müssen sie in Stärke- und Entwicklungsbereiche unterteilt werden (Interview 5, 8 und 12). Um die Ableitung 4 In diesem Fall ist damit ein schnelles Erfolgserlebnis gemeint. Seite 78/130 Rebecca Bannwart Ergebnisse Masterarbeit von Interventionen zu stärken, ist eine Anleitung für den Einstiegsprozess notwendig, wie die Schule von Empfehlungen zu konkreten Interventionen kommt, oder zumindest eine Priorisierung der Erkenntnisse durch die Experten (Interview F, G, 4, 9, 11 und 12). Darüber hinaus kann ein stärkeres Commitment laut Interviewperson 2 auch mit Verpflichtungen einhergehen, was z. B. die Abgabe eines Aktionsplans bedeuten kann. Dies ist nicht die Ansicht von Interviewperson 12, die der Meinung ist, dass solche Verpflichtungen das Engagement hemmen und freiwillig sein müssen. Aus Sicht der Experten kann Verbindlichkeit dadurch erreicht werden, dass die Ergebnisse und die Empfehlungen vor Ort erläutert werden, um gleichzeitig Unklarheiten und Fragen zu klären (Interview E und F). Die Nachvollziehbarkeit des Berichts ist wesentlich für die Ableitung von Interventionen. Daher ist es sowohl für Experten als auch für Schulleitungen klar, dass die Empfehlungen aus den Ergebnissen eine Grundlage dafür sind (Interview D, G, 2, 3, 7 und 9). Die Empfehlungen müssen sich an den Zielen orientieren und eine gewisse Verbindlichkeit haben. Ebenso können die Ableitungen gestärkt werden, indem sie neben einer Beratung eine Interpretationshilfe bieten oder indem in den Zusammenhängen der Werte klar aufgezeigt wird, warum welcher Wert wie ausgeprägt ist. Dies kann auch Anregungen für den Einstieg in die Diskussion geben. Die Herausforderung, mit kritischen Ergebnissen umzugehen, kann durch weitere Handlungsempfehlungen gemäss Interviewperson 7 verstärkt werden. Für die Schulleitung wäre es sinnvoll, die Ergebnisse intern abzulegen und zugänglich zu machen, mit dem Auftrag, diese zu lesen, um sie als Diskussionsgrundlage für die nächste Teamsitzung zu nutzen (Interview D). Dank der Digitalisierung kann eine bessere Gestaltung erfolgen (Interview G). Neben dem Hauptbericht gibt es noch eine drei- bis vierseitige Management-Summary mit Handlungsempfehlungen für das Management und als drittes Dokument ein Arbeitsdokument für die Schulen, ohne Methodik und einleitende Informationen, sondern nur mit den reinen Ergebnissen (Kernaussagen). (5) Format des Berichts Es besteht eine grosse Diskrepanz, ob es einen Bericht für alle oder mehrere an Adressaten angepasste Berichte geben soll. Einige Schulleitungen plädieren dafür, den Seite 79/130 Rebecca Bannwart Ergebnisse Masterarbeit Bericht selbst für die jeweilige Zielgruppe anpassen zu wollen, um den Inhalt kontrollieren zu können (Interview 4, 10 und 11). Andere Schulleitungen sehen den Vorteil der angepassten Berichte als Entlastung, da sonst die Arbeit bei ihnen liegen würde (Interview 1, 6, 7, 8, 9 und 12). Ebenso ist es ein positiver Aspekt, dass angepasste Berichte der Schulleitung ein detaillierteres Feedback geben können, als es für eine Lehrperson notwendig ist. Allerdings sind sich alle einig, dass vor dem Verfassen des Berichts die Frage gestellt werden muss, wer der Auftraggeber bzw. die Auftraggeberin der Evaluation ist und wer an den Ergebnissen interessiert ist. Je nachdem ist ein Adressatenbericht sinnvoll oder nicht. Experten haben mit beiden Formen Erfahrungen gemacht. Bei getrennten Berichten führen sie die Trennung der Kundenbedürfnisse als Vorteil an. Es kann expliziter auf die Bedürfnisse der Zielgruppe eingegangen werden. So kann z. B. mehr Steuerungswissen an das Management weitergegeben werden, das für die Lehrpersonen nicht direkt von Interesse wäre. Dadurch wird der Bericht auch für die jeweiligen Gruppen kürzer (Interview A, C, D und G). Laut Interviewperson 2 ist die Sprache abhängig vom Berichtsformat. Eine Studie verwendet z. B. ein anderes Vokabular als eine kantonale Auswertung. Daher wird in Zukunft eine kurze Beschreibung des verwendeten Formats und seiner gewählten Sprache benötigt. Alle sind sich jedoch einig, dass die Berichte prägnanter und kürzer geschrieben werden könnten (Interview A, C, F, G, 2, 4, 5, 7, 8, 11 und 12). Vor allem in der adressatengerechten Formulierung der Berichte sehen die Befragten noch offenes Potenzial (Interview A, C, G, 2, 3, 7, 8 und 12): «Es müsste so heruntergebrochen werden, dass es den Adressat erreicht» (Interview 12, Pos: 10). Fachbegriffe sollten in den Berichten Platz finden, sofern sie Schulbegriffe sind, denn Fachbegriffe deuten auf die Professionalität eines Berichts hin und nehmen damit auch auf die Akzeptanz Einfluss (Interview C, 7, 8 und 12). Statistische Begriffe wie Korrelationen, Standardabweichungen und Mittelwerte müssen sorgfältig gewählt und gut hergeleitet werden. Je nach Berichtsformat kann die Auswahl der Themen nicht immer von den Schulen beeinflusst werden. Daher sollte in Zukunft darauf geachtet werden, Themen zu wählen, bei denen die effizienteste Entwicklung mit schnellen Gewinnen sichtbar ist. Seite 80/130 Rebecca Bannwart Ergebnisse Masterarbeit Ausserdem sollte auf die Betroffenheit und die Schulnähe eines Themas geachtet werden (Interview A, F, 6, 8, 9, 11 und 12). Das bedeutet, dass die Schulleitung und vor allem die Lehrpersonen die Relevanz des Themas erkennen müssen und damit auch einen Nutzen ableiten können, den sie mit einer Intervention erzielen möchten. Bei Forschungsstudien ist es notwendig, die Praxis in die Ableitung der Forschungsfrage einzubeziehen. Als spannend werden Themen erachtet, die über einen gewissen Zeitraum untersucht und ausgewertet werden. Dies ist ein Mehrwert einer Forschungsstudie, die sich eines solchen Forschungsdesigns bedienen kann. Auf diese Weise werden ein oder mehrere Themen regelmässig über einen Zeitraum hinweg bearbeitet und somit wird ein Ergebnis nachhaltiger als bei nur einem Erhebungszeitpunkt (Interview 2 und 11). (6) Anforderungswünsche an den Bericht Die konkreten Wünsche aus den Interviews sind breit gefächert. Eine Schulleitung wünscht sich eine Unterteilung eines Gesamtberichts in die einzelnen Schuleinheiten (Interview 3). Dies betrifft jedoch nicht jede interviewte Schulleitung, da die Struktur der Schulen sehr unterschiedlich ist. Eine andere Schulleitung äussert den Wunsch, einen Leitfaden an die Hand zu bekommen, wie die Ergebnisse und die Informationen an die Lehrpersonen gebracht werden können (Interview 4). Noch deutlicher wird der Bedarf an einer unterstützenden Interpretation der Ergebnisse (Interview A, 6 und 7). Schulleitungen wollen wissen, welcher Wert was auf einer bestimmten Skala bedeutet und wie die Ergebnisse zusammenhängen. Durch diese Erklärung der Zusammenhänge hofft ein Experte auch, subjektive Annahmen zu vermeiden (Interview A). Die Ergebnisse des Berichts müssen so gestaltet sein, dass sie die vorgegebenen Ziele möglichst gut beantworten können. «Ein Evaluationsbericht hat auch seine Grenzen» (Interview 8, Pos: 29), daher ist laut Interviewperson 8 eine klare Abgrenzung geeignet, um zu zeigen, was der Bericht beantworten kann und was nicht. Um noch besser mit dem Bericht arbeiten zu können, wünschen sich die Schulleitungen, noch mehr Einfluss auf die Gruppierung und die Unterteilung der Ergebnisse zu haben und damit auch den Detailgrad flexibler beeinflussen zu können (Interview 6 und 7). Ein besonderes Anliegen wurde von Interviewperson 9 geäussert: Diese findet es relevant, dass alle Teilnehmenden bis zum Ende der Studie dabei sein Seite 81/130 Rebecca Bannwart Ergebnisse Masterarbeit können, unabhängig davon, ob sie noch einen Job an der Schule haben oder nicht. In bestimmten Themenbereichen haben diese Ergebnisse einen besonders hohen Stellenwert. Speziell für wissenschaftliche Studien ist der Einbezug der Praxis stärker erforderlich. Interviewperson F schlägt eine «Echogruppe» vor, die zu Beginn der Studie einbezogen wird und bei der Auswahl der Konstrukte ein Mitspracherecht hat (Interview F, Pos: 52). Echogruppen werden auch als Sounding-Board bezeichnet und sind eine Methode, um aktiv die Meinung der Betroffenen einzuholen, z. B. in Veränderungsprozessen. Sounding-Board heisst ins Deutsche übersetzt ‹Resonanzboden› und bedeutet ‹gehört werden› (Windolph & Blumenau, 2021). Die Wissenschaft sieht in der Praxis den Vorteil, ihre Theorien anwendbarer zu machen und sie mit dem Wissen der Praxis zu erweitern. Für Experten ist die Frage der Digitalisierung immer ein Thema. Dabei muss geprüft werden, welche Bedeutung ein gedruckter Bericht noch hat und was die Vor- und Nachteile einer digitalen Version sind. Es stellt sich die Frage, ob es irgendwann überflüssig ist, den Bericht zu drucken, um Geld zu sparen. Andererseits messen Experten der Symbolkraft immer noch ein hohes Gewicht bei (Interview G). Interview G ist daher der Meinung, dass der Einfluss, den ein gedrucktes Dokument, das in der Hand gehalten wird, immer noch hat, nicht unterschätzt werden sollte und sogar genutzt werden sollte. 4.2.4.2 Interpretation bezüglich der Ergebnisse im Kontext von Forschungsfrage 4 Damit die Berichte in der täglichen Arbeit der Schulleitung Wirkung zeigen, müssen einige Punkte sowohl inhaltlich als auch strukturell angepasst werden. Auch ein klar gewähltes Format ist erforderlich. Diese Faktoren führen zu einer höheren Akzeptanz des Berichts und damit auch zu einer höheren Wirkung. Eine klare Übersicht darüber, was der Bericht enthält und was er nicht enthält, wird als hilfreich angesehen. Grenzen müssen aufgezeigt werden können. Erklären lässt sich dies mit dem Bedürfnis nach einer realistischen Erwartungshaltung. Die Schulen werden dadurch weniger enttäuscht, wenn sie genau wissen, welche Informationen ein Bericht liefert und was er nicht abdeckt. Weiter zeigen die Seite 82/130 Rebecca Bannwart Ergebnisse Masterarbeit Ergebnisse, dass nach Meinung der Experten und nach den abgeleiteten ARGEV- Kriterien eine stabile Struktur im Bericht geschaffen werden muss. Strukturen sind wichtig, um sich orientieren zu können. Es ist dadurch leichter abzuschätzen, was folgt, denn die Berichte benötigen einen Wiedererkennungseffekt, damit sich die Schulleitungen schnell in den vielfältigen Informationen orientieren können. Zu einer klaren Struktur gehören ein aussagekräftiger Titel und Überschriften, eine prägnante Zusammenfassung und praktische Empfehlungen, denn der erste Eindruck ist die erste unbewusste Entscheidung, die in Millisekunden getroffen wird. Nach dem First- Impression-Effekt haben die ersten Eindrücke, die der Beurteilende erhält, eine grössere Wirkung als spätere und werden deshalb bei der Beurteilung unbewusst übergewichtet. Der Bericht sollte auch möglichst kurzgehalten werden, mit einer ersten Zusammenfassung, die z. B. mit einem digitalen Verknüpfungssystem erweitert werden kann. Das lässt sich so erklären, dass die Schulleitungen nicht vor vielen Daten stehen, sondern die benötigte Tiefe selbst auswählen können. Das stärkt die Motivation, da der Grad der Einflussnahme möglichst hoch ist und die gezeigten Informationen kontrolliert werden können. Es gibt den Schulleitungen auch die Flexibilität, die Berichtsstruktur in dem Masse zu erweitern, wie es für sie einen Mehrwert darstellt. Die Ergebnisse deuten zusätzlich darauf hin, dass die Schulleitung gerne ein System von Filtern hätte, das sie beeinflussen kann, um diese Flexibilität zu erhöhen. Auf diese Weise könnte die Schulleitung ihre Aufmerksamkeit selektiv steuern, indem sie sich nur auf bestimmte gefilterte Ergebnisse konzentrierte. Zu beachten ist aber auch die Gefahr der Selbstprophezeiung, also dass die Aufmerksamkeit nur dorthin gelenkt wird, wo Erwünschtes zu finden ist. Darüber hinaus zeigen die Ergebnisse aus den Interviews und der Dokumentenanalyse (ARGEV) erwartungsgemäss, dass für die Ergebnisse im Bericht möglichst vielseitige visuelle Darstellungen verwendet werden sollten. Dies lässt sich dadurch erklären, dass visuelle Kommunikation über ein Bild kognitiv schneller verarbeitet, wird als ein geschriebenes Wort und somit ein schnelleres Verstehen fördert. Wie bereits oben erwähnt, senken praktische Empfehlungen die Hemmschwelle, Massnahmen aus den Ergebnissen abzuleiten. Praxisnahe Empfehlungen sind solche, Seite 83/130 Rebecca Bannwart Ergebnisse Masterarbeit die einen möglichst realitätsnahen Input liefern, auf den gegebenen Kontext der Schule bezogen sind, eine zielgruppengerechte Sprache verwenden und nachvollziehbar abgeleitet sind. Je besser eine Schule die Empfehlungen für umsetzbar hält und je mehr ihr Anliegen erkennbar gemacht wird, desto höher ist die Wahrscheinlichkeit der Ableitung von Massnahmen. Ein gutes Verständnis kann durch die Transparenz, wie die Empfehlungen zustande kommen, erreicht werden. Im Gegensatz zur Annahme zeigen die Ergebnisse sowohl aus den Interviews als auch aus dem Dokument der ARGEV, dass das Bedürfnis, die Zusammenhänge zu verstehen, gross ist. Die Schulleitungen möchten die Zusammenhänge zwischen den einzelnen Fragen und Ergebnissen kennen. Sie wollen wissen, wo etwas verändert werden muss, um möglichst viel Wirkung zu erzielen. Das Bedürfnis lässt sich mit dem Wunsch nach Ganzheitlichkeit erklären. Die Schulleitungen wollen nicht nur einen Teil verstehen, sondern die Ergebnisse in einen Kontext stellen können und ihren Einfluss kennen. Dadurch ist es möglich, zielgerichtete Veränderungen gezielter anzugehen. Den Ergebnissen zufolge können die Empfehlungen durch die Einbeziehung von Expertenmeinungen zusätzlich gestärkt werden, z. B. durch eine Priorisierung. Sowohl Schulleitungen als auch Experten sehen einen Mehrwert, wenn zusätzlich zu den Daten eine Interpretation und Priorisierung auf Basis einer Expertenmeinung in den Bericht aufgenommen wird. Die Experten (siehe Kapitel 3.3) bringen ein fundiertes, bereits breit gefächertes Fachwissen mit vielen Erfahrungswerten mit, das von den Schulleitungen nicht vorausgesetzt werden kann. Dies bedeutet, dass den Schulleitungen eine Übersetzungsleistung zur Verfügung gestellt werden kann. Die Schulleitungen sind dann ihrerseits Experten für den schulischen Kontext. Haben sie erstmals ein Verständnis für die Daten eines erhobenen Themas gewonnen, können sie diese optimal in ihren Kontext einbetten. Dafür sind die Berichterstellenden meist nicht geeignet, da sie zu weit vom Setting entfernt sind. Hingegen tragen Berichterstellende laut den Ergebnissen eine andere wesentliche Rolle. Wie erwartet, sollten persönliche Kontakte zwischen Schulleitung und Berichterstellenden gepflegt werden. Dies schafft ein höheres Mass an Commitment und eine offene Kommunikation, die dazu genutzt werden können, um bei Unklarheiten Fragen zu stellen und um die Daten tatsächlich zu nutzen. Die Interviewten schlagen vor, z. B. die Ergebnisse vor Ort vorzustellen. Gerade bei wissenschaftlichen Studien und deren Ergebnissen ist eine aktive Einbindung in den Seite 84/130 Rebecca Bannwart Ergebnisse Masterarbeit Prozess von der Datenerhebung bis zur Präsentation signifikant, denn diese Studien sind in der Regel weiter von der Praxis entfernt und laufen Gefahr, zu wenig Akzeptanz zu finden. Um dies zu vermeiden, könnten, je nach Ergebnis, Echogruppen eingesetzt oder anderweite eine Mitsprachemöglichkeit erzeugt werden. Dies lässt sich gut anhand der Partizipation erklären. Sobald der Mensch selbst Einfluss nehmen kann, die Tätigkeit als freiwillig erachtet und eine Person sich einbringen kann, steigt die Verbindlichkeit. Das liegt daran, dass an dem festgehalten wird, wozu selbst beigetragen wurde, um möglichst kongruent zu handeln, sonst entsteht eine kognitive Dissonanz. Aus diesen Ergebnissen lässt sich ein letzter, aber einflussreicher Punkt ableiten, der bei der zukünftigen Gestaltung von Berichten berücksichtigt werden sollte. Die Ergebnisse geben kein einheitliches Bild des optimalen Formats wieder. Die Autorin nimmt an, dies ist auf die unterschiedlichen Voraussetzungen zurückzuführen, die eine Schulleitung mit sich bringt. Es ist jedoch klar, dass die Schulleitung transparent und klar darlegen muss, was sie mit dem Bericht erreichen möchte, denn eine gezielte Kommunikation im Bericht kann nur erfolgen, wenn die Empfänger und die Beteiligten bekannt sind. 4.2.5 Ergebnisse zur Forschungsfrage 5 Die folgenden Ergebnisse werden unter der Betrachtung der fünften Forschungsfrage Was ist aus der Perspektive der Schulleitung neben dem Bericht noch wesentlich, damit Interventionen abgeleitet werden können? erläutert. Dazu werden in den Unterkapiteln (1) Akzeptanz, (2) Kommunikation, (3) Begleitung und (4) Beratungsmöglichkeiten, die Ergebnisse für die darauffolgende Interpretation deskriptiv beschrieben. 4.2.5.1 Deskriptive Beschreibung Aus den Interviews kristallisieren sich neben dem Bericht folgende Einflussfaktoren für die Bedeutung der Interventionsableitung heraus. (1) Akzeptanz Seite 85/130 Rebecca Bannwart Ergebnisse Masterarbeit Die Akzeptanz des gesamten Prozesses ist ausschlaggebend für die Ableitung von Interventionen. Zum einen müssen die Führungskraft und die Betroffenen stärker eingebunden werden, damit ihre Einstellung zum Prozess positiv ist (Interview 1, 4, 5, 6, 7 und 11), indem der Sinn und der Zweck und damit auch der Nutzen und die Konsequenzen der Evaluation klar aufgezeigt werden (Interview 8). Es muss eindeutig sein, was der Mehrwert des Aufwandes ist und warum es sich lohnt, Zeit zu investieren. Dies erfordert eine nachvollziehbare Prozessbeschreibung (Realistic Preview). Auch muss geklärt werden, welche Ressourcen benötigt werden (Interview 11). Die notwendigen Ressourcen sind essenziell für eine erfolgreiche Interventionsableitung. Finanzielle, zeitliche, räumliche und fachliche Ressourcen sind nötig, so die Schulleitungen. Der Aufwand und der Ertrag müssen stimmen, damit eine Schule tatsächlich Interventionen ableiten kann. Der Begriff zeitliche Ressourcen bezieht sich auf Zeitfenster, die für die Ableitung der Intervention reserviert sind, und auf die entsprechenden Gefässe (räumliche Ressourcen). Die Lehrkräfte müssen sich auf den Prozess und das Thema einlassen können. Sie brauchen auch genügend Know-how, um geeignete Interventionen abzuleiten (fachliche Ressourcen). Der Kontext der Ergebnisse und der Empfehlungen muss klar sein. Klare Qualitätskriterien helfen, die Ergebnisse einzuordnen und das eigene Ziel auszurichten. Dies erfordert auch eine ausreichende Entscheidungskompetenz, ob eine Intervention überhaupt umgesetzt werden kann (Interview 1, 3, 5, 8, 9, 11 und 12). (2) Kommunikation Alle befragten Schulleitungen waren sich einig, dass ein Gespräch im Vorfeld der Befragung erwünscht ist (Interview 1–12). Mit einem Vorgespräch können die Erwartungen erfragt werden, die mit dieser Auswertung erreicht werden können. Ausserdem besteht die Möglichkeit, über die Grenzen und die Ziele der Befragung zu sprechen. Dieser Punkt wird auch von Experten hervorgehoben. Falsche Erwartungen können durch die Auseinandersetzung mit dem Forschungsgegenstand minimiert werden (Interview A, F und G). Auch die betroffenen Personen, vor allem die Lehrpersonen, müssen von Anfang an teilhaben. Dies könnte laut Interviewperson 4 die Einstellung der Lehrpersonen zu Evaluationen stärken. Die intrinsische Motivation, mit dem anschliessenden Bericht etwas zu tun, ist höher. Seite 86/130 Rebecca Bannwart Ergebnisse Masterarbeit Die Befragten 6 und 8 sind der Meinung, dass mit der Vorbesprechung auch das Vorgehen und die Kommunikation geklärt werden können. Die Kommunikation der gesamten Evaluation und dann ihrer Ergebnisse ist ein wesentlicher Faktor. Der Bericht muss so die besprochenen Ziele wiederaufgreifen und diese müssen in die Strukturierung des Berichts einfliessen, damit die zu Beginn gebildeten Hypothesen zum Vergleich mit den realen Daten herangezogen werden können (Interview A und D). Hierfür benötigen die Schulleitungen eine Anleitung, wie sie die Informationen optimal kommunizieren können (Interview 1, 3, 4, 5, 6, 8, 9 und 12). Zum anderen müssen die Ergebnisse und die abgeleiteten Interventionen regelmässig aufgegriffen werden und immer präsent sein, damit die Betroffenen auch sehen, dass etwas getan wird (Interview 3, 4, 6 und 12). (3) Begleitung Die Ableitung von Interventionen kann nicht allein aus dem Bericht erfolgen, sondern bedarf der Diskussion. Gleichzeitig wird dadurch eine gewisse Verarbeitungszeit eingeräumt (Interview D und 3). Um die Ableitung so erfolgreich wie möglich zu gestalten, sollten die Empfehlungen gemeinsam mit den Betroffenen priorisiert werden und dann die Interventionen gemeinsam abgeleitet werden. In diesem Prozess können die Machbarkeit, aber auch die Grenzen solcher Interventionen diskutiert werden und es entsteht ein gemeinsamer Erwartungshorizont (Interview 6 und 9). Es ist wesentlich, dass nach einer Evaluation eine Veränderung sichtbar wird. Interventionen müssen durchführbar sein und eine Chance auf Erfolg haben. Daher sollte der Fokus auf veränderbaren Themen liegen (Interview 3, 4, 6 und 12). Laut Interviewperson 6 muss jedoch die Anzahl der durchgeführten Studien/Evaluationen sorgfältig ausgewählt werden. Aus diesem Grund plädieren die Interviewpersonen 8 und 11 für weniger Evaluationen, dafür aber für solche, die auf echtes Interesse stossen. Bei herausfordernden Themen (z. B. Gesundheit, Konflikte) kann eine externe Beratungsperson hilfreich sein. Unabhängig vom Thema besteht immer Bedarf an einer Ansprechperson für Fragen, die im Laufe eines Prozesses auftauchen. So wird zukünftig von Seiten des Absenders ein Angebot für weitere Unterstützung gemacht bzw. dies wird gewünscht (Interview D, G, 6 und 10). Die Mehrheit der befragten Seite 87/130 Rebecca Bannwart Ergebnisse Masterarbeit Schulleitungen (Interview 1–4, 7, 9 und 11) findet eine Beratungsperson bei der Ableitung von Interventionen unterstützend. Diese sorgt für ein umfassenderes Verständnis und erhöht damit die Wahrscheinlichkeit der Ableitung von Interventionen. Mit einer (Prozess-)Begleitung erhoffen sich die Interviewpersonen G, 1, 2, 4 und 7 eine nachhaltigere Interventionsableitung, da durch den Dialog ein besseres Verständnis und Engagement entstehen. Es könnte auch eine Veranstaltung sein, in der die Ergebnisse präsentiert werden und in der Ideen gegeben werden, wie die Ergebnisse weiterverarbeitet werden können. Laut Experte G kann eine Workshop-Diskussion der Ergebnisse genutzt werden, um das Thema nach der Berichterstattung erneut aufzugreifen und die Ableitung verbindlicher zu gestalten. Diese Kriterien nehmen bei wissenschaftlichen Studien stark zu, da noch eine höhere Hürde des Verständnisses besteht. Dies ist auch die Meinung der Experten, die laut den Interviews niemals einen Bericht ohne Diskussion abgeben würden. Der Bericht allein ist nur die Hälfte des Prozesses (Interview A, C, E und G). Mit dem Gespräch kann auch der Detailgrad eines Berichts reduziert werden, da die Begleitung noch viel Input liefern kann (Interview A). Auch die Schulleitungen 1, 6 und 11 sehen das so, weil mit der Begleitung eine andere Tiefe des Themas angesprochen werden kann und Hintergrundinformationen zu Items verfügbar werden. Ausserdem sollte bei überraschenden Ergebnissen, herausfordernden Themen oder sehr grossen Datenmengen eine Begleitperson hinzugezogen werden (Interview 2, 5, 7 und 11). Schulleitung 6 ergänzt, dass es in Zukunft spannend wäre, einen Pool von Experten zu haben, die je nach Thema helfen könnten. Diese könnten sowohl intern als auch extern sein. Die Ergebnisse können mit der Expertise des Begleitenden stärker auf das Relevante gefiltert werden und so kann der Fokus schneller auf die Interventionsableitung gesetzt werden (Interview 3 und 4). Die Interviewpersonen sehen den Mehrwert der Unterstützung von einer Begleitung in der Übersetzungshilfe, die diese leisten kann (Interview A, E, 1–4 und 6). Die Expertise kann auch zusätzliche Informationen liefern, wie Vergleiche mit anderen Schulen. Dies wird von den Schulleitungen sehr geschätzt. Ein weiterer Mehrwert ist die gezielte Unterstützung bei der Interpretation der Ergebnisse, damit keine falschen Schlüsse gezogen werden und damit die Schulen in die Lage versetzt werden, die Ergebnisse kritisch zu hinterfragen und den Ursachen auf den Grund zu gehen. So können gezielte Interventionen abgeleitet werden. Auch die praktischen Erfahrungen, Seite 88/130 Rebecca Bannwart Ergebnisse Masterarbeit die eine Begleitung mitbringt, werden als Mehrwert gesehen (Interview B, C, F, 1, 3 und 6). Neben der Einbindung von Fachwissen kann die neutrale Aussenperspektive eine gewisse Objektivität in die Evaluation bringen und neue Impulse geben (Interview A, B, 1, 2, 6 und 11). Allerdings ist dies laut Interviewperson 2 stark von der internen Vertrauenskultur abhängig, die in der Schule gelebt wird. Ist diese jedoch vorhanden und offen für externe Unterstützung, kann dies eine enorme Entlastung für die Schulleitung sein, da sie dann nicht als alleinige Ansprechperson fungiert (Interview G, 3 und 9). Der finanzielle Aufwand ist nicht zu unterschätzen, so Interviewperson 3, auch wenn einige Experten intervenieren und auf die kostenlose Beratung hinweisen. Es wird jedoch deutlich, dass eine solche Unterstützung vor allem bei forschungsnahen Studien immer relevanter wird (Interview 6, 7, 11 und 12). (4) Beratungsmöglichkeiten Das Unterstützungs- und Beratungsangebot für Schulen ist in den Interviews sehr unterschiedlich. Einige können für die Schulentwicklung die Absender und Absenderinnen der Evaluationsberichte oder die Schulberatungen von anderen Projekten bei Bedarf hinzuziehen (Interview 2, 10 und 11). Andere wünschen sich, dass Beratung wie eine Dienstleistung angeboten wird (Interview 7 und 12). Aus den Experteninterviews wird deutlich, dass es je nach Region viele kostenlose Beratungsangebote gibt, diese aber bisher nicht so stark genutzt werden (Interview C, D, E und F). Laut Interviewperson E nimmt die Nutzung solcher Angebote jedoch zu. Interviewperson F erklärt, dass in dem Angebot eines Beratungsprogramms oder - dienstes in der Zukunft viel Potenzial steckt. 4.2.5.2 Interpretation bezüglich der Ergebnisse im Kontext von Forschungsfrage 5 Die Ergebnisse der fünften und letzten Frage nach weiteren Einflussfaktoren auf die Interventionsableitung aus den Berichten haben Themen wie Akzeptanz, Kommunikation und Begleitung ergeben. Bereits bei der Gestaltung der Berichte ist die Akzeptanz ein relevantes Thema. Als zusätzlichen Einfluss auf die Interventionsableitung zeigen die Ergebnisse, dass auch der gesamte Prozess akzeptiert werden muss. Daher müssen der Aufwand und Seite 89/130 Rebecca Bannwart Ergebnisse Masterarbeit der Nutzen realistisch dargestellt werden. Auf diese Weise werden falsche Erwartungen reduziert, ein realistisches und erreichbares Niveau wird aufgezeigt und eine höhere Zufriedenheit wird ausgelöst. Dies lässt sich durch die Diskrepanz erklären, die durch unklare Kommunikation zwischen dem, was die Person tatsächlich erlebt hat, und dem, was sie zu erleben erwartet, entsteht. Wie die Ergebnisse zeigen, hilft eine Klärung der Erwartungen im Vorfeld. Gerade bei Forschungsberichten scheint dies nach Aussage der Befragten noch nicht der Fall zu sein. Das Forschungsteam könnte die Erwartungsdiskussion nutzen, um die Relevanz des zu erforschenden Themas zu erfassen und möglichst praxisnah auszurichten. Auf diese Weise kann eine praxisorientierte Forschung stattfinden. Es muss aber auch berücksichtigt werden, dass Forschungsberichte nicht immer alle Erwartungen erfüllen können und daher ein solches Vorgespräch auch falsche Signale aussenden könnte. Möglicherweise bedarf es auch eines definierten Rahmens der Einflussnahme für die Schulen, der durch das Forschungsteam vorgegeben wird. Trotzdem darf der Effekt der Partizipation nicht unterschätzt werden. Sobald ein Individuum die Möglichkeit bekommt, mitzubestimmen, und sei es auch nur im kleinen Rahmen, steigt sein Engagement dafür. Dieser Effekt sollte in Zukunft noch gezielter genutzt werden. Darüber hinaus kann mit dem klar aufgezeigten Prozess die Einschätzung der benötigten Ressourcen entsprechend den Ergebnissen verbessert werden. Eine realistische und transparente Prozessvorschau ermöglicht eine konkrete Kalkulation der finanziellen, zeitlichen, räumlichen und fachlichen Ressourcen. Dies ermöglicht eine fokussierte Planung und kann die Wahrscheinlichkeit erhöhen, sich an den eigenen Plan zu halten, da sich Menschen kongruent verhalten wollen. Denn konkretes Denken führt tendenziell dazu, sich konkrete Ziele zu setzen. Dies lässt sich darauf zurückführen, dass ein geplantes Ziel eine gut durchdachte Strategie ist und wie eine mentale Heuristik funktioniert. Eine mentale Heuristik ist eine Strategie, die es Menschen ermöglicht, in begrenzter Zeit mit begrenztem Wissen Entscheidungen zu treffen (Moser, 2001). Mit einem gut durchdachten Plan werden kognitive Ressourcen gespart und es ist schneller und effizienter, ihn auszuführen, anstatt über neue Schritte nachdenken zu müssen. Seite 90/130 Rebecca Bannwart Ergebnisse Masterarbeit Ausserdem zeigen die Ergebnisse der Interviews die Wirkung einer Diskussion der Berichtsinhalte. Durch die intensive Auseinandersetzung mit den Ergebnissen aus dem Bericht können die Konsequenzen und der Veränderungsradius der möglichen Intervention diskutiert und besser objektiviert werden. So gelingt eine erfolgreichere und nachhaltigere Interventionsableitung. Zur Unterstützung der oben genannten Diskussion setzen einige Schulleitungen Beratungspersonen und/oder Moderatoren bzw. Moderatorinnen ein. Diese ermöglichen die Übersetzung der Ergebnisse, die Steuerung der Diskussion und die Erzeugung der Veränderungsbereitschaft für eine Intervention. Die Experten plädieren auch für den Mehrwert eines gemeinsamen Diskurses über den Bericht. Dies lässt sich damit erklären, dass die Schulleitung mit der Begleitung eine neutrale Person hat, die die Ergebnisse um weitere Informationen ergänzt, was das Verständnis stärkt und den Schulleitungen mehr Argumente liefert, die sie für die Interventionsbegleitung mit ihren Teams benötigen. Den Ergebnissen zufolge gibt es unterschiedliche Beratungsmöglichkeiten. Es ist klar, dass in Zukunft die Forschungsstudien konkreter mit Beratungsangeboten arbeiten werden. Das ist auch der Wunsch von einigen Schulleitungen, die das als Serviceangebot sehen. Hier ist noch zu beachten, dass es sich bei der Beratung nicht nur um externe, sondern auch um interne Angebote handeln kann. Zunehmend verfügen Schulen auch über eine Vielzahl von internen Kenntnissen und Fähigkeiten, die genutzt werden können. Seite 91/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit 5 Diskussion und Reflexion Die folgende Diskussion beginnt mit einer kurzen Zusammenfassung der fünf Fragenstellungen und ihrer Beantwortung. Daran schliesst sich eine übergreifende Diskussion an, in der die Ergebnisse theoretisch und empirisch mit der Literatur verknüpft werden, wo dies möglich und sinnvoll ist. Einzelaussagen und Zitate aus den Ergebnissen werden zur besseren Lesbarkeit weggelassen. Abschliessend lassen sich Praxisimplikationen ableiten. 5.1 Beantwortung der Fragestellung und Diskussion Basierend auf der Dokumentenanalyse und den Experten- und Leitfadeninterviews war es möglich, eine breite Perspektive auf den Fall Wirkungsmechanismus von Evaluationsberichten im Setting Schule zu erfassen. Die Quantität der Ergebnisse erfordert eine Fokussierung auf die wesentlichen Punkte, die im folgenden Kapitel diskutiert werden. Mit dem qualitativen Ansatz und durch die Triangulation der Daten wurde eine ganzheitliche Betrachtung des Settings Schule und der Gestaltung der Berichte möglich. Neben den am häufigsten genannten Ergebnissen wurden solche zur Diskussion ausgewählt, die nach dem Ermessen der Autorin besonders zu gewichten sind. Diese subjektive Auswahl lässt sich damit begründen, dass bei der qualitativen Methodik nicht nur die verbalisierten und objektivierbaren Daten zählen, sondern auch die ganzheitliche Stimmung, die bei den Erhebungen erlebt und analysiert wurde. Mit den Ergebnissen können die fünf Fragestellungen wie folgt beantwortet werden. 1. Worauf achten wissenschaftliche Einrichtungen beim Erstellen von Evaluationsberichten, die die Schulentwicklung unterstützen? Die wissenschaftlichen Einrichtungen stellen sicher, dass der Nutzen und die Grenzen eines Berichts möglichst transparent und auf der Basis einer Erwartungsdiskussion kommuniziert werden. Um den Nutzen des Berichts so gut wie möglich zu vermitteln, achten sie bei der Erstellung auf eine hohe Benutzerfreundlichkeit. Dies geschieht durch eine kurze und übersichtliche Darstellung der Ergebnisse mithilfe von Diagrammen, Zahlen und Vergleichen sowie durch einen hohen Grad an Anschlussfähigkeit mit den Schulen. Um das Commitment der Schulen Seite 92/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit zu stärken, streben die wissenschaftlichen Einrichtungen eine breite Partizipation der Schulen im Prozess an. Die Ergebnisse werden gemeinsam diskutiert, um ein möglichst hohes Mass an Verständnis zu schaffen. Für eine grosse Wahrscheinlichkeit der Ableitung von Massnahmen werden ressourcen- und entwicklungsorientierte Empfehlungen gegeben. 2. Wie zufrieden sind die Schulleitungen mit den Evaluationsberichten? Die Schulleitungen bewerten Berichte wegen ihrer Nützlichkeit als Schulentwicklungsinstrument positiv. Förderlich sind schulbezogene Themen, die Betroffenheit auslösen und damit Ressourcen für Veränderungen mobilisieren. Es fehlt jedoch an klaren und vertrauten Strukturen und an kurzen Zusammenfassungen, die es ermöglichen, den Inhalt des Berichts so vollständig wie möglich zu verstehen. Zu diesem Zweck würden Ergebnisse mit visuellen Reizen das Verständnis verbessern. Eine grosse Anzahl von Seiten und viel Text werden als demotivierende Faktoren angesehen. Verbesserungen sind auch in der Transparenz der Ziele und in den Ableitungen der Ergebnisse zu sehen. Das Beschönigen von Daten wird nicht gewünscht. Die Schulleitungen halten es für elementar, dass die Berichte für alle Beteiligten sichtbare Veränderungen anstossen. Die Zufriedenheit der Schulleitung hängt aber auch von den Lehrpersonen ab. Dieser Einfluss sollte nicht unterschätzt werden. Daher ist neben dem Engagement der Schulleitung auch das der Lehrpersonen notwendig, um die Zufriedenheit mit den Berichten und deren Akzeptanz zu erhöhen. 3. Inwiefern helfen Evaluationsberichte in der Ableitung von Massnahmen? Die Berichte und deren Ergebnisse werden als Standortbestimmung für ein oder mehrere Themen angesehen. Dabei spielt es keine Rolle, ob diese Daten extern oder intern erhoben und ausgewertet werden, da sich die Vor- und Nachteile die Waage halten. Die Ergebnisse zeigen deutlich, wie ausschlaggebend Handlungsempfehlungen sind, die die Experten geben. Sie erhöhen die Wahrscheinlichkeit, dass aus dem Bericht Interventionen abgeleitet werden. Ebenso ermöglichen die Ergebnisse eine Diskussion auf Basis der Daten und fördern so die Auseinandersetzung und Weiterverarbeitung der Ergebnisse. Seite 93/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit 4. Wie können Berichte weiterentwickelt werden, damit die Schulleitungen damit arbeiten können? Die Benutzerfreundlichkeit der Berichte kann weiter optimiert werden, sowohl in Bezug auf die Struktur als auch auf den Inhalt. Zum einen ist es notwendig, den Bericht zu kürzen und ihm vermehrt eine wiederkehrende Struktur zu geben. Mit einem flexibleren Filtersystem kann die Menge der Ergebnisse gezielter gesteuert werden, was der Schulleitung mehr Kontrolle und Orientierung gibt. Andererseits sollte der Bericht in Zukunft mehr schulische und weniger wissenschaftliche Begriffe verwenden, um eine bessere Anschlussfähigkeit an die Schule zu gewährleisten. Auch der Einfluss von Expertenmeinungen kann verstärkt werden. Auf diese Weise kann die Wissenschaftlichkeit der Berichte gefördert werden und die ganzheitliche Betrachtung kann durch Hintergrundkonzepte vorangetrieben werden. Es kann auch deutlich gemacht werden, dass in den Berichten zukünftig ein starker Schwerpunkt auf die Formulierung von Handlungsempfehlungen gelegt werden muss. Dies gilt auch für Studien- und Forschungsberichte. 5. Was ist aus der Perspektive der Schulleitung neben dem Bericht noch wesentlich, damit Interventionen abgeleitet werden können? Neben der Gestaltung des Berichts sind Themen wie Akzeptanz, Ressourcen und Unterstützung relevant, um die Interventionen möglichst erfolgreich und nachhaltig ableiten zu können. Nicht nur der Bericht, sondern auch der Prozess der Evaluation muss von den Schulen bzw. Schulleitungen akzeptiert werden. Dies kann mit einer realistischen Ausrichtung und Abwägung von Nutzen und Aufwand für die Schulen geschehen, was wiederum zu einer erfolgreichen Mobilisierung von Ressourcen führen kann. Darüber hinaus beeinflusst das Ausmass, in dem die Schulleitung und die Lehrpersonen in den Evaluationsprozess eingebunden sind, die Ableitung von Interventionen. Es besteht auch die Notwendigkeit, die Erwartungen zu klären. Zudem hat das Verständnis der Ergebnisse einen wesentlichen Einfluss. Dieses Verständnis kann u. a. durch Beratungsangebote, die die Ergebnisse besprechen, gestärkt werden. Beratungen haben auch den Vorteil einer neutralen Aussensicht, spezifischer Fachkenntnisse und der Bereitstellung von Übersetzungsarbeiten. Vor allem die Seite 94/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit Wissenschaft profitiert von diesem Austausch, der ihr die Möglichkeit gibt, die Perspektive der Praxis in ihre Forschungsarbeit zu integrieren. Zusammenfassend sind laut den Ergebnissen aus der Dokumentenanalyse und den Interviews folgende fünf Punkte für die Gestaltung eines verständlichen und praxiswirksamen Evaluationsberichts zu berücksichtigen (siehe Abbildung 11). Evaluationsberichte sollten in Zukunft ressourcen- und entwicklungsorientierte Handlungsempfehlungen geben. Ausserdem wird empfohlen, ein hohes Mass an Partizipation am Evaluationsprozess zu ermöglichen (einschliesslich der Lehrkräfte). Als benutzerfreundlich werden die Punkte einer klareren und wiederkehrenden Struktur, sowie einer kürzeren und flexibleren Berichtsgestaltung definiert. Berichte sollten in der Lage sein, Zusammenhänge zwischen Ergebnissen und Veränderungen aufzuzeigen und sicherstellen, dass das Thema und die Sprache so zugänglich wie möglich sind. Abbildung 11. Kriterien für einen verständlichen und praxiswirksamen Evaluationsbericht (eigene Darstellung, 2021) Fragenübergreifende Diskussion In dieser Arbeit wurde die Gestaltung von praxiswirksamen Evaluationsberichten im Schulsetting untersucht. Dies geschah vor dem Hintergrund, dass praxiswirksame Evaluationsberichte zur Schulentwicklung beitragen und damit eine zentrale Rolle in Seite 95/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit Veränderungsprozessen an den Schulen haben (Lewin, 1951). Daher wurde zu Beginn aufgrund des aktuellen Forschungsstands die Annahme getroffen, dass das Verständnis der Berichte und deren Inhalte die Akzeptanz der Berichte verbessert, damit die Selbstwirksamkeit der Schulleitung erhöht und somit die Umsetzung der Interventionen fördert (siehe Kapitel 2.4). Den Ergebnissen zufolge spielt das Verständnis des Evaluationsberichts eine wesentliche Rolle für die spätere Nutzung und für die Ableitung von Interventionen. Dies bekräftigt die Aussage von eXe (2008), dass der Nutzen von Berichten in deren Verständnis liegt. Ausserdem knüpft das Ergebnis an das ESI-Rahmenmodell von Reezigt und Creemers (2005) an, das besagt, dass für die Entwicklung innerhalb der Schule ein Verständnis der Bedürfnisse und/oder Probleme erforderlich ist. Die Ergebnisse zeigen, dass neben der im Bericht gewählten Struktur und Sprache, die durch die SEVAL (2016) (die Standards für Evaluationsberichte in der Schweiz) definiert werden, auch der tatsächliche Nutzen einen Einfluss auf die Ableitung der Intervention hat. Laut Landwehr (2011) sowie Widmer, Beywl und Fabian (2009) besteht der eigentliche Nutzen eines Berichts darin, einen Überblick über den aktuellen Zustand (Istzustand) der eigenen Schule als Schulleitung zu erhalten. Um die Daten, die den Istzustand beschreiben, richtig zu verstehen, müssen die Berichterstellenden die Benutzerfreundlichkeit des Berichts (Darstellung, Anwendbarkeit, Sprache etc.) und den wahrgenommenen Nutzen aufzeigen können. Das lässt sich mit dem Technik- Akzeptanz-Modell von Davis (1989) erklären, welches besagt, dass, wenn etwas einfach zu handhaben und leicht zu verstehen ist, dies auch den erkennbaren Nutzen erhöht. Benutzerfreundlichkeit spiegelt sich laut den Schulleitungen in visuellen Ergebnisdarstellungen, klaren und vertrauten Strukturen, flexiblen Filtersystemen, einem adressatengerechten Schulvokabular und in einem kurzen Umfang wider. Der wahrgenommene Nutzen wird als Grad der Einflussnahme, die die Schulleitung mit dem Bericht erzielen kann, beschrieben. Sind die Berichte adressatengerecht gestaltet und können sie die Ziele und Grenzen nachvollziehbar aufzeigen, die der Bericht mitbringt, nutzt die Schulleitung den Bericht als Hilfsmittel, um eine Entwicklung in den Schulen anzustossen. Dies entspricht der TAM-Theorie, wie sie von Venkatesh und Davis (1996) beschrieben wird: Der Bericht wird nur dann akzeptiert und genutzt, wenn der Seite 96/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit Nutzen des Berichts wahrgenommen wird und der Bericht als einfach zu bedienen empfunden wird. Die Ergebnisse zeigen aber auch, dass die Akzeptanz und die Nutzung von Berichten nicht die einzigen Einflussfaktoren für die Entwicklung in der Schule sind. Vielmehr sind sie zwei von mehreren Elementen, die die Ableitung von Interventionen beeinflussen. Daher sollten noch folgende Faktoren im Hinblick auf die getroffene Annahme beachtet werden. Die Ergebnisse zeigen, dass die aktive Miteinbeziehung der Schulleitung notwendig ist. Die Partizipation am Prozess stärkt zum einen das Commitment, zum anderen fördert sie die Selbstwirksamkeit der Schulleitungen (Burow, 2016; Weber & Wieners, 2018). Nach dem HAPA-Modell ist die Selbstwirksamkeit der Schulleitung eine notwendige Bedingung, um die Schulleitung im Entwicklungsprozess zu motivieren (Schwarzer, 1992). Schulleitungen lernen die Ganzheitlichkeit eines Prozesses kennen und können somit die Zusammenhänge der einzelnen Ergebnisse verstehen. Dieses Argument wird durch die Change-Kommunikations-Forschung gestärkt, die besagt, dass bei der Bewusstwerdung von Problemen eine ganzheitliche Sichtweise der Situation notwendig ist (Deutinger, 2017). Dazu müssen die wissenschaftlichen Einrichtungen (die Berichterstellenden) jedoch Konzepte und Modelle verwenden, die einen wissenschaftlichen Rückschluss auf die Zusammenhänge zwischen den einzelnen Ergebnissen erlauben. Auf diese Weise ermöglicht der Bericht die Wahrnehmung des Handlungsbedarfs in der Schule, nach dem HAPA-Modell auch als Risikowahrnehmung bezeichnet (Schwarzer, 1992). Neben der treibenden Kraft der Schulleitung hängt die Ableitung und die Umsetzung von Interventionen weitgehend davon ab, wie gut es den Schulleitungen gelingt, alle Betroffenen in die Zusammenarbeit einzubeziehen (Lehrpersonen, Behörden, Eltern usw.). Dies betonen auch Burow et al. (2020), die dafür plädieren, Schulen zunehmend bottom-up statt top-down zu organisieren. Die Schulen der Zukunft brauchen mehr Entscheidungsfreiheit für die eigene Entwicklung. Abschliessend haben die ressourcen- und entwicklungsorientierten Empfehlungen, die die Experten aussprechen, eine unterstützende Wirkung für die Ableitung von Interventionen für die Weiterentwicklung einer Schule. Dies ermöglicht nach dem HAPA-Modell eine angemessene Bewertung der erwarteten Ergebnisse, die Seite 97/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit mit der Massnahme erzielt werden können (Schwarzer, 1992). Der Theorie von Petty und Cacioppo (1986) folgend, kann eine Einstellungsänderung mittels Expertenwissen erzielen. Expertise hat eine überzeugendere Wirkung. Gerade bei Forschungsberichten kann eine externe Person auch verbal die Brücke zwischen Praxis und Forschung schlagen, was in manchen Fällen durch verkürzte Berichte nicht mehr möglich ist. 5.2 Theoretische Limitation und Ausblick Die vorliegende Arbeit hat Einschränkungen, die Auswirkungen auf die zukünftige Forschung haben. Hier werden die Grenzen und Stärken der Arbeit kritisch reflektiert. Wie bereits in der Methodik erwähnt, war die angedachte Methode Lautes Denken nicht geeignet, um die Fragestellung zu beantworten. Dies wurde beim durchgeführten Pretest festgestellt. Daher wurde in der Datenerhebung auf Leitfadeninterviews mit Schulleitungen zurückgegriffen. Der Grund für diese Anpassung war, dass die Schulleitung nicht über den gesamten Prozess, der bis zum Erhalt des Berichts stattgefunden hat, informiert war und daher kein vollständiges Verständnis für den Kontext und den Ursprung der Ergebnisse hatte. Doch gerade dieser Überblick und das umfassende Verständnis des Prozesses erwiesen sich später in den Ergebnissen der Interviews als bedeutsam. Darüber hinaus forderte das Format des Lauten Denkens mehr Vorbereitungszeit für die Schulleitung, um sich mit den Ergebnissen vertraut zu machen, und war daher im Rahmen dieser Arbeit nicht durchführbar. Ausserdem verwendete der vorgelegte Bericht fremde Daten und stellte eine Barriere für die Identifikation mit den Daten dar. Wie die Ergebnisse aus den Interviews aber auch zeigten, ist der Grad der Betroffenheit ein wesentlicher Faktor, der das Verständnis der Berichte beeinflusst. Daher ist die Entscheidung, auf leitfadengestützte Interviews umzustellen, sinnvoll begründet. Die Lautes-Denken-Methodik ist durchaus geeignet, um die Aspekte der TAM-Theorie (Davis, 1989) in der Praxis zu testen. Allerdings hätte sich die Überprüfung mit dieser Methodik nur auf die formalen Gestaltungsaspekte im Bericht konzentrieren können. Da aber auch einige inhaltliche Aspekte des Berichts mit der Methodik hätten erfasst werden sollen, die wiederum von anderen Faktoren beeinflusst werden, war die Methodik für diesen Zweck nicht geeignet. Mit den anderen Faktoren sind die ganzheitlichen Informationsprozesse, das Engagement, die Seite 98/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit Akzeptanz oder die Betroffenheit gemeint. Das sind weiche Faktoren im Vergleich zu den formalen harten Faktoren, die einen Bericht beeinflussen. Mit der Forschungsfrage nach der Gestaltung von praxiswirksamen Evaluationsberichten im schulischen Umfeld war das gewählte methodische Vorgehen angemessen. Angesichts des aktuellen Stands der Erkenntnisse aus den Ergebnissen zeigt sich jedoch zum einen die Herausforderung der Metakommunikation von Evaluationen. Die Schulleitungen sind in ihrem Alltag auf den Inhalt der Evaluation angewiesen, um Überlegungen anzustellen, weniger darauf, wie die Evaluation, insbesondere der Bericht, aussieht. Zum anderen zeigen die Ergebnisse auch, dass neben dem Bericht viele weitere Einflussfaktoren berücksichtigt werden müssen, um den Bericht zu verstehen. Daher war rückblickend auch das Leitfadeninterview nur bedingt geeignet, denn das Leitfadeninterview lässt nicht zu, eine systematische Aussage zu den Einflussfaktoren zu machen, da der Fokus auf dem Verständnis des Berichts und dessen Gestaltung lag. Die ergänzende Durchführung von ein oder zwei Beobachtungen eines ganzheitlichen Evaluationsprozesses hätte einen komplementären Informationsgehalt schaffen können, weil die Beobachtung des gesamten Evaluierungsprozesses in einer natürlichen Umgebung ein besseres Verständnis der einzelnen Einflussfaktoren erlaubt hätte. Auch das Verhalten der Schulleitung, das mithilfe des HAPA-Modells (Schwarzer, 1992) erklärt wird, könnte durch eine Beobachtung besser erfasst werden. Interviews sind bedeutende Informationsquellen über die subjektiven Empfindungen und die individuellen Wahrnehmungen der Schulleitung. Über objektiv gezeigtes Verhalten kann jedoch keine datenbasierte Aussage getroffen werden. Zukünftig bedarf es einer systematischeren Analyse der Einflussfaktoren im Evaluationsprozess, die auch zum Verständnis des Berichts und der Ableitung von Massnahmen beitragen. Dafür eignen sich die in dieser Arbeit abgeleiteten Einflussfaktoren als Grundlage, um eine Beobachtungsstudie in Angriff zu nehmen. Zusätzlich wäre eine quantitative Überprüfung der Ergebnisse mit einer repräsentativen Stichprobe als weiterer Schritt geeignet. Diese Arbeit diente der explorativen Datengewinnung, die einen ersten Überblick über das wenig erforschte Thema Berichterstellung schaffte. Seite 99/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit 5.3 Praktische Implikationen Im Folgenden werden auf Basis der Ergebnisse der Arbeit verschiedene Gestaltungsansätze abgeleitet, die dazu beitragen, Evaluationsberichte im zukünftigen Schulsetting verständlicher und praxiswirksamer zu gestalten und damit die Ableitung von Interventionen zu unterstützen. Das folgende Kapitel ist in vier Hauptthemen gegliedert: Berichtgestaltung, Empfehlungen, Evaluationsprozess und Forschung. Berichtgestaltung Zukünftige Berichte sollten mit einer einfachen, wiederkehrenden Struktur gestaltet werden. So nutzt der Bericht die Wiedererkennung von Inhalten, die zum einen nach der Wirkung des First-Impression-Effekts erklärbar sind und lässt sich zum anderen an die Theorie der Gestaltungsgesetzte von Wertheimer (1938, 2020) anknüpfen. Der First-Impression-Effekt besagt, dass erste Eindrücke, die der Beurteilende erhält, eine grössere Wirkung haben als spätere und dass die ersten daher unbewusst in der Beurteilung übergewichtet werden (DeCoster & Claypool, 2004; Swider, Harris & Gong, 2021). Dementsprechend sollte der erste Eindruck eine möglichst hohe Benutzerfreundlichkeit des Berichts widerspiegeln. Die zunehmende Digitalisierung trägt dazu bei, dass es möglich ist, ein Werkzeug zu entwickeln, das Ergebnisse und Teile des Berichts miteinander verknüpft und so die Komplexität reduziert. Einfache Formen und Strukturen werden von den Menschen leichter wahrgenommen, wie das Gesetz der Prägnanz in der Theorie beschreibt (siehe Kapitel 2.1.2) (Wertheimer, 1938, 2020). Die Verkürzung des Berichts ist auch ein Gestaltungsansatz, der in Zukunft weiterverfolgt werden sollte. Der Bericht sollte die Kernaussagen kurz und prägnant zusammenfassen. So kann sich die Schulleitung mit möglichst geringem kognitivem Aufwand einen schnellen Überblick verschaffen. Das liegt daran, dass der Mensch eine begrenzte Kapazität hat, Informationen zu verarbeiten und deshalb eine Informationsüberlastung vermeiden möchte (Berger, Bernhard-Mehlich & Oertel, 2014; Graf & Antoni, 2021; Marois & Ivanoff, 2005). In einem solchen Tool können auch die Anforderungen und Wünsche der Schulleitung aus den Interviewergebnissen bezüglich den Filter-Systemen abgedeckt werden. Diese Anpassung gerade bei Filtermöglichkeiten müsste bereits in der Datenerhebung berücksichtigt werden. Die am häufigsten genannten Kategorien Seite 100/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit zum Filtern der Ergebnisse sind das Alter, das Geschlecht sowie die Unterscheidung von Fach- und Klassenlehrperson und vom Beschäftigungsverhältnis. Hier ist es notwendig, dass die Berichterstellenden klären, welche Filterkategorien von den Schulleitungen gewünscht werden und warum. Ein letzter Punkt für die Gestaltung des Berichts basiert auf der Einbeziehung von theoretischen Modellen und Konzepten. Die Fragen der Datenerhebung müssen auf Konzepten basieren, die es den Schulleitenden ermöglichen, die Zusammenhänge zwischen den Ergebnissen zu verstehen und zu erkennen, wo sie für tiefgreifende und dauerhafte Veränderungen ansetzen müssen. Dazu kann beispielsweise die Wirkung von Formen und Farben genutzt werden. Formen erklären Zustände und Farben können Gefühle und Stimmungen vermitteln. Damit kann die Aufmerksamkeit im Bericht gelenkt werden (Pettersson, 2011). Empfehlungen Ein Teil bezüglich der Gestaltung des Berichts ist besonders hervorzuheben: die Empfehlungen, die sich aus den Ergebnissen ergeben. Sowohl die Ergebnisse der Interviews als auch die Literatur zeigen deutlich die Relevanz der Empfehlungen (Husfeldt, 2011; Polak, Herrmann, Heitmann & Einhorn, 2008). Mit diesen Empfehlungen wird die Schulleitung von einer ersten Denkarbeit entlastet und damit wird die Hemmschwelle zur Umsetzung reduziert (vgl. Polak et al., 2008). Empfehlungen können für die Schulleitung mit gering ausgeprägten Evaluationskompetenzen ein erster Hinweis auf die Notwendigkeit von Veränderungen sein. Des Weiteren können Experten (Berichterstellende) in solchen Berichten ihre Einschätzung über die Ergebnisse einbringen, denn die Ergebnisse aus den Interviews deuten darauf hin, dass die Schulleitungen gerne von einer Experteneinschätzung profitieren würden. Daher lautet die Empfehlung für die Praxis, Handlungsempfehlungen und mögliche Ansatzpunkte einzubauen, welche erklären, wie die Schulleitung mit den Ergebnissen verfahren kann. Die Empfehlungen können zusätzlich durch eine Priorisierung noch optimiert und unterstützt werden, sodass die Schulleitenden sehen können, wo der grösste Handlungsbedarf besteht bzw. wo sie die grösste Wirkung erzielen können. Die vielfältigen Handlungsoptionen stärken die Selbstwirksamkeit der Schulleitung (Schwarzer, 1992). Empfehlungen können mit den Seite 101/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit Konzepten verknüpft werden, auf denen der Bericht basiert (siehe oben «Berichtgestaltung»). Es wird auch empfohlen, zwischen ressourcen- und entwicklungsbasierten Empfehlungen zu unterscheiden. Ressourcen müssen gestärkt werden und die Berichte sollten auch die positiven Werte einer Schule aufzeigen (Lazarus & Folkman, 1984; Nahrgang, Morgeson & Hofmann, 2011). Auf der anderen Seite wollen die Schulleitenden nicht, dass die Ergebnisse beschönigt werden, und brauchen daher auch konstruktive Empfehlungen, die die Entwicklung der Schule aufzeigen und fördern. Neben der Priorisierung und der Aufteilung in die Stärken und die Entwicklung gibt es noch einen dritten Ansatz, der verfolgt werden kann. Abgeleitete Interventionen müssen in kurz- und langfristige Pläne differenziert werden. Eine Veränderung ist nach einer Beurteilung notwendig, um die Dankbarkeit für die Teilnahme, aber auch die Ernsthaftigkeit der Situation zu bestätigen. Nachhaltige Interventionen brauchen Zeit und packen Probleme und Herausforderungen meist an der Wurzel an. Ein schneller Erfolg ist damit nicht möglich. Was benötigt wird, ist ein kurzfristiges Erfolgserlebnis, das die Lehrpersonen motiviert und zeigt, dass etwas passiert. Evaluationsprozess Evaluationen sind mit Veränderungen des Istzustands verbunden. Um die Veränderungen annehmen zu können, kann eine Anleitung helfen, die Richtung vorzugeben. Veränderungsprozesse werden sinnvollerweise schrittweise angegangen, z. B. in Phasen, wie in Kapitel 2.1.1 anhand von Lewin (1951) erläutert. Die Schulleitung braucht ein Werkzeug, um diese Phasen mit ihrem Lehrpersonenteam anzusprechen und sie zu motivieren, sich zu verändern und damit wirksam zu sein. Die von Lewin in der Theorie erwähnten Phasen Auftauen, Bewegen und Einfrieren sind Beispiele, wie ein Leitfaden zur Orientierung im Bericht erstellt werden kann. Anhand des Leitfadens kann die Ableitung und die Umsetzung der Intervention auf Basis der Empfehlungen in ersten Schritten erklärt werden. Es geht nicht nur darum, zu wissen, wie wirksam Interventionen sind, sondern auch darum, warum sie wirksam sind (Hunecke, 2015). Dieses Wissen erfordert ein ganzheitlicheres Verständnis von Veränderung. Daher ist es notwendig, den gesamten Evaluierungsprozess zu betrachten. Für zukünftige Evaluierungen wird ein partizipativer Prozess vorgeschlagen. Die aktive Beteiligung an Seite 102/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit der Themenauswahl, eine transparente Datenerhebung und die individuelle Diskussion der Ergebnisse erhöhen die Akzeptanz, das Engagement und die Einbindung der Schule und der Schulleitung in den Prozess und fördern die Wirksamkeit (Hunecke, 2015; Weber & Wieners, 2018). Dazu sind eine enge Zusammenarbeit und ein regelmässiger Austausch seitens der Praxis, d. h. vonseiten der Schule, und der Wissenschaft, d. h. von den Forschenden oder den Evaluierenden, angebracht. Zu Beginn eines Evaluationsprozesses und auch einer Studie ist es notwendig, Erwartungen und Ziele zu klären. Fragen zu den Erwartungen müssen nicht gestellt werden, aber es ist nötig, die Themen zu klären und zu besprechen, was vom Bericht erwartet werden kann. Auf diese Weise können früh unerfüllte Erwartungen vermieden werden, was Enttäuschungen weniger wahrscheinlich macht. Ebenso sollte eine Ansprechperson für die gesamte Evaluationszeit bereitstehen sowie die Möglichkeit angeboten werden, die Ergebnisse anschliessend mit einer Expertenperson als Dienstleistung zu besprechen und ggf. erste Schritte einzuleiten. Der persönliche Kontakt und die Unterstützung, ob extern oder intern, fördern eine nachhaltige Ableitung von Interventionen (vgl. Bauer, 2011). Als letzter Punkt soll die Berichterstattung möglichst schnell erfolgen. Es bedarf einer schnellen Übermittlung. Dadurch bleibt auch der eingeleitete Prozess aktiv. Forschung Die praktischen Implikationen für die Forschung werden explizit erwähnt. Dies liegt daran, dass der Praxispartner dieser Arbeit, die Pädagogische Hochschule Schwyz, immer wieder Schulen für ihre Forschungsstudien akquiriert. Daher werden die Ergebnisse für die Gestaltung von praxiswirksamen Berichten in diesem Abschnitt noch speziell auf die Forschung reflektiert. Der wissenschaftliche Charakter des Berichts und der Daten ist für die Schulleitung bedeutend. Daher können die Studien von diesem Mehrwert profitieren. Studien beziehen sich auf Modelle und Konzepte, die von Schulleitungen geschätzt werden. Wenn sie für Schulen aufgeschlüsselt werden, können sie zur Erklärung und zur Einordnung der Ergebnisse verwendet werden. Ebenso können Studien den Vorteil von Langzeiterhebungen als methodisches Design nutzen. Schulen finden eigene Seite 103/130 Rebecca Bannwart Diskussion und Reflexion Masterarbeit Mehrpunktvergleiche über die Zeit interessant und aussagekräftig. Die Forschung hat die Kompetenz und die Möglichkeit, diese Tatsache zu ihrem Vorteil zu nutzen. Dies kann auch Schulen zur Teilnahme an Forschungsstudien und an Evaluationen motivieren. Ausserdem steigt die Akzeptanz, wenn die beteiligten Personen miteinbezogen werden. Wie bereits oben erwähnt, ist die Einbeziehung der Schulleitung in den Evaluationsprozess bedeutsam (Weber & Wieners, 2018). Denn wie Krause, Böschenstein und Zumstein (2017) erläutern, tragen Schulleitungen eine Schlüsselrolle und sind die treibende Kraft in Evaluationen. Diese Rolle nimmt an Wichtigkeit bei wissenschaftlichen Studien zu. Mit dem Einbezug der Schulleitung wird der Praxisbezug stärker berücksichtigt, was die Anschlussfähigkeit der Daten an die Schule erhöht. Er reduziert auch die Angst und die Distanz der Wissenschaft zur Praxis. Daher muss die Wissenschaft offen für interdisziplinäre Zusammenarbeit sein. Synergien können für den Forschungsprozess genutzt werden. So können neben der Wissenschaft und der Schule auch Beratungspersonen oder Experten und Expertinnen hinzugezogen werden, um das Potenzial auszuschöpfen, da externe Personen den Anstoss von Veränderungen fördern (Dadaczynski, 2012). Gemäss dem ESI-Rahmenmodell von Reezigt und Creemers (2005) fungieren externe Personen als gesunder Druck, um Entwicklungen anzuregen. Es ist klar, dass es in der Wissenschaft auch um die Forschung und die Generierung von neuem Wissen geht und dies somit nicht nur ein Wunschdenken der Schulen ist. Doch auch die Wissenschaft profitiert vom Austausch mit den Schulen, weil ihre Forschung dann mit der Praxis verknüpft werden kann und umgekehrt die Schulen von der neuesten Forschung und dem Fachwissen profitieren. Fazit Abschliessend lässt sich sagen, dass unter Berücksichtigung der aufgeführten Punkte zukünftig verständlichere und praxiswirksamere Evaluationsberichte im Schulsetting die Interventionsableitung und damit die Schulentwicklung anstossen werden. Seite 104/130 Rebecca Bannwart Verzeichnisse Masterarbeit 6 Verzeichnisse 6.1 Literaturverzeichnis Adams, D. A., Nelson, R. R. & Todd, P. A. (1992). Perceived Usefulness, Ease of Use, and Usage of Information Technology: A Replication. MIS Quarterly, 16(2), 227. https://doi.org/10.2307/249577 Bagozzi, R. P. (2007). The legacy of the technology acceptance model and a proposal for a paradigm shift. Journal of the Association for Information Systems, 8(4), 244– 254. https://doi.org/10.17705/1jais.00122 Bandura, A. (1997). Self-efficacy: The exercise of control. New York: Freeman. Bauer, G. (2011). Organisationsentwicklung und Führung: Zwei Seiten derselben Medaille? In R. Grossmann & K. Mayer (Hrsg.), Organisationsentwicklung konkret (S. 35–55). Wiesbaden: VS Verlag. https://doi.org/10.1007/978-3-531-93081-7_2 Baumann, M. (2021). Fokus Schulleitung und Schulentwicklung. Magazin Weiterbildung, 1–36. Luzern. Benbasat, I. & Barki, H. (2007). Quo vadis, TAM? Journal of the Association for Information Systems, 8(4), 211–218. https://doi.org/10.17705/1jais.00126 Berger, U., Bernhard-Mehlich, I. & Oertel, S. (2014). Die Verhaltenswissenschaftliche Entscheidungstheorie. In A. Kieser & M. Ebers (Hrsg.), Organisationstheorien (S. 118–162). Stuttgart: Kohlhammer. Bonsen, M. (2010). Schulleitungshandeln. In H. Altrichter & K. Merki Maag (Hrsg.), Handbuch Neue Steuerung im Schulsystem (S. 277–294). Wiesbaden: VS Verlag für Sozialwissenschaften, Springer. Borland, R. (2015). Understanding Hard to Maintain Behaviour Change: A Dual Approach. Addiction, 110(3), 542–543. https://doi.org/10.1111/add.12805 Bothe, C. (2020). Bausteine einer wertschätzenden Schulkultur. Beiträge zur Kinder- und Jugendtheologie, 46, 1–128. https://doi.org/10.17170/kobra-202011032050 Brägger, G. & Posse, N. (2011). Tipps für die Interpretation und Verarbeitung von Seite 105/130 Rebecca Bannwart Verzeichnisse Masterarbeit Evaluationsergebnissen Inhalt. IQES online. Burow, O.-A. (2014). Wertschätzende Schulleitung. SchVw NRW, 12, 330–332. Burow, O.-A. (2016). Wertschätzende Schulleitung. Der Weg zu Engagement, Wohlbefinden und Spitzenleistung. Weinheim: Beltz. Burow, O.-A., Plümpe, C. & Bornemann, S. (2020). Schulentwicklung. Handbuch Ganztagsbildung (S. 1163–1176). Wiesbaden: Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-23230-6_86 Chiu, C. Y., Lynch, R. T., Chan, F. & Rose, L. (2012). The Health Action Process Approach as a Motivational Model of Dietary Self-Management for People With Multiple Sclerosis: A Path Analysis. Rehabilitation Counseling Bulletin, 56(1), 48– 61. https://doi.org/10.1177/0034355212440888 Classen, K. (2012). Zur Psychologie von Technikakzeptanz im höheren Lebensalter: Die Rolle von Technikgenerationen. Ruprecht-Karls-Universität Heidelberg. Dadaczynski, K. (2012). Die Rolle der Schulleitung in der guten gesunden Schule. In DAK-Gesundheit & Unfallkasse NRW (Hrsg.), Handbuch Lehrergesundheit – Im- pulse für die Entwicklung guter gesunder Schulen (S. 197–228). Köln: Carl link. Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly: Management Information Systems, 13(3), 319–339. https://doi.org/10.2307/249008 Davis, F. D., Bagozzi, R. P. & Warshaw, P. R. (1992). Extrinsic and Intrinsic Motivation to Use Computers in the Workplace1. Journal of Applied Social Psychology, 22(14), 1111–1132. https://doi.org/10.1111/j.1559-1816.1992.tb00945.x Davis, F., Granić, A. & Marangunić, N. (o. J.). The Technology Acceptance Model 3.0 Years of TAM. in Druck: Springer International Publishing. DeCoster, J. & Claypool, H. M. (2004). A Meta-Analysis of Priming Effects on Impression Formation Supporting a General Model of Informational Biases. Personality and Social Psychology Review, 8(1), 2–27. https://doi.org/10.1207/S15327957PSPR0801_1 DeGEval. (2016). Standards für Evaluation. Mainz-Kastel: DeGEval – Gesellschaft für Seite 106/130 Rebecca Bannwart Verzeichnisse Masterarbeit Evaluation. Verfügbar unter: https://www.degeval.org/fileadmin/Publikationen/DeGEval- Standards_fuer_Evaluation.pdf Deutinger, G. (2017). Kommunikation im Change. Kommunikation im Change. Berlin: Springer-Verlag. https://doi.org/10.1007/978-3-662-53687-2 Döring, N. & Bortz, J. (2016a). Ergebnispräsentation. In N. Döring (Hrsg.), Forschungs- methoden und Evaluation (S. 785–804). Berlin Heidelberg: Springer-Verlag. https://doi.org/10.1007/978-3-642-41089-5_13 Döring, N. & Bortz, J. (2016b). Datenerhebung. In N. Döring (Hrsg.), Forschungs- methoden und Evaluation (S. 321–577). Berlin Heidelberg: Springer-Verlag. https://doi.org/10.1007/978-3-642-41089-5_10 eXe. (2008). Empfehlungen für die Strukturierung von Evaluationsberichten. Deutsches Jugendistitut, 1–4. Fazel, L. (2014). Akzeptanz von Elektromobilität. Wiesbaden: Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-05090-0 Fischer, S. (2016). Schulentwicklung: Bildungspolitische Wunschvorstellung oder pädagogische Realität? Bern: Peter Lang. https://doi.org/doi.org/10.5167/uzh- 134071 Flick, U. (2016). Qualitative Sozialforschung. Die Einführung. (7. Auflage). Hamburg: Rowohlt. Flyvbjerg, B. (2006). Five misunderstandings about case-study research. Qualitative Inquiry, 12(2), 219–245. https://doi.org/10.1177/1077800405284363 Friedlander, F. & Brown, L. D. (1974). Organization Development. Annual Review of Psychology, 25(1), 313–341. https://doi.org/10.1146/annurev.ps.25.020174.001525 Gärtner, H. (2013). Praxis und Verhältnis interner und externer Evaluation im Schulsystem im internationalen Vergleich. Zeitschrift fur Erziehungswissenschaft, 16(4), 693–712. https://doi.org/10.1007/s11618-013-0444-7 Gehrmann, P. (2001). Forschungsdesign der Untersuchung. Gemeinsamer Unterricht — Fortschritt an Humanität und Demokratie (S. 183–210). Wiesbaden: VS Verlag Seite 107/130 Rebecca Bannwart Verzeichnisse Masterarbeit für Sozialwissenschaften. https://doi.org/10.1007/978-3-322-95158-8_6 Gläser, J. & Laudel, G. (2010). Experteninterviews und qualitative Inhaltsanalyse. Wiesbaden: Springer. Göhlich, M. & Weber, S. M. (2011). Organisationale Demokratie und die Bildung des Organisationsbürges - Interdisziplinäre Verhältnisbestimmung. In L. Ludwig, H. Luckas, F. Hamburger & S. Aufenanger (Hrsg.), Bildung in der Demokratie II: Tendenzen – Diskurse – Praktiken (S. 153–166). Opladen & Framington Hills: Verlag Barbara Budrich. Graf, B. & Antoni, C. H. (2021). The relationship between information characteristics and information overload at the workplace - a meta-analysis. European Journal of Work and Organizational Psychology, 30(1), 143–158. Routledge. https://doi.org/10.1080/1359432X.2020.1813111 Häcker, H. (2019). nicht reaktive Messverfahren. Dorsch - Lexikon der Psychologie. Hogrefe. Zugriff am 27.4.2021. Verfügbar unter: https://dorsch.hogrefe.com/stichwort/nicht-reaktive-messverfahren Helfferich, C. (2011). Die Qualität qualitativer Daten: Manual für die Durchführung qualitativer Interviews (Lehrbuch) (4. Auflage.). Wiesbaden: VS Verlag. Hunecke, M. (2015). Personenfokussierte Interventionen. Mobilitätsverhalten verstehen und verändern. Studien zur Mobilitäts- und Verkehrsforschung. (S. 75–92). Wiesbaden: Springer. https://doi.org/10.1007/978-3-658-08825-5 Husfeldt, V. (2011). Wirkungen und Wirksamkeit der externen Schulevaluation: Überblick zum Stand der Forschung. Zeitschrift fur Erziehungswissenschaft, 14(2), 259–282. https://doi.org/10.1007/s11618-011-0204-5 Kanton Luzern. (2020). Wirkungsbericht über die externe Schulevaluation Entwurf Kantonsratsbeschluss über die Kenntnisnahme. Luzern. King, B. & Wertheimer, M. (2017). Max Wertheimer and Gestalt theory. New York: Routledge. https://doi.org/10.4324/9780203783573 Kirk, J. & Miller, M. (1986). Reliability and Validity in Qualitative Research. California, London, New Delhi: Sage. Seite 108/130 Rebecca Bannwart Verzeichnisse Masterarbeit Koller, S., Reichertz, P. & Überla, K. (1979). Datenpräsentation. (J.R. Möhr & C.O. Köhler, Hrsg.). Berlin, Heidelberg: Springer. https://doi.org/10.1007/978-3-642- 81366-5 Krause, A., Böschenstein, S. & Zumstein, B. (2017). Betriebliche Gesundheitsförderung an Schulen: Schulleitungen gestalten Veränderungen gesundheitssensibel. In G. Faller (Hrsg.), Lehrbuch Betriebliche Gesundheitsförderung (S. 125–141). Hogrefe. Verfügbar unter: https://www.hogrefe.ch/shop/lehrbuch-betriebliche- gesundheitsfoerderung-75994.html Kuckartz, U. (2010). Einführung in die computergestützte Analyse qualitativer Daten. Wiesbaden: VS Verlag für Sozialwissenschaften. Kuckartz, U. (2016). Qualitative Inhaltsanalyse: Methoden, Praxis, Computerunterstützung (Grundlagentexte Methoden). Weinheim Basel: Beltz Juventa. Landwehr, N. (2012). Von den Daten zu den Taten. Suhr: Fachhochschule Nordwestschweiz, Pädagogische Hochschule, Institut Forschung und Entwicklung. Landwehr, Norbert. (2011). Thesen zur Wirkung und Wirksamkeit der externen Schulevaluation. In C. Quesel, V. Husfeldt, N Landwehr & P. Steiner (Hrsg.), Wirkung und Wirksamkeit der externen Schulevaluatoin (S. 35–69). Bern: h.e.p. Lazarus, R. & Folkman, S. (1984). Stress, appraisal, and coping. New York: Springer. Lewin, K. (1951). Field theory in social science. New York: Haper & Row. Liebig, S., Matiaske, W. & Rosenbohm, S. (2017). Handbuch Empirische Organisationsforschung Springer Reference Wirtschaft. (S. Rosenbohm, Hrsg.). Wiesbaden: Springer Gabler. Verfügbar unter: https://link.springer.com/content/pdf/10.1007%2F978-3-658-08493-6.pdf Liebold, R. & Trinczek, R. (2009). Experteninterview. Handbuch Methoden der Organisationsforschung (S. 32–56). Wiesbaden: VS Verlag für Sozialwissenschaften. https://doi.org/10.1007/978-3-531-91570-8_3 Lindemann, H. (2017). Unternehmen Schule: Organisation und Organisationsentwicklung. Unternehmen Schule: Organisation und Seite 109/130 Rebecca Bannwart Verzeichnisse Masterarbeit Organisationsentwicklung. Göttingen: Vandenhoeck & Ruprecht. https://doi.org/10.13109/9783666702235 Lippke, S. & Renneberg, Babette. (2006). Theorien und Modelle des Gesundheitsverhaltens. In B Renneberg & P. Hammelstein (Hrsg.), Gesundheitspsychologie. Springer-Lehrbuch (S. 35–60). Berlin Heidelberg: Springer. https://doi.org/10.1007/978-3-540-47632-0_5 Marois, R. & Ivanoff, J. (2005). Capacity limits of information processing in the brain. Trends in Cognitive Sciences, 9(6), 296–305. https://doi.org/10.1016/j.tics.2005.04.010 Martin, G. & Nadia, E. (2017). Was bringt die Lerneri? HR Today. Zugriff am 19.5.2021. Verfügbar unter: https://www.hrtoday.ch/de/article/was-bringt-die-lernerei Mathiuet, S. S. (2020). „Die Digitalisierung wird enorme Auswirkungen auf die Schule haben“. Bildungsmagazin eduwo. Zugriff am 5.5.2021. Verfügbar unter: https://eduwo.ch/bildungsmagazin/digitalisierung-enorme-auswirkungen-auf-die- schule/ Mauchle, M. (2012). Ergebnisbericht lesen und bearbeiten Inhalt. IQES online. Mayring, P. (2000). Qualitative Inhaltsanalyse Philipp Mayring. Forum Qualitative Sozialforschung, 1(2), 1–10. Mayring, P. (2007). Designs in qualitativ orientierter Forschung. Journal für Psychologie, 15(2), 1–10. Mayring, P. (2010). Design 1. In G. Mey & K. Mruck (Hrsg.), Handbuch Qualitative Forschung in der Psychologie (S. 225–237). Wiesbaden: VS Verlag für Sozialwissenschaften. Medien-Wiki. (2018). Intersubjektive Nachvollziehbarkeit. Medien-Wiki. Zugriff am 14.3.2021. Verfügbar unter: https://medien-wiki.de/intersubjektive- nachvollziehbarkeit Meuser, M. & Nagel, U. (2009). Das Experteninterview — konzeptionelle Grundlagen und methodische Anlage. In S. Pickel, G. Pickel, H. Lauth & D. Jahn (Hrsg.), Methoden der vergleichenden Politik- und Sozialwissenschaft (S. 465–479). Seite 110/130 Rebecca Bannwart Verzeichnisse Masterarbeit Wiesbaden: VS Verlag für Sozialwissenschaften. https://doi.org/https://doi.org/10.1007/978-3-531-91826-6_23 Moser, K. S. (2001). Metaphernforschung in der Kognitiven Psychologie und in der Sozialpsychologie - eine Review. Journal für Psychologie, 9(4), 17–34. Nahrgang, J. D., Morgeson, F. P. & Hofmann, D. A. (2011). Safety at work: A meta- analytic investigation of the link between job demands, job resources, burnout, engagement, and safety outcomes. Journal of Applied Psychology, 96(1), 71–94. https://doi.org/10.1037/a0021484 Pelikan, J. M. (2007). Gesundheitsförderung Durch Organisationsentwicklung: Ein Systemtheoretischer Lösungszugang. Pravention und Gesundheitsforderung, 2(2), 74–81. https://doi.org/10.1007/s11553-007-0058-0 Pettersson, R. (2011). Bilder in Lehrmitteln. (F. Billmayer & G. Lieber, Hrsg.)EWR. Schneider Hohengehren. Petty, R. E. & Cacioppo, J. T. (1986). The elaboration likelihood model of persuasion. Advances in Experimental Social Psychology, 19(C), 123–205. https://doi.org/10.1016/S0065-2601(08)60214-2 PHBern. (2012). Ergebnisdarstellung / Evaluationsberichterstattung. ARGEV- Netzwerktagung. Zürich. PHSZ. (2020). Pädagogische Hochschule Schwyz. Zugriff am 6.1.2021. Verfügbar unter: https://www.phsz.ch/ph-schwyz/ Polak, B., Herrmann, A., Heitmann, M. & Einhorn, M. (2008). Die Macht des Defaults — Wirkung von Empfehlungen und Vorgaben auf das individuelle Entscheidungsverhalten. Zeitschrift für Betriebswirtschaft, 78(10), 1033–1060. https://doi.org/10.1007/s11573-008-0111-2 Prior, L. (2008). Repositioning Documents in Social Research. Sociology, 42(5), 821– 836. https://doi.org/10.1177/0038038508094564 Pundt, A. & Nerdinger, F. W. (2012). Transformationale Führung – Führung für den Wandel? Die Zukunft der Führung (S. 27–45). Berlin, Heidelberg: Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-642-31052-2_2 Seite 111/130 Rebecca Bannwart Verzeichnisse Masterarbeit Reezigt, G. J. & Creemers, B. P. M. (2005). A comprehensive framework for effective school improvement. School Effectiveness and School Improvement, 16(4), 407– 424. https://doi.org/10.1080/09243450500235200 Rolff, H.-G. (2016). Schulentwicklung kompakt. Weinheim und Basel: Beltz. Sandmeier, A., Gubler, M. & Herzog, S. (2018). Berufliche Mobilität von Lehrpersonen - Ein strukturierter Überblick über das Forschungsfeld Beru fl iche Mobilität von Lehrpersonen – Ein strukturierter Überblick über das Forschungsfeld. Journal for Educational Research, 10(2), 54–73. SBFI. (2017). Herausforderungen der Digitalisierung für Bildung und Forschung in der Schweiz. Bern: Staatssekretariat für Bildung, Forschung und Innovation. Verfügbar unter: https://www.sbfi.admin.ch/sbfi/de/home/aktuell/medienmitteilungen.msg-id- 67456.html Schmidt, W. (2017). Dokumentenanalyse in der Organisationsforschung. Handbuch Empirische Organisationsforschung (S. 443–466). Wiesbaden: Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-08493-6_16 Schoch, S. & Keller, R. (2017). Evaluation S-Tool in Schulen. Bern: Gesundheitsförderung Schweiz. Schulnetz 21. (2016). Schulnetz21 - Schweizerisches Netzwerk gesundheitsfördernder und nachhaltiger Schulen. Schulnetz 21, 1–42. Schwarzer, R. (1992). Self-efficacy in the adoption and maintenance of health behaviors: Theoretical approaches and a new model. In R. Schwarzer (Hrsg.), Self- efficacy: Thought control of action (S. 217–243). Washington, DC: Hemisphere. Schwarzer, R. (1999). Self-regulatory processes in the adoption and maintenance of health behaviors: The role of optimism, goals, and threats. Journal of Health Psychology, 4(2), 115–127. https://doi.org/10.1177/135910539900400208 Schwarzer, R. (2016). Health Action Process Approach (HAPA) as a Theoretical Framework to Understand Behavior Change. Actualidades en Psicología, 30(121), 119. https://doi.org/10.15517/ap.v30i121.23458 SEVAL. (2016). Evaluationsstandards der Schweizerischen Evaluationsgesellschaft. o. Seite 112/130 Rebecca Bannwart Verzeichnisse Masterarbeit O.: Schweizerische Evaluationsgesellschaft (SEVAL). Stockmann, R. (2006). Evaluation und Qualitätsentwicklung. Eine Grundlage für wirkungsorientiertes Qualitätsmanagement. München: Juventa Verlag. Swider, B. W., Harris, T. B. & Gong, Q. (2021). First impression effects in organizational psychology. Journal of Applied Psychology, Advance online publication. https://doi.org/10.1037/apl0000921 Venkatesh, V. & Davis, F. D. (1996). A model of the antecedents of perceived ease of use: Development and test. Decision Sciences, 27(3), 451–481. https://doi.org/10.1111/j.1540-5915.1996.tb00860.x Venkatesh, V. & Davis, F. D. (2000). A theoretical extension of the Technology Acceptance Model: Four longitudinal field studies. Management Science, 46(2), 186–204. Weber, S. M. (2014). Zukunftspfade organisationspädagogischer Forschung und Gestaltung . Stakeholder-basierte Innovationsstrategien zwischen Forschung, Wirtschaft und Gesellschaft. In N. Engel & I. Sausele-Bayer (Hrsg.), Organisation ein pädagogischer Grundbegriff (S. 35–54). Münster, New York: Waxmann. Weber, S. M. & Wieners, S. (2018). Survey Feedback als Methodik organisationspädagogischer Praxis. In M. Göhlich, A. Schröer & S.M. Weber (Hrsg.), Handbuch Organisationspädagogik (S. 635–646). Wiesbaden: Springer. https://doi.org/10.1007/978-3-658-07512-5_85 Wertheimer, M. (1938). Gestalt theory. In W.. Ellis (Hrsg.), A source book of Gestalt psychology. (S. 1–11). London: Kegan Paul, Trench, Trubner & Company. https://doi.org/10.1037/11496-001 Wertheimer, M. (2020). Max Wertheimer Productive Thinking (Classic Texts in the Sciences). (V. Sarris, Hrsg.). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-36063-4 Widmer, T., Beywl, W. & Fabian, C. (2009). Evaluation Ein systematisches Handbuch (Band 33). Wiesbaden: VS Verlag für Sozialwissenschaften. Wiedemann, A. (2019). Intentions-Verhaltens-Lücke. Dorsch - Lexikon der Psychologie. Seite 113/130 Rebecca Bannwart Verzeichnisse Masterarbeit Hogrefe. Verfügbar unter: https://dorsch.hogrefe.com/stichwort/intentions- verhaltens-luecke Windolph, A. & Blumenau, A. (2021). Sounding Board-Methode: Alles über Anwendung und Ablauf. Projekte leicht gemacht. Zugriff am 17.6.2021. Verfügbar unter: https://projekte-leicht-gemacht.de/blog/pm-methoden-erklaert/sounding-board- methode/ Wirtschaftslexikon. (2018). Window Dressing. Wirtschaftslexikon. Zugriff am 19.4.2021. Verfügbar unter: https://wirtschaftslexikon.gabler.de/definition/window-dressing- 48509 Yin, R. (2003). Case Method Research,. Thousand Oaks, CA: Sage Publications Inc. Yin, R. K. (2009). Case study research. Design and methods (4 Auflage.). Thousand Oaks: Sage. Zebis. (2021). Pädagogische Schulentwicklung unterstützen lassen. Zebnis Portal für Lehrpersonen. Zugriff am 5.5.2021. Verfügbar unter: https://www.zebis.ch/news/paedagogische-schulentwicklung-unterstuetzen-lassen 6.2 Abbildungsverzeichnis Abbildung 1. Forschungslücke (eigene Darstellung, 2021) 10 Abbildung 2. Wirkmodell Schulentwicklung (in Anlehnung an Reezigt & Creemers, 2005) 17 Abbildung 3. HAPA-Modell (in Anlehnung an Schwarzer, 1992) 22 Abbildung 4. Technologie Akzeptanz Model (eigene Darstellung nach Davis, 1989) 26 Abbildung 5. Theoretische Einbettung (eigene Darstellung, 2020) 28 Abbildung 6. Ablauf Methodik (eigene Darstellung, 2020) 29 Abbildung 7. Ablauf einer inhaltlich strukturierenden qualitativen Inhaltsanalyse in sieben Phasen (in Anlehnung an Kuckartz, 2016) 42 Seite 114/130 Rebecca Bannwart Verzeichnisse Masterarbeit Abbildung 8. Ausschnitt CMB als Headmap mit Zahlen (eigene Darstellung, 2021) 44 Abbildung 9. Zusammenfassung pro Code (eigene Darstellung, 2021) 45 Abbildung 10. Iterativer Prozess der Ergebnisherleitung (eigene Darstellung, 2021) 46 Abbildung 11. Kriterien für einen verständlichen und praxiswirksamen Evaluationsbericht (eigene Darstellung, 2021) 95 6.3 Tabellenverzeichnis Tabelle 1: Einbettung Fragestellung in Theorie (eigene Darstellung, 2021) 15 Tabelle 2: Forschungsdesign (eigene Darstellung, 2020) 31 Tabelle 3: Ergebnisse aus der Dokumentenanalyse (eigne Darstellung, 2021) 35 Tabelle 4: Stichprobe Experteninterviews (eigene Darstellung, 2020) 37 Tabelle 5: Stichprobenplan Leitfadeninterviews (eigene Darstellung, 2020) 39 Seite 115/130 Rebecca Bannwart Anhang Masterarbeit 7 Anhang A: Analyse des Datensatzes ARGEV B: Leitfaden (Leitfaden- und Experteninterviews) C: Einverständniserklärung Vorlage D: Transkriptionsregeln (Kuckartz, 2016) E: Kategoriensystem F: Transkripte (separat) Seite 116/130 Rebecca Bannwart Anhang Masterarbeit A: Analyse des Datensatzes ARGEV ARGEV-Netzwerktagung "Ergebnisdarstellung / Evaluationsberichterstattung" 2012 Stichworte Berichtlänge • Fokus auf Wesentliche/ kürzere Berichte (∅20 Seiten)/ weniger Text • Empfehlungen nur noch auf Wunsch von Schule • Anhänge als CD • Weniger Daten pro Erhebung «weniger ist mehr» Bericht Art • Anonymität trotz kl. Datensätzen • Weg von Fliesstext zu Powerpoint Inhaltliche • Der Bericht war zunächst in Stärken-Schwächen gegliedert. Heute werden die Struktur Ergebnisse der einzelnen Stakeholder in Fliesstext abgedruckt und aus ihnen werden Kernaussagen und Empfehlungen abgeleitet (Triangulation). • Klar Definierte Qualitätsansprüche (evt. zum Vergleich) • Klare Gliederung Sprache • Pointiert & knapper Aussagen treffen • Klare und Zielgruppengerechte Sprache und Lesbarkeit • Verbesserte Leseführung, die ein "stichprobenartiges" Lesen des Berichts ermöglicht. Verständlichkeit • Mehr Grafiken (vor allem aus quantitativen) • Belege (z.B. Zitate) • Prosatext als ZF • Reduktion von zu hoher Komplexität • Referenzwerte (Vergleiche) • Ursache-Wirkung aufzeigen/ Nachvollziehbarkeit herstellen • Höhere Qualität mit verbesserten Erkenntnisgewinn Argumente • Wichtiges Instrument Schulentwicklung Seite 117/130 Rebecca Bannwart Anhang Masterarbeit B: Leitfaden (Leitfaden- und Experteninterviews) Leitfaden Experteninterview Name/ Vorname: Funktion: Datum/ Zeit: Danke für die Zeit Kontextualisierung Fragestellung Masterarbeit Anonymität Einwilligungserklärung Ansprechperson für Fragen Schriftsprache (freiwillig) Sind Sie einverstanden, dass ich das Gespräch aufnehme? Themenblöcke Einstiegsfragen 1. In welcher Funktion arbeiten Sie aktuell? 2. Welche Ausbildung bringen Sie mit? (Praxis/Wissenschaft) 3. Schauen Sie die Berichte mit den Schulleitungen jeweils an? TAM Benutzerfreundlichkeit TAM Nutzen HAPA Seite 118/130 Rebecca Bannwart Anhang Masterarbeit Nr. Leitfrage (Erzählaufforderung) Check & Nachfragen Konkrete Fragen in dieser Formulierung stellen (obl.) Formulierung anpassen Kriterien 1. Welche Kriterien stellen Sie an einen • Reliabilität, Validität, Objektivität 1. Was ist das Minimum an Informationen, dass ein Bericht Evaluationsbericht? • Verständlichkeit beinhalten muss? • Wissenschaftlichkeit 2. Was sind davon wissenschaftliche Punkte? • Einfachheit 3. Wie haben politische Einflüsse zur Veränderung beigetragen? • Differenziertheit 4. Sind die Kriterien vom Zielpublikum abhängig? • Anonymität • Repräsentivität/Benchmark • Theorien abstützen Strukturierung & Gestaltung 2. Wie strukturieren Sie den Bericht? • Aufbau 1. Wieso? • Reihenfolge 2. Wird die Struktur auf untersch. Steakholder angepasst? 3. Welche Wortwahl/Formulierungen • Stolpern: Wissenschaftlichkeit/ 1. Warum? brauchen Sie im Bericht? Fremdwörter 2. Inwieweit wird zielgerichtete Sprache verwendet? Für welche Zielgruppen? 4. Welche Darstellung der Ergebnisse • Tabelle 1. Was ist Ihre Überlegung dabei? wählen Sie? • Texte 2. Art des Textes Freitext/ Powerpoint? • Diagramme • Farben • Referenzwerte Ergebnisdarstellung Seite 119/130 Rebecca Bannwart Anhang Masterarbeit 5. Wie detailliert stellen Sie die Ergebnisse 1. Wo vereinfachen sie die Resultate? dar? 2. Wie differenziert sind die Ergebnisse darzustellen? (Voraussetzung) 3. Wie gehen sie mit der Komplexität um? Nutzen 6. Welchen Nutzen möchten Sie mit dem • Informieren • Wie zeigen Sie Ursache-Wirkung auf? Bericht erzielen? • Erklären • Zu Massnahmen bewegen (Verhalten) • Schulentwicklung • Rechtfertigung Seite 120/130 Rebecca Bannwart Anhang Masterarbeit Nr.. Leitfrage (Erzählaufforderung) Check & Nachfragen Konkrete Fragen in dieser Formulierung stellen (obl.) Formulierung anpassen Akzeptanz 7. Wie erleben sie die Akzeptanz der 1. Der Schulleitungen? Berichte? Einflüsse aufs Verhalten 8. Welche Voraussetzungen braucht es aus • Kompetenzen 1. Welche Voraussetzungen trauen Sie den SL zu? Ihrer Sicht, um den Bericht inhaltlich zu • Erfahrungen verstehen? 9. Wie intensiv unterstützen Sie die SL im 1. Geben Sie Feedback zu den Berichten/Ergebnissen? Interpretieren der Berichte? 2. Wie Geben Sie Rückmeldung? 10. Wie stellen Sie sich die Ableitung der Vorgehen der SL Wie erleben Sie die Ableitung der Handlungsmassnahmen? Handlungsmassnahmen vor? 10. Wo sehen Sie • Verständlichkeit • Wie begegnen Sie diesen? Schwierigkeiten/Herausforderungen in • Trennung der Berichterstellung? • Differenzierungsgrad Wortwahl/ Formulierungen 11. Was hat bis jetzt immer gut funktioniert, • Wieso? welche Inhalte wurden besonders gut verstanden? Bedankung & Verabschiedung Seite 121/130 Rebecca Bannwart Anhang Masterarbeit Leitfragen Schulleitungen «Lautes Denken» Name/ Vorname: Funktion/Dauer Tätigkeit: Datum/ Zeit: Danke für die Zeit Erklärung Fragestellung Masterarbeit Anonymität Einwilligungserklärung Ansprechperson für Fragen Schriftsprache (freiwillig) Aufnahmegerät Einstiegsfragen 1. CAS Schulleiterausbildung absolviert?   2. Haben Sie schon Evaluationen durchgeführt?   Wie viele Evaluationen haben Sie in Ihrer Tätigkeit bis anhin durchgeführt? Welche? 3. Was für eine Vorbildung bringen Sie mit? (Fokus auf die Wissenschaft) 4. SP Erfahrene: Wer hat mit Ihnen den Bericht angeschaut? Auftrag Erinnern Sie sich an einen erhalten Evaluationsbericht und erzählen Sie mir laut, was ihnen dazu einfällt. Für Interviewende: unterschieden zwischen Berichttypen Typ A umfasst Berichte aus wissenschaftlichen Studien Typ B Berichte zu spezifischen evaluierten Themen (z.B. Gesundheit, Zufriedenheit, etc.) Typ C Berichte zu kantonalen Schulevaluationen 122 Anhang Masterarbeit Fragen im Nachgang Nr. Leitfrage (Erzählaufforderung) Check & Nachfragen Konkrete Fragen in dieser Formulierung stellen (obl.) Formulierung anpassen Verständlichkeit 1. Welche Informationen sind gut verständlich? In Bezug auf den Inhalt Begründung, wieso? 2. Welchen Informationen sind schwer Begründung, wieso? nachvollziehbar? 3. Was nehmen Sie aus dem Bericht mit? 4. In welchen Teilen haben Sie sich gewünscht Wie viel mehr Informationen hätten Sie gebraucht? noch mehr Informationen zu erhalten? 5. Was fehlt Ihnen, um die Informationen Best Inwieweit muss ein Bericht selbstsprechend sein und möglich zu verstehen? inwieweit ist er ein Hilfsmittel, um in einen Dialog zu kommen? Strukturierung & Gestaltung 6. Wie verständlich ist die Reihenfolge der • Zusammenfassung dargestellten Inhalte? • Ergebnisse Methodik 7. Wie zufrieden sind Sie mit der Berichtart? • Fliesstext Was würden Sie sich noch wünschen? • Stichworte • Darstellungen Visualisierungen 8. Wie nachvollziehbar empfinden Sie die • Sprache Formulierungen? (Zielgruppenspezifisch) Fachwörter 123 Anhang Masterarbeit Verhaltenseinflüsse 9. Bei welchen Teilen des Berichtes würden Warum würden Sie sich dort Unterstützung wünschen? Sie sich Unterstützung in der Interpretation wünschen? 10. Wie fühlen Sie sich beim Lesen des Berichts? • Sicher • Wohl • Überfordert • motiviert 11. Was würden Sie sich in Zukunft wünschen, wie • Unterstützung Begründung, warum? der Bericht noch gestaltet werden könnte? • Gestaltung 12. Wie leiten Sie Interventionen aus den Berichten Prozess beschreiben lassen Welche Interventionen leiten Sie aus den Berichten ab? ab? 13. Welche Faktoren beeinflussen Sie • Intrinsische Faktoren Warum beeinflussen Sie die Ableitung? Positiv / negativ? Interventionsableitung neben dem Bericht? Extrinsische Faktoren TAM Benützerfreundlichkeit TAM Nutzen HAPA 124 Anhang Masterarbeit C: Einverständniserklärung Vorlage Einverständniserklärung Fachhochschule Nordwestschweiz Hochschule für Angewandte Psychologie Riggenbachstrasse 16 4600 Olten Bei Fragen: rebecca.bannwart@fhnw.ch Teilnehmerinnen-/Teilnehmerdaten: Vorname: _____________________________________ Nachname: _____________________________________ Ich stimme zu, im Rahmen der Masterarbeit zum Thema Verständliche, praxiswirksame Evaluationsberichte an einem Interview teilzunehmen. Weiterhin bestätige ich, dass ich über die Ziele des Projektes informiert wurde und dass ich die folgenden Punkte zur Kenntnis genommen habe:  Ich bin mir bewusst, dass ich jederzeit meine Beteiligung am Interview beenden kann, ohne Gründe dafür zu nennen und ohne, dass sich Nachteile für mich ergeben.  Meine Daten werden ausschliesslich für Forschungs- und Entwicklungszwecke genutzt.  Während des Interviews findet eine Tonaufzeichnung statt. Alle persönlichen Daten werden in Abschriften der Tonaufnahmen gelöscht.  Nur vollständig anonymisierte Tondaten werden elektronisch weiterverarbeitet und für Publikationen bzw. die interne Verwendung genutzt. Am Ende des Projektes werden alle persönlichen Daten gelöscht.  Ich stimme zu, dass meine vollständig anonymisierten Daten für eine nicht festgelegte Zeit zu Forschungszwecken und in der Ausbildung und Weiterbildung genutzt werden können. 125 Anhang Masterarbeit  Bis zum Abschluss des Projektes kann ich meine Einwilligung für die Verwendung meiner Daten zurückziehen. Sollte ich dies tun, werden meine Daten umgehend gelöscht.  Ich werde eine Kopie dieser Einverständniserklärung erhalten. _________________________________ Datum, Unterschrift (Teilnehmer/in) 126 Anhang Masterarbeit D: Transkriptionsregeln (Kuckartz, 2016) 1. Es wird wörtlich transkribiert, also nicht lautsprachlich oder zusammenfassend. Vorhandene Dialekte werden nicht mit transkribiert, sondern möglichst genau in Hochdeutsch übersetzt. 2. Sprache und Interpunktion werden leicht geglättet, d. h. an das Schriftdeutsch angenähert. Zum Beispiel wird aus „Er hatte noch so’n Buch genannt“ → „Er hatte noch so ein Buch genannt“. Die Satzform, bestimmte und unbestimmte Artikel etc. werden auch dann beibehalten, wenn sie Fehler enthalten. 3. Deutliche, längere Pausen werden durch in Klammern gesetzte Auslassungspunkte (…) markiert. Entsprechend der Länge der Pause in Sekunden werden ein, zwei oder drei Punkte gesetzt, bei längeren Pausen wird eine Zahl entsprechend der Dauer in Sekunden angegeben. 4. Besonders betonte Begriffe werden durch Unterstreichungen gekennzeichnet. 5. Sehr lautes Sprechen wird durch Schreiben in Grossschrift kenntlich gemacht. 6. Zustimmende bzw. bestätigende Lautäusserungen der Interviewer (mhm, aha etc.) werden nicht mit transkribiert, sofern sie den Redefluss der befragten Person nicht unterbrechen. 7. Einwürfe der jeweils anderen Person werden in Klammern gesetzt. 8. Lautäusserungen der befragten Person, die die Aussage unterstützen oder verdeutlichen (etwa Lachen oder Seufzen), werden in Klammern notiert. 9. Absätze der interviewenden Person werden durch ein „I Pos:“, die der befragten Person(en) durch ein eindeutiges Kürzel, z. B. „B4;“, gekennzeichnet. 10. Jeder Sprechbeitrag wird als eigener Absatz transkribiert. Sprecherwechsel wird durch zweimaliges Drücken der Enter-Taste, also einer Leerzeile zwischen den Sprechern deutlich gemacht, um so die Lesbarkeit zu erhöhen. 11. Störungen werden unter Angabe der Ursache in Klammern notiert, z. B. (Handy klingelt). 12. Nonverbale Aktivitäten und Äusserungen der befragten wie auch der interviewenden Person werden in Doppelklammern notiert, z. B. ((lacht)), ((stöhnt)) und Ähnliches. 13. Unverständliche Wörter werden durch (unv.) kenntlich gemacht 14. Alle Angaben, die einen Rückschluss auf eine befragte Person erlauben, werden anonymisiert. 127 Anhang Masterarbeit E: Kategoriensystem Hauptkategorie Subkategorie Definition Codierregel Ankerbeispiel Gestaltung Strukturelle Kriterien, die an optische Beispielsweise Länge des Berichts, Struktur, «Es gibt oft unten an der Tabelle eine Legende, Ebene Gestaltung gestellt werden Gliederung, Aufbau, Darstellungen (Tabellen, diese ist aber nicht immer selbsterklärend.» (8, Grafiken, Abbildungen) Pos: 37) Inhaltliche Kriterien, die an die inhaltliche Beispielsweise Sprache, Wissenschaftlichkeit, «Grundsätzlich muss es auch wissenschaftlich Ebene Gestaltung gestellt werden theoretische Hintergründe geschrieben sein und es muss nicht alles in einfachen Wörtern bringen.» (12, Pos: 12) Anforderungswü Zukünftige Hinweise zu Veränderungsansprüchen an «Aus meiner Sicht braucht es ein Summary, nsche Gestaltungsanforderungen zukünftige Berichte welches die wichtigsten Punkte des Berichts zusammenfasst.» (1, Pos: 34) Format adressatengerichtete Form des Meinungen zu Zielgruppen und «Ich finde es heikel, wenn adressatengerechte Berichts adressatenangepassten Berichten Berichte verfasst werden.» (4, Pos: 36) Nutzen Zweck der mit dem Bericht verfolgt Punkte, die erläutern, was der Bericht «Der Mehrwert für eine externe Evaluation ist die wird erreichen möchte/sollte und was für ein neutrale Aussensicht.» (E, Pos: 44) Mehrwert er bringt Kompetenzen Fähigkeiten die Schulleitungen Beispielsweise statistisches Wissen, «Hilfreich ist es, wenn eine Schulleitung sich brauchen, um den Bericht zu bestimmte Fachwörter getraut, rückzufragen.» (G, Pos: 34) verstehen 128 Anhang Masterarbeit Akzeptanz Einflussfaktoren für die Kriterien, die die Akzeptanz des Berichts «Die Entwicklungsschritte/Handlungsfelder Anerkennung und Duldung des beeinflussen müssen so aufgezeigt werden, dass die Berichts Lehrperson das Gefühl hat, dass es zu schaffen ist.» (8, Pos: 45) Interventionen Faktoren Einflussfaktoren, die die Punkte rund um die Interventionsableitung aus «Das Bedürfnis, beispielsweise hat uns das S-Tool Interventionsabl Interventionsableitung aus dem dem Bericht klar aufgezeigt, dass die Belastungen, die die eitung Bericht positiv wie auch negativ Lehrpersonen empfinden, auf die Dauer nicht beeinflussen gesund sein [können].» (7, Pos: 52) Vorgehen Ablauf von der Hinweise zum konkreten Vorgehen bei der «Weiters ist ein Abgleich mit den Qualitätsfaktoren. Interventionsabl Massnahmenableitung bis zur Interventionsableitung hin zur Umsetzung Was ist eine gute Schule und in welchen eitung Umsetzung Bereichen müssen wir uns weiterentwickeln.» (5, Pos: 41) Begleitung/Selbstwirksamkeit Bedarf an Beratungsangebot oder Punkte, ob es Begleitung bei der «Die eine ist, wenn die Evaluation über eine die selbstsprechende Wirkung Berichterstattung braucht und wenn ja externe Stelle läuft und für mich als eines Berichts welche? Schulverantwortlicher eine totale Überraschung ist, dann brauche ich eine Beratung.» (2, Pos: 18) 129 Anhang Masterarbeit F: Transkripte (separat) 130