Interviews mit involvierten Lehrkräften und Schüler*innen

Im Rahmen von Arbeitspaket Nr. 9 wurden die angepassten Lehr-Lernarrangements in den jeweiligen Partnerländern ansässigen Pilotschulen in einem „Testlauf“ in der Unterrichtspraxis durch die Lehrkräfte erprobt.

Damit einhergehend fand eine anschließende Befragung der involvierten Lehrer*innen hinsichtlich der Praxistauglichkeit der Lehrmaterialien sowie zu erkennbaren Lernerfolgen statt. Des Weiteren wurde eine Analyse der Akzeptanz, Motivation und Selbsteinschätzung des Lernerfolgs seitens der involvierten Schüler*innen durchgeführt.

Für die Implementierung der Lehr-Lernarrangements in den Piloteinrichtungen sowie der damit verbundenen Evaluation wurde ein Zeitraum von fünf Monaten benötigt (November 2012 - März 2013).

1.    Vorbereitung

Im Rahmen der Vorbereitungsphase wurden zunächst die Evaluationsinstrumente auf supranationalem Level entwickelt.

Die Analyse und Erfassung von Unterrichtsgeschehen stellt sich als äußerst komplexer Gegenstand der Untersuchung dar, welche in der Wissenschaft seit geraumer Zeit diskutiert wird. So gibt es heftige Kontroversen ob sich eher „quantitative“ oder „qualitative“ Datenanalysemethoden für eine solche Untersuchung eignen oder ob eher ein lehrer*innen- oder lerner*innenzentriertes Modell in den Mittelpunkt der Analyse gerückt werden solle (vgl. Van Buer, 1984).

Stachowiak (1980) konstatiert, dass obgleich für welches Untersuchungsmodell man sich entscheidet, dieses „weitgehend pragmatischer Natur ist“, bei dem niemals alle „Originalattribute“ beurteilt werden können, sondern nur jene, die für den Befragten von Bedeutung sind (vgl. Stachowiak, 1980). Folglich muss zunächst geklärt werden, worin die eigene Forschungsintention liegt und die eigene Modellbildung danach ausrichten.

Da im Zuge dieser Evaluation sowohl die Lehrkräfte als auch die beteiligten Schüler*innen befragt werden sollen, wird sowohl der*die Lehrer*in als auch der*die Lerner*in in den Mittelpunkt der Modellierung gestellt. Da diese beiden Gruppen zum einen eine unterschiedlich hohe Fallzahl aufweisen, zum anderen ungleiche Befragungsziele und Erkenntnisinteressen akzentuiert werden, sollten unterschiedliche Erhebungsinstrumente zum Einsatz kommen.

Für die Erhebung der Lehrer*innenstandpunkte wurde die Form eines teilstandardisierten Interviews gewählt.

Eine solche Form erwies sich aus zweierlei Hinsicht von Vorteil. Zum einen ermöglicht dieser spontane Fragen zu stellen, ohne Beschränkung des natürlichen Erzähl- und Redeflusses. Zum anderen können die interviewten Lehrkräfte frei und ohne limitierte Vorgabe erläutern, worin sie Schwierigkeiten, Erfolge oder aber Verbesserungsvorschläge hinsichtlich der Lehrmaterialien sehen. Qualitative Verfahren versuchen zunächst den untersuchten Abschnitt der Realität möglichst vielfältig in seiner gesamten Komplexität zu erfassen, ohne dabei einen eingeengten Blickwinkel vorzugeben (vgl. Schön, 1979).

Der teilstandardisierte Interviewleitfaden wurde auf Basis der im Projektantrag formulierten Zielsetzungen gemeinsam mit allen Projektpartner*innen auf der Zwischentagung in Bergamo entwickelt. Er gliedert sich in drei Teile. Nach einer kurzen Begrüßung, in welcher Hintergründe und Ziele des Vorhabens erläutert werden, wird das Interview mit allgemeinen Fragen zur Wichtigkeit von Selbst- und Sozialkompetenzen im Einzelhandel eingeleitet. Die folgenden beiden Teile nehmen konkret Bezug auf die einzelnen Lehr-Lernarrangements. Dabei stehen insbesondere Fragen zur Praxistauglichkeit, besonderen Schwierigkeiten, Verbesserungs-potenzialen sowie feststellbaren Lernerfolgen bei den Schüler*innen im Erkenntnisinteresse der Untersuchung. Während des Gesprächs haben die Interviewpartner*innen durchweg die Möglichkeit einen Blick in die in der Unterrichtspraxis eingesetzten Lehr-Lernarrangements zu werfen, um sich diese noch einmal zu vergegenwärtigen.

Neben einem Interviewleitfaden für die beteiligten Lehrkräfte galt es ferner ein Erhebungsinstrument für die zweite Zielgruppe, involvierte Schüler,*innen zu konzipieren. Aufgrund der deutlich größeren Stichprobe sowie der andersartigen Forschungsintention erwies sich hier die Form einer schriftlichen Befragung mithilfe eines standardisierten Fragebogens von großem Vorteil. Den Schüler*innen ist das Forschungsinteresse des EU-Innovationstransferprojektes nicht bekannt, sodass eine kritische qualitative Reflexion große Schwierigkeiten mit sich bringen könnte. Während in der vorangegangenen Analyse die individuellen Erfahrungen mit den Lehrmaterialien im Zentrum einer offenen Analyse standen, soll diese nun anhand zuvor entwickelter Kategorien untersucht werden.

Dabei wird das Augenmerk insbesondere auf die Motivation der involvierten Schüler*innen im Hinblick auf die vier in der Unterrichtspraxis implementierten Lehr-Lernarrangements in einem Zeitreihenvergleich gerichtet (Kategorie 1). Ferner galt es die Akzeptanz der jungen Proband*innen hinsichtlich der jeweiligen Selbst- und Sozialkompetenzen zu untersuchen. Dabei stehen insbesondere Eigenschaften wie Länge, Verständlichkeit und Zugänglichkeit im Fokus der Untersuchung. Diese bilden die relevanten Items von Kategorie 2.

Abschließend soll anhand von zwei Fragen die Selbsteinschätzung des Leistungszuwachses (Kategorie 3) erfragt werden. Dabei wird in Teilen eine formative, den Lernprozess begleitende Bewertung zugrunde gelegt. Eine solche Bewertungszentrierung ermöglicht es, einen sog. Vorher-Nachher-Vergleich aus Sicht der jeweiligen Individuen zu ziehen (vgl. Siemon, 2003).

Der finalisierte Fragebogen erstreckt sich mit insgesamt 14 bzw. 15 Fragen pro Lehr-Lernarrangement auf eine praktikable Größe. Die Fragen wurden bewusst in der Sprache der Befragten abgefasst, bei welchen ungeläufige Wörter und Fremdwörter vermieden wurden. Zur Einstellungsmessung wurde eine vierstufige Likert-Skala als Skalierungsverfahren zugrunde gelegt, die von einer stark positiven („trifft zu“) bis zu einer stark negativen Einstellung („trifft nicht zu“) verschiedene Antwortmöglichkeiten beinhaltet. Eine neutrale Position, die mittlere Position einer ungeraden Anzahl an Kategorien einer Likert-Skala, wurde bewusst ausgelassen. Viele Testpersonen nutzen diese Position nachweislich aus Bequemlichkeit, um ein schnelles Beenden der Umfrage hervorzurufen (vgl. Greving, 2009).

2.    Durchführung

Die Implementierungsphase wurde mit einem persönlichen Besuch der Projektpartner*innen in den beteiligten Pilotschulen pro Land eingeleitet. Dabei wurden die angepassten Lehr-Lernarrangements sowie die Fragebögen für die Schüler*innen den jeweiligen Fachlehrer*innen übergeben und etwaige Fragen hinsichtlich der Durchführung beantwortet. Dies verminderte einerseits mögliche Sorgen und Ängste, gleichzeitig erhöhte es die Bereitschaft der Pädagog*innen, diese in ihrem Unterricht zielführend und wohlwollend einzusetzen.

Jedes Lehr-Lernarrangement sollte mindestens einmal pro Pilotschule in der Praxis eingesetzt werden. Während der tatsächlichen Implementierung sollte keiner der Projektpartner*innen anwesend sein. Dies hatte mehrere Gründe. Eine Teilnahme dieser hätte mit großer Sicherheit dazu geführt, dass Rückfragen seitens der Lehrer*innen während des Unterrichts aufkommen, welche den Forschungsprozess verzerren würden. Des Weiteren sollten sich weder die durchführende Lehrkraft noch die involvierten Schüler*innen kontrolliert und beobachtet fühlen.

Im Rahmen des Erstbesuchs wurde daher bereits ein Folgetermin für die Übergabe der standardisierten Fragebögen, insbesondere jedoch für die persönliche Befragung der teilnehmenden Lehrer*innen vereinbart.

Während der Implementierungsphase, welche im Zeitraum November bis Februar erfolgte, standen die Projektpartner*innen in allen Ländern jedoch bei aufkommenden Fragen und Unklarheiten zur Verfügung.

3.    Aufbereitung und Auswertung

In der letzten Phase der Untersuchung wurden die Interviewinhalte ausgewertet und im Hinblick auf die kommende Optimierung (vgl. Arbeitspaket Nr. 10) aufbereitet. Dabei wurde bereits während der Zwischentagung in Bergamo eine gemeinsame Richtlinie festgelegt. So wurde ein einheitliches Format („Teacher Evaluation Sheet“) erstellt und genutzt, in welcher jede*r Partner*in pro Lehr-Lernarrangement die beträchtlichsten Kritikpunkte und Verbesserungsvorschläge der Lehrkräfte aufführte. Der*die Projektkoordinator*in fügte diese zusammen, sodass keine Rückschlüsse auf die einzelnen Länder zu erkennen waren. Dies wahrte nicht nur den supranationalen Charakter, zudem konnten auf diese Weise auftretende Redundanzen eliminiert werden.

Vorab wurde eine Teiltranskription des auf Tonband aufgezeichneten Interviewmaterials in der jeweiligen Landessprache vorgenommen. Hier wurden die wichtigsten Inhalte schriftlich notiert, welche für die spätere Zusammentragung genutzt werden konnten.

Bevor es schließlich zu einer Datenauswertung der Schüler*innenbefragungen kam, wurden die erhobenen Daten zunächst kodiert und editiert. Ersteres sieht vor, dass Rohdaten in bestimmte Antwortkategorien eingeteilt und schließlich in Zahlen umgewandelt werden. Dazu wurden alle Antworten der Schüler*innen in Form von Ziffern in ein ebenfalls zuvor angefertigtes Tool eingepflegt („Student Evaluation Sheet“), um eine anschließende Auswertung dieser zu ermöglichen. Im Rahmen der Editierung wurde sichergestellt, dass die vorhandenen Fragebögen fehlerfrei und lesbar sind. Dabei wurden jene Fragebögen, die unvollständig oder fehlerhaft waren, ausgesondert. 

4.    Ergebnisse

Insgesamt waren in Deutschland drei Pilotschulen bei der Implementierung der Lehr-Lernarrangements involviert. Dabei wurden die Lehrmaterialien pro Schule mehrfach im Unterricht eingesetzt. So wurde das Lehr-Lernarrangement „Kritikfähigkeit“ insgesamt sechs Mal, die Lehr-Lernarrangements „Teamkompetenz“ und „Zeitmanagement“ je acht Mal und „Selbsteinschätzung der eigenen Leistungs-fähigkeit“ insgesamt fünf Mal in der Unterrichtspraxis erprobt. Dadurch wurden die Materialien gegenüber der ursprünglichen Planung mehr als doppelt so oft einem praktischen Test unterzogen, wodurch die Validität der anschließenden Ergebnisse deutlich erhöht werden konnte.

Insgesamt waren 22 Lehrer bei der Implementierung der Lehr-Lernarrangements involviert, welche nach Beendigung dieser Phase alle persönlich befragt wurden. Zudem füllten insgesamt 433 Schüler*innen den standardisierten Fragebogen aus (71 Fragebögen entfielen auf das Lehr-Lernarrangement „Kritikfähigkeit“, 158 Fragbögen auf das Lehr-Lernarrangement „Zeitmanagement“, 101 Fragbögen auf das Lehr-Lernarrangement „Teamkompetenz“ sowie 103 Fragebögen auf das Lehr-Lernarrangement „Selbsteinschätzung der eigenen Leistungsfähigkeit“). Auch dies stellt eine hinreichend große Stichprobe dar, um fundierte und aussagekräftige Erkenntnisse generieren zu können.

4.1.     Lehr-Lernarrangement „Zeitmanagement“

Die Einstellungen und Verbesserungsanregungen seitens der Lehrpersonen variierten stark zwischen den vier Modulen. Das Lehr-Lernarrangement „Zeitmanagement“ musste sich der heftigsten Kritik unterziehen. So wurde konstatiert, dass das Niveau für die neue Zielgruppe, Berufsschüler im Einzelhandel, noch immer zu niedrig und die aufgeführten Beispiele zu alltagsfern seien. Berufsschüler im Einzelhandel kennen nach Aussagen aller befragten Lehrer keinen Zeitdruck, sodass das Erstellen eines eigenen Tagesplans nicht das Ziel erfülle, künftig besser mit Zeit umgehen zu können. Nahezu alle Lehrer plädierten daher dazu, die Schüler eine ganze Woche planen zu lassen, anstelle von nur einem Tag. Hier ergeben sich deutlich mehr Termine, wodurch die Aufgabenstellung konfliktbehafteter und komplexer werde.

Ein weiterer Kritikpunkt betraf die Lehrmaterialien. Diese wiederholen sich nach Angaben der Pädagogen inhaltlich sehr oft, wodurch die Motivation seitens der Schüler zunehmend sank. Einige Arbeitsblätter wurden daher gänzlich von den Lehrkräften entnommen. Auch hier sollte der Problemgehalt erhöht und die Inhalte abwechslungsreicher gestaltet werden.

Der formale Aufbau des Lehr-Lernarrangements wurde hingegen als sehr positiv bewertet. Der Einstieg mit „Marc’s Tagesablauf“ sowie dem anschließenden Transfer hinsichtlich der Erstellung eines eigenen Tagesplans wurde seitens der Lehrer als sehr zielführend bewertet. Um die Komplexität des skizzierten Tagesplans ein wenig zu erhöhen, wurden hilfreiche Beispiele genannt, die im Rahmen der Optimierungsphase eingearbeitet werden können.

Neben diesen lernerzentrierten Aspekten, wurden jedoch auch Verbesserungs-anregungen bezüglich lehrerzentrierten Punkten aufgeführt. Die Lehrkräfte betonten mehrheitlich, dass die Hinweise für diese weiter spezifiziert werden könnten.

Die Aussagen der Schüler bestätigten die Aussagen ihrer Lehrer. Am schlechtesten beurteilten die jungen Erwachsenen ihre eigene Motivation gegenüber dem Lehr-Lernarrangement sowie die Bereitschaft einen eigenen Tagesplan zu erstellen. Ein weiterer Kritikpunkt betraf die Relevanz der unterrichteten Inhalte für den eigenen (Berufs-)Alltag. Der Tagesplan von Marc war allen zu alltagsfern, wodurch das Interesse zunehmend sank.

4.2.     Lehr-Lernarrangement „Selbsteinschätzung der eigenen Leistungsfähigkeit“

Deutlich positiver fiel dementgegen die Kritik gegenüber dem Lehr-Lernarrangement „Selbsteinschätzung der eigenen Leistungsfähigkeit“ aus. Dieses wurde einheitlich als sehr positiv und bedeutsam beurteilt. Während die Besprechung eigener Stärken und Schwächen im Plenum in einigen Klassen sehr erfolgreich verlief, war die Hemmschwelle seitens der Schüler in anderen Klassen sehr groß, sodass hier vermehrt persönliche Gespräche mit den Lehrern geführt wurden. Dies zeigte, dass die optionale Möglichkeit beider Varianten sich als sehr praktikabel herausstellte.

Der Einsatz des Zertifikats „Mitarbeiter des Monats“ wurde von keinem Lehrer in der angegebenen Form durchgeführt. Das Eintragen eines Schülers könnte aus Sicht dieser dazu führen, dass bei anderen Klassenmitgliedern Neid aufkomme. Folglich plädierten die Lehrkräfte dazu, dieses Zertifikat allgemeiner zu gestalten und das Eintragen einer spezifischen Person in Gänze auszulassen.

Die positive Haltung der Lehrkräfte gegenüber dem Lehr-Lernarrangement wurde von den Schülern bestätigt. Diese empfanden es als sehr wichtig, die eigenen Stärken und Schwächen einschätzen zu können (vgl. Abb.). Die Akzeptanz gegenüber den Inhalten wurde in allen Punkten als besonders positiv bewertet (vgl. Abb.). Zudem konnten Sie einen eigenen Lernerfolg ausmachen (vgl. Abb.), was die Wichtigkeit dieses Lehr-Lernarrangements ebenso bestätigt.

4.3.     Lehr-Lernarrangement „Kritikfähigkeit“

Das Lehr-Lernarrangement „Kritikfähigkeit“ wurde ebenfalls kritisch beurteilt. Dieses sollte aus Sicht der Lehrer deutlich komprimiert werden, da es zu umfangreich und dadurch unpraktikabel wahrgenommen wurde. So enthalten die aufgeführten Arbeitsblätter zu wenige Arbeitsaufträge. Auch das aufgeführte Rollenspiel sollte inhaltlich erweitert werden, ohne das Gesamtvolumen des Lehr-Lernarrangements zu erhöhen. Hier zeigt sich der Konflikt zwischen inhaltlicher Ausweitung und formeller Reduktion.

Dem entgegen wurden die aufgeführten Bildergeschichten seitens der Lehrer als positive und willkommene Abwechslung bezeichnet. Die Tatsache, dass das Rollenspiel in einem Bekleidungsgeschäft stattfindet, hinderte nicht daran, dieses ebenso in Mischklassen oder Einzelhandelsklassen völlig anderer Branchen einzusetzen.

Obgleich die Akzeptanz (vgl. Abb.) seitens der Schüler als äußerst positiv beurteilt wurde, wurden die Selbsteinschätzung des eigenen Lernerfolgs (vgl. Abb.) sowie die Motivation der Schüler gegenüber dem Lehr-Lernarrangement deutlich schlechter beurteilt (vgl. Abb.). Dies mag jedoch daran gelegen haben, dass einigen Schülern die Inhalte der Kommunikationsmodelle bereits aus dem Deutschunterricht geläufig waren. Hier sollte im Vorfeld dringend eine Abstimmung seitens der jeweiligen Bildungsgangleiter erfolgen.

4.4.     Lehr-Lernarrangement „Teamfähigkeit“

Schließlich wurde auch das Lehr-Lernarrangement „Teamfähigkeit“ kritisch diskutiert. Hier hatten die Lehrpersonen die Möglichkeit zwischen Option A, dem Kartonbau, und Option B, der Fallstudie, zu entscheiden. Jene Lehrer, die erstere im Unterricht einsetzten konstatierten dass sie etwas Praktikableres und Andersartiges im Unterricht testen wollten. Jedoch mussten alle feststellen, dass der Bau eines Kartons mit den aufgeführten Angaben nicht funktionierte. Hier sollten deutlich spezifischere Maßangaben aufgeführt werden, um den Schülern eine größere Hilfestellung an die Hand zu geben. Des Weiteren sollte ein standardisiertes Papierformat in DIN-Größe verwendet werden, damit die Lehrer die Papierbögen vorab nicht zu recht schneiden müssen.

Die Fallstudie wurde dem entgegen deutlich positiver bewertet. Hier wurde lediglich kritisiert, dass der Problem- bzw. Konfliktgehalt in der Fallstudie größer gestaltet werden könnte. Der bisherige Fall löse zu wenige Konflikte aus, sodass das Bilden von Teams zu reibungslos ablaufe.

Sowohl die Motivation (vgl. Abb.) als auch die Akzeptanz (vgl. Abb.) seitens der Schüler gegenüber dem Lehr-Lernarrangement schnitten sehr gut ab. Eine Besonderheit ergaben jedoch die Ergebnisse: Das Arbeiten in Teams im Zeitreihenvergleich ergab, dass die Schüler nach eigenen Angaben vor Durchführung der neuartigen Unterrichtsreihe eher imstande waren in Teams zu arbeiten als danach (vgl. Abb.). Dieser Aspekt lässt sich darauf zurückführen, dass sich viele Schüler aufgrund des Scheiterns des Kartonbaus zerstritten und künftig nicht mehr zusammenarbeiten wollten. Dieses Problem kann behoben werden, indem, wie bereits seitens der Lehrer gefordert, die Maßangeben verbessert werden und diese zudem die Möglichkeit bekommen in bestimmten Fällen zu intervenieren.

5.    Ausblick

Es hat sich gezeigt, dass sowohl die qualitative Befragung der Lehrkräfte als auch die quantitative Evaluation der involvierten Schüler wichtige und zielführende Befunde lieferten. Diese Erkenntnisse aus der praktischen Anwendung der Lehr-Lernarrangements im berufsbildenden Unterricht sollen nun in einem nächsten Schritt dazu genutzt werden, um die Materialien sowohl national als auch supranational anzupassen.

Hierfür ist zunächst eine Abstimmung der Befunde aus allen Ländern erforderlich. Diese wird von dem Projektkoordinator vorbereitet und an alle Projektpartner kommuniziert.

Die Materialien, die aus dieser Optimierungsphase entstehen, stellen das zentrale Produkt des Innovationstransferprojektes ReSeCo dar und müssen daher höchsten Qualitätsansprüchen genügen.