Schlagwort-Archive: Studie

Evaluationen selbst auf dem Prüfstand

Offene Wissenschaft, ,

Am Ende jedes Hochschulsemesters wiederholt sich ein Ritual: Es wird evaluiert, was das Zeug hält. Studierende sollen Lehrveranstaltungen nach verschiedenen Gesichtspunkten bewerten. Das können beispielsweise sein:

  • Wirkte die/der Lehrende fachlich kompetent?
  • Beantwortete die/der Lehrende Zwischenfragen in befriedigender Form?
  • Wie beurteilen Sie Ihren persönlichen Wissensgewinn und Lernerfolg in diesem Fach?

Evaluiert wird häufig jede einzelne Veranstaltung; oft auf Papier direkt im Hörsaal, weil dann die Rücklaufquoten höher sind. Die Bögen werden dann eingescannt und die Inhalte ausgewertet. Begründet wird dieses ressourcenverschlingende Prozedere damit, dass damit die Lehre verbessert werden könne. Diverse Gründe dafür, warum ich das für Nonsens halte, habe ich vor beinahe drei Jahren schon einmal angeführt. Der gesamte Apparat beschäftigt und beruhigt aber die Hochschulverwaltung, Sie hat damit wenigstens irgendetwas getan hat. Für Rückmeldungen an Lehrende, die ja tatsächlich sinnvoll sein können, ist dieser gesamte Apparat ungeeignet. Da gibt es bessere Ansätze.

Was sagen solche Ergebnisse aus?

Was sagen solche Ergebnisse aus?

Mehr Erkenntnisse zu dem Thema verspricht eine aktuelle Studie von PsychologInnen (Uttl, White & Gonzalez, 2016). Sie haben sich auf verschiedene Art und Weise zahlreiche andere Studien aus über 30 Jahren angesehen, zusammengeführt und diverse Schwächen ausgemacht. Ein zentrales Ergebnis ihrer Meta-Analyse lautet, dass man in einer von Studierenden gut bewerteten Veranstaltung nicht mehr lerne als in einer schlecht bewerteten. Wenn sich dieser Gedanke hinter „Verbesserung der Lehre“ verbirgt: Zonk!

Die Studie kommt jedoch noch zu einem weiteren Schluss. Die Resultate von studentischen Evaluationen seien ein Ausdruck von Zufriedenheit mit dem Angebot. Die würde ich nicht außer acht lassen wollen! Dumm ist nur, dass der Zusammenhang zwischen Lernen und Zufriedenheit ganz schon kompliziert ist. Ich traue mir da wirklich keine klare Aussage zu. Allenfalls: „Nicht alles, was zu mehr Zufriedenheit führt, muss schlecht für das Lernen sein. Kann es aber. Und irgendwie muss man sich für ’sein‘ Gleichgewicht entscheiden.“ Von Hochschulen halte ich es jedenfalls für ganz schön gewagt, wenn sie einzig Evaluationen als Messinstrument einsetzen und daran eine Verbesserung oder Verschlechterung der Lehre festmachen wollen. Was denkt ihr dazu?

Literatur

  • Uttl, B., White, C. A. & Gonzalez, D. W. (2016). Meta-analysis of faculty’s teaching effectiveness: Student evaluation of teaching ratings and student learning are not related. Studies in Educational Evaluation, http://dx.doi.org/10.1016/j.stueduc.2016.08.007.

Schaubildschaden

IT, Offene Wissenschaft, , , ,

Alle Welt glaubt, bei Vorträgen PowerPoint oder ähnliche Software nutzen zu müssen, auch sehr viele Lehrende. Die Werkzeuge sind per se erst einmal nichts Schlechtes. Ich habe aber auch bereits etwas dazu geschrieben, wie die Ergebnisse leider oft aussehen. Lehrende nutzen bei Vorträgen Schaubilder eher als Notizzettel für sich selbst oder in Form von Folienumenten als schlechten Ersatz für einen echten Text. Die Konzentration der Zuhörenden richtet sich unweigerlich an die Wand, aber nicht auf die sprechende Person. Für eine gelungene Unterstützung eines Vortrags halte ich das nicht und empfehle zu dem Thema die Lektüre der Bücher von Garr Reynolds oder Nancy Duarte. Die gehen aber auf das Thema Lehren nur am Rande ein? Das gilt doch nicht für den Hörsaal? Dann widmen wir unsere Aufmerksamkeit einfach einer Studie von Christof Wecker.

zzZ zzZ zzZ

zzZ zzZ zzZ

Herr Wecker hat unter anderem untersucht, wie viele der vorgestellten Inhalte nach einem Vortrag behalten werden. Den Referenzpunkt bilden Vorträge ohne jegliche Schaubilder als Begleitung. Verglichen werden sie jeweils mit Vorträgen, die durch „übliche“ Schaubilder oder „prägnante“ Schaubilder angereichert werden. Für beide Folientypen sind in der Studie auch Beispiele abgebildet. Unter den üblichen erkennt man schnell solche, auf die man in der Regel trifft. Als prägnant wird ein Schaubild bezeichnet, auf dem wirklich nur vier Schlagworte stehen.

  • Resultat 1: Werden „übliche“ Schaubilder verwendet, bleiben die darauf verzeichneten Inhalte zwar gut haften, aber die mündlich übermittelten Informationen bleiben signifikant weniger im Gedächtnis. Mehr noch, die allgemeine Behaltensleistung bei einem Vortrag mit solchen Folien ist ebenfalls niedriger als bei einem ohne Schaubilder.
  • Resultat 2: Werden „prägnante“ Schaubilder“ eingesetzt, bleiben deren Inhalte besser im Gedächtnis als bei „üblichen“ Schaubildern. Spannend ist nun der Vergleich zum Vortrag, der ohne Schaubilder auskommt. Prägnante Präsentationen sorgen dafür, dass von den mündlich übermittelten Informationen mehr behalten wird als bei einem nackten Vortrag (und damit auch insgesamt mehr).

Lehrende tun entsprechend dieser Ergebnisse gut daran, sich entweder um prägnante Schaubilder zu bemühen oder — sollte das nicht möglich sein — lieber ganz auf Folien zu verzichten und sich auf das gesprochene Wort zu konzentrieren. Auch in diesem Fall bliebe offenbar mehr hängen als wenn man untaugliche Schaubilder an die Wand wirft. Um eine ordentliche Vorbereitung kommt man also nicht herum, will man gute Vorträge halten.

Literatur

Wecker, Christof (2012): Slide presentations as speech suppressors: When and why learners miss oral information, in: Computers & Education, 59. Jg., Nr. 2, S. 260-273. [doi:10.1016/j.compedu.2012.01.013]