Schlagwort-Archive: Lehre

Evaluationen selbst auf dem Prüfstand

Am Ende jedes Hochschulsemesters wiederholt sich ein Ritual: Es wird evaluiert, was das Zeug hält. Studierende sollen Lehrveranstaltungen nach verschiedenen Gesichtspunkten bewerten. Das können beispielsweise sein:

  • Wirkte die/der Lehrende fachlich kompetent?
  • Beantwortete die/der Lehrende Zwischenfragen in befriedigender Form?
  • Wie beurteilen Sie Ihren persönlichen Wissensgewinn und Lernerfolg in diesem Fach?

Evaluiert wird häufig jede einzelne Veranstaltung; oft auf Papier direkt im Hörsaal, weil dann die Rücklaufquoten höher sind. Die Bögen werden dann eingescannt und die Inhalte ausgewertet. Begründet wird dieses ressourcenverschlingende Prozedere damit, dass damit die Lehre verbessert werden könne. Diverse Gründe dafür, warum ich das für Nonsens halte, habe ich vor beinahe drei Jahren schon einmal angeführt. Der gesamte Apparat beschäftigt und beruhigt aber die Hochschulverwaltung, Sie hat damit wenigstens irgendetwas getan hat. Für Rückmeldungen an Lehrende, die ja tatsächlich sinnvoll sein können, ist dieser gesamte Apparat ungeeignet. Da gibt es bessere Ansätze.

Was sagen solche Ergebnisse aus?

Was sagen solche Ergebnisse aus?

Mehr Erkenntnisse zu dem Thema verspricht eine aktuelle Studie von PsychologInnen (Uttl, White & Gonzalez, 2016). Sie haben sich auf verschiedene Art und Weise zahlreiche andere Studien aus über 30 Jahren angesehen, zusammengeführt und diverse Schwächen ausgemacht. Ein zentrales Ergebnis ihrer Meta-Analyse lautet, dass man in einer von Studierenden gut bewerteten Veranstaltung nicht mehr lerne als in einer schlecht bewerteten. Wenn sich dieser Gedanke hinter „Verbesserung der Lehre“ verbirgt: Zonk!

Die Studie kommt jedoch noch zu einem weiteren Schluss. Die Resultate von studentischen Evaluationen seien ein Ausdruck von Zufriedenheit mit dem Angebot. Die würde ich nicht außer acht lassen wollen! Dumm ist nur, dass der Zusammenhang zwischen Lernen und Zufriedenheit ganz schon kompliziert ist. Ich traue mir da wirklich keine klare Aussage zu. Allenfalls: „Nicht alles, was zu mehr Zufriedenheit führt, muss schlecht für das Lernen sein. Kann es aber. Und irgendwie muss man sich für ’sein‘ Gleichgewicht entscheiden.“ Von Hochschulen halte ich es jedenfalls für ganz schön gewagt, wenn sie einzig Evaluationen als Messinstrument einsetzen und daran eine Verbesserung oder Verschlechterung der Lehre festmachen wollen. Was denkt ihr dazu?

Literatur

  • Uttl, B., White, C. A. & Gonzalez, D. W. (2016). Meta-analysis of faculty’s teaching effectiveness: Student evaluation of teaching ratings and student learning are not related. Studies in Educational Evaluationhttp://dx.doi.org/10.1016/j.stueduc.2016.08.007.

Wann ist Hochschullehre == ProfessorIn endlich falsch?

Gestern erschien auf SPIEGEL online der Artikel „Ein Professor für 99 Studenten“ (Klovert, 3. Januar 2016). Darin wurde die Personallage an Hochschulen mit Blick auf die Lehre thematisiert. Ich empfand den Beitrag an mindestens drei Stellen störend. Vielleicht ist es mal wieder an der Zeit, an paar Einblicke in die Hochschulwelt zu geben. Wieder. Auch das gehört zu Open Science.

Kritikpunkt Nr. 1: Aufmerksamkeitsheischerei

Mein erster Kritikpunkt trifft die Wahl der Überschrift. Wer den Artikel liest, stellt nämlich fest, dass mit dem Verhältnis 1:99 der schlechteste Wert aller Bundesländer herausgepickt wurde. Am anderen Ende des Spektrums findet ihr 1:51,5. Fairer wäre es wohl gewesen, den Mittelwert (rund 1:65) oder den Median (rund 1:63) anzugeben statt den reißerischen Ausreißer. Zum einen klänge das aber weniger dramatisch und brächte vielleicht weniger Klicks. Zum anderen führt mich Statistik direkt zu meinen zweiten Kritikpunkt.

Kritikpunkt Nr. 2: Oberflächlichkeit

Die Kennzahl „ProfessorInnen pro Studierende“ lässt sich simpel berechnen: Zahl aller Profs, Gesamtzahl der Studis, teilen. Zack, feddich: Betreuungsschlüssel berechnet. Natürlich auf das Bundesland bezogen. Damit blendet man aber allerhand aus.

Es gibt an Hochschulen zahlreiche Veranstaltungsformate. Da wären etwa Einzelbetreuung bei Seminar- und Abschlussarbeiten oder Seminare mit vielleicht 15 TeilnehmerInnen. Dann gibt es noch kleinere Kurse mit möglicherweise 40 Personen bis hin zu Riesenveranstaltungen mit hunderten Anwesenden. Und das war noch nicht alles.

Darüber hinaus kann ein Studiengang kann darüber entscheiden, wie die Zusammensetzung der Formate für einen Studierenden aussieht. Manch eine/r kennt gar keine Massenveranstaltungen. Für manch eine/n sind sie quasi normal. Die Verteilung schwankt zudem über den Verlauf des Studiums. Gerade in frühen Semestern können Kurse „größer“ sein als in späteren, da verschiedene Studiengänge vertreten sind. In Linearer Algebra beispielsweise wird man sicher angehende MathematikerInnen treffen. Womöglich stößt man aber auch auf werdende IngenieurInnen, PhysikerInnen, InformatikerInnen und noch andere. Später sind Veranstaltungen spezieller und eher „klein“. Jenseits all dessen könnten die Betreuungsverhältnisse in Fächern oder Phasen sogar noch von Hochschule zu Hochschule eines Bundeslandes unterschiedlich sein. Ich schreibe „könnten“, weil ich dazu keine Erfahrungswerte habe.

Man merkt aber auch so, dass „ProfessorInnen pro Studierende“ ganz schön viel zusammendampft. Es lässt sich eigentlich nicht sagen, ob das für alle Studiengänge, für alle Studienphasen und für alle Hochschulen eines Bundeslandes gleichermaßen gilt. Oookay, das war methodenkritische Klugscheißerei. Mein größter und mich am meisten ärgernder Kritikpunkt kommt aber auch erst jetzt.

Kritikpunkt Nr. 3: Schlimmere Oberflächlichkeit

Warum wird so oft so getan, als hinge die Lehre an Hochschulen bloß von ProfessorInnen ab? Ich habe früher als wissenschaftlicher Mitarbeiter mit meinen Kollegen regelmäßig so um die 600-700 Erstsemesterklausuren durchgesehen. Hinzu kamen die deutlich umfangreicheren und komplexeren Klausuren aus Vertiefungsveranstaltungen. Wir haben eigenständig die Übungen und Seminare durchgeführt und sind auch mal für Vorlesungen eingesprungen. Wir haben Studis bei Seminar- und Abschlussarbeiten begleitet und ihre Ergebnisse begutachtet und benotet (!), auch wenn wir natürlich formal keine Unterschrift leisten durften. Wir waren für Fragen von Studierenden da. Wir haben das Lernmanagementsystem betreut. Und da war sicher noch mehr dabei, was der Lehre zugerechnet wird. Sind trotzdem die wissenschaftlichen MitarbeiterInnen für das berechnete Betreuungsverhältnis irrelevant? Oder gar für die ganze Lehre?

Gehen wir aber weg von meinem Einzelschicksal und werfen einen Blick auf eine Studie. Die betrachtet leider Universitäten differenzierter als Fachhochschulen, aber sei es drum. Im Schnitt werden an deutschen Hochschulen nur 39,4 % der Lehre von ProfessorInnen erbracht. Weitere 34,5 % entfallen auf wissenschaftliche MitarbeiterInnen. Die folglich verbleibenden 26,1 % übernehmen Lehrkräfte für besondere Aufgaben, Lehrbeauftragte und „Spezialfälle“ (vgl. Bloch, Lathan, Mitterle, Trümpler & Würmann, 2014, S. 43-63). Es sei angemerkt, dass sich auch hinter diesen simplen Zahlen beträchtliche Schwankungen über Fachbereiche hinweg verbergen. Schaut in die Quellen. Sie sind verlinkt. Ein Blick an die Fachhochschulen sind anders aus. ProfessorInnen und Lehrbeauftragte decken dort 75 % bis 100 % der Lehre ab. Letztere kompensieren allerdings fehlende Profs und erbringen mitunter die Hälfte der Lehre (vgl. Bloch et al., 2014, S. 101).

Fazit

Wir haben diverse Hinweise gefunden, dass die Kennzahl „Prof pro Studi“ je Bundesland quasi nichts über die Betreuung in der Lehre dort aussagt – schon gar nicht über die Qualität. Sie taugt bloß für Berichts-Bullshit in Ministerien oder unnötige Pressemeldungen. Wichtiger finde ich allerdings, dass endlich damit aufgehört wird, Hochschullehre mit ProfessorInnen gleichzusetzen. Kreckel hält dazu fest: „Das Gros der universitären Lehre wird in Deutschland heute von promovierten Mitarbeiterinnen und Mitarbeitern, den sog. Postdocs, und zu einem nicht unerheblichen Teil sogar von Doktoranden getragen […]“ (Kreckel, 2016, S. 15). Ohne wissenschaftliche MitarbeiterInnen liefe an Unis gar nichts, und ohne Lehrbeauftragte könnten die Fachhochschulen dicht machen.

Quellen

Add an H5P-Timer to your assignments, maybe?

A while ago, I noticed that the memory game of H5P uses a timer that is tied to the library closely. It cannot be used for anything else. I decided to create something like a general purpose timer for H5P and here it is! You can  check it out it on github.

What is it good for?

The timer is not intended for time critical applications, but it can easily be used to keep track of time in games, to set a time limit for tasks, or to create other innovative content libraries that need triggers based on time. What about a mod-player that can handle ProTracker files for example? 😉 Also, it might reduce some redundancies across different h5p libraries under the hood.

You could build a stopwatch with the H5P-Timer

What can the H5P-Timer actually do?

First of all, the H5P-Timer can can count up and down. Wow, right? 🙂 Additionally, it can be paused. Really! More interestingly, it keeps track of three different types of counters:

  • clock time (can be modified even if running, e.g to give a time bonus)
  • playing time (the amount of time that the clock has been ticking when not paused)
  • running time (the total running time ignoring pauses)

I am not sure if there’s a use proper use case for all of them, but maybe you have something in mind?! Furthermore, the timer offers three types of notifications using callback functions. All three counter types can be used as a trigger. You can set up:

  • a notification at a particular point in time,
  • a notification after a certain time period has passed, and
  • recurring notifications in fixed intervals.

For example, you could set up a two minute warning for a countdown with a notification at a particular point in time. Or you could remove special powers that were granted a game character after 30 seconds have passed. Or you might just add a ticking noise to a clock every single second. It’s up to you! Apropos clock: the timer can use milliseconds internally but only „displays“ tenths of seconds and above. Everything else wouldn’t make too much sense, I guess.

Hmm, what else can the timer do? It will dispatch events for play, pause, stop and reset. You might want to listen for them.

Finally, the timer offers some static utility functions. You can

  • check if something is a timecode,
  • convert timecodes to milliseconds and vice versa,
  • extract single time elements like days or seconds from timecode or milliseconds.

Help, I need sombody, help!

I think that someone else should have a closer look at the H5P-Timer because it may still contain some bugs. While I have not completed my documentation, I hope that my comments are good enough to guide you. Your feedback is highly appreciated! Also, please let my know in the comments what content libraries you can imagine to use the H5P-Timer for!

„Es kommt in der Wissenschaft nicht darauf an, dass man sie so vermittelt, dass sie mit dem Kopf verstanden wird, sondern so, dass sie mit dem Herzen verstanden wird“

Unter meinen abonnierten Podcasts findet sich der Forschergeist von Tim Pritlove, und die aktuelle Ausgabe Nr. 34 hat mit wieder einmal sehr gefallen. Sie dreht sich um Werner Heisenberg.

Zum Ende hin geht Wissenschaftshistoriker Ernst Peter Fischer auf Wissenschaftsvermittlung ein. Er diskutiert einen Aspekt, der in der Welt der Hochschuldidaktik zwar immer wieder thematisiert wird, aber nicht so recht in die Lehre durchdringt:

„Die Vermittlung der Wissenschaft wird immer noch so betrieben, dass einem jemand erklärt, wie etwas funktioniert – sozusagen – nur mit einfachen Worten. […] Es kommt in der Wissenschaft nicht darauf an, dass man sie so vermittelt, dass sie mit dem Kopf verstanden wird, sondern so, dass sie mit dem Herzen verstanden wird – und das macht man nicht.“

Den Kontext der Aussage habe ich euch aus dem Podcast herausgelöst – aber ihr solltet ihn euch unbedingt komplett anhören, wenn ihr an Wissenschaftsgeschichte oder Physik interessiert seid.

Der Podcast „Forschergeist“ (Ausagbe 34 hier als Auszug) von Stifterverband/Metaebene ist lizenziert unter einer Creative Commons Namensnennung – Weitergabe unter gleichen Bedingungen 4.0 International Lizenz (CC BY-SA 4.0).

Als Weg dorthin schlägt Herr Fischer vor, über die Personen hinter der Wissenschaft und deren Leben zu gehen. Sehe ich auch so! Vielleicht finde ich das aber auch bloß so sympathisch, weil ich mit „Köpfe der Wissenschaft selbst gemacht“ vor einer ganzen Weile selbst in diese Richtung gedacht habe und außerdem noch davon überzeugt bin, dass „Offene Wissenschaft“ auch heißen sollte, jenseits der Ergebnisse von Wissenschaft den Prozess und die Personen dahinter sichtbarer zu machen 🙂

[Update] Das soll nicht heißen das Kognitive zu ersetzen!

Was geht euch zu der Frage durch den Kopf, ob die Vermittlung von Wissenschaft, speziell in der Hochschullehre, zu stark kognitiv dominiert sei?

if ( xAPIcall ) { myChoice(); }

Wieder nur mal so eine Idee… Da ich gerade mal wieder mit IFTTT herumgespielt habe, ging mir etwas durch den Kopf. Dafür hole ich erst einmal etwas aus.

Blechdosenprogrammierung

Die Tin Can API (xAPI) ist eine technische Spezifikation, um Interaktionen zwischen LernerInnen und Lernumgebungen zu beschreiben und gegebenenfalls auch festzuhalten. Typischerweise passiert das in einem Lernmanagement-System.

Bei interaktiven Videos mit H5P wird etwa die Interaktion „Completed interactive video“ bestätigt, wenn der Nutzer/die Nutzerin das Ende des Videos erreicht. Oder „Answered fill in the blanks„, wenn ein Lückentext ausgefüllt wurde. Es lassen sich mittels der xAPI aber prinzipiell beliebige Interaktionen beschreiben, die von bestimmten Ereignissen ausgelöst werden: „worked on five consecutive days“ oder „uploaded paper“. Müssten die jeweiligen Systeme bloß unterstützen.

Wozu? Die Daten können in einem „Learning Record System“ (LRS) gesammelt, zusammengeführt und ausgewertet werden. Algorithmen oder Lehrende können dadurch Anhaltspunkte erhalten, wie sie die Lernenden womöglich unterstützen können – Business Intelligence für die Lehre. Das ist ein durchaus heikles Thema. Was aber, wenn man stattdessen die Lernenden selbst ermächtigen wollte?

Power to the People!

Das eingangs erwähnte IFTTT ist ein Online-Dienst, mit dem man zahlreiche andere Dienste und gar Geräte mit einfachen Rezepten der Form „Wenn dies, dann das“ verknüpfen kann. Mit „Wenn an Ort X, dann sende Nachricht Y an Z“ ließe sich beispielsweise automatisiert der WG-Partner fragen, ob man noch etwas aus dem Supermarkt mitbringen soll – weil man gerade da ist.

Was wäre, wenn man einem Lernmanagement-System eine Schnittstelle zu IFTTT spendierte, bei dem die xAPI-Interaktionen die Wenn-Regeln wären? Könnten Lernende sich dann nicht eigene Umgebungen schaffen, mit denen sie sich jenseits der vom Lernmanagement-System angebotenen Funktionen selbst unterstützen? Oder auch selbst kontrollieren)… „Wenn Kurs abgeschlossen, dann bestelle Videospiel bei BestBuy“, „Wenn fünf Tage lang nichts getan, dann twittere ‚Ich bin faul! Beschimpft mich!'“ oder wie wäre es mit „Wenn Lernaktivität nachts um Zwei, dann koche Kaffee“? Per Heimautomation wäre das machbar, und dann verschmelzen virtueller und physischer Lernraum auf neue Art und Weise: Was wäre das für ein Lernraum, der einem Kaffee macht 🙂

Ich habe einfach mal ein paar denkbare Auslöser (IF) und mögliche Aktionen (DANN) gesammelt, die ihr ja probeweise mal nach Gutdünken kombinieren könnt. Was fällt euch noch ein?

WENN DANN
n Tage nichts für einen Kurs getan Twitter: Sende Nachricht „XYZ“
Badge erhalten Kaffeemaschine: Koche Kaffee
Kurs abgeschlossen Heizung: Regele Temperatur hoch/runter
Nachricht im Forum geposted/erhalten Tabellenkalkulation: Füge Zeile in Tabelle ein
Aktivität erfolgreich/erfolglos abgeschlossen Webcam: Poste aktuelles Foto auf Facebook
Video gestartet/abgebrochen/beendet Bank: Überweise x Euro auf Konto Y
Hausaufgabe eingeschickt Online-Shop: Bestelle x
wenig Motivation beim Lernen festgestellt Freund xy die Nachricht schicken: Kommt alle her, wir kochen heute gemeinsam!
Kinokarte bestellen
Lieblingslied abspielen
auf Twitter oder Facebook posten: Brauche Motivationsideen von Euch, jetzt!
Wanderschuhe fallen aus dem Schrank 🙂
Episode auf Netflix wird freigeschaltet

[Update: Ich habe einige Ideen von Kirsten und Matthias aus den Kommentaren ergänzt.]