Offenheit in Lehre und Forschung – Königsweg oder Sackgasse?

Speicherstadt Hamburg

Speicherstadt Hamburg

Eine Antwort gibt es von mit auf die Frage nicht. Ich bin vorbelastet. Und ich finde diese Entweder-Oder-Fragen sowieso mager. Nichtsdestotrotz habe ich den Titel für diesen Beitrag gewählt. Weshalb? Weil das diesjährige „Junge Forum für Medien und Hochschulentwicklung“ unter dieser Flagge segelt. Es findet am 15. und 16. Juni im schönen Hamburg statt und freut sich über eure Einreichungen zur Titelfrage. Wer sich davon aus theoretischer Perspektive oder aus Praxissicht angesprochen fühlt – und sich dazu ein Poster, einen Vortrag, eine Diskussion oder einen Workshop  vorstellen kann – sollte sich den Aufruf zu Beiträgen ansehen. Zeit für Vorschläge ist noch bis zum 1. März.

Evaluationen selbst auf dem Prüfstand

Am Ende jedes Hochschulsemesters wiederholt sich ein Ritual: Es wird evaluiert, was das Zeug hält. Studierende sollen Lehrveranstaltungen nach verschiedenen Gesichtspunkten bewerten. Das können beispielsweise sein:

  • Wirkte die/der Lehrende fachlich kompetent?
  • Beantwortete die/der Lehrende Zwischenfragen in befriedigender Form?
  • Wie beurteilen Sie Ihren persönlichen Wissensgewinn und Lernerfolg in diesem Fach?

Evaluiert wird häufig jede einzelne Veranstaltung; oft auf Papier direkt im Hörsaal, weil dann die Rücklaufquoten höher sind. Die Bögen werden dann eingescannt und die Inhalte ausgewertet. Begründet wird dieses ressourcenverschlingende Prozedere damit, dass damit die Lehre verbessert werden könne. Diverse Gründe dafür, warum ich das für Nonsens halte, habe ich vor beinahe drei Jahren schon einmal angeführt. Der gesamte Apparat beschäftigt und beruhigt aber die Hochschulverwaltung, Sie hat damit wenigstens irgendetwas getan hat. Für Rückmeldungen an Lehrende, die ja tatsächlich sinnvoll sein können, ist dieser gesamte Apparat ungeeignet. Da gibt es bessere Ansätze.

Was sagen solche Ergebnisse aus?

Was sagen solche Ergebnisse aus?

Mehr Erkenntnisse zu dem Thema verspricht eine aktuelle Studie von PsychologInnen (Uttl, White & Gonzalez, 2016). Sie haben sich auf verschiedene Art und Weise zahlreiche andere Studien aus über 30 Jahren angesehen, zusammengeführt und diverse Schwächen ausgemacht. Ein zentrales Ergebnis ihrer Meta-Analyse lautet, dass man in einer von Studierenden gut bewerteten Veranstaltung nicht mehr lerne als in einer schlecht bewerteten. Wenn sich dieser Gedanke hinter „Verbesserung der Lehre“ verbirgt: Zonk!

Die Studie kommt jedoch noch zu einem weiteren Schluss. Die Resultate von studentischen Evaluationen seien ein Ausdruck von Zufriedenheit mit dem Angebot. Die würde ich nicht außer acht lassen wollen! Dumm ist nur, dass der Zusammenhang zwischen Lernen und Zufriedenheit ganz schon kompliziert ist. Ich traue mir da wirklich keine klare Aussage zu. Allenfalls: „Nicht alles, was zu mehr Zufriedenheit führt, muss schlecht für das Lernen sein. Kann es aber. Und irgendwie muss man sich für ’sein‘ Gleichgewicht entscheiden.“ Von Hochschulen halte ich es jedenfalls für ganz schön gewagt, wenn sie einzig Evaluationen als Messinstrument einsetzen und daran eine Verbesserung oder Verschlechterung der Lehre festmachen wollen. Was denkt ihr dazu?

Literatur

  • Uttl, B., White, C. A. & Gonzalez, D. W. (2016). Meta-analysis of faculty’s teaching effectiveness: Student evaluation of teaching ratings and student learning are not related. Studies in Educational Evaluationhttp://dx.doi.org/10.1016/j.stueduc.2016.08.007.

Wann ist Hochschullehre == ProfessorIn endlich falsch?

Gestern erschien auf SPIEGEL online der Artikel „Ein Professor für 99 Studenten“ (Klovert, 3. Januar 2016). Darin wurde die Personallage an Hochschulen mit Blick auf die Lehre thematisiert. Ich empfand den Beitrag an mindestens drei Stellen störend. Vielleicht ist es mal wieder an der Zeit, an paar Einblicke in die Hochschulwelt zu geben. Wieder. Auch das gehört zu Open Science.

Kritikpunkt Nr. 1: Aufmerksamkeitsheischerei

Mein erster Kritikpunkt trifft die Wahl der Überschrift. Wer den Artikel liest, stellt nämlich fest, dass mit dem Verhältnis 1:99 der schlechteste Wert aller Bundesländer herausgepickt wurde. Am anderen Ende des Spektrums findet ihr 1:51,5. Fairer wäre es wohl gewesen, den Mittelwert (rund 1:65) oder den Median (rund 1:63) anzugeben statt den reißerischen Ausreißer. Zum einen klänge das aber weniger dramatisch und brächte vielleicht weniger Klicks. Zum anderen führt mich Statistik direkt zu meinen zweiten Kritikpunkt.

Kritikpunkt Nr. 2: Oberflächlichkeit

Die Kennzahl „ProfessorInnen pro Studierende“ lässt sich simpel berechnen: Zahl aller Profs, Gesamtzahl der Studis, teilen. Zack, feddich: Betreuungsschlüssel berechnet. Natürlich auf das Bundesland bezogen. Damit blendet man aber allerhand aus.

Es gibt an Hochschulen zahlreiche Veranstaltungsformate. Da wären etwa Einzelbetreuung bei Seminar- und Abschlussarbeiten oder Seminare mit vielleicht 15 TeilnehmerInnen. Dann gibt es noch kleinere Kurse mit möglicherweise 40 Personen bis hin zu Riesenveranstaltungen mit hunderten Anwesenden. Und das war noch nicht alles.

Darüber hinaus kann ein Studiengang kann darüber entscheiden, wie die Zusammensetzung der Formate für einen Studierenden aussieht. Manch eine/r kennt gar keine Massenveranstaltungen. Für manch eine/n sind sie quasi normal. Die Verteilung schwankt zudem über den Verlauf des Studiums. Gerade in frühen Semestern können Kurse „größer“ sein als in späteren, da verschiedene Studiengänge vertreten sind. In Linearer Algebra beispielsweise wird man sicher angehende MathematikerInnen treffen. Womöglich stößt man aber auch auf werdende IngenieurInnen, PhysikerInnen, InformatikerInnen und noch andere. Später sind Veranstaltungen spezieller und eher „klein“. Jenseits all dessen könnten die Betreuungsverhältnisse in Fächern oder Phasen sogar noch von Hochschule zu Hochschule eines Bundeslandes unterschiedlich sein. Ich schreibe „könnten“, weil ich dazu keine Erfahrungswerte habe.

Man merkt aber auch so, dass „ProfessorInnen pro Studierende“ ganz schön viel zusammendampft. Es lässt sich eigentlich nicht sagen, ob das für alle Studiengänge, für alle Studienphasen und für alle Hochschulen eines Bundeslandes gleichermaßen gilt. Oookay, das war methodenkritische Klugscheißerei. Mein größter und mich am meisten ärgernder Kritikpunkt kommt aber auch erst jetzt.

Kritikpunkt Nr. 3: Schlimmere Oberflächlichkeit

Warum wird so oft so getan, als hinge die Lehre an Hochschulen bloß von ProfessorInnen ab? Ich habe früher als wissenschaftlicher Mitarbeiter mit meinen Kollegen regelmäßig so um die 600-700 Erstsemesterklausuren durchgesehen. Hinzu kamen die deutlich umfangreicheren und komplexeren Klausuren aus Vertiefungsveranstaltungen. Wir haben eigenständig die Übungen und Seminare durchgeführt und sind auch mal für Vorlesungen eingesprungen. Wir haben Studis bei Seminar- und Abschlussarbeiten begleitet und ihre Ergebnisse begutachtet und benotet (!), auch wenn wir natürlich formal keine Unterschrift leisten durften. Wir waren für Fragen von Studierenden da. Wir haben das Lernmanagementsystem betreut. Und da war sicher noch mehr dabei, was der Lehre zugerechnet wird. Sind trotzdem die wissenschaftlichen MitarbeiterInnen für das berechnete Betreuungsverhältnis irrelevant? Oder gar für die ganze Lehre?

Gehen wir aber weg von meinem Einzelschicksal und werfen einen Blick auf eine Studie. Die betrachtet leider Universitäten differenzierter als Fachhochschulen, aber sei es drum. Im Schnitt werden an deutschen Hochschulen nur 39,4 % der Lehre von ProfessorInnen erbracht. Weitere 34,5 % entfallen auf wissenschaftliche MitarbeiterInnen. Die folglich verbleibenden 26,1 % übernehmen Lehrkräfte für besondere Aufgaben, Lehrbeauftragte und „Spezialfälle“ (vgl. Bloch, Lathan, Mitterle, Trümpler & Würmann, 2014, S. 43-63). Es sei angemerkt, dass sich auch hinter diesen simplen Zahlen beträchtliche Schwankungen über Fachbereiche hinweg verbergen. Schaut in die Quellen. Sie sind verlinkt. Ein Blick an die Fachhochschulen sind anders aus. ProfessorInnen und Lehrbeauftragte decken dort 75 % bis 100 % der Lehre ab. Letztere kompensieren allerdings fehlende Profs und erbringen mitunter die Hälfte der Lehre (vgl. Bloch et al., 2014, S. 101).

Fazit

Wir haben diverse Hinweise gefunden, dass die Kennzahl „Prof pro Studi“ je Bundesland quasi nichts über die Betreuung in der Lehre dort aussagt – schon gar nicht über die Qualität. Sie taugt bloß für Berichts-Bullshit in Ministerien oder unnötige Pressemeldungen. Wichtiger finde ich allerdings, dass endlich damit aufgehört wird, Hochschullehre mit ProfessorInnen gleichzusetzen. Kreckel hält dazu fest: „Das Gros der universitären Lehre wird in Deutschland heute von promovierten Mitarbeiterinnen und Mitarbeitern, den sog. Postdocs, und zu einem nicht unerheblichen Teil sogar von Doktoranden getragen […]“ (Kreckel, 2016, S. 15). Ohne wissenschaftliche MitarbeiterInnen liefe an Unis gar nichts, und ohne Lehrbeauftragte könnten die Fachhochschulen dicht machen.

Quellen

Make H5P fuzzy and fluffy!

Just before we were able to eventually say Goodbye to ugly 2016, I visited the 33rd Chaos Communication Congress in Hamburg. One evening, I chatted with a physicist. He asked me whether it was possible to use something like fuzzy answers with clozes in H5P.  It wasn’t. But indeed, this might come in handy. Thanks for sharing the idea! Such a feature would be pretty neat in order to forgive typos. It could also be useful for accepting different spellings of names without explicitly stating all possible alternatives.

Well, what do you think I did after I returned home? 😉 As always, I cannot promise a date for a release. The guys over at Joubel are busy working on other cool new stuff for H5P and will have to find some time first for checking my contribution. Anyway, if you’re impatient („Patience is for wimps!„), you can get the code from github. Please note that you will also need the new library H5P.TextUtilities that I created to source some functions that may also be relevant for other interactivities.

Tech Talk

I simply used two common string metrics: (Damerau-)Levenshtein distance and Jaro(-Winkler) distance.

The Levenshtein distance uses the number of operations necessary to transform one string into the other. Operations are deleting, inserting or exchanging a character. Damerau added swapping a character to the pool of operations. Consequently, the few operations you need for a transformation, the more similar the strings are.

The Jaro distance on the other hand „simply“ represents the similarity in percent. Winkler refined the algorithm a little bit for particular cases. I also found a paper from 2012 that suggests a more general improvement. Well, I need something to explore in the future, right? 😉

The users of H5P can, of course, use the options to tweak both algorithms a little bit. It’s hard to say in advance what the maximum number of operations for Damerau-Levenshtein or the minimum threshold for Jaro-Winkler should be. Also, the options might change. I just noticed that a discussion started whether an on/off switch might be more user friendly. Gotta go!