olivertacke.de

Am Freitag und Samstag habe ich das Junge Forum Medien- und Hochschulentwicklung (#JFMH13) in Potsdam besucht. Zusammen mit meiner Kollegin Mareike Beuße und meinem Kollegen Thomas Czerwionka durfte ich kurz die Lehrportfolio-Plattform der TU Braunschweig vorstellen, die seit Ende Mai öffentlich zugänglich ist. Im Rahmen des Projektes teach4TU gibt es Lehrenden die Möglichkeit, dort ihre Lehre zu reflektieren, vorzustellen und zu diskutieren.

Wir haben auf dem #JFMH13 schon einige Hinweise bekommen, wie wir eventuell mit einigen Schwierigkeiten umgehen können, die sich uns stellen: Als besondere Knackpunkte aus Sicht Lehrender erweisen sich die Öffentlichkeit, die universitäre Kultur und das Verhältnis von Aufwand und Nutzen. Die in Potsdam angestoßene Diskussion möchten wir im Netz fortführen. Wer mag, darf uns auf den eigens dafür eingerichteten Seiten gerne seine Sicht der Dinge schildern. Wir freuen uns über eure Rückmeldungen!

Am Freitag und Samstag habe ich das Junge Forum Medien- und Hochschulentwicklung (#JFMH13) in Potsdam besucht. Zusammen mit meiner Kollegin Mareike Beuße und meinem Kollegen Thomas Czerwionka durfte ich kurz...

Gestern flatterte eine Absage von der Konferenz #DeLFI2013 in meinen E-Mail-Eingang. Ich hatte dort einen Beitrag eingereicht. Rückmeldungen von GutachterInnen soll man ja hinnehmen wie sie sind, aber ein bisschen irritiert bin ich doch.

Der Artikel

Es wird mir zum einen die Realitätsnähe des Beitrags negativ ausgelegt und zum anderen die stellenweise subjektive Sprache mit der Anmutung eines Erfahrungsberichts bemängelt. Ich bin irritiert, weil laut Call for Papers neben reinen Forschungsbeiträgen ausdrücklich Anwendungsbeiträge erwünscht waren (Zitat: “Anwendungs- und Industriebeiträge stellen aktuelle e-Learning Anwendungen vor und werten Erfahrungen mit ihrer Nutzung aus.”). Ich wundere mich außerdem, weil ich den Beitrag ausdrücklich im Konzept Scholarship of Teaching and Learning (SOTL) bzw. in der Aktionsforschung verortet habe, was zwangsläufig nah dran an der Praxis ist und wo ich als beteiligter Lehrender automatisch aus meiner eigenen Perspektive berichte. Na, was soll’s…

Lest doch einfach selbst und bildet euch euer eigenes Urteil. Ich stelle den Artikel gerne zur Verfügung (CC-BY) und ergänze ihn gleich um die Kommentare der GutachterInnen. Ist auch ganz spannend, sich bloß die Spannbreite der Beurteilungen anzuschauen

Gutachten 1

Beitrag der Einreichung

Der Beitrag untersucht die Nutzung eines Wiki in gemeinschaftlich damit erarbeiteten Seminarbeiträgen. Das Wiki war dabei auch öffentlich für Kommentare zugänglich. In 2 Seminaren werden Befunde zu Wiki als Seminar-unterstützendes Werkzeug, zu Öffentlichkeit der Beiträge und zur Steigerung der Teamfähigkeit erhoben, dargestellt und diskutiert.

Beurteilung des Beitrags

• Inhaltliche Qualität (20%): 6
• Bedeutung (10%): 4
• Originalität (20%): 4
• Thematische Relevanz (10%): 8
• Darstellung (10%): 8
• Empfehlung (30%): 6
• Gesamtpunkte (von 10) : 5.8

Kommentare für die Autoren

Da die Untersuchung an realen Seminaren durchgeführt wurden ergeben sich sowohl Stärken als auch Schwächen in den Aussagen.

Positiv ist sicherlich, dass es sich um reale Seminare handelte und die Ergebnisse unter dem “Druck” der erfolgreichen Seminarteilnahme entstanden.

Die Realitätsnähe stellt jedoch methodisch Herausforderungen dar, die die Bedingungen schwer kontrollierbar machen.
So ist unklar, inwiefern die beiden Durchläufe tatsächlich eine replizierte Studie darstellen. Dies tritt insbesondere auch in Abb. 1 zu Tage, welche die doch sehr unterschiedlichen “Arbeitsstile” aufzeigt. Sämtliche Einschätzungen werden subjektiv von den Teilnehmern per Fragebogen erhoben. Es gibt keine Einordnungen zur Nutzertypologie, was besonders zur Teamfähigkeit und zur Frage, wie man die Öffentlichkeit sieht, nützlich gewesen wäre (DISC, NEO FFI oder ähnliche Instrumente).

Das Einbeziehen der Öffentlichkeit war mehr oder weniger zufällig und evtl. auch deswegen eingeschränkt. Nützlich wären hier Angaben über die Anzahl und auch die Art der öffentlichen Beiträge. Gab es eher Hinweise, echte Diskussionen, Teilbeiträge, und woher kamen all diese?

Dass hier eine Wiki-Plattform genutzt wurde, ist nur eine Form des kollaborativen Arbeitens. Eine Differenzierung zu anderen Möglichkeiten wird kaum dargestellt. Sie schreiben, dass sich die Teilnehmer trafen, um dann zu schreiben. Das hätten diese doch auch mit einer üblichen Textverarbeitung tun können, nur war ihnen jetzt eben das Wiki vorgeschrieben…

Da die Teilnahme am Wiki-Seminar freiwillig war, wäre interessant zu wissen, wie die Quote der Teilnehmer zu denen, die dann doch lieber eine andere Seminarform wählten war.

Zu Fragestellungen des Urheberrechts und zu Plagiarismus wird keinerlei Aussage getroffen.

Gutachten 2

Beitrag der Einreichung

Evaluation (n = 25) zweier Wiki-Seminare

Beurteilung des Beitrags

• Inhaltliche Qualität (20%): 2
• Bedeutung (10%): 2
• Originalität (20%): 4
• Thematische Relevanz (10%): 8
• Darstellung (10%): 4
• Empfehlung (30%): 3
• Gesamtpunkte (von 10) : 3.5

Kommentare für die Autoren

Folgende Punkte sind problematisch:
- der theoretische Hintergrund wird schwach bis gar nicht ausgeführt.
- es sind Unterschiede zwischen den beiden Seminaren vorhanden, wie die weitere prozesseorientierte Analyse zeigt. Trotzdem werden beide Seminare zu einer Stichprobe zusammen gefügt.
- die Lehrenden-Perspektive = Verfasser-Perspektive.
- sehr subjektive Sprache (“Hoffnung”) und Sichtweise. Der Beitrag gewinnt dadurch eher die Anmutung eines Erfahrungsberichts als die einer wissenschaftlichen Arbeit.
- kleine Stichprobe, die keine Überprüfung von Hypothesen zulässt.
- überwiegend subjektive Daten ohne Bezug zu anderen Datenquellen

Gutachten 3

Beitrag der Einreichung

Eine relativ bedeutsame Änderung in der Anfertigung von Seminararbeiten wird hier aus Sicht der Studierenden als auch der Lehrperson geschildert. Der erste Sprung zur kollaborativen Abfassung von Seminararbeiten wurde bereits intensiv
beforscht. Er ergibt sich eigentlich logisch aus der gängigen wissenschaftlichen Praxis der kollaborativen Aufschreibung von Forschungsergebnissen. Der zweite Schritt, dazu öffentlich verfügbare und zugängliche Web-Werkzeuge zu verwenden, lässt sich aus der Diskussion um die sogenannte Science 2.0 verstehen, die für mehr Transparenz auch bei der
Entstehung und Nachvollziehbarkeit von Forschungsleistungen sorgen will. Eine Einbindung solcher Techniken in die Lehre ist damit zumindest aus dieser Debatte heraus wünschenswert.

Beurteilung des Beitrags

• Inhaltliche Qualität (20%): 6
• Bedeutung (10%): 6
• Originalität (20%): 6
• Thematische Relevanz (10%): 8
• Darstellung (10%): 8
• Empfehlung (30%): 7
• Gesamtpunkte (von 10) : 6.7

Kommentare für die Autoren

In dem Papier werden nach einer Einleitung zunächst die beiden betriebswirtschaftlichen Seminare beschrieben und dann die Form der Datenerhebung. Anschließend erfolgt die Auswertung und die Diskussion der Ergebnisse. Für die Studierende war die Technik kein Problem und auch die Öffentlichkeit stellte keine größere Herausforderung dar. Anscheinend ist aber die Kollaboration problematisch, da die zielorientierte Methodik der Studenten dem offensichtlich entgegensteht. Der Lehrende (und Autor) zieht eine insgesamt positive Bilanz.

Insgesamt macht die Arbeit und die Darstellung einen recht ordentlichen Eindruck. Natürlich kann man eine solche Arbeit um viele Aspekte ergänzen, die hier keine Berücksichtigung gefunden haben, z.B. die Auswirkungen auf die
Prüfungsordnungen und Gesetzgebung, oder die langfristigen Auswirkungen auf die Gestaltung der eigenen Lehre bei kumulativer Verfügbarkeit der Lern- und Lehrleistungen. Die Ergebnisse zeigen einen eher pragmatischen Umgang mit den neuen Lehrtechnologien und -methoden, der natürlich auch durch den experimentellen Einmal-Effekt herrühren kann. Ich empfehle die Arbeit zur Annahme aufgrund der soliden Durchführung.

Gutachten 4

Beitrag der Einreichung

Der Beitrag beschreibt die Erfahrungen mit dem Einsatz von Wiki-Technologie und -Arbeitsweise zum Schreiben einer Seminararbeit in Grupen.

Beurteilung des Beitrags

• Inhaltliche Qualität (20%): 8
• Bedeutung (10%): 8
• Originalität (20%): 8
• Thematische Relevanz (10%): 10
• Darstellung (10%): 10
• Empfehlung (30%): 9
• Gesamtpunkte (von 10) : 8.7

Kommentare für die Autoren

Ein sehr gut strukturiert geschriebener Beitrag mit interessanten Fragen und Ergebnissen, die (Vor)Urteile und Erwartungen zu korrigieren vermögen. Die Ergebnisse sind quantitativ untermauert und offen sowie kritisch reflektiert
dargestellt. Ich verspreche mir eine interessante Diskussion zum Beitrag.
Mir sind wenige Kleinigkeiten aufgefallen, die man noch verbessern könnte.

transdisziplinär: Sollte definiert werden. Warum transdisziplinär, und nicht interdisziplinär oder multidisziplinär? Sonst eher weglassen.

Für Studierende verspricht Wiki Produktivitätsgewinne: Was meinen Sie damit? Das leuchtet mir nicht von vornherein ein.

Satz mit Fehler: …. so codiert, dass sihm der zum ….
Noch ein Tippfehler …. nach der eigentlich nicht beabsichtigte Nutzung (n fehlt).

Gestern flatterte eine Absage von der Konferenz #DeLFI2013 in meinen E-Mail-Eingang. Ich hatte dort einen Beitrag eingereicht. Rückmeldungen von GutachterInnen soll man ja hinnehmen wie sie sind, aber ein bisschen...

E-Prüfungsraum der Universität Göttingen

Gestern war ich unterwegs in Göttingen zur Tagung E-Prüfungen – Was ist heute schon möglich?. Mit dem Thema hatte ich mich zuvor überhaupt noch nicht befasst und wollte einen Überblick bekommen – das ist gelungen. Meine zwei persönlichen Highlights waren dabei die Denkanstöße von Karsten Wolf (Uni Bremen) und Michael Beurskens (Uni Düsseldorf).

Karsten Wolf weitete erst einmal den Titel der Veranstaltung etwas aus und sprach statt E-Prüfungen von E-Assessments. Damit ist dann eher der Prozess des Dokumentierens von Wissen, Fähigkeiten oder Überzeugungen gemeint, und der zielt nicht auf eine bloße Leistungsmessung ab.

E-Assessments sind ein guter Anlass, um sich wieder mit der Qualität von Prüfungen zu beschäftigen. (Karsten Wolf)

In seinem Vortrag bekam ich schon zu Beginn der Veranstaltung genau das, was ich mir erhofft hatte: einen Überblick. Er streifte Bezugsnormen von Assessments bzw. Prüfungen (individuell, sozial, sachlich), zeigte kurz auf, was bei summativen Assessments (Blick auf das Ergebnis) und formativen Assessments (Blick auf den Prozess) auf elektronischem Wege schon ganz gut klappt – und was noch nicht – und streifte Test Wiseness Tests, mit denen sich die Güte von Multiple-Choice-Tests verbessern lässt. In diesem Zusammenhang habe ich mir den Namen Kathleen Scalise notiert, von der er ein Schaubild mit einer Einteilung zeigte. Die werde ich im Nachgang noch suchen.

Michael Beurskens ist Jurist und beschäftigte sich mit rechtlichen Aspekten von E-Prüfungen. Dabei ging er aber weniger darauf ein, was alles verboten sein könnte. Er zeigte stattdessen, was tatsächlich schon alles möglich ist! Überrascht war ich beispielsweise darüber, dass mündliche Prüfungen grundsätzlich auch per Video-Konferenz erlaubt sind, wenn ein Protokoll dazu geführt wird. Ebenfalls eine interessante Information für alle, die aus irgendeinem Grund das Bild von klagenden Studierenden im Kopf haben: Prüfungen werden wirklich selten angefochten, meist nur von Medizin- oder Jura-StudentInnen, und sie sind wohl gerade einmal in drei Prozent der Fälle erfolgreich.

Die anderen Beiträge kamen an diese beiden nicht heran; teilweise waren sie wirklich nicht das, was ich mir erhofft hatte. Aber mein Wunsch nach einem Überblick wurde in jedem Fall erfüllt. Danke an die OrganisatorInnen!

Update

Von meiner Kollegin Claudia Frie gibt es einen kurzen Blog-Beitrag zum zweiten Veranstaltungstag: E-Assessment – schade, wer da nur an E-Prüfungen denkt.

Gestern war ich unterwegs in Göttingen zur Tagung E-Prüfungen – Was ist heute schon möglich?. Mit dem Thema hatte ich mich zuvor überhaupt noch nicht befasst und wollte einen Überblick...

Am 26. und 27. Februar 2013 findet die zweite “Inverted Classroom Model”-Konferenz statt, für die Beiträge gesucht werden. Zunächst werden Abstracts von maximal einer Seite eingereicht, aus denen nach positiver Rückmeldung durch die Organisatoren ein Artikel von 8-10 Seiten Länge werden soll.

Ich werde einen Vorschlag einreichen, der zu dem gewünschten Thema Konzepte von noch nicht durchgeführten Praxisvorhaben aus dem Schul- und Hochschulbereich passt. Wer dort vorab einen Blick drauf werfen möchte, findet den Text auf meiner Wikiversity-Seite.

Den Beitrag zu schreiben gibt mir einerseits die Gelegenheit, die Idee endlich einmal zu durchdenken, die mir nun schon eine ganze Weile durch den Kopf geht. Und Anregungen nehme ich gerne an! Zum anderen kann lege ich dann vielleicht auch endlich mal praktisch los :-)

Am 26. und 27. Februar 2013 findet die zweite “Inverted Classroom Model”-Konferenz statt, für die Beiträge gesucht werden. Zunächst werden Abstracts von maximal einer Seite eingereicht, aus denen nach positiver Rückmeldung durch die...

Auf meiner Wikiversity-Seite lagert noch immer ein Artikel, den Christian Spannagel und ich ursprünglich für eine Konferenz im Sommer geplant hatten. Christian musste aus Zeitgründen schließlich absagen, ich schrieb und schrieb und schrieb. Der Beitrag war zur Konferenz weder fertig noch passend, denn er hatte inzwischen mehr als den doppelten Umfang erreicht, der erlaubt war. Tja, und ich mochte nicht so viel kürzen.

Nach und nach habe ich am Text gearbeitet und fand, er sei schließlich fertig: tada! Ich suchte nach einer Zeitschrift, für die er vielleicht interessant sein könnte und stieß auf das Journal of Research Practice. Der Kontakt mit dem zuständigen Redakteur war sehr unkompliziert. Es gab zwar kein “richtiges” Review, aber der Text wurde vorab kurz begutachtet – und abgelehnt. Lest selbst:

1. Topic: Interesting, timely, highly relevant for JRP.

2. Content: The article mentions several recently used terms (citizen science, open science 2.0, etc.). There is a need to clarify these terms/concepts and develop a somewhat systematic account of how they relate to each other, their merits and difficulties, and the way they may change conventional notions and practices of research. There needs to be more systematic critical discussion.

3. Organization: Needs a more systematic argument. Suggestion for a more rigorous organization: (1) The meaning and origin of Open Science 2.0, (2) Current state and development, (3) Methodological core concepts of Open Science 2.0: aims, merits, and difficulties, and (4) Where do we go from here? Critical discussion and outlook.

4. Writing: Needs to follow a more disciplined and rigorous approach. The basic message comes through quickly, but the ideas do not appear to develop much further; also our attention as readers begins to waver. The message keeps being repeated in different terms and with various excursions into rather unspecific/remotely relevant territory. Clearly, there is a chance of condensing it into a much shorter article.

Overall: The topic has a lot of potential, but the article lacks rigorous organization. However, we honour the author’s intention in offering this as a working paper–quite in the spirit of “open science.” To develop a publishable version, the author needs to move from description to argumentation. In its current state, the article is not ready for publication in JRP, although it has a potential for development.

Da ich den Text eigentlich gut finde, zweifele ich durchaus an mir selbst. Er holt zwar an einigen Stellen etwas weit aus und spricht einige Dinge mehrfach an, aber er sollte auch von möglichst vielen verstanden werden. Vielleicht bin ich aber doch über das Ziel hinaus geschossen; schließlich findet sich in der Rückmeldung der Vermerk, dass der Artikel gehörig zusammengedampft werden könnte, was ich ja nicht wollte. Ich werde mir überlegen müssen, ob ich den Text entsprechend überarbeiten werde oder ihn einfach so im Netz stehen lasse.

Auf meiner Wikiversity-Seite lagert noch immer ein Artikel, den Christian Spannagel und ich ursprünglich für eine Konferenz im Sommer geplant hatten. Christian musste aus Zeitgründen schließlich absagen, ich schrieb und...