Gestern flatterte eine Absage von der Konferenz #DeLFI2013 in meinen E-Mail-Eingang. Ich hatte dort einen Beitrag eingereicht. Rückmeldungen von GutachterInnen soll man ja hinnehmen wie sie sind, aber ein bisschen irritiert bin ich doch.
Der Artikel
Es wird mir zum einen die Realitätsnähe des Beitrags negativ ausgelegt und zum anderen die stellenweise subjektive Sprache mit der Anmutung eines Erfahrungsberichts bemängelt. Ich bin irritiert, weil laut Call for Papers neben reinen Forschungsbeiträgen ausdrücklich Anwendungsbeiträge erwünscht waren (Zitat: “Anwendungs- und Industriebeiträge stellen aktuelle e-Learning Anwendungen vor und werten Erfahrungen mit ihrer Nutzung aus.”). Ich wundere mich außerdem, weil ich den Beitrag ausdrücklich im Konzept Scholarship of Teaching and Learning (SOTL) bzw. in der Aktionsforschung verortet habe, was zwangsläufig nah dran an der Praxis ist und wo ich als beteiligter Lehrender automatisch aus meiner eigenen Perspektive berichte. Na, was soll’s…
Lest doch einfach selbst und bildet euch euer eigenes Urteil. Ich stelle den Artikel gerne zur Verfügung (CC-BY) und ergänze ihn gleich um die Kommentare der GutachterInnen. Ist auch ganz spannend, sich bloß die Spannbreite der Beurteilungen anzuschauen 
Gutachten 1
Beitrag der Einreichung
Der Beitrag untersucht die Nutzung eines Wiki in gemeinschaftlich damit erarbeiteten Seminarbeiträgen. Das Wiki war dabei auch öffentlich für Kommentare zugänglich. In 2 Seminaren werden Befunde zu Wiki als Seminar-unterstützendes Werkzeug, zu Öffentlichkeit der Beiträge und zur Steigerung der Teamfähigkeit erhoben, dargestellt und diskutiert.
Beurteilung des Beitrags
- Inhaltliche Qualität (20%): 6
- Bedeutung (10%): 4
- Originalität (20%): 4
- Thematische Relevanz (10%): 8
- Darstellung (10%): 8
- Empfehlung (30%): 6
- Gesamtpunkte (von 10) : 5.8
Kommentare für die Autoren
Da die Untersuchung an realen Seminaren durchgeführt wurden ergeben sich sowohl Stärken als auch Schwächen in den Aussagen.
Positiv ist sicherlich, dass es sich um reale Seminare handelte und die Ergebnisse unter dem “Druck” der erfolgreichen Seminarteilnahme entstanden.
Die Realitätsnähe stellt jedoch methodisch Herausforderungen dar, die die Bedingungen schwer kontrollierbar machen.
So ist unklar, inwiefern die beiden Durchläufe tatsächlich eine replizierte Studie darstellen. Dies tritt insbesondere auch in Abb. 1 zu Tage, welche die doch sehr unterschiedlichen “Arbeitsstile” aufzeigt. Sämtliche Einschätzungen werden subjektiv von den Teilnehmern per Fragebogen erhoben. Es gibt keine Einordnungen zur Nutzertypologie, was besonders zur Teamfähigkeit und zur Frage, wie man die Öffentlichkeit sieht, nützlich gewesen wäre (DISC, NEO FFI oder ähnliche Instrumente).
Das Einbeziehen der Öffentlichkeit war mehr oder weniger zufällig und evtl. auch deswegen eingeschränkt. Nützlich wären hier Angaben über die Anzahl und auch die Art der öffentlichen Beiträge. Gab es eher Hinweise, echte Diskussionen, Teilbeiträge, und woher kamen all diese?
Dass hier eine Wiki-Plattform genutzt wurde, ist nur eine Form des kollaborativen Arbeitens. Eine Differenzierung zu anderen Möglichkeiten wird kaum dargestellt. Sie schreiben, dass sich die Teilnehmer trafen, um dann zu schreiben. Das hätten diese doch auch mit einer üblichen Textverarbeitung tun können, nur war ihnen jetzt eben das Wiki vorgeschrieben…
Da die Teilnahme am Wiki-Seminar freiwillig war, wäre interessant zu wissen, wie die Quote der Teilnehmer zu denen, die dann doch lieber eine andere Seminarform wählten war.
Zu Fragestellungen des Urheberrechts und zu Plagiarismus wird keinerlei Aussage getroffen.
Gutachten 2
Beitrag der Einreichung
Evaluation (n = 25) zweier Wiki-Seminare
Beurteilung des Beitrags
- Inhaltliche Qualität (20%): 2
- Bedeutung (10%): 2
- Originalität (20%): 4
- Thematische Relevanz (10%): 8
- Darstellung (10%): 4
- Empfehlung (30%): 3
- Gesamtpunkte (von 10) : 3.5
Kommentare für die Autoren
Folgende Punkte sind problematisch:
- der theoretische Hintergrund wird schwach bis gar nicht ausgeführt.
- es sind Unterschiede zwischen den beiden Seminaren vorhanden, wie die weitere prozesseorientierte Analyse zeigt. Trotzdem werden beide Seminare zu einer Stichprobe zusammen gefügt.
- die Lehrenden-Perspektive = Verfasser-Perspektive.
- sehr subjektive Sprache (“Hoffnung”) und Sichtweise. Der Beitrag gewinnt dadurch eher die Anmutung eines Erfahrungsberichts als die einer wissenschaftlichen Arbeit.
- kleine Stichprobe, die keine Überprüfung von Hypothesen zulässt.
- überwiegend subjektive Daten ohne Bezug zu anderen Datenquellen
Gutachten 3
Beitrag der Einreichung
Eine relativ bedeutsame Änderung in der Anfertigung von Seminararbeiten wird hier aus Sicht der Studierenden als auch der Lehrperson geschildert. Der erste Sprung zur kollaborativen Abfassung von Seminararbeiten wurde bereits intensiv
beforscht. Er ergibt sich eigentlich logisch aus der gängigen wissenschaftlichen Praxis der kollaborativen Aufschreibung von Forschungsergebnissen. Der zweite Schritt, dazu öffentlich verfügbare und zugängliche Web-Werkzeuge zu verwenden, lässt sich aus der Diskussion um die sogenannte Science 2.0 verstehen, die für mehr Transparenz auch bei der
Entstehung und Nachvollziehbarkeit von Forschungsleistungen sorgen will. Eine Einbindung solcher Techniken in die Lehre ist damit zumindest aus dieser Debatte heraus wünschenswert.
Beurteilung des Beitrags
- Inhaltliche Qualität (20%): 6
- Bedeutung (10%): 6
- Originalität (20%): 6
- Thematische Relevanz (10%): 8
- Darstellung (10%): 8
- Empfehlung (30%): 7
- Gesamtpunkte (von 10) : 6.7
Kommentare für die Autoren
In dem Papier werden nach einer Einleitung zunächst die beiden betriebswirtschaftlichen Seminare beschrieben und dann die Form der Datenerhebung. Anschließend erfolgt die Auswertung und die Diskussion der Ergebnisse. Für die Studierende war die Technik kein Problem und auch die Öffentlichkeit stellte keine größere Herausforderung dar. Anscheinend ist aber die Kollaboration problematisch, da die zielorientierte Methodik der Studenten dem offensichtlich entgegensteht. Der Lehrende (und Autor) zieht eine insgesamt positive Bilanz.
Insgesamt macht die Arbeit und die Darstellung einen recht ordentlichen Eindruck. Natürlich kann man eine solche Arbeit um viele Aspekte ergänzen, die hier keine Berücksichtigung gefunden haben, z.B. die Auswirkungen auf die
Prüfungsordnungen und Gesetzgebung, oder die langfristigen Auswirkungen auf die Gestaltung der eigenen Lehre bei kumulativer Verfügbarkeit der Lern- und Lehrleistungen. Die Ergebnisse zeigen einen eher pragmatischen Umgang mit den neuen Lehrtechnologien und -methoden, der natürlich auch durch den experimentellen Einmal-Effekt herrühren kann. Ich empfehle die Arbeit zur Annahme aufgrund der soliden Durchführung.
Gutachten 4
Beitrag der Einreichung
Der Beitrag beschreibt die Erfahrungen mit dem Einsatz von Wiki-Technologie und -Arbeitsweise zum Schreiben einer Seminararbeit in Grupen.
Beurteilung des Beitrags
- Inhaltliche Qualität (20%): 8
- Bedeutung (10%): 8
- Originalität (20%): 8
- Thematische Relevanz (10%): 10
- Darstellung (10%): 10
- Empfehlung (30%): 9
- Gesamtpunkte (von 10) : 8.7
Kommentare für die Autoren
Ein sehr gut strukturiert geschriebener Beitrag mit interessanten Fragen und Ergebnissen, die (Vor)Urteile und Erwartungen zu korrigieren vermögen. Die Ergebnisse sind quantitativ untermauert und offen sowie kritisch reflektiert
dargestellt. Ich verspreche mir eine interessante Diskussion zum Beitrag.
Mir sind wenige Kleinigkeiten aufgefallen, die man noch verbessern könnte.
transdisziplinär: Sollte definiert werden. Warum transdisziplinär, und nicht interdisziplinär oder multidisziplinär? Sonst eher weglassen.
Für Studierende verspricht Wiki Produktivitätsgewinne: Was meinen Sie damit? Das leuchtet mir nicht von vornherein ein.
Satz mit Fehler: …. so codiert, dass sihm der zum ….
Noch ein Tippfehler …. nach der eigentlich nicht beabsichtigte Nutzung (n fehlt).
Gestern flatterte eine Absage von der Konferenz #DeLFI2013 in meinen E-Mail-Eingang. Ich hatte dort einen Beitrag eingereicht. Rückmeldungen von GutachterInnen soll man ja hinnehmen wie sie sind, aber ein bisschen...
RSS
