Am Thema vorbei? Rückmeldung von der #DeLFI2013

Gestern flatterte eine Absage von der Konferenz #DeLFI2013 in meinen E-Mail-Eingang. Ich hatte dort einen Beitrag eingereicht. Rückmeldungen von GutachterInnen soll man ja hinnehmen wie sie sind, aber ein bisschen irritiert bin ich doch.

Seminararbeiten in öffentlichen Wikis verfassen – Einschätzungen aus der Perspektive von Studierenden und der Lehrperson im Fach Betriebswirtschaftslehre

Der Artikel

Es wird mir zum einen die Realitätsnähe des Beitrags negativ ausgelegt und zum anderen die stellenweise subjektive Sprache mit der Anmutung eines Erfahrungsberichts bemängelt. Ich bin irritiert, weil laut Call for Papers neben reinen Forschungsbeiträgen ausdrücklich Anwendungsbeiträge erwünscht waren (Zitat: „Anwendungs- und Industriebeiträge stellen aktuelle e-Learning Anwendungen vor und werten Erfahrungen mit ihrer Nutzung aus.“). Ich wundere mich außerdem, weil ich den Beitrag ausdrücklich im Konzept Scholarship of Teaching and Learning (SOTL) bzw. in der Aktionsforschung verortet habe, was zwangsläufig nah dran an der Praxis ist und wo ich als beteiligter Lehrender automatisch aus meiner eigenen Perspektive berichte. Na, was soll’s…

Lest doch einfach selbst und bildet euch euer eigenes Urteil. Ich stelle den Artikel gerne zur Verfügung (CC-BY) und ergänze ihn gleich um die Kommentare der GutachterInnen. Ist auch ganz spannend, sich bloß die Spannbreite der Beurteilungen anzuschauen 😉

Gutachten 1

Beitrag der Einreichung

Der Beitrag untersucht die Nutzung eines Wiki in gemeinschaftlich damit erarbeiteten Seminarbeiträgen. Das Wiki war dabei auch öffentlich für Kommentare zugänglich. In 2 Seminaren werden Befunde zu Wiki als Seminar-unterstützendes Werkzeug, zu Öffentlichkeit der Beiträge und zur Steigerung der Teamfähigkeit erhoben, dargestellt und diskutiert.

Beurteilung des Beitrags

  • Inhaltliche Qualität (20%): 6
  • Bedeutung (10%): 4
  • Originalität (20%): 4
  • Thematische Relevanz (10%): 8
  • Darstellung (10%): 8
  • Empfehlung (30%): 6
  • Gesamtpunkte (von 10) : 5.8

Kommentare für die Autoren

Da die Untersuchung an realen Seminaren durchgeführt wurden ergeben sich sowohl Stärken als auch Schwächen in den Aussagen.

Positiv ist sicherlich, dass es sich um reale Seminare handelte und die Ergebnisse unter dem „Druck“ der erfolgreichen Seminarteilnahme entstanden.

Die Realitätsnähe stellt jedoch methodisch Herausforderungen dar, die die Bedingungen schwer kontrollierbar machen.
So ist unklar, inwiefern die beiden Durchläufe tatsächlich eine replizierte Studie darstellen. Dies tritt insbesondere auch in Abb. 1 zu Tage, welche die doch sehr unterschiedlichen „Arbeitsstile“ aufzeigt. Sämtliche Einschätzungen werden subjektiv von den Teilnehmern per Fragebogen erhoben. Es gibt keine Einordnungen zur Nutzertypologie, was besonders zur Teamfähigkeit und zur Frage, wie man die Öffentlichkeit sieht, nützlich gewesen wäre (DISC, NEO FFI oder ähnliche Instrumente).

Das Einbeziehen der Öffentlichkeit war mehr oder weniger zufällig und evtl. auch deswegen eingeschränkt. Nützlich wären hier Angaben über die Anzahl und auch die Art der öffentlichen Beiträge. Gab es eher Hinweise, echte Diskussionen, Teilbeiträge, und woher kamen all diese?

Dass hier eine Wiki-Plattform genutzt wurde, ist nur eine Form des kollaborativen Arbeitens. Eine Differenzierung zu anderen Möglichkeiten wird kaum dargestellt. Sie schreiben, dass sich die Teilnehmer trafen, um dann zu schreiben. Das hätten diese doch auch mit einer üblichen Textverarbeitung tun können, nur war ihnen jetzt eben das Wiki vorgeschrieben…

Da die Teilnahme am Wiki-Seminar freiwillig war, wäre interessant zu wissen, wie die Quote der Teilnehmer zu denen, die dann doch lieber eine andere Seminarform wählten war.

Zu Fragestellungen des Urheberrechts und zu Plagiarismus wird keinerlei Aussage getroffen.

 

Gutachten 2

Beitrag der Einreichung

Evaluation (n = 25) zweier Wiki-Seminare

Beurteilung des Beitrags

  • Inhaltliche Qualität (20%): 2
  • Bedeutung (10%): 2
  • Originalität (20%): 4
  • Thematische Relevanz (10%): 8
  • Darstellung (10%): 4
  • Empfehlung (30%): 3
  • Gesamtpunkte (von 10) : 3.5

Kommentare für die Autoren

Folgende Punkte sind problematisch:
– der theoretische Hintergrund wird schwach bis gar nicht ausgeführt.
– es sind Unterschiede zwischen den beiden Seminaren vorhanden, wie die weitere prozesseorientierte Analyse zeigt. Trotzdem werden beide Seminare zu einer Stichprobe zusammen gefügt.
– die Lehrenden-Perspektive = Verfasser-Perspektive.
– sehr subjektive Sprache („Hoffnung“) und Sichtweise. Der Beitrag gewinnt dadurch eher die Anmutung eines Erfahrungsberichts als die einer wissenschaftlichen Arbeit.
– kleine Stichprobe, die keine Überprüfung von Hypothesen zulässt.
– überwiegend subjektive Daten ohne Bezug zu anderen Datenquellen

 

Gutachten 3

Beitrag der Einreichung

Eine relativ bedeutsame Änderung in der Anfertigung von Seminararbeiten wird hier aus Sicht der Studierenden als auch der Lehrperson geschildert. Der erste Sprung zur kollaborativen Abfassung von Seminararbeiten wurde bereits intensiv
beforscht. Er ergibt sich eigentlich logisch aus der gängigen wissenschaftlichen Praxis der kollaborativen Aufschreibung von Forschungsergebnissen. Der zweite Schritt, dazu öffentlich verfügbare und zugängliche Web-Werkzeuge zu verwenden, lässt sich aus der Diskussion um die sogenannte Science 2.0 verstehen, die für mehr Transparenz auch bei der
Entstehung und Nachvollziehbarkeit von Forschungsleistungen sorgen will. Eine Einbindung solcher Techniken in die Lehre ist damit zumindest aus dieser Debatte heraus wünschenswert.

Beurteilung des Beitrags

  • Inhaltliche Qualität (20%): 6
  • Bedeutung (10%): 6
  • Originalität (20%): 6
  • Thematische Relevanz (10%): 8
  • Darstellung (10%): 8
  • Empfehlung (30%): 7
  • Gesamtpunkte (von 10) : 6.7

Kommentare für die Autoren

In dem Papier werden nach einer Einleitung zunächst die beiden betriebswirtschaftlichen Seminare beschrieben und dann die Form der Datenerhebung. Anschließend erfolgt die Auswertung und die Diskussion der Ergebnisse. Für die Studierende war die Technik kein Problem und auch die Öffentlichkeit stellte keine größere Herausforderung dar. Anscheinend ist aber die Kollaboration problematisch, da die zielorientierte Methodik der Studenten dem offensichtlich entgegensteht. Der Lehrende (und Autor) zieht eine insgesamt positive Bilanz.

Insgesamt macht die Arbeit und die Darstellung einen recht ordentlichen Eindruck. Natürlich kann man eine solche Arbeit um viele Aspekte ergänzen, die hier keine Berücksichtigung gefunden haben, z.B. die Auswirkungen auf die
Prüfungsordnungen und Gesetzgebung, oder die langfristigen Auswirkungen auf die Gestaltung der eigenen Lehre bei kumulativer Verfügbarkeit der Lern- und Lehrleistungen. Die Ergebnisse zeigen einen eher pragmatischen Umgang mit den neuen Lehrtechnologien und -methoden, der natürlich auch durch den experimentellen Einmal-Effekt herrühren kann. Ich empfehle die Arbeit zur Annahme aufgrund der soliden Durchführung.

 

Gutachten 4

Beitrag der Einreichung

Der Beitrag beschreibt die Erfahrungen mit dem Einsatz von Wiki-Technologie und -Arbeitsweise zum Schreiben einer Seminararbeit in Grupen.

Beurteilung des Beitrags

  • Inhaltliche Qualität (20%): 8
  • Bedeutung (10%): 8
  • Originalität (20%): 8
  • Thematische Relevanz (10%): 10
  • Darstellung (10%): 10
  • Empfehlung (30%): 9
  • Gesamtpunkte (von 10) : 8.7

Kommentare für die Autoren

Ein sehr gut strukturiert geschriebener Beitrag mit interessanten Fragen und Ergebnissen, die (Vor)Urteile und Erwartungen zu korrigieren vermögen. Die Ergebnisse sind quantitativ untermauert und offen sowie kritisch reflektiert
dargestellt. Ich verspreche mir eine interessante Diskussion zum Beitrag.
Mir sind wenige Kleinigkeiten aufgefallen, die man noch verbessern könnte.

transdisziplinär: Sollte definiert werden. Warum transdisziplinär, und nicht interdisziplinär oder multidisziplinär? Sonst eher weglassen.

Für Studierende verspricht Wiki Produktivitätsgewinne: Was meinen Sie damit? Das leuchtet mir nicht von vornherein ein.

Satz mit Fehler: …. so codiert, dass sihm der zum ….
Noch ein Tippfehler …. nach der eigentlich nicht beabsichtigte Nutzung (n fehlt).

42 Gedanken zu „Am Thema vorbei? Rückmeldung von der #DeLFI2013

  1. Hiho,
    so, nach einer Woche anderer Prioritäten jetzt auch mein Kommentar. Vorab: Ich finde es schade, dass dein Beitrag nicht angenommen wurde, und ich persönlich finde ihn auch sowohl inhaltlich als auch qualitativ passend, insbesondere – so, wie du sagst – als Anwendungsbeitrag. Im letzten Jahr hatte ich einen Forschungsbeitrag eingereicht (der auch als solcher gemeint war), und er wurde dann als Anwendungsbeitrag angenommen (abgestuft?). Für mich ist das natürlich okay gewesen. Wenn du ihn aber sowieso explizit als Anwendungsbeitrag eingereicht hast, ist die Kritik an den Forschungsmethoden eher unpassend.

    Ich habe aber auch den Eindruck, dass manche Reviewer an alle Beiträge die Perspektive des „Forschungsbeitrags mit quantitativen Methoden“ anlegen und so wertvolle Anwendungsbeiträge bzw. qualitativ-methodische Beiträge eine schlechtere Chance haben. Eine Lösung hab ich dafür auch nicht, höchstens diejenige, dass man realisieren kann/sollte, dass man immer in bestimmte Systeme mit eigenen Wertmaßstäben hinein einreicht und dementsprechend das System, in das man einreicht, auswählten sollte. Gerade in deinem Fall hätte ich aber die DeLFI (oder die GMW) für adäquat empfunden. Manchmal ist es auch einfach „Pech“, an welche Reviewer man gerät. Tja, auch die Wissenschaft ist nicht vor dem Einfluss des Zufalls gefeit. 😉

    Liebe Grüße,
    das dunkelmunkel 🙂

  2. Hallo, ich muss Christian widersprechen. Ich habe auch sicher 5 Jahre oder mehr Reviews gemacht für die DeLFI. Ich hätte den Beitrag auch abgelehnt, aus einfachen Grund, dass die DeLFI eine eher „technische“ eLearning Konferenz ist. Erfahrungsberichte so verstehe, dass diese aus „technischer“ Sicht sein sollten. Da passen auch Einführung neuer Technologien oder Akzeptanz neuer Technologien dazu. Aber WiKis sind einfach weit weit weg von neu. Kann sein dass sie noch aktuell Thema sind und erforscht werden, dann passt es eher in die GMW. Dort wird immer alles was technisch angekommen ist besprochen. Für mich jetzt sehr persönlich gesagt ist ein Beitrag über die Kreidetafel und einem Wiki aus technologischer oder innovativer Sicht nicht so ein großer Unterschied. Bei der ersten DeLFI an der ich teilgenommen habe 2007 war Wiki ein Thema, aber da war es schon aus technischer Sicht keine Innovation.
    Sicher drücke ich mich etwas hart aus, aber ich finde die Forschung sollte auch mal weiter kommen und nicht nur an Wikis hängen bleiben.

    1. @Mo
      Danke für deine Rückmeldung! Ich kann dein Argument voll und ganz nachvollziehen, allerdings scheint genau mit der „Profilpassung“ keine/r der GutachterInnen ein Problem gehabt zu haben.

  3. @mosworld — Zur nächsten Technologie zu hetzen ohne vorhandene Technologien mit Massenbasis verstanden, erforscht und wirklich in die Anwendung integriert zu haben ist einer der häufigeren Vorwürfe gegen Informatiker in der Praxis (der Lehre, der Industrie und andernorts). Wie aktuell Wikis als Technologie sind, kann man z.B. hier lesen (ComputerWeekly Okt 2012). Mit Wissensmanagement bei Shell kenne ich mich gut aus—und die Firma gehört nicht zu den IT-rückständigen Orten der Welt, um es milde auszudrücken. Bei der Lehre bleibend: an meiner Hochschule, ebenfalls nicht für ihre Rückständigkeit im E-Learning-Bereich oder in der IT berühmt, kennt natürlich jeder Wiki, vom Studenten bis zum Verwaltungsangestellten—aber wirklich ausnutzen, einsetzen usw. tun es die wenigsten. Der Grund ist nicht, um das vorwegzunehmen, das alle auf eine viel bessere Technologie warten, sondern dass die vorhandenen Werkzeuge noch nicht verstanden sind. Die Didaktik steckt in den frühen 1980 Jahren fest (warum auch immer), neue Technologien ändern das nicht.

    1. @Marcus
      1. Ich stelle fest, ich muss wirklich mal den Kommentarbereich per PlugIn aufmöbeln 🙂

      2. Die Diffusion von Neuem ist tatsächlich ein problematisches Feld, das bestätigt etwa Gunter Dueck ja auch immer wieder – aus der Sicht eines Praktikers. Ist genau dieser Fall nicht ein schönes Beispiel für Schwierigkeiten der Transdisziplinarität, der sich die Öffentliche Wissenschaft stellen muss?

  4. PS. das Neue an dem Shell-Ansatz ist, nebenbei gesagt, natürlich nicht das Wiki, sondern der Hybrid-Ansatz mit Microblogging (als Technologie ebenfalls nicht wirklich heiss). D.h. Wiki + Instant Messaging. Vorsprung durch Portfolio-Ausnutzung existierender (und stabiler) Technologien. Didaktisch ist übrigens das die Richtung in die Oliver gegangen ist und warum sein Aufsatz auch etwas Neues repräsentiert. Wenn man Wiki in der „Altwaren“ Schublade hat kann man das natürlich nicht merken.

  5. @Oliver (2.) Absolut! Leider scheinen die Wirtschaftswissenschaften in Deutschland sich immer stärker zu isolieren…aber das ist eine andere Geschichte für einen anderen Thread.

    Comments: disqus.com (gilt auch für Christian Spannagel)…bei Dutzenden von Kommentaren kommt das einfach besser!

  6. Bin durch Anjas Twitterei auf diesen Post aufmerksam geworden, komme jedoch erst jetzt dazu, meinen Senf beizutragen.

    Ich finde es löblich, dass du Artikel und Gutachten veröffentlicht hast. Ich habe meine Erfahrungen aus Peer-Review-Verfahren bislang nur zusammengefasst und nicht wortwörtlich wiedergegeben (bspw. hier http://ckummer.wordpress.com/2013/02/15/partial-least-squares-students-intentions/ – Abschn. Lessons learned), werde aber nach diesem Post die Veröffentlichung des nächsten Feedbacks in Erwägung ziehen.

    Den Ausschlag für meine Wortmeldung gibt letztlich, dass ich unlängst über etwas ähnliches gebloggt habe, nämlich darüber, dass Konstruktions- oder Aktionsforschung schwer zu veröffentlichen ist (hier stimme ich mit Jean-Pol Martin überein), wenn sie sich nicht mit methodischer Nabelschau beschäftigt – meine Gedanken dazu habe ich hier zusammengefasst: http://ckummer.wordpress.com/2013/04/14/how-to-publish-design-based-research/. Gleiches wenn auch abgeschwächt gilt meiner Ansicht auch für den englischen Sprachraum.

    Wie dem auch sei, danke für den Anstoß auch die Gutachten zu veröffentlichen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *