Startseite Foren QualVis-Herbst2022 Übung QualVis-M1 Herbst 2022 Studierendenbefragung NaWi von Caroline Scherer

Ansicht von 2 Beiträgen – 1 bis 2 (von insgesamt 2)
  • Autor
    Beiträge
  • #2823
    Caroline Scherer
    Teilnehmer

    Die beiden Abbildungen sind im Rahmen der begleitenden Evaluation eines Programms zu Verbesserung der Lehre an einer Universität entstanden. Es handelt sich um eine quantitative Fragebogenerhebungen (5-stufige Likert-Skala). Im Abstand von drei Semestern wurden die Studierenden in allen naturwissenschaftlichen Studiengängen um Bewertung der Einführungsveranstaltungen in den Fächern Mathematik und Physik gebeten. Die erste Erhebung (2012) fand kurz nach Programmbeginn statt bei Studierenden, die noch vor Beginn des Programms diese Lehrveranstaltungen besucht hatten. Bei der nächsten Erhebung (2014) wurden Studierende befragt, die durch das Programm angepasste Lehrveranstaltungen besucht hatten. Die Lehrveranstaltungen zum Fach Mathematik  wurden insgesamt besser beurteilt als zu anderen Grundlagenfächern, wie z.B. dem Fach Physik. Darüber hinaus hat sich die Bewertung für die Mathematik in einigen Studiengängen weiter verbessert, während die Physik-Lehrveranstaltungen stabil oder sogar schlechter beurteilt wurden. Die Visualisierung wurde im Zwischenbericht zur Programmevaluation veröffentlicht. Es erfolgten im Laufe des Programms noch drei weitere Erhebungen dieser Art.

    Diese Visualisierung habe ich ausgewählt – nicht, weil ich sie besonders gelungen finde – sondern weil sie beispielhaft für sehr viele Datenerhebungen an Hochschulen steht. Im Rahmen der Qualitätssicherungsprozesse werden die Studierenden regelmäßig zu allen denkbaren Themen rund um Studium und Lehre befragt. Dabei entstehen seitenweise Tabellenberichte, in denen die Daten bestimmter Subgruppen miteinander verglichen werden. Die Aussagekraft dieser riesigen Datenmengen empfinde ich als sehr begrenzt. Ein Problem ist z.B., dass sogar an großen Universitäten häufig sehr kleine Teilgruppen anzutreffen sind, für die aufgrund der kleinen Stichprobe keine separate Datenauswertung möglich und sinnvoll ist. Eine Lösung sind aus meiner Sicht qualitative Erhebungen. Studierendenbefragung zum Fach Physik Studierendenbefragung zu Mathematik

    #2974
    Evelyn Funk
    Administrator

    Liebe Caroline,

    vielen Dank für das Teilen der Abbildung. Das kenne ich aus anderen Anwendungsfeldern auch – manche Erhebungen produzieren lange Datenreihen, die man dann pro Gruppe und Variable analysieren könnte. Und es ist immer die Frage – ja, und was lernen wir jetzt daraus  – und wie viele Daten sollen wir zeigen? Darauf gehen wir nochmal näher in Modul M4 ein, Storylining.

    Meine Erkenntnisse über die Jahre (stelle ich zur Diskussion, ist einfach meine Erfahrung):

    – Jeder möchte detaillierte Daten haben, keiner hat später Zeit, sie zu “digesten”.  In der Arbeitsrealität sind sie eigentlich doch nur Dokumentation und Appendix

    – Als Evaluator / Analyst produziert man also sehr viele Daten, aber keiner möchte Daten, jeder möchte Informationen & Erkenntnisse

    – Weil den Anwendern wenig Zeit bleibt, die Daten vorher zu studieren, hat man in Meetings dann wenig sinnvolle Diskussionen, weil Menschen einfach kognitiv doch nicht in der Lage sind, diese ganzen Datenmengen “live” zu verarbeiten und zu diskutieren.

    – Als Evaluator / Analyst hingegen möchte man am liebsten alle Daten vorlegen und keine Erkenntnisse, weil man ja nichts “hineininterpretieren” will – und oftmals auch in der Flut der Daten untergeht

    So könnte man vorgehen:

    – Man kann die einzelnen Ergebnisslides (wie oben) sinnvoller gestalten

    … indem man mehr Meta-Information einfügt. Beispielsweise: Die Angabe, wie denn der Durchschnitt aller Bewertungen für die Jahre 2012 und 2014 aussieht. Wenn diese Daten Untergruppen (einzelne Studiengruppen oder Vorlesungen), dann kann man eine Varianzangabe machen. Wenn Du diese Angaben zusätzlich entweder in die Grafik oder in einen Kasten am Rand setzt, kannst Du dann nämlich Sätze hinschreiben, wie: “Im Schnitt ist die Bewertung der Einführungsveranstaltung Physik im Vergleich zur Vorerhebung nur bei Studenten der Biochemie gestiegen” (bzw. das, was dann passend ist)

    …indem man Headlines ergänzt. Das kann man aber eben nur machen, wenn man auch die wesentlichen Erkenntnisse, die sich aus den Daten ableitet, vorher hinschreibt oder wenn man vorher Hypothesen hatte, die man jetzt mit den Daten bearbeiten kann

    …indem man auf interessante Datenpunkte hinweist (z.B. mit roter Umrandung), beispielsweise warum die Wahrnehmung bei Studenten der Medizin und der Zahnmedizin so unterschiedlich ist.

    – Man kann eine Übersicht zur Zusammenfassung gestalten, auf der die wesentlichen Erkenntnisse zusammengefasst sind

    … dafür sollte man aber vorher auch Arbeitshypothesen haben, d.h. eine Idee, welche Erkenntnisse besonders wichtig sein werden. Eine reine Angabe, wie sich Durchschnittswerte bewegt haben, ist nicht entscheidungsrelevant.

    … es empfiehlt sich eine verbale Zusammenfassung in einigen Sätzen und noch eine visuell gestaltete Variante. Denn manche Anwender tun sich leichter mit einigen Sätzen, andere eben mit einer schön gestalteten Übersicht

    – Man sollte die wesentlichen Erkenntnisse der Erhebung mit aufwändiger gestalteten Slides belegen und der Rest (Abbildungen wie oben) ist dann Appendix

    … nehmen wir an, es gab 7-8 wesentliche Erkenntnisse. Die sollten dann jeweils mit mind. 1 Slide belegt werden, auf der die wesentlichen Kontextinformationen stehen (quantitative und qualitative Daten, Durchschnittswerte, Belege welche Effekte signifikant sind etc. stehen)

    – Wenn es Untergruppen gibt, kann man das so gestalten, dass man die Ergebnisslides (s. Appendix) nochmal auf Subgruppen zieht und ggf. nochmal eine Zusammenfassung für die wesentlichen Erkenntnisse zur Untergruppe macht

    ZUR INTEGRATION QUALITATIVER DATEN:

    – In welchem Maße man das o.g. Problem durch qualitative Daten lösen kann hängt davon ab, wie stark sie in das Design einbezogen wurden

    – Meistens hat man ja nicht ein offenes Textfeld pro Skala, d.h. man kann nicht auf jedem Ergebnisslide (s. oben) qualitative Daten anreichern. Das wäre auch viel zu aufwändig bzw. die Daten wären dann auch nicht dicht genug.

    – Insofern müsste man sich im Design fragen machen, an welcher Ebene die offenen Fragen ansetzen. Man stellt sie am besten eher breit, denn Nuancen kann man ja durch das Kodieren wieder auffangen

    – Tendenziell ist es so, dass sich Entscheider gerade bei den langen Datenbänden von Ergebnisslides dann gerade an den qualitativen Daten aufhängen – weil die eben unmittelbar verständlicher sind, als die quantitativen Daten (die man ja im Kopf erst interpretieren müsste). Das ist Vor- und Nachteil zugleich. Man muss deswegen aber immer sehr genau belegen, auf welcher Stichprobe von Befragten jetzt die qualitative Datenerhebung beruht.

Ansicht von 2 Beiträgen – 1 bis 2 (von insgesamt 2)
  • Sie müssen angemeldet sein, um auf dieses Thema antworten zu können.
Scroll to Top