Fragenanalyse

Die Fragenanalyse liefert Statistiken zur Gesamtleistung, Beurteilungsqualität und zu einzelnen Fragestellungen. Dank dieser Daten können Sie Fragen ermitteln, die sich nicht besonders gut zur Beurteilung der Teilnehmerleistungen eignen. Die Fragenanalyse ist für Beurteilungen mit Fragen gedacht. Sie können einen Bericht ausführen, bevor alle eingereichten Aufgaben eingereicht werden, wenn Sie die Qualität Ihrer Fragen überprüfen und Änderungen vornehmen möchten.

Verwendungszwecke für die Fragenanalyse:

• Fragen für zukünftige Beurteilungen verbessern oder die Punktzahl bei aktuellen Versuchen anpassen
• Beurteilungsergebnisse gemeinsam mit Ihrem Kurs erörtern
• Grundlage für Korrekturen oder Nachbesserungen schaffen
• Unterricht verbessern

Beispiel:

Anhand der Fragenanalyse haben Sie bemerkt, dass der Großteil der Teilnehmer eine Frage falsch beantwortet hat. Warum fällt die Erfolgsrate so niedrig aus?

• Ist die Frage missverständlich formuliert?
• Sind die Antwortmöglichkeiten nicht eindeutig genug?
• Wurden den Teilnehmer die richtigen Lerninhalte bereitgestellt, um die Frage richtig beantworten zu können?
• Wurde der Lerninhalt einfach und unmissverständlich vermittelt?

Anhand Ihrer Entdeckungen können Sie die Fragen verbessern, sodass die Fragen wirklich gezielt das Wissen der Teilnehmer abfragen.

---

Auf die Analyse einer Prüfung zugreifen

Aus den folgenden Kursbereichen können Sie einen vorherigen Frageanalysebericht ausführen und darauf zugreifen:

• Seite Kursinhalt > Beurteilungsmenü
• Seite Kursanalyse > Registerkarte Fragenanalyse – wenn in Ihrer Institution Analysen aktiviert sind.
• Bewertungsbericht, Listen- oder Rasteransicht

Greifen Sie auf der Seite Kursinhalt auf das Menü einer Beurteilung zu, und wählen Sie Fragenanalyse aus. Sie können auch das Symbol Analyse in der Navigationsleiste auswählen.

Sie können auch einen Fragenanalysebericht über den Bewertungsbericht in Raster- oder Listenansicht ausführen. Öffnen Sie das Menü einer Beurteilung, und wählen Sie Fragenanalyse aus.

Seite „Fragenanalyse“

Auf die Seite Fragenanalyse kann nur über die Navigationsleiste der Seite > Analyse > Kursanalysen > Registerkarte Fragenanalyse zugegriffen werden.

Sie können einen Bericht über eine Bewertung mit Einreichungen und ohne Fragen ausführen, erhalten dann aber einen Berichte ohne nützliche Informationen.

Sie erhalten eine Nachricht, dass der Fragenanalysebericht in Bearbeitung ist, und eine Ee-Mail, wenn der Bericht abgeschlossen ist. Sie können die Seite verlassen, um in anderen Bereichen des Kurses zu arbeiten, und später zurückkehren, um zu sehen, ob der Bericht fertig ist.

Spalte „Status“

Jede Bewertung in Ihrem Kurs wird mit einem der folgenden Status angezeigt:

• Bericht wird bearbeitet
• Abgeschlossen am {date}
• Daten nicht mehr aktuell: Die Beurteilung weist nun weitere Einreichungen zur Analyse auf.
• Nicht genügend Daten: Es gibt keine Einreichungen. Bericht ausführen ist deaktiviert.
• Keine Fragen in der Beurteilung: Die Beurteilung enthält keine Fragen und Einreichungen. Bericht ausführen ist deaktiviert.
• Kein Status aufgelistet: Die Beurteilung enthält Fragen und Einreichungen, Sie haben aber keinen Bericht ausgeführt. Bericht ausführen ist aktiviert.
• Fehler: Ausführen

---

Zusammenfassung der Fragenanalysebewertung anzeigen

Nachdem Sie einen Bericht ausgeführt haben, können Sie alle zusammenfassenden Informationen und Details zu jeder Frage einsehen. Wählen Sie die Bewertung auf der Seite „Fragenanalyse“ aus, um die Zusammenfassung anzuzeigen.

Nur eingereichte Versuche werden bei Berechnungen berücksichtigt Aktuell in Bearbeitung befindliche Versuche werden von der Elementanalyse ignoriert, bis sie eingereicht werden und Sie den Analysebericht erneut ausführen. Automatische Nullen, die für verspätete Arbeiten zugewiesen werden, werden nicht in Berechnungen einbezogen.

1. Zusammenfassung der Statistik für die einzelnen Beurteilungen:
   • Durchschnittliches Ergebnis: Die gezeigte Punktzahl ist die durchschnittliche Punktzahl, die für die Beurteilung im Bewertungsbericht angegeben wurde. Die durchschnittliche Punktzahl kann sich ändern, wenn weitere Versuche eingereicht und bewertet werden.
   • Mögliche Fragen: Die Gesamtanzahl der Fragen in der Beurteilung.
   • Abgeschlossene Versuche: Die Anzahl der übermittelten Beurteilungen.
   • Durchschnittliche Zeit: Die durchschnittliche Abschlusszeit für alle übermittelten Versuche.
2. Führen Sie einen Bericht erneut aus oder bearbeiten Sie die Beurteiung, um eine Änderung der Fragen vorzunehmen.
3. Verwenden Sie die Grafiken, um die Tabelle mit Fragen zu filtern. Treffen Sie in beiden Grafiken eine Auswahl, um die Suche zu verfeinern. Wenn Sie keine Auswahl treffen, werden alle Fragen unten auf der Seite in der Tabelle angezeigt.
   • Diskriminanz: Zeigt, wie gut eine Fragen zwischen solchen Teilnehmern, die das Thema kennen, und solchen, die es nicht kennen, unterscheiden.
     • Zeigt die Anzahl der Fragen, die in diese Kategorien fallen:
       • Gutem (mehr als 0,3)
       • Fai (zwischen 0,1 und 0,3)
       • Minder (weniger als 0,1) Kategorien
       • Kann nicht berechnet werden: Die Schwierigkeit einer Frage liegt 100%, oder alle Teilnehmer haben bei einer Frage dasselbe Ergebnis erhalten.
     • Fragen mit Diskriminanzwerten in den Kategorien Gut und Befriedigend unterscheiden zwischen Teilnehmern mit höherem und niedrigerem Wissensstand.
     • Es wird empfohlen, Fragen der Kategorie Mangelhaft zu überprüfen.
   • Schwierigkeit: Der Anteil der Teilnehmer, die die Frage richtig beantwortet haben.
     • Zeigt die Anzahl der Fragen, die in diese Kategorien fallen:
       • Einfach (mehr als 80 %)
       • Mittel (zwischen 30 % und 80 %)
       • Schwer (weniger als 30 %)
     • Es wird empfohlen, Fragen in den Kategorien Einfach oder Schwer zu überprüfen.
4. Wählen Sie eine Überschrift, um die Fragen zu sortieren. Sortieren Sie beispielsweise die Bewertung Spalte, sodass Fragen, die überprüft werden müssen, zuerst angezeigt werden.
5. Filter löschen: Löschen Sie die von Ihnen ausgewählten Filter in den Grafiken und zeigen Sie alle Fragen in der Tabelle an.
6. Fragenanalysebericht herunterladen

---

Informationen zum Fragenbereich in der Bewertungszusammenfassung

Die Fragentabelle liefert Analysestatistiken für die einzelnen Fragen in der Beurteilung. Nachdem Sie die Grafik zum Filtern der Fragenntabelle verwendet haben, können Sie die Ergebnisse anzeigen und sortieren.

Im Allgemeinen fallen gute Fragen in die folgenden Kategorien:

• Schwierigkeit: Mittel (30 % bis 80 %)
• Diskriminanzwert: Gut oder Befriedigend (über 0,1)

Im Allgemeinen fallen Fragen, für die eine Überprüfung empfohlen wird, in die folgenden Kategorien: Diese sind möglicherweise von geringer Qualität oder werden falsch beantwortet.

• Schwierigkeit: Einfach (> 80 %) oder Schwer (> 30 %)
• Diskriminanzwert: Mangelhaft (&lt 0,1)

Erinnerung: Wenn Sie keine Auswahl treffen, werden alle Fragen unten auf der Seite in der Tabelle angezeigt.

Wählen Sie zum Untersuchen einer bestimmten Frage den Titel aus und gehen Sie Fragendetails durch.

In der Tabelle werden Informationen für jede einzelne Frage angezeigt:

• Bearbeitung erforderlich: Wird ausgelöst, wenn geringere Diskriminanzwerte als 0,1 vorliegen. Wird auch bei Schwierigkeitswerten über 80 % (die Frage war zu einfach) oder unter 30 % (die Frage war zu schwer) ausgelöst. Überprüfen Sie die Frage, um festzulegen, ob sie überarbeitet werden muss.
• Frage geändert: Es wird Ja angezeigt, wenn Sie einen Bericht ausführen, dann einen Teil einer Frage ändern und den Bericht erneut ausführen. Ja wird auch dann angezeigt, wenn Sie die Frage beim Erstellen der Beurteilung aus einer anderen Beurteilung kopiert haben.

  Wenn in der Spalte „Frage geändert“ für eine Frage „Ja“ angezeigt wird, wird das „Ja“ beim Archivieren und Wiederherstellen des Kurses nicht übernommen.

• Diskriminanz: Zeigt, wie gut eine Frage zwischen solchen Teilnehmern, die das Thema kennen, und solchen, die es nicht kennen, unterscheidet. Eine Frage ist ein gutes Diskriminanzmerkmal, wenn Teilnehmer, die eine Frage richtig beantworten, auch in der gesamten Beurteilung gut abschneiden. Die Werte bewegen sich zwischen -1,0 und +1,0. Eine Frage wird zur Überprüfung gekennzeichnet, wenn ihr Diskriminanzwert unter 0,1 liegt oder negativ ist. Diskriminanzwerte können nicht berechnet werden, wenn der Schwierigkeitswert der Frage bei 100 % liegt oder alle Teilnehmer bei einer Frage dasselbe Ergebnis erzielen.

  Diskriminanzwerte werden mit dem Pearson-Korrelationskoeffizient berechnet. X steht für das Ergebnis der einzelnen Teilnehmer bei einer Frage und Y steht für das Ergebnis der einzelnen Teilnehmer im Test.

  

  Bei den folgenden Variablen handelt es sich um das Standardergebnis sowie den Mittelwert und die Standardabweichung einer Stichprobe:

  
• Schwierigkeit: Der Anteil der Teilnehmer, die die Frage richtig beantwortet haben. Der Schwierigkeitsprozentsatz wird mit der entsprechenden Kategorie aufgelistet: Einfach (mehr als 80 %), Mittel (30 % bis 80 %) und Schwer (weniger als 30 %). Die Schwierigkeitswerte können zwischen 0% und 100% liegen. EIN hoher Prozentsatz weist darauf hin, dass die Frage einfach war. Fragen der Kategorien "Einfach" oder "Schwer" werden zur Überprüfung gekennzeichnet.

  Mit Schwierigkeitsstufen, die etwas höher liegen als in der Mitte zwischen Zufalls- und perfekten Ergebnissen, lassen sich Teilnehmer, die das getestete Material kennen, besser von denen unterscheiden, die es nicht kennen. Hohe Schwierigkeitswerte sind nicht zwangsläufig eine Garantie für hohe Diskriminanzstufen.

• Anzahl der benoteten Testversuche: Anzahl der Versuche für Fragen, bei denen die Benotung abgeschlossen ist. Eine höhere Zahl für benotete Versuche führt zu zuverlässiger berechneten Statistiken.
• Durchschnittliches Ergebnis: Das Ergebnis, das angezeigt wird, ist die durchschnittliche Punktzahl, die für die Beurteilung im Bewertungsbericht angegeben wurde. Die durchschnittliche Punktzahl kann sich ändern, nachdem alle Versuche benotet wurden.

---

Details zu einzelnen Fragen anzeigen

Sie können Fragen untersuchen, die zur Überprüfung gekennzeichnet sind, und die Teilnehmerleistung anzeigen. Wählen Sie in der Fragentabelle „Fragenanalyse“ einen Titel der verknüpften Frage aus, um auf die Zusammenfassung der Frage zuzugreifen.

1. Wenn Sie auf eine Frage zugreifen, verwenden Sie das Menü des Frage Titels, um auf jede Frage im Test zuzugreifen. Sie können auf beiden Seiten der Seite sequenziell zu anderen Fragen navigieren.
2. Die Übersichtstabelle zeigt Statistiken für die Frage an.
3. Wählen Sie Beurteilung bearbeiten um auf die Beurteilung zuzugreifen und Änderungen vorzunehmen.
4. Der Fragentext und die Antwortmöglichkeiten werden angezeigt. Sie können sehen, wie viele Teilnehmer für jede Antwort Auswahl ausgewählt wurden oder wie der Prozentwert richtig beantwortet wurde. Bei einer Zuordnungs Frage wird Ihnen beispielsweise angezeigt, wie viel Prozent der Teilnehmer zu den Paaren richtig abgestimmt haben. Nur der Fragetext wird für Essay-Fragen angezeigt.

---

Informationen zu mehreren Versuchen, zum Außerkraftsetzen von Fragen und Bearbeiten von Fragen

Die Analyse bearbeitet einige gängige Szenarien wie folgt:

• Wenn Teilnehmer an einer Beurteilung mehrmals teilnehmen, wird der zuletzt übermittelte Versuch als Eingabe für die Analyse verwendet. Sobald ein Teilnehmer einen weiteren Versuch übermittelt, werden die nachfolgenden Analysen den neuesten Versuch enthalten.
• Außerkraftsetzungen von Bewertungsberichten haben keine Auswirkungen auf die Analysedaten, da bei der Analyse statistische Daten für Fragen anhand von abgeschlossenen Versuchen der Teilnehmer generiert werden.
• Wenn Sie Änderungen an einer Frage vornehmen oder Fragen manuell benoten, müssen Sie die Analyse erneut ausführen, um zu prüfen, ob die Änderungen die Daten beeinflussen.

---

Beispiele

Die Fragenanalyse kann Ihnen helfen, Fragen für zukünftige Beurteilungen zu verbessern. Sie können zudem irreführende oder zweideutige Fragen in einer aktuellen Beurteilung korrigieren.

• Bei einer Multiple-Choice-Frage entscheiden sich ungefähr gleich viele Teilnehmer für die Antworten A, B und C. Prüfen Sie die Antwortoptionen, um festzustellen, ob sie möglicherweise nicht eindeutig sind, ob die Frage zu schwer ist oder ob der Stoff noch nicht behandelt wurde.
• Eine Frage wird zur Überprüfung empfohlen, weil sie in die Schwierigkeitskategorie „Schwer“ fällt. Sie stellen fest, dass die Frage schwierig ist, behalten Sie aber, um die Kursziele entsprechend bewerten zu können.
• Eine Multiple-Choice-Frage ist zur Überprüfung gekennzeichnet. Die Mehrzahl der Teilnehmer, die dem besten Viertel angehören, entscheidet sich für Antwort B. Die richtige Antwort ist jedoch A. Ihnen fällt auf, dass Sie beim Erstellen der Frage nicht die richtige Antwort gewählt haben. Sie korrigieren dies in der Testfrage und die Änderung wird automatisch berücksichtigt.