Elementanalyse

Elementanalysen liefern Statistiken zur Gesamtleistung, Testqualität und zu einzelnen Fragestellungen. Dank dieser Daten können Sie Fragen ermitteln, die sich nicht besonders gut zur Beurteilung der Teilnehmerleistungen eignen.

Verwendungszwecke der Elementanalyse:

Fragen für zukünftige Tests verbessern oder die Punktzahl bei aktuellen Versuchen anpassen
Testergebnisse gemeinsam mit Ihrem Kurs erörtern
Grundlage für Korrekturen oder Nachbesserungen schaffen
Unterricht verbessern

Beispiel:

Anhand der Elementanalyse haben Sie bemerkt, dass der Großteil der Teilnehmer eine Frage falsch beantwortet hat. Warum fällt die Erfolgsrate so niedrig aus?

Ist die Frage missverständlich formuliert?
Sind die Antwortmöglichkeiten nicht eindeutig genug?
Wurden den Teilnehmer die richtigen Lerninhalte bereitgestellt, um die Frage richtig beantworten zu können?
Wurde der Lerninhalt einfach und unmissverständlich vermittelt?

Anhand Ihrer Entdeckungen können Sie die Testfragen verbessern, sodass die Fragen wirklich gezielt das Wissen der Teilnehmer abfragen.

Elementanalyse für einen Test ausführen

Sie können eine Elementanalyse für einen bereitgestellten Test mit eingereichten Versuchen ausführen, nicht jedoch für eine Umfrage.

Der Test kann einen oder mehrere Versuche, Fragesätze, Zufallsblöcke, automatisch benotete Fragetypen und Fragen, die manuell benotet werden müssen, enthalten. Für Tests mit manuell benoteten Fragen, denen noch keine Ergebnisse zugewiesen wurden, werden nur für die bewerteten Fragen Statistiken generiert. Benoten Sie die Fragen manuell und führen Sie die Analyse erneut durch. Die Statistiken für die manuell benoteten Fragen werden generiert und die zusammenfassende Teststatistik wird aktualisiert.

Führen Sie im Hinblick auf die besten Ergebnisse eine Analyse für Tests aus, nachdem die Teilnehmer alle Versuche eingereicht und Sie alle manuell benoteten Fragen benotet haben. Denken Sie daran, dass die Statistiken von der Anzahl der Testversuche, der Art der Testteilnehmer und versehentlichen Fehlern beeinflusst werden.

Funktionen mit Benotungsberechtigungen (wie Kursleiter, Korrektur- und Lehrassistenten) können an drei Stellen im Testablauf auf die Elementanalyse zugreifen.
- In einem Inhaltsbereich bereitgestellter Test
- auf der Seite Tests aufgelisteter bereitgestellter Test
- Notencenterspalte eines Tests
Öffnen Sie das Menü eines Tests und wählen Sie Elementanalyse aus.
Wählen Sie im Menü Test auswählen einen Test aus. Nur bereitgestellte Tests sind aufgeführt.
Wählen Sie Ausführen aus.
Wählen Sie im Abschnitt Verfügbare Analyse den Link zum neuen Bericht oder wählen Sie in der Statusbestätigung oben auf der Seite Analyse anzeigen aus.

Sie können im Abschnitt Verfügbare Analyse auf eine zuvor ausgeführte Analyse zugreifen.

Testzusammenfassung auf der Seite „Elementanalyse“

Die Testzusammenfassung liefert Daten zum Test als Ganzes.

Über Test bearbeiten haben Sie Zugriff auf den Testplan. Dort können Sie Änderungen am Test vornehmen.
Teststatistik anzeigen:
- Mögliche Punktzahl: Die Gesamtanzahl der Punkte für den Test.
- Mögliche Fragen: Die Gesamtanzahl der Fragen im Test.
- Versuche in Bearbeitung: Die Anzahl der Teilnehmer, die den Test derzeit absolvieren, ihn aber noch nicht übermittelt haben.
- Abgeschlossene Versuche: Die Anzahl der übermittelten Tests.
- Durchschnittliches Ergebnis: Ergebnisse, die mit einem Sternchen versehen sind, weisen darauf hin, dass einige Versuche nicht benotet sind und sich das durchschnittliche Ergebnis nach Benotung aller Versuche möglicherweise noch ändert. Das angezeigte Ergebnis ist das durchschnittliche Ergebnis für den Test im Notencenter.
- Durchschnittliche Zeit: Die durchschnittliche Abschlusszeit für alle übermittelten Versuche.
- Diskriminanz: In diesem Bereich wird die Anzahl der Fragen angezeigt, die in die Kategorien Befriedigend (größer als 0,3), Ausreichend (zwischen 0,1 und 0,3) und Mangelhaft (weniger als 0,1) fallen. Ein Diskriminanzwert wird als Kann nicht berechnet werden aufgelistet, wenn die Schwierigkeit der Frage bei 100 % liegt oder wenn alle Teilnehmer bei einer Frage dasselbe Ergebnis erzielen. Fragen mit Diskriminanzwerten in den Kategorien Gut und Befriedigend sind besser geeignet, um zwischen Teilnehmern mit höherem und niedrigerem Wissensstand zu unterscheiden. Es wird empfohlen, Fragen der Kategorie Mangelhaft zu überprüfen.
- Schwierigkeit: In diesem Bereich wird die Anzahl der Fragen angezeigt, die in die Kategorien Einfach (über 80 %), Mittel (zwischen 30 und 80 %) und Schwer (unter 30 %) fallen. Die Schwierigkeit ist der Anteil der Teilnehmer, die die Frage richtig beantwortet haben. Fragen in den Kategorien Einfach oder Schwer sollten überprüft werden und sind an einem roten Kreis erkennbar.

Nur benotete Versuche werden bei den Berechnungen der Elementanalyse berücksichtigt. Aktuell in Bearbeitung befindliche Versuche werden von der Elementanalyse ignoriert, bis sie eingereicht werden und Sie den Analysebericht erneut ausführen.

Fragenstatistiktabelle auf der Seite „Elementanalyse“

Die Fragenstatistiktabelle liefert Elementanalysestatistiken für die einzelnen Fragen im Test. Fragen, deren Überprüfung empfohlen wird, sind mit einem roten Kreis gekennzeichnet. So können Sie Fragen, die möglicherweise überarbeitet werden müssen, schnell finden.

Im Allgemeinen fallen gute Fragen in die folgenden Kategorien:

Schwierigkeit: Mittel (30 % bis 80 %)
Diskriminanzwert: Gut oder Befriedigend (über 0,1)

Im Allgemeinen fallen Fragen, für die eine Überprüfung empfohlen wird, in die folgenden Kategorien: Diese sind möglicherweise von geringer Qualität oder werden falsch beantwortet.

Schwierigkeit: Einfach (> 80 %) oder Schwer (> 30 %)
Diskriminanzwert: Mangelhaft (&lt 0,1)

Filtern Sie die Fragentabelle nach Fragentyp, Diskriminanz und Schwierigkeit.
Wählen Sie zum Untersuchen einer bestimmten Frage den Titel aus und gehen Sie die Seite Fragendetails durch.
In der Tabelle werden Statistiken für jede einzelne Frage angezeigt:
- Diskriminanz: Zeigt, wie gut eine Frage zwischen solchen Teilnehmern, die das Thema kennen, und solchen, die es nicht kennen, unterscheidet. Eine Frage ist ein gutes Diskriminanzmerkmal, wenn Teilnehmer, die eine Frage richtig beantworten, auch im gesamten Test gut abschneiden. Die Werte bewegen sich zwischen -1,0 und +1,0. Eine Frage wird zur Überprüfung gekennzeichnet, wenn ihr Diskriminanzwert unter 0,1 liegt oder negativ ist. Diskriminanzwerte können nicht berechnet werden, wenn der Schwierigkeitswert der Frage bei 100 % liegt oder alle Teilnehmer bei einer Frage dasselbe Ergebnis erzielen.
  Diskriminanzwerte werden mit dem Pearson-Korrelationskoeffizient berechnet. X steht für das Ergebnis der einzelnen Teilnehmer bei einer Frage und Y steht für das Ergebnis der einzelnen Teilnehmer im Test.
  
  Bei den folgenden Variablen handelt es sich um das Standardergebnis sowie den Mittelwert und die Standardabweichung einer Stichprobe:
- Schwierigkeit: Der Anteil der Teilnehmer, die die Frage richtig beantwortet haben. Der Schwierigkeitsprozentsatz wird mit der entsprechenden Kategorie aufgelistet: Einfach (mehr als 80 %), Mittel (30 % bis 80 %) und Schwer (weniger als 30 %). Schwierigkeitswerte können zwischen 0 % und 100 % liegen, wobei ein höherer Prozentsatz darauf hinweist, dass die Frage einfach war. Fragen der Kategorien "Einfach" oder "Schwer" werden zur Überprüfung gekennzeichnet.
  Mit Schwierigkeitsstufen, die etwas höher liegen als in der Mitte zwischen Zufalls- und perfekten Ergebnissen, lassen sich Teilnehmer, die das getestete Material kennen, besser von denen unterscheiden, die es nicht kennen. Hohe Schwierigkeitswerte sind nicht zwangsläufig eine Garantie für hohe Diskriminanzstufen.
- Anzahl der benoteten Testversuche: Anzahl der Versuche für Fragen, bei denen die Benotung abgeschlossen ist. Eine höhere Zahl für benotete Versuche führt zu zuverlässiger berechneten Statistiken.
- Durchschnittliches Ergebnis: Ergebnisse, die mit einem Sternchen versehen sind, weisen darauf hin, dass einige Versuche nicht benotet sind und sich das durchschnittliche Ergebnis nach Benotung aller Versuche möglicherweise noch ändert. Das angezeigte Ergebnis ist das durchschnittliche Ergebnis für den Test im Notencenter.
- Standardabweichung: Maß für die Abweichung der Ergebnisse vom durchschnittlichen Ergebnis. Wenn die Ergebnisse eng gruppiert sind und die meisten Werte eng am Durchschnitt liegen, ist die Standardabweichung klein. Wenn der Datensatz weit verteilt ist und die Werte weit vom Durchschnitt entfernt sind, ist die Standardabweichung größer.
- Standardfehler: Eine Schätzung der Schwankungsbreite beim Ergebnis eines Teilnehmers aufgrund von Zufall. Je kleiner der gemessene Standardfehler ist, umso genauer ist der von der Testfrage bereitgestellte Messwert.

Fragendetails zu einzelnen Fragen anzeigen

Sie können Fragen untersuchen, die zur Überprüfung gekennzeichnet sind, und die Teilnehmerleistung anzeigen.

Blättern Sie auf der Seite Elementanalysen zur Fragenstatistiktabelle. Wählen Sie einen verknüpften Fragentitel aus, um auf die Seite Fragendetails zuzugreifen.

Blättern Sie mit Hilfe der Symbole Vorherige Seite und Nächste Seite der Reihe nach die Fragen durch. Sie können auch zur ersten oder letzten Frage springen.
Wählen Sie Test bearbeiten aus, um auf den Testplan zuzugreifen. Dort können Sie Änderungen am Test vornehmen.
Die Übersichtstabelle zeigt Statistiken für die Frage an. Sie können sich die Beschreibungen für jede Statistik im vorherigen Abschnitt durchlesen.
Der Fragentext und die Antwortmöglichkeiten werden angezeigt. Die Informationen hängen vom Fragentyp ab:

Für Fragentypen bereitgestellte Elementanalyse-Informationen
Angezeigte Informationen	Fragentypen
Die Anzahl der Teilnehmer, die jede Antwortauswahl ausgewählt haben, UND die Verteilung dieser Antworten unter den Klassenvierteln	Mehrfachauswahl (Multiple-Choice) Mehrfachantwort Wahr/Falsch Entweder/Oder Likert-Skala
Anzahl der Teilnehmer, die die einzelnen Antworten ausgewählt haben	Zuordnung Sortierung Lückentext (mehrere Lücken)
Anzahl der Teilnehmer, die die Frage richtig oder falsch beantwortet oder übersprungen haben	Berechnung (Formel) Berechnung (numerisch) Lückentext Hotspot Quiz-Bowl
Nur Fragentext	Essay (Freitext) Dateiantwort Kurzantwort Ungeordneter Satz – enthält zudem die Antworten, aus denen die Teilnehmer auswählen

Symbollegende

Neben den Fragen werden Symbole angezeigt, um Sie auf mögliche Probleme aufmerksam zu machen.

Überprüfung empfohlen: Wird ausgelöst, wenn geringere Diskriminanzwerte als 0,1 vorliegen. Wird auch bei Schwierigkeitswerten über 80 % (die Frage war zu einfach) oder unter 30 % (die Frage war zu schwer) ausgelöst. Überprüfen Sie die Frage, um festzulegen, ob sie überarbeitet werden muss.
Die Frage wurde möglicherweise nach der Bereitstellung geändert: zeigt an, dass sich ein Teil der Frage geändert hat, seit der Test zuletzt bereitgestellt wurde. Eine Veränderung kann darauf hinweisen, dass die Daten für diese Frage möglicherweise nicht zuverlässig sind. Versuche, die nach der Änderung einer Frage übermittelt wurden, haben möglicherweise von der Änderung profitiert.
In wiederhergestellten Kursen wird dieser Indikator nicht angezeigt.
Nicht alle Einreichungen wurden benotet: wird für einen Test mit Fragen angezeigt, für die eine manuelle Benotung erforderlich ist, beispielsweise bei Essay-Fragen. In einem Test, der eine Essay-Frage mit 50 Teilnehmerversuchen enthält, wird dieser Indikator angezeigt, bis Sie alle 50 Versuche benotet haben. In die Analyse fließen nur Versuche ein, die Sie zum Zeitpunkt der Ausführung des Berichts bereits benotet haben.
(FS) und (ZB): weisen auf eine Frage hin, die aus einem Fragensatz oder einem Zufallsblock stammt. Aufgrund der Bereitstellung von Zufallsfragen ist es möglich, dass die Anzahl der Versuche bei einigen Fragen höher ist als bei anderen.

Mehrere Versuche, Außerkraftsetzen von Fragen und Bearbeiten von Fragen

Bei der Analyse wird mit mehreren Versuchen, Außerkraftsetzungen und anderen gängigen Szenarien wie folgt umgegangen:

Wenn Teilnehmer an einem Test mehrmals teilnehmen, wird der zuletzt übermittelte Versuch als Eingabe für die Analyse verwendet. Beispiel: Für einen Test sind drei Versuche zulässig. Teilnehmer A hat zwei Versuche bereits abgeschlossen und arbeitet gerade am dritten Versuch. Der aktuelle Versuch von Teilnehmer A zählt zu der Anzahl, die unter Versuche in Bearbeitung aufgeführt ist. Keiner der vorherigen Versuche von Teilnehmer A wird in die aktuellen Analysedaten aufgenommen. Sobald Teilnehmer A den dritten Versuch übermittelt, wird dieser in alle folgenden Analysen aufgenommen.
Außerkraftsetzungen im Notencenter haben keine Auswirkungen auf die Analysedaten, da bei der Analyse statistische Daten für Fragen anhand von abgeschlossenen Versuchen der Teilnehmer generiert werden.
Manuell benotete Fragen oder Änderungen am Fragentext, richtige Antworten, Teilantworten oder Punkte werden im Analysebericht nicht automatisch aktualisiert. Führen Sie die Analyse erneut aus, um zu prüfen, ob die Änderungen sich auf die Daten ausgewirkt haben.

Beispiele

Die Elementanalyse kann Ihnen helfen, Fragen für zukünftige Tests zu verbessern. Sie können zudem irreführende oder zweideutige Fragen in einem aktuellen Test korrigieren.

Eine Multiple-Choice-Frage ist zur Überprüfung gekennzeichnet. Die Mehrzahl der Teilnehmer, die dem besten Viertel angehören, entscheidet sich für Antwort B. Die richtige Antwort ist jedoch A. Ihnen fällt auf, dass Sie beim Erstellen der Frage nicht die richtige Antwort gewählt haben. Sie korrigieren dies in der Testfrage und die Änderung wird automatisch berücksichtigt.
Bei einer Multiple-Choice-Frage entscheiden sich ungefähr gleich viele Teilnehmer für die Antworten A, B und C. Prüfen Sie die Antwortoptionen, um festzustellen, ob sie möglicherweise nicht eindeutig sind, ob die Frage zu schwer ist oder ob der Stoff noch nicht behandelt wurde.
Eine Frage wird zur Überprüfung empfohlen, weil sie in die Schwierigkeitskategorie „Schwer“ fällt. Sie stellen fest, dass die Frage schwierig ist, behalten Sie aber, um die Kursziele entsprechend testen zu können.

Sprache