Itemanalyse

De tool Itemanalyse biedt statistieken over de algehele prestaties, toetskwaliteit en afzonderlijke vragen. Je kunt zo snel zien welke vragen mogelijk geen goed beeld geven van de prestaties van studenten.

Toepassingen voor itemanalyse:

Vragen voor toekomstige toetsen verbeteren of het aantal punten voor bestaande pogingen aanpassen
Toetsresultaten bespreken met de groep
Een basis voor extra geleiding
Instructies in het klaslokaal verbeteren

Voorbeeld:

Als je de itemanalyse gaat bekijken, kom je tot de conclusie dat de meerderheid van de studenten één vraag fout heeft beantwoord. Hoe komt dit?

Is de vraag onduidelijk geformuleerd?
Zijn de antwoorden dubbelzinnig?
Hebben studenten wel de juiste leerstof aangeboden gekregen om deze vraag goed te kunnen beantwoorden?
Was het materiaal goed toegankelijk en duidelijk?

Op basis van je bevindingen kun je de vraag verbeteren om er zeker van te zijn dat deze een goed hulpmiddel is om vast te stellen wat studenten wel en niet weten.

Itemanalyse uitvoeren op een toets

Je kunt een itemanalyse uitvoeren voor een gepubliceerde toets met verzonden pogingen, maar niet voor een enquête.

De toets kan zijn gemaakt met één of meerdere pogingen en kan deze onderdelen bevatten: vragensets, blokken met willekeurige vragen, vragen die automatisch worden beoordeeld en vragen die handmatig moeten worden beoordeeld. Voor toetsen met handmatig beoordeelde vragen waaraan nog geen scores zijn toegewezen, worden alleen voor de beoordeelde vragen statistieken gegenereerd. Nadat je de vragen handmatig hebt beoordeeld, voer je de itemanalyse opnieuw uit. Er worden ook statistieken gegenereerd voor beoordeelde vragen en de statistieken van de toets worden bijgewerkt.

Voor optimale resultaten voer je een analyse uit op een toets nadat studenten alle pogingen hebben ingediend en je een cijfer hebt toegekend aan alle handmatig beoordeelde vragen. Houd rekening met het feit dat de statistieken worden beïnvloed door het aantal toetspogingen, het type studenten dat de toets maakt en toevalsfouten.

Rollen met beoordelingsbevoegdheden (cursusleiders, beoordelaars en onderwijsassistenten) hebben toegang tot itemanalyse op drie locaties in de werkstroom voor toetsen.
- Een toets in een inhoudsgebied
- Een toets die wordt vermeld op de pagina Toetsen
- De kolom in Grade Center van een toets
Open het menu van de toets en selecteer Itemanalyse.
Selecteer een toets in het menu Toets selecteren. Alleen in gebruik genomen toetsen worden opgelijst.
Selecteer Uitvoeren.
Selecteer de koppeling van het nieuwe rapport bij Beschikbare analyse of selecteer Analyse weergeven in de statusbevestiging bovenaan de pagina.

Je kunt een eerder uitgevoerde analyse openen via het gedeelte Beschikbare analyse.

Toetsoverzicht op de pagina Itemanalyse

Het toetsoverzicht biedt gegevens van de toets als geheel.

Via Toets bewerken krijg je toegang tot het toetsbord, waar je de toets kunt wijzigen.
Toetsstatistieken weergeven:
- Mogelijk aantal punten: het totale aantal punten dat studenten kunnen krijgen voor de toets.
- Totaalaantal vragen: het totale aantal vragen in de toets.
- Pogingen in uitvoering: het aantal studenten dat bezig is met de toets en deze nog niet heeft verzonden.
- Voltooide pogingen: het aantal ingezonden toetsen.
- Gemiddelde score: scores worden aangegeven met een sterretje als sommige pogingen niet zijn beoordeeld en de gemiddelde score kan veranderen nadat aan alle pogingen een cijfer is toegekend. De score die hier wordt weergegeven, is de gemiddelde score van de toets in Grade Center.
- Gemiddelde tijd: de gemiddelde voltooiingstijd voor alle verzonden pogingen.
- Discriminantie: hier zie je het aantal vragen dat in de categorie Goed valt (groter dan 0,3), de categorie Eerlijk (tussen 0,1 en 0,3) en Redelijk (minder dan 0,1). Een discriminantwaarde wordt weergegeven als Kan niet berekenen wanneer de moeilijkheidsscore van de vraag 100% is of wanneer alle studenten dezelfde score krijgen voor een vraag. Vragen met discriminantwaarden in de categorieën Goed en Redelijk zijn beter geschikt om onderscheid te maken tussen studenten met een hoger en lager kennisniveau. Vragen in de categorie Slecht moeten opnieuw worden bekeken en waarschijnlijk worden aangepast.
- Moeilijkheidsgraad: hier zie je het aantal vragen dat in de categorie Eenvoudig valt (groter dan 80%), de categorie Gemiddeld (tussen 30% en 80%) en Moeilijk (minder dan 30%). Moeilijkheid geeft het percentage studenten aan dat de vraag juist heeft beantwoord. Vragen in de categorie Eenvoudig of Moeilijk moeten opnieuw worden bekeken en waarschijnlijk worden aangepast. Ze worden aangeduid door een rode cirkel.

Tijdens een itemanalyse worden alleen beoordeelde pogingen gebruikt in de berekeningen van de statistieken. Als er nog pogingen worden uitgevoerd, worden deze genegeerd totdat ze zijn verzonden en je opnieuw een itemanalyse uitvoert.

De tabel met vraagstatistieken op de pagina Itemanalyse

De tabel met vraagstatistieken bevat de statistieken van de uitgevoerde itemanalyse voor alle vragen in de toets. Vragen die moeten worden nagekeken, worden aangeduid met rode cirkels zodat je ze in één oogopslag kunt zien.

Over het algemeen hebben goede vragen de volgende statistieken:

Een moeilijkheid uit de categorie Normaal (30% tot 80%)
Een goede of redelijke discriminantie (groter dan 0,1)

Over het algemeen hebben goede vragen de volgende statistieken: Deze vragen zijn mogelijk niet goed geformuleerd of onjuist beoordeeld.

Een moeilijkheid uit de categorie Eenvoudig ( > 80%) of Moeilijk ( < 30%).
Slechte ( < 0,1) discriminantwaarde.

Je kunt de tabel met vragen filteren op Vraagtype, Discriminant en Moeilijkheid.
Als je een bepaalde vraag wilt bekijken, selecteer je de titel en controleer je de pagina Vraagdetails.
In de tabel worden statistieken weergegeven voor iedere vraag:
- Discriminantie: geeft aan in welke mate een vraag het verschil aantoont tussen studenten die wel of geen kennis hebben van de materie. Een vraag is een goede discriminant wanneer studenten die de vraag goed hebben beantwoord, de toets als geheel goed hebben gemaakt. Waarden kunnen variëren tussen -1,0 tot +1,0. Vragen worden gemarkeerd voor controle als hun discriminantwaarde minder is dan 0,1 of negatief is. Er kan geen discriminantwaarde worden berekenend wanneer de moeilijkheidsscore van de vraag 100% is of wanneer alle studenten dezelfde score krijgen voor een vraag.
  Discriminantwaarden worden berekend aan de hand van de Pearson-correlatiecoëfficiënt. X stelt de scores van iedere student op een vraag voor en Y stelt de scores van iedere student op de toets voor.
  
  Deze variabelen zijn respectievelijk de standaardscore, voorbeeldgemiddelde en voorbeeldstandaarddeviatie:
- Moeilijkheidsgraad: het percentage studenten dat de vraag juist heeft beantwoord. Het moeilijkheidspercentage wordt samen met de bijbehorende categorie vermeld: Eenvoudig (groter dan 80%), Normaal (30 tot 80%) en Moeilijk (minder dan 30%). De moeilijkheidswaarden kunnen uiteenlopen van 0% tot 100%, waarbij een hoog percentage aangeeft dat het een eenvoudige vraag was. Vragen in de categorie Eenvoudig of Moeilijk zijn gemarkeerd voor controle.
  Moeilijkheidsgraden die iets hoger dan het gemiddelde zijn tussen geluk en perfecte scores, kunnen studenten die het getoetste materiaal kennen beter differentiëren van diegenen die dat niet kennen. Hoge moeilijkheidswaarden resulteren niet altijd in hogere discriminanten.
- Beoordeelde pogingen: het aantal pogingen voor vragen dat is beoordeeld. Hoe hoger de waarde voor deze statistiek, des te nauwkeuriger de berekende statistieken.
- Gemiddelde score: scores worden aangegeven met een sterretje als sommige pogingen niet zijn beoordeeld en de gemiddelde score kan veranderen nadat aan alle pogingen een cijfer is toegekend. De score die hier wordt weergegeven, is de gemiddelde score van de toets in Grade Center.
- Standaardafwijking: een waarde die aangeeft hoe ver de scores afwijken van de gemiddelde score. Als de scores dicht bij elkaar liggen, en de meeste waarden niet veel afwijken van het gemiddelde, is de standaardafwijking klein. Als de gegevensset wijd is verspreid, met waarden ver van het gemiddelde, is de standaardafwijking groter.
- Standaardfout: een schatting van de mate van variabiliteit in de score van een student als gevolg van toeval. Hoe kleiner de standaardfout, des te nauwkeuriger de statistieken die worden verkregen met de toetsvraag.

Vraagdetails bekijken voor één vraag

Je kunt vragen onderzoeken die voor evaluatie zijn gemarkeerd en de prestaties van studenten bekijken.

Schuif op de pagina Itemanalyse naar de statistiekentabel van vragen. Selecteer een gekoppelde vraagtitel om de pagina Vraagdetails weer te geven.

Gebruik de pictogrammen Vorige pagina en Volgende pagina om per pagina door de vragen te bladeren. Je kunt ook meteen naar de eerste of laatste vraag gaan.
Selecteer Toets bewerken om het toetsbord weer te geven, zodat je de toets kunt wijzigen.
De overzichtstabel bevat statistieken voor de vraag. Je kunt de beschrijvingen voor de verschillende statistieken lezen in de voorgaande sectie.
De tekst en antwoordmogelijkheden van de vraag worden weergegeven. De informatie verschilt naargelang het vraagtype:

Gegevens van itemanalyse per vraagtype
Type verstrekte informatie	Vraagtypen
Aantal studenten dat een bepaalde antwoordmogelijkheid heeft gekozen -EN- Verdeling van die antwoorden over de kwartielen	Meerkeuze Meerdere antwoorden Waar/onwaar Of/of Opinieschaal/Likert
Aantal studenten dat een bepaalde antwoordmogelijkheid heeft gekozen	Combinatie Sorteren Meervoudige invuloefening
Aantal studenten dat de vraag juist heeft beantwoord, fout heeft beantwoord of heeft overgeslagen	Berekende formule Berekende numerieke waarde Invuloefening Hotspot Vragenpakket
Alleen vraagtekst	Open vraag Bestandsantwoord Kort antwoord Verhaspelde zin (bevat ook de antwoorden waaruit studenten kunnen kiezen)

Legenda van symbolen

Naast de vragen worden symbolen weergegeven om je te waarschuwen voor zaken die mogelijk aandacht behoeven.

Doornemen aanbevolen: deze status wordt toegevoegd bij discriminantwaarden kleiner dan 0,1. of moeilijkheidswaarden groter dan 80% (vraag te gemakkelijk) of kleiner dan 30% (vraag te moeilijk). Bekijk de vraag en bepaal of deze moet worden aangepast.
Vraag is mogelijk gewijzigd na implementatie: geeft aan dat een onderdeel van de vraag is gewijzigd sinds de publicatie van de toets. Een wijziging kan betekenen dat de gegevens voor die vraag niet betrouwbaar zijn. Pogingen die zijn verzonden nadat de vraag werd gewijzigd, kunnen baat hebben bij de wijziging.
Dit symbool wordt niet weergegeven voor herstelde cursussen.
Niet alle inzendingen zijn beoordeeld: deze status wordt weergegeven voor een toets met vragen die met de hand moeten worden beoordeeld, zoals open vragen. In een toets met een open vraag die door 50 studenten is beantwoord, wordt deze indicator weergegeven totdat je alle 50 pogingen hebt beoordeeld. De tool Itemanalyse verwerkt pogingen die zijn beoordeeld op het moment dat je het rapport uitvoert.
(QS) en (RB): geeft aan of een vraag afkomstig is uit een vragenset (QS) of een willekeurig blok (RB). Als vragen in willekeurige volgorde worden aangeboden, is het mogelijk dat sommige vragen meer pogingen hebben dan andere vragen.

Meerdere pogingen, genegeerde vragen en bewerkte vragen

De tool itemanalyse verwerkt meerdere pogingen, genegeerde vragen, bewerkte vragen en andere veelvoorkomende scenario's op deze manieren:

Wanneer studenten een toets meerdere keren maken, wordt de laatst verzonden poging gebruikt als input voor de itemanalyse. Voor een toets zijn bijvoorbeeld drie pogingen toegestaan en student A heeft twee pogingen verzonden, en is bezig met een derde poging. De huidige poging van Student A telt dan mee voor het aantal dat wordt vermeld bij Pogingen in uitvoering. Geen van de eerdere pogingen van Student A worden opgenomen in de huidige analysegegevens. Zodra Student A de derde poging verzendt, wordt de poging opgenomen in volgende analyses.
Het vervangen van cijfers in Grade Center heeft geen invloed op de analysegegevens omdat de analyse statistische gegevens genereert voor vragen op basis van voltooide pogingen van studenten.
Handmatig beoordeelde vragen of wijzigingen aan de vraagtekst, juiste antwoordkeuze, deelpunten of punten worden niet automatisch bijgewerkt in het analyserapport. Voer de analyse opnieuw uit om te zien of de wijzigingen invloed hebben op de gegevens.

Voorbeelden

Met itemanalyse kun je vragen verbeteren voor toekomstige beheerders van toetsen of misleidende of onduidelijke vragen in een actuele test corrigeren.

Een meerkeuzevraag is gemarkeerd voor evaluatie. Meer studenten uit de bovenste 25% hebben antwoord B gekozen, terwijl antwoord A het juiste antwoord is. Je ziet dat je niet het juiste antwoord hebt gekozen tijdens het maken van de vraag. Je past de vraag van de toets aan en er wordt opnieuw automatisch beoordeeld.
In een meerkeuzevraag hebben evenveel studenten gekozen voor A, B en C. Controleer de antwoordmogelijkheden om te kijken of deze misschien te veel op elkaar lijken, de vraag te moeilijk is of de stof niet is behandeld.
Een vraag wordt gemarkeerd voor controle omdat deze in de categorie moeilijk valt. Je komt tot de conclusie dat het een moeilijke vraag is, maar laat de vraag staan om de doelen van de cursus afdoende te testen.

Taal