Vragenanalyse

De tool vragenanalyse biedt statistieken over de algehele prestaties, beoordelingskwaliteit en afzonderlijke vragen. Je kunt zo snel zien welke vragen mogelijk geen goed beeld geven van de prestaties van studenten. Vragenanalyse is voor beoordelingen met vragen. Je kunt een rapport maken voordat alle inzendingen binnen zijn als je de kwaliteit van je vragen wilt controleren en wijzigingen wilt maken.

Toepassingen voor vragenanalyse:

• Vragen voor toekomstige beoordelingen verbeteren of het aantal punten voor bestaande pogingen aanpassen
• Beoordelingsresultaten bespreken met de groep
• Een basis voor extra geleiding
• Instructies in het klaslokaal verbeteren

Voorbeeld:

Na het bekijken van de vragenanalyse, kom je tot de conclusie dat de meerderheid van de studenten één vraag fout heeft beantwoord. Hoe komt dit?

• Is de vraag onduidelijk geformuleerd?
• Zijn de antwoorden dubbelzinnig?
• Hebben studenten wel de juiste leerstof aangeboden gekregen om deze vraag goed te kunnen beantwoorden?
• Was het materiaal goed toegankelijk en duidelijk?

Op basis van je bevindingen kun je de vraag verbeteren om er zeker van te zijn dat deze een goed hulpmiddel is om vast te stellen wat studenten wel en niet weten.

---

Een beoordelingsanalyse openen

Je kunt een vorige vragenanalyse uitvoeren en openen vanuit deze cursusgebieden:

• Pagina Cursusinhoud > menu van een beoordeling
• Pagina Cursusanalyse > tabblad Vragenanalyse als je instelling analyse heeft ingeschakeld
• Cijferlijst, lijst of rasterweergave

Open op de pagina Cursusinhoud het menu van een beoordeling en selecteer Vragenanalyse. Je kunt ook het pictogram Analyse selecteren in de navigatiebalk.

Je kunt ook een vragenanalyserapport uitvoeren vanuit de cijferlijst in raster- of lijstweergave. Open het menu van een beoordeling en selecteer Vragenanalyse.

De pagina Vragenanalyse

De pagina Vragenanalyse is alleen te openen vanuit de navigatiebalk > Analyse > pagina Cursusanalyse > tabblad Vragenanalyse.

Je kunt een rapport maken van een beoordeling met inzendingen en geen vragen, maar dan zul je een rapport ontvangen zonder bruikbare informatie.

Je ontvangt een bericht dat het vragenanalyserapport wordt uitgevoerd en een e-mail wanneer het rapport is voltooid. Je kunt de pagina verlaten om te werken in andere gebieden van je cursus en later terugkomen om te kijken of het rapport klaar is.

Statuskolom

Elke beoordeling in je cursus krijgt een van deze statussen:

• Rapport wordt gemaakt
• Voltooid op {datum}
• Gegevens niet meer actueel: Beoordeling heeft nu meer inzendingen om te analyseren.
• Niet genoeg gegevens: Er zijn geen inzendingen. Rapport maken is uitgeschakeld.
• Geen vragen in de beoordeling: Beoordeling heeft geen vragen of inzendingen. Rapport maken is uitgeschakeld.
• Geen status zichtbaar: Beoordeling bevat vragen en inzendingen, maar je hebt geen rapport gemaakt. Rapport maken is ingeschakeld.
• Fout: Uitvoeren

---

Het overzicht van beoordeling voor vragenanalyse bekijken

Nadat je een rapport hebt gemaakt, kun je overzichtsinformatie en details over elke vraag bekijken. Selecteer de beoordeling op de pagina Vragenanalyse om het overzicht te bekijken.

Alleen ingezonden pogingen worden gebruikt in berekeningen. Als er nog pogingen worden uitgevoerd, worden deze genegeerd totdat ze zijn verzonden en je opnieuw een itemanalyse uitvoert. Automatische nullen toegekend aan te laat ingeleverd werk worden niet meegenomen in de berekeningen.

1. Samenvatting van de statistieken voor individuele beoordeling:
   • Gemiddelde score: De score die hier wordt weergegeven, is de gemiddelde score van de beoordeling in de cijferlijst. De gemiddelde score kan veranderen als er meer pogingen worden ingezonden en beoordeeld.
   • Mogelijk aantal vragen: het totale aantal vragen in de beoordeling.
   • Voltooide pogingen: het aantal ingezonden beoordelingen.
   • Gemiddelde tijd besteed: de gemiddelde voltooiingstijd voor alle verzonden pogingen.
2. Voer het rapport opnieuw uit of pas de beoordeling aan om de vragen te wijzigen.
3. Gebruik de grafieken om de tabel met vragen te filteren. Maak een selectie in beide grafieken om je zoekopdracht te verfijnen. Als je geen selecties maakt, verschijnen alle vragen in de tabel onderaan de pagina.
   • Discriminantie: geeft aan in welke mate vragen het verschil aantonen tussen studenten die wel of geen kennis hebben van de materie.
     • Laat het aantal vragen zien in deze categorieën:
       • Goed (groter dan 0,3)
       • Redelijk (tussen 0,1 en 0,3)
       • Slecht (minder dan 0,1)
       • Kan niet berekenen: De moeilijkheidsscore van een vraag is 100% of alle studenten hebben dezelfde score gekregen voor een vraag.
     • Vragen met discriminantwaarden in de categorieën Goed en Redelijk zijn geschikt om onderscheid te maken tussen studenten met een hoger en lager kennisniveau.
     • Vragen in de categorie Slecht moeten opnieuw worden bekeken en waarschijnlijk worden aangepast.
   • Moeilijkheidsgraad: percentage studenten dat de vragen juist heeft beantwoord
     • Laat het aantal vragen zien in deze categorieën:
       • Eenvoudig (groter dan 80%)
       • Gemiddeld (tussen 30% en 80%)
       • Moeilijk (minder dan 30%)
     • Vragen in de categorie Eenvoudig of Moeilijk moeten opnieuw worden bekeken en waarschijnlijk worden aangepast.
4. Selecteer een kop om de vragen te sorteren. Sorteer bijvoorbeeld de kolom Review zodat de vragen die nagekeken moeten worden eerst verschijnen.
5. Filters wissen: Wis de filters die je in de grafieken hebt geselecteerd en toon alle vragen in de tabel.
6. Download het vragenanalyserapport

---

De sectie Vragen in de beoordelingsoverzicht

De vragentabel bevat de statistieken van de analyse voor elke vraag in de beoordeling. Na het gebruiken van de grafiek om de vragentabel te filteren, kun je de resultaten bekijken en sorteren.

Over het algemeen hebben goede vragen de volgende statistieken:

• Een moeilijkheid uit de categorie Normaal (30% tot 80%)
• Een goede of redelijke discriminantie (groter dan 0,1)

Over het algemeen hebben goede vragen de volgende statistieken: Deze vragen zijn mogelijk niet goed geformuleerd of onjuist beoordeeld.

• Een moeilijkheid uit de categorie Eenvoudig ( > 80%) of Moeilijk ( < 30%).
• Slechte ( < 0,1) discriminantwaarde.

Let op: Als je geen selecties maakt, verschijnen alle vragen in de tabel onderaan de pagina.

Als je een bepaalde vraag wilt bekijken, selecteer je de titel en controleer je de pagina Vraagdetails.

In de tabel wordt informatie weergegeven voor iedere vraag:

• Review nodig: deze status wordt toegevoegd bij discriminantwaarden kleiner dan 0,1. En wordt ook toegevoegd wanneer moeilijkheidswaarden groter dan 80% (vraag te gemakkelijk) of kleiner dan 30% (vraag te moeilijk) zijn. Bekijk de vraag en bepaal of deze moet worden aangepast.
• Vraag gewijzigd: Laat Ja zien als je een rapport maakt, wijzig vervolgens een deel van de vraag en maak opnieuw een rapport. Ja verschijnt ook als je de vraag hebt gekopieerd van een andere beoordeling bij het maken van de beoordeling.

  Als Ja verschijnt in de kolom Vraag gewijzigd voor een vraag, blijft deze Ja niet staan wanneer je de cursus archiveert of herstelt.

• Discriminantie: geeft aan in welke mate een vraag het verschil aantoont tussen studenten die wel of geen kennis hebben van de materie. Een vraag is een goede discriminant wanneer studenten die de vraag goed hebben beantwoord, de beoordeling als geheel goed hebben gemaakt. Waarden kunnen variëren tussen -1,0 tot +1,0. Vragen worden gemarkeerd voor controle als hun discriminantwaarde minder is dan 0,1 of negatief is. Er kan geen discriminantwaarde worden berekenend wanneer de moeilijkheidsscore van de vraag 100% is of wanneer alle studenten dezelfde score krijgen voor een vraag.

  Discriminantwaarden worden berekend aan de hand van de Pearson-correlatiecoëfficiënt. X stelt de scores van iedere student op een vraag voor en Y stelt de scores van iedere student op de beoordeling voor.

  

  Deze variabelen zijn respectievelijk de standaardscore, voorbeeldgemiddelde en voorbeeldstandaarddeviatie:

  
• Moeilijkheidsgraad: het percentage studenten dat de vraag juist heeft beantwoord. Het moeilijkheidspercentage wordt samen met de bijbehorende categorie vermeld: Eenvoudig (groter dan 80%), Normaal (30 tot 80%) en Moeilijk (minder dan 30%). Moeilijkheidswaarden kunnen uiteenlopen van 0% tot 100%. Een hoog percentage geeft aan dat het een eenvoudige vraag was. Vragen in de categorie Eenvoudig of Moeilijk zijn gemarkeerd voor controle.

  Moeilijkheidsgraden die iets hoger dan het gemiddelde zijn tussen geluk en perfecte scores, kunnen studenten die het getoetste materiaal kennen beter differentiëren van diegenen die dat niet kennen. Hoge moeilijkheidswaarden resulteren niet altijd in hogere discriminanten.

• Beoordeelde pogingen: het aantal pogingen voor vragen dat is beoordeeld. Hoe hoger de waarde voor deze statistiek, des te nauwkeuriger de berekende statistieken.
• Gemiddelde score: De score die wordt weergegeven, is de gemiddelde score van de beoordeling in de cijferlijst. De gemiddelde score kan veranderen nadat alle pogingen zijn beoordeeld.

---

Vraagdetails bekijken voor één vraag

Je kunt vragen onderzoeken die voor evaluatie zijn gemarkeerd en de prestaties van studenten bekijken. Selecteer een gekoppelde vraagtitel in de vragentabel Vraaganalyse om de samenvatting van een vraag te openen.

1. Nadat je een vraag opent, gebruik je het menu naast de vraagtitel om een vraag in de beoordeling te openen. Je kunt achtereenvolgend naar andere vragen gaan via beide kanten van de pagina.
2. De overzichtstabel bevat statistieken voor de vraag.
3. Selecteer Beoordeling aanpassen om de beoordeling te openen en wijzigingen te maken.
4. De tekst en antwoordmogelijkheden van de vraag worden weergegeven. Je kunt zien hoeveel studenten elk antwoord kozen of welk percentage correct antwoordde. Je kunt bijvoorbeeld voor een combinatievraag zien welk percentage van de studenten de paren juist heeft gecombineerd. Bij open vragen verschijnt alleen de vraagtekst.

---

Meerdere pogingen, genegeerde vragen en bewerkte vragen

De analyse verwerkt veelvoorkomende scenario’s op deze manieren:

• Wanneer studenten een beoordeling meerdere keren maken, wordt de laatst verzonden poging gebruikt als input voor de itemanalyse. Zodra een student nog een poging verzendt, nemen latere analyses de nieuwste poging op.
• Het vervangen van cijfers in de cijferlijst heeft geen invloed op de analysegegevens omdat de analyse statistische gegevens genereert voor vragen op basis van voltooide pogingen van studenten.
• Wanneer je wijzigingen aanbrengt aan een vraag of de vragen handmatig beoordeelt, moet je de analyse opnieuw uitvoeren om te zien of de wijzigingen invloed hebben op de gegevens.

---

Voorbeelden

Met vragenanalyse kun je vragen verbeteren voor toekomstige beheerders van beoordelingen. Je kunt ook misleidende of onduidelijke vragen corrigeren in een actuele beoordeling.

• In een meerkeuzevraag hebben evenveel studenten gekozen voor A, B en C. Controleer de antwoordmogelijkheden om te kijken of deze misschien te veel op elkaar lijken, de vraag te moeilijk is of de stof niet is behandeld.
• Een vraag wordt gemarkeerd voor controle omdat deze in de categorie moeilijk valt. Je komt tot de conclusie dat het een moeilijke vraag is, maar laat de vraag staan om de doelen van de cursus afdoende te evalueren.
• Een meerkeuzevraag is gemarkeerd voor evaluatie. Meer studenten uit de bovenste 25% hebben antwoord B gekozen, terwijl antwoord A het juiste antwoord is. Je ziet dat je niet het juiste antwoord hebt gekozen tijdens het maken van de vraag. Je past de vraag van de beoordeling aan en deze wordt automatisch opnieuw beoordeeld.