Frågeanalys

Frågeanalys ger statistik om övergripande prestation, utvärderingskvalitet och enskilda frågor. Med hjälp av dessa data kan du se vilka frågor som är dåliga på att urskilja deltagarnas prestation. Frågeanalys är till för bedömningar med frågor. Du kan köra en rapport innan alla inlämningar har kommit in om du vill kontrollera kvaliteten på dina frågor och göra ändringar.

Frågeanalys kan användas för att:

• Förbättra frågor för framtida bedömningar eller för att justera poängresultat på aktuella försök
• Diskutera bedömningsresultaten med klassen
• Ge grundläggande information för stödåtgärder
• Förbättra klassrumsundervisningen

Exempel:

När du har utfört en frågeanalys upptäcker du att de flesta deltagarna har svarat fel på en fråga. Varför misslyckades så många?

• Har frågan formulerats på ett vilseledande sätt?
• Är svarsalternativen inte tydliga?
• Fick deltagarna tillgång till rätt innehåll för att kunna lära sig svaret på den här frågan?
• Var inlärningsinnehållet tydligt och enkelt att komma åt?

Med utgång från det du upptäcker kan du förbättra frågan så att den verkligen utvärderar vad deltagarna har lärt sig.

---

Få åtkomst till en analys av en utvärdering

Du kan köra och öppna en tidigare frågeanalysrapport från dessa kursområden:

• Sidan Kursinnehåll > utvärderingsmenyn.
• Sidan Kursanalysverktyg > fliken Frågeanalys, om ditt lärosäte har aktiverat analysverktyg
• Kursadministration och resultat, list- eller rutnätsvy

Öppna en utvärderingsmeny på sidan Kursinnehåll och välj Frågeanalys. Du kan även välja ikonen Analysverktyg i navigationsfältet.

Du kan även köra en frågeanalysrapport från kursadministration och resultat i rutnäts- eller listvy. Öppna menyn för en utvärdering och välj Frågeanalys.

Sidan Frågeanalys

Sidan Frågeanalys är endast tillgänglig från navigeringsfältet > Analysverktyg > sidan Kursanalys > fliken Frågeanalys.

Du kan köra en rapport om en utvärdering med inlämningar och utan frågor, men då får du en rapport utan användbar information.

Du får ett meddelande om att frågeanalysrapporten genereras och ett e-postmeddelande när rapporten är klar. Du kan lämna sidan för att arbeta i andra områden av kursen och återvända senare för att se om rapporten är klar.

Statuskolumn

Varje utvärdering i din kurs visas med en av följande statusar:

• Rapport genereras
• Slutförd den {datum}
• Data är inte längre aktuella: Utvärderingen har nu fler inlämningar att analysera.
• Inte tillräckligt med data: Det finns inga inlämningar. Kör rapport är inaktiverat.
• Inga frågor i utvärderingen: Utvärderingen har inga frågor eller inlämningar. Kör rapport är inaktiverat.
• Ingen status listad: Utvärderingen har frågor och inlämningar, men du har inte kört någon rapport. Kör rapport är aktiverat.
• Fel: Kör

---

Visa sammanfattningen av frågeanalysen

När du har kört en rapport kan du visa övergripande information och detaljer om varje fråga. Välj utvärderingen i fråga på sidan Frågeanalys för att visa sammanfattningen.

Endast inlämnade försök tas med i beräkningarna. När försök pågår ignoreras dessa försök tills de har lämnats in. Då kan du köra analysrapporten igen. Automatiska nollor som tilldelas för sent inlämnade arbeten tas inte med i beräkningen.

1. Sammanfattning av statistik för den enskilda utvärderingen:
   • Genomsnittspoäng: Poängen som visas är det genomsnittspoäng som har rapporterats för utvärderingen i Kursadministration och resultat. Genomsnittspoängen kan ändras om fler försök lämnas in och bedöms.
   • Möjliga frågor: Totalt antal frågor i utvärderingen.
   • Fullbordade försök: Antalet inlämnade utvärderingar.
   • Genomsnittlig spenderad tid: Den genomsnittliga slutförandetiden för alla inlämnade försök.
2. Kör en rapport på nytt eller redigera utvärderingen för att göra ändringar i frågorna.
3. Använd graferna för att filtrera frågetabellen. Gör val i båda graferna för att förfina din sökning. Om du inte gör några val visas alla frågorna i tabellen nederst på sidan.
   • Omdöme: Anger hur bra en fråga kan skilja ut deltagare som känner till ämnet och deltagare som inte känner till det.
     • Visar antalet frågor som ligger inom dessa kategorier:
       • Bra (över 0,3)
       • Godtagbart (mellan 0,1 och 0,3)
       • Dåligt (under 0,1)
       • Går inte att beräkna: En frågas svårighetsgrad är 100 % eller så har alla deltagare fått samma poäng på en fråga.
     • Frågor med omdömesvärden i kategorierna Bra och Godtagbart är bättre på att skilja mellan deltagare med högre och lägre kunskapsnivåer.
     • Det rekommenderas att frågor i kategorin Dåligt granskas.
   • Svårighetsgrad: Antalet deltagare i procent som svarade rätt på frågorna.
     • Visar antalet frågor som ligger inom dessa kategorier:
       • Lätta (mer än 80 %)
       • Medel (mellan 30 % och 80 %)
       • Svåra (mindre än 30 %)
     • Det rekommenderas att frågor i kategorierna Lätta eller Svåra granskas.
4. Välj en rubrik för att sortera frågorna. Till exempel kan du sortera kolumnen Granska så att frågor som behöver granskas visas först.
5. Rensa filter: Rensa filtren som du har valt i graferna och visa alla frågorna i tabellen.
6. Hämta frågeanalysrapporten

---

Om avsnittet frågor i utvärderingssammanfattningen

Frågetabellen tillhandahåller analysstatistik för alla frågor i utvärderingen. När du har använt graferna för att filtrera frågetabellen kan du visa och sortera resultaten.

I allmänhet delas bra frågor in i följande kategorier:

• Svårighetsgraden Medelsvåra (30 % till 80 %)
• Omdömesvärdet Bra eller Godtagbart (större än 0,1)

I allmänhet delas frågor som rekommenderas för granskning in i dessa kategorier. De kan ha dålig kvalitet eller ha blivit felaktigt poängsatta.

• Svårighetsgraden Lätt ( > 80 %) eller Svår ( < 30 %)
• Omdömesvärdet Dåligt ( < 0,1)

Kom ihåg: Om du inte gör några val visas alla frågorna i tabellen nederst på sidan.

Om du vill undersöka en viss fråga väljer du rubriken och granskar informationen om frågorna.

Information för varje fråga visas i tabellen:

• Behöver granskas: Utlöses när omdömesvärdet är lägre än 0,1. Det kan även utlösas när svårighetsgraden antingen är högre än 80 % (frågan var för lätt) eller lägre än 30 % (frågan var för svår). Granska frågan för att fastställa om den behöver ändras.
• Frågan har modifierats: Visar Ja om du kör en rapport och sedan ändrar en del av frågan och kör rapporten på nytt. Ja visas även om du kopierade frågan från en annan utvärdering när du skapade utvärderingen.

  Om Ja visas i kolumnen Frågan har modifierats för en fråga följer inte detta Ja med när du arkiverar och återställer kursen.

• Omdöme: Anger hur bra en fråga kan särskilja mellan deltagare som känner till ämnet och deltagare som inte känner till det. En fråga är bra på att särskilja när deltagare som svarar rätt på frågan också får ett högt poäng på utvärderingen. Värdena kan ligga mellan -1,0 och +1,0. En fråga flaggas för granskning om frågans omdömesvärde är mindre än 0,1 eller är negativt. Omdömesvärden kan inte beräknas om frågans svårighetsgrad är 100 % eller om alla deltagare får samma poäng på en fråga.

  Omdömesvärden beräknas med Pearsons korrelationskoefficient. X motsvarar varje deltagares poäng för en fråga och Y motsvarar varje deltagares poäng för granskningen.

  

  Följande variabler motsvarar standardpoäng, urvalets medelvärde och urvalets standardavvikelse:

  
• Svårighetsgrad: Antalet deltagare i procent som svarade rätt på frågan. Svårighetsgraden i procent visas med tillhörande kategori: Enkla (fler än 80 %), Medelsvåra (30 % till 80 %) och Svåra (färre än 30 %). Svårighetsgraden anges i intervallet 0 % till 100 %. En hög procentsiffra indikerar att frågan var lätt. Frågor i kategorierna Enkla och Svåra flaggas för granskning.

  Svårighetsgrader som är något högre än mitt emellan chansningar och helt rätt är bättre på att särskilja deltagare som kan provmaterialet från de deltagare som inte kan det. Höga svårighetsgrader ger inte nödvändigtvis höga omdömesnivåer.

• Bedömda försök: Antalet försök där bedömningen är klar. Ett högre antal av bedömda försök producerar mer tillförlitlig beräknad statistik.
• Genomsnittspoäng: Poängen som visas är den genomsnittspoäng som har rapporterats för utvärderingen i Kursadministration och resultat. Genomsnittspoängen kan ändras efter att alla försök har bedömts.

---

Visa detaljer för en enskild fråga

Du kan undersöka frågor som har flaggats för granskning och se deltagarnas prestationer. Från frågetabellen i Frågeanalysen klickar du på en länkad frågetitel för att komma åt frågans sammanfattning.

1. När du har öppnat en fråga ska du använda frågetitelns meny för att komma åt frågor i utvärderingen. Du kan navigera till andra frågor sekventiellt på endera sida av sidan.
2. I sammanfattningstabellen visas statistik för frågan.
3. Välj Redigera utvärdering för att komma åt utvärderingen och göra ändringar.
4. Frågetexten och svarsalternativen visas. Du kan se hur många deltagare som väljer de olika svarsalternativen eller procentandel som svarade rätt. Till exempel, för en matchningsfråga, kan du se vilken procentandel av deltagarna som matchade ihop paren korrekt. Endast frågetexten visas för öppna frågor.

---

Om flera försök, justering och redigering av frågor

Analysen hanterar några vanliga scenarier på följande sätt:

• När deltagare gör en utvärdering flera gånger används det senast inlämnade försöket som indata för analysen. Så snart en deltagare lämnar in ett nytt försök inkluderar efterföljande analyser det senaste försöket.
• Omprövning och justering i Kursadministration och resultat påverkar inte analysdata eftersom analysen genererar statistik för frågor som baseras på slutförda deltagarförsök.
• När du gör ändringar i en fråga eller manuellt bedömer frågor måste du köra analysen på nytt för att se om ändringarna påverkar dina data.

---

Exempel:

Med hjälp av frågeanalys kan du förbättra frågorna i framtida utvärderingar. Du kan även korrigera vilseledande eller tvetydiga frågor i en aktuell utvärdering.

• I en flervalsfråga väljer lika många deltagare alternativ A, B och C. Undersök om svarsalternativen är för tvetydiga, om frågan är för svår eller om ni inte har gått igenom materialet under kursen.
• En fråga rekommenderas för granskning eftersom den hamnar i den svåra svårighetskategorin. Du fastslår att det är en svår fråga men du behåller den eftersom den på ett adekvat sätt utvärderar de förväntade resultaten för kursen.
• En flervalsfråga har flaggats för granskning. Fler deltagare i den bäst rankade fjärdedelen valde svar B, men A är rätt svar. Du inser att du inte har valt rätt svar när du skapade frågan. När du redigerar utvärderingsfrågan bedöms den på nytt automatiskt.

---

Hämta frågeanalysrapporten

Du kan hämta en rapport för att analysera den eller behålla den för framtida bruk. Hämtningsfilen inkluderar kolumnerna i analysen i din kurs, förutom kolumnerna för standardavvikelse och standardfel. Rapporter förblir i systemet i 14 dagar.

Klicka på nedladdningsikonen ovanför frågetabellen i Frågeanalysen. Standardfilformatet är XLS. Du kan även öppna filen i filformatet CSV.