Objektanalys

Objektanalys ger statistik gällande övergripande prestation, testkvalitet och enskilda frågor. Med hjälp av dessa data kan du se vilka frågor som är dåliga på att urskilja deltagarnas prestation.

Objektanalys kan användas för att:

• Förbättra frågor för framtida tester eller för att justera poängresultat på aktuella försök
• Diskutera testresultaten med klassen
• Ge grundläggande information för stödåtgärder
• Förbättra klassrumsundervisningen

Exempel:

När du har utfört en objektanalys upptäcker du att de flesta deltagarna har svarat fel på en fråga. Varför misslyckades så många?

• Har frågan formulerats på ett vilseledande sätt?
• Är svarsalternativen inte tydliga?
• Fick deltagarna tillgång till rätt innehåll för att kunna lära sig svaret på den här frågan?
• Var inlärningsinnehållet tydligt och enkelt att komma åt?

Med utgång från det du upptäcker kan du förbättra testfrågan så att den verkligen utvärderar vad deltagarna har lärt sig.

---

Kör en objektanalys på ett test

Du kan köra en objektanalys på ett distribuerat test med inlämnade försök, men inte på en enkät.

Testet kan ha ett eller flera försök, olika frågeuppsättningar, slumpvisa block och såväl automatiskt som manuellt rättade frågor. När det gäller tester med manuellt bedömda frågor som du ännu inte har poängsatt, genereras endast statistik för de poängsatta frågorna. När du har bedömt frågorna manuellt kan du köra analysen igen. Statistik för de manuellt bedömda frågorna genereras och den sammanfattande statistiken för testet uppdateras.

För bästa resultat kör du analysen för ett test efter att deltagare har skickat in alla försök och du har bedömt alla manuellt rättade frågor. Var uppmärksam på att statistiken påverkas av antalet testförsök, typen av deltagare som gjorde testet och slumpmässiga fel.

1. Roller med bedömningsbehörighet (lärare, bedömare och assistenter) kan komma åt objektanalys på tre platser i testarbetsflödet.
   • Ett test som har distribuerats på en innehållsyta
   • Ett distribuerat test som anges på sidan Tester
   • En testkolumn i Kursadministration och resultat
2. Öppna testets meny och välj Objektanalys.
3. Välj ett test på menyn Välj test. Endast distribuerade tester visas i listan.
4. Välj Kör.
5. Välj den nya rapportens länk i avsnittet Tillgänglig analys eller välj Visa analys i statusbekräftelsen högst upp på sidan.
   

Du kan öppna en analys som har körts vid ett tidigare tillfälle i avsnittet Tillgänglig analys.

---

Testsammanfattning på sidan Objektanalys

I testsammanfattningen anges information om testet i sin helhet.

1. Redigera test ger åtkomst till provytan där du kan göra ändringar i testet.
2. Visa teststatistik:
   • Möjliga poäng: Totalt antal poäng för testet.
   • Möjliga frågor: Totalt antal frågor i testet.
   • Pågående försök: Antalet deltagare som för närvarande gör testet och inte har skickat in det än.
   • Fullbordade försök: Antalet inlämnade tester.
   • Genomsnittspoäng: Poäng som visas med en asterisk anger att vissa försök inte har bedömts och att genomsnittspoängen kan ändras efter att alla försök har bedömts. Poängen som visas är det genomsnittspoäng som har rapporterats för testet i Kursadministration och resultat.
   • Genomsnittstid: Den genomsnittliga slutförandetiden för alla inlämnade försök.
   • Omdöme: Visar antalet frågor som delas in i kategorierna Bra (mer än 0,3), Godtagbart (mellan 0,1 och 0,3) samt Dåligt (mindre än 0,1). Ett omdömesvärde anges som Gick inte att beräkna om frågans svårighetsgrad är 100 % eller när alla deltagare får samma poäng på en fråga. Frågor med omdömesvärden i kategorierna Bra och Godtagbart är bättre på att skilja mellan deltagare med högre och lägre kunskapsnivåer. Det rekommenderas att frågor i kategorin Dåligt granskas.
   • Svårighetsgrad: Visar antalet frågor som delas in i kategorierna Enkla (fler än 80 %), Medelsvåra (mellan 30 % och 80 %) samt Svåra (färre än 30 %). Svårighetsgraden är antalet deltagare i procent som besvarade frågan korrekt. Det rekommenderas att frågor i kategorierna Enkla och Svåra granskas. Sådana frågor anges med en röd cirkel.

Det är endast bedömda försök som tas med i objektanalysberäkningar. När försök pågår ignoreras dessa försök tills de har lämnats in. Då kan du köra analysrapporten igen.

---

Tabellen över frågestatistik på sidan Objektanalys

Tabellen över frågestatistik ger objektanalysstatistik för alla frågor i testet. Frågor som ska granskas anges med röda cirklar så att du snabbt kan hitta frågorna.

I allmänhet delas bra frågor in i följande kategorier:

• Svårighetsgraden Medelsvåra (30 % till 80 %)
• Omdömesvärdet Bra eller Godtagbart (större än 0,1)

I allmänhet delas frågor som rekommenderas för granskning in i dessa kategorier. De kan ha dålig kvalitet eller ha blivit felaktigt poängsatta.

• Svårighetsgraden Lätt ( > 80 %) eller Svår ( < 30 %)
• Omdömesvärdet Dåligt ( < 0,1)

1. Filtrera frågetabellen efter frågetyp, omdöme och svårighetsgrad.
2. Om du vill undersöka en viss fråga väljer du rubriken och granskar sidan Information om frågorna.
3. Statistik för varje fråga visas i tabellen:
   • Omdöme: Anger hur bra en fråga kan särskilja mellan deltagare som känner till ämnet och deltagare som inte känner till det. En fråga är bra på att särskilja när deltagare som svarar rätt på frågan också får ett högt poäng på testet. Värdena kan ligga mellan -1,0 och +1,0. En fråga flaggas för granskning om frågans omdömesvärde är mindre än 0,1 eller är negativt. Omdömesvärden kan inte beräknas om frågans svårighetsgrad är 100 % eller om alla deltagare får samma poäng på en fråga.

     Omdömesvärden beräknas med Pearsons korrelationskoefficient. X motsvarar varje deltagares poäng för en fråga och Y motsvarar varje deltagares poäng för testet.

     

     Följande variabler motsvarar standardpoäng, urvalets medelvärde och urvalets standardavvikelse:

     
   • Svårighetsgrad: Antalet deltagare i procent som svarade rätt på frågan. Svårighetsgraden i procent visas med tillhörande kategori: Enkla (fler än 80 %), Medelsvåra (30 % till 80 %) och Svåra (färre än 30 %). Svårighetsgrader kan ligga mellan 0 % och 100 %, där en hög procentsats anger att frågan var lätt. Frågor i kategorierna Enkla och Svåra flaggas för granskning.

     Svårighetsgrader som är något högre än mitt emellan chansningar och helt rätt är bättre på att särskilja deltagare som kan provmaterialet från de deltagare som inte kan det. Höga svårighetsgrader ger inte nödvändigtvis höga omdömesnivåer.

   • Bedömda försök: Antalet försök där bedömningen är klar. Ett högre antal av bedömda försök producerar mer tillförlitlig beräknad statistik.
   • Genomsnittspoäng: Poäng som visas med en asterisk anger att vissa försök inte har bedömts och att genomsnittspoängen kan ändras efter att alla försök har bedömts. Poängen som visas är det genomsnittspoäng som har rapporterats för testet i Kursadministration och resultat.
   • Standardavvikelse: Ett mått på hur mycket poängen avviker från genomsnittspoängen. Om poängvärdena ligger nära varandra och de flesta ligger nära medelvärdet är standardavvikelsen liten. Om resultaten är spridda och många ligger långt från medelvärdet är standardavvikelsen större.
   • Standardfel: En uppskattning av storleken på variabilitet i en deltagares poäng som orsakas av slumpen. Ju lägre standardfelet är, desto mer exakt är mätningen som tillhandahållits av testfrågan.

---

Visa information om en enstaka fråga

Du kan undersöka frågor som har flaggats för granskning och visa deltagarnas prestationer.

Rulla ner till tabellen över frågestatistik på sidan Objektanalys. Välj en länkad frågerubrik för att öppna sidan Information om frågorna.

1. Använd ikonerna för föregående sida och nästa sida för att bläddra genom frågorna i sekvens. Du kan även hoppa till den första eller sista frågan.
2. Välj Redigera test för att öppna provytan där du kan göra ändringar i testet.
3. I sammanfattningstabellen visas statistik för frågan. Du kan granska beskrivningarna för all statistik i föregående avsnitt.
4. Frågetexten och svarsalternativen visas. Informationen varierar beroende på frågetypen:

Objektanalysinformation som anges för frågetyper

Typ av information som anges	Frågetyper
Antal deltagare som valde de olika svarsalternativen -OCH- Fördelningen mellan dessa svar i de olika klasskvartilerna	Flervalsfråga Flersvarsfråga Sant/falskt Antingen/eller Skattningsskala/Likert-skala
Antal deltagare som valde varje svarsalternativ	Para ihop-fråga Ordna korrekt-fråga Fyll i flervalsfråga
Antal deltagare som svarade rätt, fel eller hoppade över frågan	Beräkningsfråga Beräknad numerisk fråga Luckfråga Hot Spot-fråga Svara med en fråga-fråga
Endast frågetext	Öppen fråga Svar via fil-fråga Kortsvarsfråga Lucktextfråga (inkluderar också svaren som deltagarna valde mellan)

Symbolförklaring

Symboler visas bredvid frågorna om de måste granskas.

• Granskning rekommenderas: Utlöses när omdömesvärdet är lägre än 0,1. Det kan även utlösas när svårighetsgraden antingen är högre än 80 % (frågan var för lätt) eller lägre än 30 % (frågan var för svår). Granska frågan för att fastställa om den behöver ändras.
• Frågorna kan ha ändrats efter distribuering: Anger att en del av frågan kan ha ändrats sedan testet distribuerades. En ändring kan innebära att uppgifterna för den frågan eventuellt inte är tillförlitliga. Försök som har lämnats in efter att frågan ändrades kan ha dragit nytta av ändringen.

  Den här indikatorn visas inte för återskapade kurser.

• Alla sändningar har inte bedömts: Visas för ett test som innehåller frågor som kräver manuell bedömning, till exempel öppna frågor. Om ett test innehåller en öppen fråga med 50 deltagarförsök, visas denna indikator tills du har bedömt alla 50 försök. Analysen använder enbart försök som du har bedömt när du kör rapporten.
• (QS) och (RB): Anger att en fråga kommer från en frågeuppsättning (Question Set, QS) eller slumpvisa block (Random Block, RB). Vissa frågor kan ha fler försök än andra på grund av slumpvis utdelade frågor.

---

Flera försök, omprövning och justering av frågor samt redigering av frågor

Analysen hanterar flera försök, omprövning och justering samt andra vanliga situationer på följande sätt:

• När deltagare gör ett test flera gånger används det senast inlämnade försöket som indata för analysen. I ett test med tre försök, slutför till exempel deltagare A två försök och håller på med ett tredje försök. Deltagare A:s aktuella försök räknas under antalet i Pågående försök. Inga av deltagare A:s tidigare försök inkluderas i aktuella analysdata. Så fort som deltagare A lämnar in det tredje försöket, inkluderar påföljande analyser deltagare A:s tredje försök.
• Omprövning och justering i Kursadministration och resultat påverkar inte analysdata eftersom analysen genererar statistik för frågor som baseras på slutförda deltagarförsök.
• Manuellt bedömda frågor eller ändringar som görs i frågetexten, rätt svarsalternativ, delpoäng eller poäng uppdateras inte automatiskt i analysrapporten. Kör analysen igen för att se om ändringarna har påverkat uppgifterna.

---

Exempel:

Med hjälp av objektanalys kan du förbättra frågorna i framtida tester. Du kan även korrigera vilseledande eller tvetydiga frågor i ett aktuellt test.

• En flervalsfråga har flaggats för granskning. Fler deltagare i den bäst rankade fjärdedelen valde svar B, men A är rätt svar. Du inser att du inte har valt rätt svar när du skapade frågan. Du redigerar testfrågan och den omvärderas automatiskt.
• I en flervalsfråga väljer lika många deltagare alternativ A, B och C. Undersök om svarsalternativen är för tvetydiga, om frågan är för svår eller om ni inte har gått igenom materialet under kursen.
• En fråga rekommenderas för granskning eftersom den hamnar i den svåra svårighetskategorin. Du fastslår att det är en svår fråga men du behåller den eftersom den på ett adekvat sätt testar de förväntade resultaten för kursen.