Elementanalyse

Med elementanalyser får du statistikk om generelle resultater, prøvekvalitet og enkeltspørsmål. Med denne informasjonen kan du gjenkjenne spørsmål som kanskje ikke representerer studentenes prestasjoner på en god måte.

Bruksområder for elementanalyser:

Forbedre spørsmål for fremtidig administrering av prøver eller for å justere studiepoeng for nåværende forsøk
Diskuter prøveresultater med klassen
Få et grunnlag for forbedringsarbeid
Forbedre veiledningen i klasserommet

Eksempel:

Når elementanalysen er over, legger du merke til at de fleste studentene svarer feil på ett bestemt spørsmål. Hvorfor svarer så mange feil?

Er ordlyden i spørsmålet forvirrende?
Er svaralternativene uklare?
Ble studentene riktig forberedt på å svare på dette spørsmålet?
Var læremateriellet lett tilgjengelig og tydelig?

Du kan forbedre prøvespørsmålet basert på det du finner ut, slik at det virkelig gjenspeiler hva studentene kan eller ikke kan.

Kjør elementanalyse av prøver

Du kan kjøre en elementanalyse for distribuerte prøver med innsendte forsøk, men ikke for spørreundersøkelser.

Prøven kan omfatte ett eller flere forsøk, spørsmålssett, spørsmålstyper som vurderes automatisk, og spørsmål som krever manuell vurdering. For prøver med manuelt vurderte spørsmål som du ikke har gitt vurderinger, genereres det bare statistikk for spørsmålene som har fått en poengsum. Etter at du har vurdert spørsmål manuelt, kan du kjøre analysen på nytt. Statistikk for manuelt vurderte spørsmål genereres, og statistikk for prøvesammendraget oppdateres.

Du får best resultat ved å kjøre en analyse for en prøve etter at studentene har sendt inn alle forsøk, og du har vurdert alle spørsmål med manuell vurdering. Vær oppmerksom på at statistikken påvirkes av antall prøveforsøk, typen studenter som tok prøven, og tilfeldige feil.

Roller med vurderingsrettigheter – undervisere, sensorer og undervisningsassistenter – kan åpne elementanalyser på tre steder i arbeidsflyten for prøven.
- En prøve som er distribuert i et innholdsområde
- En distribuert prøve som er oppført på Prøver-siden
- En prøves vurderingssenterkolonne.
Åpne menyen for prøven, og velg Elementanalyse.
Velg en prøve i Velg prøve-menyen. Bare distribuerte prøver er oppført i listen.
Velg Kjør.
Velg lenken for den nye rapporten i Tilgjengelig analyse-delen, eller velg Vis analyse i statuskvitteringen øverst på siden.

Du kan åpne analyser som er kjørt tidligere, i Tilgjengelige analyser-delen.

Prøvesammendrag på Elementanalyse-siden

Prøvesammendrag gir data om prøven som et hele.

Rediger prøve gir tilgang til Prøvelerretet der du kan gjøre endringer i prøven.
Se prøvestatistikk:
- Mulige poeng: Total poengsum for prøven
- Mulige spørsmål: Totalt antall spørsmål i prøven
- Pågående forsøk: Antall studenter som tar prøven for øyeblikket og ikke har sendt den inn ennå.
- Fullførte forsøk: Antall innsendte prøver.
- Gjennomsnittlig poengsum: Poengsummer angitt med en stjerne betyr at noen av forsøkene ikke er vurdert, og at den gjennomsnittlige poengsummen kan bli endret når alle forsøkene er vurdert. Poengsummen som vises, er den gjennomsnittlige poengsummen som er rapportert for prøven i vurderingssenteret.
- Gjennomsnittlig tid: Hvor lang tid som i snitt er brukt for hvert innsendte forsøk.
- Diskriminering: Viser antall spørsmål som faller inn under kategoriene for Bra (mer enn 0,3), Middels (mellom 0,1 and 0,3) og Dårlig (mindre enn 0,1). En diskrimineringsverdi oppføres som Kan ikke beregnes når spørsmålets vanskelighetsgrad er 100 % eller alle studentene får den samme poengsummen på et spørsmål. Spørsmål med diskrimineringsverdier i kategoriene Bra og Middels er bedre på å differensiere mellom studenter med høyere eller lavere kunnskapsnivå. Du bør gå gjennom spørsmål i Dårlig-kategorien.
- Vanskelighetsgrad: Viser antall spørsmål som faller inn under kategoriene God (mer enn 80 %), Middels (mellom 30 % og 80 %) og Vanskelig (mindre enn 30 %). Vanskelighetsgraden er prosentverdien av studentene som svarte riktig på spørsmålet. Det anbefales at du går gjennom spørsmålene i Lett- eller Vanskelig-kategoriene. De er markert med en rød sirkel.

Bare vurderte forsøk kan brukes i beregninger av elementanalyser. Når forsøk pågår, ignoreres de inntil de er sendt inn og du kjører analyserapporten på nytt.

Tabellen for spørsmålsstatistikk på Elementanalyse-siden

Tabellen for spørsmålsstatistikk inneholder statistikk for elementanalyser for alle spørsmål i prøven. Spørsmål det anbefales at du går gjennom, er merket med røde sirkler, så det er lett å se spørsmål som kanskje bør revideres.

Generelt sett faller gode spørsmål inn under disse kategoriene:

Middels (30 % til 80 %) vanskelighetsgrad
Diskrimineringsverdiene Bra eller Middels (mer enn 0,1)

Generelt sett faller spørsmål du bør gå gjennom, inn under disse kategoriene: De kan være av dårlig kvalitet eller ha fått feil poengsum.

Lett ( > 80 %) eller Vanskelig ( < 30 %) vanskelighetsgrad
Dårlig ( < 0,1) diskrimineringsverdi

Filtrer spørsmålstabellen etter Spørsmålstype, Diskriminering og Vanskelighetsgrad.
For å undersøke et spesifikt spørsmål kan du velge tittelen og gå gjennom Spørsmålsdetaljer-siden.
Statistikk om alle spørsmål vises i tabellen:
- Diskriminering: Viser hvor godt et spørsmål skiller mellom studenter som er godt kjent med fagmateriellet, og de som ikke er det. Et spørsmål er en god diskriminator når studenter som svarer riktig på spørsmålet, også gjør det bra på prøven. Verdier kan variere fra -1.0 til +1,0. Spørsmål merkes for gjennomgang hvis diskrimineringsverdien er mindre enn 0,1 eller er negativ. Diskrimineringsverdier kan ikke beregnes når spørsmålets vanskelighetsgrad er 100 % eller alle studentene får den samme poengsummen på et spørsmål.
  Diskrimineringsverdiene beregnes med Pearsons korrelasjonskoeffisient. X representerer hver students poengsum på et spørsmål, og Y representerer hver students poengsum på prøven.
  
  Disse variablene er henholdsvis standardpoengsum, gjennomsnittet for utvalget og standardavvik for utvalget:
- Vanskelighetsgrad: Prosentverdien av studentene som svarte riktig på spørsmålet. Vanskelighetsgradens prosentverdi er oppført sammen med den tilhørende kategorien: Enkelt (mer enn 80 %), Middels (30 % til 80 %) og Vanskelig (mindre enn 30 %). Verdiene for vanskelighetsgradene kan variere fra 0 % til 100 %, der en høy prosentverdi viser at spørsmålet var lett. Spørsmål i kategoriene Enkelt og Vanskelig merkes for gjennomgang.
  Vanskelighetsgrader som er litt forbi halvveis mellom tilfeldige og perfekte poengsummer, fungerer bedre til å skille mellom studenter som er godt kjent med materialet i prøven, og de som ikke er det. Høye vanskelighetsgrader sikrer ikke høye diskrimineringsverdier.
- Forsøk med tildelt vurdering: Antall spørsmålsforsøk med ferdig vurdering. Et høyere antall vurderte forsøk gir mer pålitelige beregnet statistikk.
- Gjennomsnittlig poengsum: Poengsummer angitt med en stjerne betyr at noen av forsøkene ikke er vurdert, og at den gjennomsnittlige poengsummen kan bli endret når alle forsøkene er vurdert. Poengsummen som vises, er den gjennomsnittlige poengsummen som er rapportert for prøven i vurderingssenteret.
- Standardavvik: Et mål på hvor mye poengsummene avviker fra gjennomsnittet. Hvis poengsummene er tett gruppert omkring gjennomsnittet, er standardavviket lite. Hvis dataene er spredt med verdier langt unna gjennomsnittet, er standardavviket større.
- Standardfeil: Et anslag over hvor mye av studentens variasjon i poengsummer som skyldes tilfeldigheter. Jo mindre standardfeil i målinger, desto mer nøyaktig er prøvespørsmålenes målinger.

Se spørsmålsdetaljer for enkeltspørsmål

Du kan undersøke spørsmål som er merket for gjennomgang, og se studentenes prestasjoner.

Rull til tabellen for spørsmålsstatistikk på Elementanalyse-siden. Velg en lenket spørsmålstittel for å åpne Spørsmåldetaljer-siden.

Bruk Forrige side- og Neste side-ikonene for å bla gjennom spørsmålene. Du kan også hoppe til det første og det siste spørsmålet.
Velg Rediger prøve for å åpne prøvelerretet. Der kan du gjøre endringer i prøven.
Statistikk for spørsmålet vises i sammendragstabellen. Du kan gå gjennom alle statistikkenes beskrivelser i den forrige delen.
Du ser spørsmålsteksten og svaralternativene. Informasjon varierer etter spørsmålstype:

Informasjon om elementanalyse for spørsmålstyper
Informasjonstype	Spørsmålstyper
Antall studenter som har valgt hvert svaralternativ -OG- fordeling av svarene blant klassekvartilene	Flervalg med ett riktig svar Flervalg med flere riktige svar Sant/usant Enten/eller Graderingsskala
Antall studenter som valgte svaralternativet	Pare sammen Rekkefølge Skriv inn flere manglende ord
Antall studenter som svarte riktig, feil eller hoppet over spørsmålet	Beregn Fyll inn tall Skriv inn ett manglende ord Hot Spot-område Hva er spørsmålet
Bare spørsmålstekst	Langsvar Filopplasting Kortsvar Nedtrekk – omfatter også svarene studentene kunne velge mellom

Tegnforklaring

Tegn vises ved siden av spørsmålene for å gjøre deg oppmerksom på mulige problemer.

Gjennomgang anbefales: Utløses når diskrimineringsverdien er mindre enn 0,1 Vises også når vanskelighetsgraden enten er mer enn 80 % (spørsmålet var for lett) eller mindre enn 30 % (spørsmålet var for vanskelig). Gå gjennom spørsmålet for å finne ut om det må gjøres endringer.
Spørsmålet ble kanskje endret etter at det ble distribuert: Viser at en del av spørsmålet ble endret etter at prøven ble distribuert. En endring kan bety at dataene for det aktuelle spørsmålet ikke er pålitelige. Forsøk som ble sendt inn etter at spørsmålet ble endret, kan ha dratt fordeler av endringen.
Denne indikatoren vises ikke for gjenopprettede emner.
Ikke alle innsendinger har fått vurdering: Vises for prøver som inneholder spørsmål som må vurderes manuelt, for eksempel Langsvar-spørsmål. Denne indikatoren vises for prøver som inneholder et Langsvar-spørsmål med 50 forsøk, helt til du har vurdert alle de 50 forsøkene. Analysen bruker bare forsøkene du har vurdert når du kjører rapporten.
(SS) og (TB): Viser at spørsmålene kom fra et spørsmålssett eller en tilfeldig blokk. På grunn av tilfeldig spørsmålslevering kan noen spørsmål ha flere forsøk enn andre.

Flere forsøk, spørsmålsoverstyringer og spørsmålsredigeringer

Analysen håndterer flere forsøk, overstyringer og andre vanlige situasjoner på de følgende måtene:

Når en student tar en prøve flere ganger, blir det siste innsendte forsøket brukt i analysen. For en prøve med tre forsøk fullfører Student A for eksempel to forsøk og er i gang med et tredje. Det pågående forsøket til student A telles med i nummeret i listen for Pågående forsøk. Ingen av de tidligere forsøkene til Student A tas med i dataene for den aktuelle analysen. Så fort Student A sender inn det tredje forsøket sitt, blir det tatt med i påfølgende analyser.
Overstyringer i vurderingssenteret påvirker ikke analysedataene, fordi analysen generer statistiske data for spørsmål basert på fullførte studentforsøk.
Manuelt vurderte spørsmål eller endringer i spørsmålsteksten, riktige svaralternativer, delvis studiepoengtildeling eller poengsummer oppdateres ikke automatisk i analyserapporten. Kjør analysen på nytt for å se om endringene påvirker dataene.

Eksempler

Med Elementanalyse kan du få hjelp til å forbedre spørsmål for fremtidige prøveadministreringer. Du kan også reparere misvisende eller tvetydige spørsmål i en nåværende prøve.

Et flervalgsspørsmål er merket for gjennomgang. Flere av Øverst 25 %-studentene valgte svar B selv om svar A var det riktige svaret. Du skjønner at du ikke valgte det riktige svaret da du laget spørsmålet. Du redigerer prøvespørsmålet, og prøven blir automatisk vurdert på nytt.
I et flervalgsspørsmål med ett mulig svar valgte et likt antall studenter A, B og C. Undersøk om svaralternativene var uklare, om spørsmålet var for vanskelig eller om materialet ikke var dekket.
Et spørsmål anbefales for gjennomgang fordi det faller under kategorien Vanskelig. Du avgjør at spørsmålet er vanskelig, men beholder det fordi det er nødvendig for å teste emnemålene tilstrekkelig.

Språk