Denne informasjonen gjelder bare for Ultra-emnevisningen.

Ser dette ukjent ut? Gå til «Original»-temaet om spørsmålsanalyse.

Med spørsmålsanalysen får du statistikk om generelle resultater, oppgave-/prøvekvalitet og enkeltspørsmål. Med denne informasjonen kan du gjenkjenne spørsmål som kanskje ikke representerer studentenes prestasjoner på en god måte. Spørsmålsanalysen er for oppgaver eller prøver som har spørsmål. Hvis du vil sjekke kvaliteten på spørsmålene dine og gjøre endringer, kan du kjøre rapporter før alle innsendinger er mottatt.

Bruksområder for spørsmålsanalyser:

  • Forbedre spørsmål for fremtidige oppgaver/prøver, eller juster poeng for nåværende forsøk
  • Diskuter prøveresultater med klassen
  • Få et grunnlag for forbedringsarbeid
  • Forbedre veiledningen i klasserommet

Eksempel:

Når spørsmålsanalysen er over, legger du merke til at de fleste studentene svarer feil på ett bestemt spørsmål. Hvorfor svarer så mange feil?

  • Er ordlyden i spørsmålet forvirrende?
  • Er svaralternativene uklare?
  • Ble studentene riktig forberedt på å svare på dette spørsmålet?
  • Var læremateriellet lett tilgjengelig og tydelig?

Du kan forbedre spørsmålet basert på det du finner ut, slik at det virkelig gjenspeiler hva studentene kan eller ikke kan.


ULTRA: Åpne analysen for en oppgave eller prøve

Du kan kjøre og åpne rapporter for tidligere spørsmålsanalyser fra disse emneområdene:

  • Emneinnhold-siden > oppgave-/prøvemenyen
  • Emneinnhold-siden > Spørsmålsanalyse-fanen (hvis institusjonen din har aktivert analyse)
  • Vurderingsboken – i liste- eller rutenettvisningen

Åpne menyen for en oppgave eller prøve på Emneinnhold-siden, og velg Spørsmålsanalyse. Du kan også velge Analyse-ikonet i navigasjonsfeltet.

Du kan også kjøre en rapport for spørsmålsanalyse fra rutenett- eller listevisningen i vurderingsboken. Åpne menyen for en oppgave eller prøve, og velg Spørsmålsanalyse.

Spørsmålsanalyse-siden

Spørsmålsanalyse-siden er bare tilgjengelig fra navigasjonsfeltet > Analyse > Emneanalyse-siden > Spørsmålsanalyse-fanen.

Du kan kjøre en rapport for oppgaver eller prøver som har innsendinger uten spørsmål, men du får en rapport uten brukbar informasjon.

Du får en melding om at rapporten for spørsmålsanalyse pågår, og en e-post når rapporten er ferdig. Du kan lukke siden for å jobbe andre steder i emnet og komme tilbake senere for å se om rapporten er ferdig.

Statuskolonnen

Alle oppgaver eller prøver i emnet ditt vises med en av disse statusene:

  • Rapport pågår
  • Fullført {dato}
  • Dataene er ikke oppdatert lenger: Det finnes nå flere innsendinger å analyse for oppgaven eller prøven.
  • Ikke nok data: Det finnes ingen innsendinger. Kjør rapport er deaktivert.
  • Ingen spørsmål i oppgaven: Oppgaven eller prøven har ingen spørsmål eller innsendinger. Kjør rapport er deaktivert.
  • Ingen status er oppgitt. Oppgaven eller prøven har spørsmål og innsendinger, men du har ikke kjørt noen rapport. Kjør rapport er aktivert.
  • Feil: Kjør

ULTRA: Oppsummering av oppgaver og prøver

Når du har kjørt en rapport, kan du se overordnet oppsummeringsinformasjon og detaljer om hvert spørsmål.

Det er bare innsendte forsøk som brukes i beregninger.. Når forsøk pågår, ignoreres de inntil de er sendt inn og du kjører analyserapporten på nytt. Hvis det gis null poeng automatisk for sene innleveringer, tas ikke dette med i beregninger.

  1. Oppsummering av statistikken for enkeltoppgaver/-prøver:
    • Gjennomsnittlig poengsum: Poengsummen som vises, er den gjennomsnittlige poengsummen som er rapportert for oppgaven eller prøven i vurderingsboken. Den gjennomsnittlige poengsummen kan endres hvis flere forsøk sendes inn og får vurdering.
    • Mulige spørsmål: Det totale antallet spørsmål i oppgaven eller prøven.
    • Fullførte forsøk: Antall innsendte oppgaver/prøver.
    • Gjennomsnittlig tid brukt: Hvor lang tid som i snitt er brukt for hvert innsendte forsøk.
  2. Hvis du vil endre spørsmålene, kan du kjøre en rapport på nytt eller endre oppgaven/prøven.
  3. Du kan bruke diagrammene til å filtrere spørsmålstabellen. Du kan velge elementer i begge diagrammene for å snevre inn søket. Hvis du ikke velger noe, vises alle spørsmålene i tabellen nederst på siden.
    • Diskriminering: Viser hvor godt spørsmål skiller mellom studenter som er godt kjent med fagmateriellet, og de som ikke er det.
      • Viser hvor mange spørsmål som faller inn under disse kategoriene:
        • Bra (over 0,3)
        • Middels (mellom 0,1 og 0,3)
        • Dårlig (under 0,1)
        • Kan ikke beregnes: Vanskeligheten for spørsmålet er 100 %, eller alle studentene fikk samme poengsum.
      • Spørsmål med diskrimineringsverdier i kategoriene Bra og Middels differensierer mellom studenter med mye og lite kunnskap.
      • Du bør gå gjennom spørsmål i Dårlig-kategorien.
    • Vanskelighetsgrad: Hvor mange studenter i prosent som svarte riktig på spørsmålene
      • Viser hvor mange spørsmål som faller inn under disse kategoriene:
        • Enkelt (over 80 %)
        • Middels (mellom 30 % og 80 %)
        • Vanskelig (under 30 %)
      • Du bør gå gjennom spørsmål i kategoriene Enkelt og Vanskelig.
  4. Velg en overskrift for å sortere spørsmålene. Du kan for eksempel sortere Gjennomgang-kolonnen, så spørsmål som bør gjennomgås, vises først.
  5. Fjern filtrene: Fjern filtrene du valgte i diagrammene, og vis alle spørsmål i tabellen.
  6. Last ned rapporten for spørsmålsanalysen

ULTRA: Spørsmålsdelen

Spørsmålstabellen inneholder analysestatistikk for hvert av spørsmålene i oppgaven/prøven. Når du har filtrert spørsmålstabellen med diagrammene, kan du se og sortere resultatene.

Generelt sett faller gode spørsmål inn under disse kategoriene:

  • Middels (30 % til 80 %) vanskelighetsgrad
  • Diskrimineringsverdiene Bra eller Middels (mer enn 0,1)

Generelt sett faller spørsmål du bør gå gjennom, inn under disse kategoriene: De kan være av dårlig kvalitet eller ha fått feil poengsum.

  • Lett ( > 80 %) eller Vanskelig ( < 30 %) vanskelighetsgrad
  • Dårlig ( < 0,1) diskrimineringsverdi

Husk: Hvis du ikke velger noe, vises alle spørsmålene i tabellen nederst på siden.

Du kan undersøke spesifikke spørsmål ved å velge tittelen og gå gjennom spørsmålsdetaljene.

Du ser informasjon om hvert av spørsmålene i tabellen:

  • Trenger gjennomgang: Utløses når diskrimineringsverdien er mindre enn 0,1 eller når vanskelighetsgraden enten er over 80 % (spørsmålet var for lett) eller under 30 % (spørsmålet var for vanskelig). Gå gjennom spørsmålet for å finne ut om det må gjøres endringer.
  • Spørsmål endret: Her ser du Ja hvis du kjører en rapport, endrer deler av spørsmålet og så kjører rapporten på nytt. Ja vises også hvis du kopierte spørsmålet fra en annen oppgave/prøve da du opprettet denne oppgaven/prøven.

    Hvis du ser Ja i Spørsmål endret-kolonnen for et spørsmål, videreføres ikke dette når du arkiverer og gjenoppretter emnet.

  • Diskriminering: Viser hvor godt et spørsmål skiller mellom studenter som er godt kjent med fagmateriellet, og de som ikke er det. Et spørsmål er en god diskriminator når studenter som svarer riktig på spørsmålet, også gjør det bra på prøven eller oppgaven. Verdiene kan variere fra -1,0 til +1,0. Spørsmål merkes for gjennomgang hvis diskrimineringsverdien er mindre enn 0,1 eller er negativ. Diskrimineringsverdier kan ikke beregnes når spørsmålets vanskelighetsgrad er 100 % eller alle studentene får den samme poengsummen på et spørsmål.

    Diskrimineringsverdiene beregnes med Pearsons korrelasjonskoeffisient. X representerer hver students poengsum for et spørsmål, og Y representerer hver students poengsum for oppgaven/prøven.

    Disse variablene er henholdsvis standardpoengsum, gjennomsnittet for utvalget og standardavvik for utvalget:

  • Vanskelighetsgrad: Prosentverdien av studentene som svarte riktig på spørsmålet. Vanskelighetsgradens prosentverdi er oppført sammen med den tilhørende kategorien: Enkelt (mer enn 80 %), Middels (30 % til 80 %) og Vanskelig (mindre enn 30 %). Vanskelighetsskalaen går fra 0 % til 100 %. En høy prosentverdi betyr at spørsmålet var lett. Spørsmål i kategoriene Enkelt og Vanskelig merkes for gjennomgang.

    Vanskelighetsgrader som er litt forbi halvveis mellom tilfeldige og perfekte poengsummer, fungerer bedre til å skille mellom studenter som er godt kjent med materialet i prøven, og de som ikke er det. Høye vanskelighetsgrader sikrer ikke høye diskrimineringsverdier.

  • Forsøk med tildelt vurdering: Antall spørsmålsforsøk med ferdig vurdering. Et høyere antall vurderte forsøk gir mer pålitelige beregnet statistikk.
  • Gjennomsnittlig poengsum: Poengsummen som vises, er den gjennomsnittlige poengsummen som er rapportert for oppgaven eller prøven i vurderingsboken. Den gjennomsnittlige poengsummen kan endres når alle forsøk har fått vurdering.

ULTRA: Se detaljer for enkeltspørsmål

Du kan undersøke spørsmål som er merket for gjennomgang, og se studentenes prestasjoner. Velg en spørsmålstittel i spørsmålstabellen for å se oppsummeringen for det aktuelle spørsmålet.

  1. Når du har åpnet et spørsmål, kan du bruke menyen i spørsmålstittelen til å gå til et hvilket som helst spørsmål i oppgaven/prøven. Du kan gå til neste eller forrige spørsmål til høyre/venstre på siden.
  2. Statistikk for spørsmålet vises i sammendragstabellen.
  3. Velg Rediger oppgaven/prøven for å åpne siden for oppgaven/prøven og gjøre endringer.
  4. Du ser spørsmålsteksten og svaralternativene. Du kan se hvor mange studenter som valgte hvert svaralternativ, samt hvor mange prosent av studentene som svarte riktig. For et Pare sammen-spørsmål ser du for eksempel hvor mange prosent av studentene som fant de riktige parene. For Langsvar-spørsmål vises bare spørsmålsteksten.

ULTRA: Flere forsøk, spørsmålsoverstyringer og spørsmålsredigeringer

Analysen tar hånd om noen vanlige scenarioer på denne måten:

  • Når en student tar en oppgave/prøve flere ganger, blir det siste innsendte forsøket brukt i analysen. Når studenten sender inn et nytt forsøk, blir det nye forsøket brukt for senere analyser.
  • Overstyringer i vurderingsboken påvirker ikke analysedataene, fordi analysen generer statistiske data for spørsmål basert på fullførte studentforsøk.
  • Når du gjør endringer i et spørsmål eller vurderer spørsmål manuelt, må du kjøre analysen på nytt for å se om endringene påvirker dataene.

ULTRA: Eksempler

Med spørsmålsanalyser kan du få hjelp til å forbedre spørsmålene til neste gang du gir ut prøven/oppgaven. Du kan også fikse misvisende eller tvetydige spørsmål i nåværende oppgaver/prøver.

  • I et flervalgsspørsmål valgte like mange studenter A, B og C. Undersøk om svaralternativene var uklare, om spørsmålet var for vanskelig eller om materialet ikke var dekket.
  • Et spørsmål anbefales for gjennomgang fordi det faller under kategorien Vanskelig. Du avgjør at spørsmålet er vanskelig, men beholder det fordi det er nødvendig for å vurdere emnemålene tilstrekkelig.
  • Et flervalgsspørsmål er merket for gjennomgang. Flere av Øverst 25 %-studentene valgte svar B selv om svar A var det riktige svaret. Du skjønner at du ikke valgte det riktige svaret da du laget spørsmålet. Du redigerer oppgave-/prøvespørsmålet, så får det automatisk ny vurdering.

ULTRA: Last ned rapporten for spørsmålsanalysen

Du kan laste ned en rapport du kan analysere eller beholde til senere bruk. Den nedlastede filen inneholder kolonner i analysen i emnet ditt, foruten informasjon om standardavviket og standard feilkolonner. Rapporter blir værende i systemet i 14 dager.

Velg nedlastingsikonet over spørsmålstabellen. Filformatet som brukes som standard, er XLS. Du kan også åpne filen i CSV-format.