Wat zijn kwalitatieve collegiale beoordelingen?

Een collegiale beoordeling is een veelgebruikt hulpmiddel waarmee studenten het werk van hun medestudenten kunnen beoordelen door middel van op criteria gebaseerde evaluatie. Het is eenvoudig te gebruiken voor instructeurs en studenten.

Waarom gebruiken we kwalitatieve collegiale beoordelingen?

  • Studenten kunnen constructieve feedback geven en ontvangen.
  • Het versterkt en brengt het begrip van het onderwerpmateriaal in de praktijk.
  • Het bevordert analytische en didactische vaardigheden van studenten.
  • Het stimuleert de ontwikkeling van kritisch denken van studenten.
  • Het geeft studenten ervaring in het feedback geven op anderen op een professionele manier.
  • Het maakt het mogelijk om de analyse- en communicatievaardigheden van studenten te meten.
  • Het helpt bij het verdelen van de werkbelasting.
  • Het zorgt ervoor dat studenten feedback ontvangen van verschillende personen en verschillende standpunten.


Voorbeeld van vraag en criterium

Vragen bieden zowel de structuur als de inhoud van de beoordeling. Het kunnen zeer eenvoudige vragen zijn ("Wie is de president van Amerika?") of moeilijke vragen ("Beschrijf de hoofdoorzaak van de val van het Romeinse Rijk.").

De criteria van een vraag vormen een manier om de antwoorden op die vraag te evalueren. Het aantal criteria kan variëren van één ("De vraag is beantwoord =4") tot een groot aantal:

  • Zorgt het antwoord ervoor dat de materie in een bredere context van het onderwerp wordt geplaatst?
  • Is het antwoord goed geordend en is de layout overzichtelijk?
  • Is het antwoord zorgvuldig nagelezen? Geen ernstige grammaticale fouten, spelfouten of typografische fouten gevonden?

Er zijn ook rubrieken beschikbaar om het evaluatieproces voor studenten te vergemakkelijken en je als cursusleider te helpen de prestaties van studenten beter te volgen. Je kunt beoordelen met een rubriek en je studenten kunnen zien welke rubriek je kunt gebruiken voor het beoordelen.

Collegiale beoordelaars kunnen rubrieken bekijken om hun feedback te sturen, maar alleen jij als cursusleider kunt rubrieken gebruiken voor beoordeling.


Een collegiale beoordeling maken

Je kunt een kwalitatieve collegiale beoordeling maken voor opdrachten in de Ultra-cursusweergave.

The Assignment settings panel is open with 1) the "Peer review" checkbox selected and highlighted, 2) the "Select peer settings" option selected and highlighted, 3) the Peer review settings panel opened with the "Reviews per student", "Assessment due date", and "Peer review due date" options on screen, and 4) the Peer review section displayed with the updated information.
  1. Selecteer op de pagina Cursusinhoud het plusteken op de plek waar je een opdracht wilt toevoegen. Selecteer Maken in het menu om het deelvenster Item maken te openen en selecteer vervolgens Opdracht. De pagina Nieuwe opdracht wordt geopend.
  2. Selecteer collegiale beoordeling in het deelvenster Opdrachtinstellingen . De selectie heeft automatisch invloed op andere velden, zoals het aantal toegestane pogingen, om te voldoen aan de instellingen die nodig zijn om een succesvolle collegiale beoordeling te garanderen.
  3. Selecteer Instellingen voor collegiale beoordelingen onder Collegiale beoordeling. In het uitgevouwen deelvenster kun je het aantal beoordelingen per student, de einddatum van de beoordeling (voor het indienen van de opdracht) en de einddatum van de collegiale beoordeling (voor voltooiing van de collegiale beoordeling) instellen.
  4. Selecteer Opslaan.
  5. De sectie Collegiale beoordeling in de Opdrachtinstellingen wordt bijgewerkt om je selecties weer te geven voor het aantal beoordelaars en de einddatum voor collegiale beoordelingen. 
    The Assignment settings panel is open with the "Due date", "Peer review", and "Grading rubric" options displayed.
  6. Je kunt andere instellingen aan je opdracht toevoegen, zoals Beoordelingsrubriek  om de beoordeling te voltooien.
  7. Sluit het deelvenster Opdrachtinstellingen en blijf inhoud toevoegen aan je opdracht en instructies voor je studenten.
  8. Maak de opdracht beschikbaar voor studenten als je klaar bent.

Als je collegiale beoordelingen binnen een groep wilt toewijzen, kun je meerdere opdrachten instellen waarbij Collegiale beoordeling is ingeschakeld. Je kunt ook de voorwaardelijke beschikbaarheid instellen op groepslidmaatschap. Op deze manier zullen toegewezen collegiale beoordelaars altijd binnen de groep van een student vallen.

Opdrachten met collegiale beoordelingen hebben één tekstprompt. Zorg ervoor dat je alle onderwerpen en vragen opneemt waarop studenten moeten reageren en feedback moeten ontvangen in één prompt.

Meer informatie over het bijvoegen van bestanden


Tijdlijn voor kwalitatieve collegiale beoordelingen

  • Maken en implementeren: stel de einddatums voor inzending en beoordeling in, het aantal vereiste beoordelingen en maak de opdracht zichtbaar voor studenten
  • Indieningsperiode: de tijd vóór de einddatum van de inzending waarin van studenten wordt verwacht dat ze de opdracht indienen.
  • Collegiale beoordeling: na de einddatum van de inzending en vóór de einddatum van de collegiale beoordeling, waarin van studenten wordt verwacht dat ze het werk van medestudenten beoordelen en hen feedback geven.
  • Taken bijhouden: cursusleiders kunnen inzendingen volgen en de voortgang bekijken in de cijferlijst.
  • Beoordeling: Na de einddatum van de collegiale beoordeling beoordelen cursusleiders de activiteit op basis van zowel de inzendingen van de studenten als de beoordelingen van medestudenten.

Indieningsperiode

Tijdens de indieningsperiode kunnen je studenten:

  • De instructies van de opdracht bekijken.
  • Een rubriek bekijken die optioneel aan een opdracht is gekoppeld.
  • Een conceptinzending starten en
  • Een poging tot indiening voltooien.

Net als bij elke andere opdracht kunnen studenten rechtstreeks in de opdracht schrijven en bestanden bijvoegen.

Er kan slechts één voltooide poging worden ingediend. Dit om te voorkomen dat een student ziet wat andere studenten hebben geschreven en vervolgens de opdracht opnieuw indient. Als een student een probleem heeft met het indienen van een poging, kun je haar poging verwijderen, zodat de student opnieuw kan indienen.

Distributie en willekeurige selectie van inzendingen aan medestudenten

Inzendingen worden automatisch en willekeurig aan studenten verdeeld. Studenten worden niet vooraf toegewezen aan medestudenten, maar blijven in een pool van potentiële opdrachten. Als een student ervoor kiest om een nieuwe collegiale beoordeling te starten, wordt de inzending van een andere student willekeurig uit de pool getrokken. Deze methode biedt meer flexibiliteit voor het accepteren en verwerken van late inzendingen en collegiale beoordelingen.

De identiteit van medestudenten is niet zichtbaar voor studenten, maar wel voor jou als cursusleider.

Het begin van de periode voor de collegiale beoordeling 

De beoordelingsperiode begint automatisch zodra de einddatum van de inzending is verstreken. Op dat moment kunnen studenten terugkeren naar de opdracht en beginnen met hun beoordelingen. Voordat de beoordelingsperiode begint, worden studenten die hun opdrachten hebben ingediend, geïnformeerd wanneer ze met hun collegiale beoordelingen kunnen beginnen.

The Assigned Peer Reviews panel is open. The "Start peer reviews" and "View submission" buttons are displayed.

Vanwege de manier waarop beoordelingen worden toegewezen en gedistribueerd, kan de beoordelingsperiode pas beginnen als er een minimum aantal inzendingen is.

Op de einddatum is het minimum aantal inzendingen voor de beoordelingsperiode dat moet beginnen het toegewezen aantal beoordelingen dat door jou is ingesteld plus één. Als je bijvoorbeeld 3 beoordelingen per student instelt, moeten er 4 inzendingen worden ingeleverd voordat de beoordelingsperiode kan beginnen. Dit zorgt ervoor dat er voldoende inzendingen zijn voor de studenten die hun beoordelingen als eerste starten, om al hun vereiste beoordelingen in één keer te voltooien als ze ervoor kiezen om dit te doen.

Als de einddatum van de inzending is verstreken en er niet genoeg inzendingen zijn om de beoordelingsperiode te starten, krijg je een melding op de pagina Opdrachtinstellingen.

Optioneel kun je de oorspronkelijke instellingen wijzigen en het aantal vereiste beoordelingen verminderen of de einddatum van de inzending aanpassen.

Namen van medestudenten zijn altijd voor elkaar verborgen. Als je wilt dat je studenten weten wie ze evalueren, kun je ze vragen hun namen toe te voegen aan hun betreffende inzendingen. Namen van studenten kunnen voor jou niet verborgen worden.

Beoordelingen worden pas weergegeven aan de student als het cijfer voor opdracht van de collegiale beoordeling is gepubliceerd.

Je kunt geen originaliteitscontrole gebruiken met SafeAssign voor opdrachten wanneer collegiale beoordelingen ingeschakeld zijn.

An assignment's Content and Settings page is open with 1) the "Peer reviews were not started because there were not enough submissions. Please review your assignment settings" message highlighted and 2) the "Edit settings" option selected and highlighted.

Late inzendingen en beoordelingen

Net als bij andere opdrachten kunnen studenten werk te laat indienen. Hun laattijdigheid wordt aangegeven in de cijferlijst en beoordelingsworkflows, tenzij er een maatregel voor de einddatum op hen van toepassing is.

De late inzending van een student gaat naar de beschikbare pool op het moment van indiening en de medestudenten die beoordelingen starten na de inzending, kunnen deze ophalen om te evalueren. Hoewel maatregelen voor de einddatum worden afgehandeld, zijn uitzonderingen voor individuele studenten op dit moment niet toegestaan voor opdrachten waarvoor collegiale beoordelingen zijn ingeschakeld vanwege de mogelijke impact die dit zou hebben op de beoordelingsperiode voor andere studenten.

Late inzenders en beoordelaars blijven deel uitmaken van het proces als actieve deelnemers en jij als cursusleider kunt altijd zien wie te laat is en je kunt de voortgang van studenten naar voltooiing volgen.

In het geval dat een student zeer laat indient en alle andere studenten hun collegiale beoordelingen al hebben voltooid, is het mogelijk dat deze zeer late student geen beoordelingen van haar medestudenten ontvangt, maar ze kan nog steeds collegiale beoordelingen uitvoeren voor andere studenten.

Als er geen inzendingen meer beschikbaar zijn in de pool wanneer deze late student haar beoordelingen start, worden andere inzendingen van studenten aan haar toegewezen, waardoor sommige studenten extra collegiale beoordelingen ontvangen boven het toegewezen aantal beoordelingen. Deze extra beoordelingen worden standaard uit het zicht van de ontvangende medestudenten verborgen, zodat ze niet in de war raken en niet het gevoel hebben dat ze 'over-geëvalueerd' zijn.

Er kunnen omstandigheden zijn waarin een student die beoordelingen op tijd heeft ingediend en voltooid, niet het volledige aantal collegiale beoordelingen ontvangt op de einddatum van de beoordeling. Dit betekent dat er lopende beoordelingen zijn die niet door andere studenten zijn voltooid.

Volgen van inzendingen en statusbeoordeling

Op de pagina Inzending voor de opdracht is het mogelijk om de status van alle studenten te bekijken, of ze hebben ingediend, hoeveel collegiale beoordelingen ze hebben voltooid en of ze te laat waren met de inzending of hun beoordelingen.

Beoordelingen worden pas weergegeven aan de student als het cijfer voor opdracht van de collegiale beoordeling is gepubliceerd.

The Submissions page is open with the submissions list on screen and all student's statuses (whether they’ve submitted, the number of peer reviews they’ve completed, and whether they were late with either the submission or their reviews).

Je studenten en jij kunnen via de activiteitenstream relevante wijzigingen in inzendingen bekijken. Je ontvangt meldingen als er nieuwe beoordelingen zijn, en je studenten ontvangen meldingen wanneer hun beoordelingen zijn beoordeeld.

Cijfer geven

In de beoordelingsworkflow kun jij of een toegewezen beoordelaar de oorspronkelijke opdrachtinstructies, de inzending van een student, de beoordelingen die deze student aan haar medestudent heeft gegeven en de feedback die deze student van haar medestudenten heeft ontvangen, bekijken. Hier kun je feedback geven aan de student en een score geven of een rubriek gebruiken om te beoordelen. Net als bij elke andere opdracht kun je het inline ingediende document bekijken en annoteren.

Je kunt elke collegiale beoordeling die je niet ongepast vindt, censureren door op het pictogram Weergeven/verbergen ernaast te klikken. Jij en elke andere goedgekeurde beoordelaar kan altijd alle feedback zien die wordt gegeven. Als een student extra feedback heeft ontvangen van late beoordelaar bovenop de toegewezen taak van beoordelingen, worden deze beoordelingen standaard verborgen. Je kunt ervoor kiezen om ze aan de beoordeelde student te laten zien met de functie Weergeven/verbergen.

Opdrachten met collegiale beoordelingen ondersteunen één cijfer en rubriek voor de inzending van een student en collegiale beoordelingen. Als je dit kiest, kun je verschillende scores voor elk deel van het proces aangeven in de feedback.

An example student's grading panel is open with 1) the "Reviews by students" option displayed, 2) the feedback icon selected, and 3) the text box for adding feedback and the feedbacks from peers on screen.

Beoordelingen worden pas weergegeven aan de student als het cijfer voor opdracht van de collegiale beoordeling is gepubliceerd.


Handige functies

Bewerken via batch

Je kunt collegiale beoordelingen bewerken in batches. Pas de einddatum van afzonderlijke items tegelijkertijd aan door de datum in een bepaalde batch uit te stellen of te vervroegen.

Ga naar Cursusinhoud -> Het drie puntjes-menu -> Bewerken via batch

The Course Content panel is open with three dots menu highlighted and the "Batch Edit" option selected.

Inzending koppelen

Je kunt de inzendingen die door je studenten zijn beoordeeld, openen vanuit het beoordelingsvenster van een bepaalde student. Je kunt gemakkelijk een bepaalde inzending selecteren en de beoordeling van een student in context beoordelen.

An example review by student is open with a link highlighted. The anchor text from the link is a student's name.

Agendalinks

Je studenten hebben directe toegang tot de inzendingen die beschikbaar zijn voor evaluatie vanuit de weergave Einddatum of Agenda. Zo kunnen ze eenvoudiger actie ondernemen wanneer ze hun openstaande taken controleren.

The "Due Date" and "Calendar" views from the Student's view is open with two available submissions highlighted.

Opdrachten door medestudenten voor uitgeschakelde studenten en verwijderde pogingen

Wanneer een cursusleider een inzending van een student met evaluaties door medestudent verwijdert, wordt er een waarschuwing weergegeven. Deze beoordeling gaat dan verloren. De lijst met betrokken studenten wordt weergegeven.

Als je evaluaties van medestudent of evaluaties door medestudent bekijkt, is de inzending van een uitgeschakelde of niet-beschikbare student nog steeds beschikbaar.

Als een student een inzending van een student heeft gestart of voltooid die niet meer beschikbaar is (omdat deze deel uit maakt van een uitgeschakelde of niet-beschikbare student), zien ze dat ze er geen toegang meer toe hebben. De student kan een andere beoordeling starten als ze dit willen of vragen door de cursusleider. Een cursusleider kan zien wanneer een student een beoordeling heeft voltooid die niet meer beschikbaar is. Dit geeft de student de mogelijkheid te laten weten dat ze een nieuwe beoordeling niet meer hoeven te maken, als dat de voorkeur heeft.

The Assignment panel from a Student's view is open with 1) a "One or more submissions for your peer reviews are no longer available" warning message displayed and highlighted, and 2) a "This submission is no longer available" warning message highlighted.