Deze informatie is alleen van toepassing op de Ultra-cursusweergave.

Je kunt je beoordelingsverantwoordelijkheden in je cursussen delen met meerdere beoordelaars.

Wat is parallelle beoordeling?

Je kunt specifieke gebruikers van een cursus opdrachten van bepaalde sets met inzendingen laten beoordelen. Cijfers, feedback en aantekeningen van andere beoordelaars in bestanden van studenten en rubrieken zijn niet zichtbaar voor beoordelaars. Beoordelaars geven parallel voorlopige cijfers. Standaard beoordelingsrollen zijn cursusleiders, beoordelaars en onderwijsassistenten.

De cursusleider is standaard de eindbeoordelaar of afstemmer. De afstemmer controleert de voorlopige cijfers en bepaalt de eindcijfers die studenten zien. Je kunt de mogelijkheid om cijfers af te stemmen toewijzen aan een of meer andere gebruikers met beoordelingsbevoegdheden en je kunt je mogelijkheid om af te stemmen verwijderen.

Sommige instellingen noemen parallelle beoordeling ook wel 'blinde beoordeling'.

Bevoegdheden van afstemmers

  • Afstemmers kunnen de cijfers en feedback van beoordelaars bekijken, maar de rubrieken en aantekeningen in de bestanden van studenten zijn niet zichtbaar.
  • Afstemmers bepalen de eindcijfers of stemmen deze af.
  • Afstemmers kunnen het eindcijfer vervangen.
  • Afstemmers kunnen cijfers posten. Als anoniem beoordelen is ingeschakeld, kunnen afstemmers de namen van studenten onthullen wanneer de cijfers worden gepost.

Op dit moment kan parallelle beoordeling niet worden ingeschakeld voor groepsopdrachten. Je kunt ook geen vragen toevoegen aan een opdracht met parallelle beoordeling.


Wat zijn de voordelen van parallelle beoordeling?

Als u bij het beoordelen van opdrachten cijfers en feedback van meerdere beoordelaars gebruikt, draagt dit nog verder bij aan een eerlijke, uniforme en objectieve beoordeling. Afstemmers hebben dan verschillende beoordelingen van dezelfde opdracht om het eindcijfer voor de opdracht op te baseren.

Een eerlijke, objectieve beoordeling is vaak een issue. Parallelle beoordeling helpt om vooroordelen van beoordelaars zo veel mogelijk weg te nemen.

Als cursussen erg veel deelnemers hebben, kun je de beoordeling verdelen over onderwijsassistenten en andere beoordelaars. In een samengevoegde cursus kun je elke beoordelaar een bepaald aantal deelnemers laten beoordelen.


Werkstroom voor parallelle beoordeling

Volg deze stappen om parallelle beoordeling in te schakelen en te gebruiken:

  1. Parallelle beoordeling inschakelen
  2. Beoordelaars: Pogingen weergeven en beoordelen
  3. Eindbeoordelaar: cijfers afstemmen

Als je een beoordeling gaat samenstellen, kun je anoniem beoordelen inschakelen om te voorkomen dat beoordelaars zien wie ze gaan beoordelen. Gebruik de functie SafeAssign om plagiaat te voorkomen.

Meer informatie over anoniem beoordelen

Meer informatie over SafeAssign


1. Parallelle beoordeling inschakelen

Je kunt parallelle beoordeling inschakelen en beoordelaars toewijzen op het moment dat je een beoordeling maakt. Je kunt parallelle beoordeling ook nog inschakelen nadat studenten al inzendingen hebben verstuurd. Het systeem wijst de beoordelaars die je selecteert willekeurig toe. Voor elke student zijn er twee beoordelaars. De werkbelasting wordt gelijkmatig over de beoordelaars verdeeld. Beoordelaars kunnen alleen inzendingen openen van studenten die aan hen zijn toegewezen.

Studenten worden er niet van op de hoogte gesteld dat de beoordeling meer dan één beoordelaar heeft, tenzij je deze informatie zelf deelt. Studenten zien alleen het eindcijfer en de feedback van de afstemmer.

Het is momenteel niet mogelijk om groepen te maken of vragen te stellen wanneer parallelle beoordeling is ingeschakeld. Beoordelaars, onderwijsassistenten en cursusbouwers kunnen parallelle beoordeling niet in- of uitschakelen.

Schakel in het deelvenster Beoordelingsinstellingen het selectievakje bij 2 beoordelaars per student in de sectie Evaluatieopties in.

Selecteer de koppeling Beoordelaars toewijzen die wordt weergegeven.

The Assignment settings panel is open with the "2 graders per student" checkbox selected and the Evaluation options section pointed and highlighted.

Pagina Beoordelaars toewijzen

Op de pagina Beoordelaars toewijzen hebben de rollen die je toewijst alleen betrekking op de huidige beoordeling.

The Assign Graders page is open with 1) the "Assign All as Graders" option highlighted, 2) the three dots menu next to the usernames selected with the "Grader" and "Reconciler" options displayed, and 3) the "Unassigned All Reconcilers" option highlighted.

Beoordelaars toewijzen

Je onderwijsassistenten en beoordelaars worden weergegeven in de eerste lijst Niet-toegewezen.

Je kunt iedereen selecteren met de koppeling Iedereen toewijzen als beoordelaar of het menu van elke gebruiker openen en Beoordelaar of Afstemmer selecteren. Toegewezen beoordelaars worden weergegeven in de lijst Beoordelaars. Indien nodig kun je het menu van een beoordelaar openen en Toewijzing ongedaan maken selecteren.

Let op: De werkbelasting wordt gelijkmatig over de beoordelaars verdeeld.

Afstemmers toewijzen

In de lijst Afstemmers worden gebruikers met de rol cursusleider weergegeven. Indien nodig kun je het menu van een afstemmer openen en Toewijzing ongedaan maken selecteren. Je kunt bijvoorbeeld je onderwijsassistent alle eindcijfers laten bepalen en de toewijzing van jezelf ongedaan maken. Er kunnen meerdere afstemmers worden toegewezen.

Een beoordelaar kan niet tegelijkertijd ook een afstemmer zijn. Het is echter wel mogelijk om een gebruiker een andere rol toe te kennen voor een opdracht. Dit kan ook nog nadat studenten hun inzendingen hebben verzonden.

Je kunt de koppeling Toewijzing van alle ongedaan maken voor de lijst selecteren om alle gebruikers uit Beoordelaars of Afstemmers te verwijderen.

Selecteer Opslaan als je klaar bent. Parallelle beoordeling werkt het best met meerdere beoordelaars en minimaal één afstemmer. Als er niet minimaal twee beoordelaars en één afstemmer zijn toegewezen, wordt er een waarschuwing weergegeven. Het is mogelijk om op te slaan zonder dat er aan deze aanbeveling wordt voldaan.

Wat gebeurt er als ik de toewijzing van gebruikers ongedaan maak of hun toegang tot de cursus in de naamlijst weiger?

Ga voorzichtig te werk voordat je wijzigingen aanbrengt in beoordelaars en afstemmers nadat de beoordeling van start is gegaan.

  • Niet-toegewezen afstemmers kunnen geen eindcijfers meer toekennen, maar eerder werk blijft wel behouden. Als afstemmers eindcijfers toekennen en hun toewijzing ongedaan wordt gemaakt of hun toegang in de naamlijst wordt geweigerd, blijven de eindcijfers behouden. Een andere afstemmer kan wijzigingen in de eindcijfers aanbrengen.
  • Eerder voltooide evaluaties van niet-toegewezen beoordelaars blijven behouden. Onvolledige evaluaties worden niet meer aan de studenten gekoppeld. Het werk wordt gelijkmatig verdeeld onder de andere beoordelaars.

    Als een student al is beoordeeld door twee beoordelaars en de toewijzing van een van de beoordelaars ongedaan wordt gemaakt, blijven de twee cijfers behouden. Er wordt een derde beoordelaar toegevoegd. Zelfs als je hebt afgestemd en cijfers hebt gepost, wordt er een derde beoordelaar toegevoegd. De derde beoordelaar zet alleen pogingen die klaar zijn om te worden beoordeeld als je nog geen cijfers hebt afgestemd. Voor sommige pogingen heb je mogelijk drie cijfers om af te stemmen als een beoordelaar is verwijderd tijdens de parallelle beoordeling.

    Als je de toegang van een gebruiker in de naamlijst weigert en deze vervolgens opnieuw toegang verleent, wordt de gebruiker weergegeven in de lijst Niet-toegewezen op de pagina Beoordelaars toewijzen.

Parallelle beoordeling uitschakelen

Je kunt parallelle beoordeling uitschakelen voor een beoordeling, zelfs nadat er inzendingen zijn verzonden of beoordelaars cijfers en feedback hebben gegeven. De voorlopige cijfers van beoordelaars worden verwijderd, maar deze blijven wel behouden in het systeem. Als je parallelle beoordeling weer inschakelt, worden de eerdere voorlopige cijfers en feedback hersteld.

Als je parallelle beoordeling uitschakelt nadat je cijfers hebt gepost, blijven de eindcijfers behouden. De voorlopige cijfers worden niet geregistreerd.

Beoordelaars, onderwijsassistenten en cursusbouwers kunnen parallelle beoordeling niet uitschakelen.


2. Beoordelaars > Pogingen weergeven en beoordelen

Als je parallelle beoordeling inschakelt, hebben beoordelaars alleen toegang tot de pogingen voor beoordelingen die aan hen zijn toegewezen. Op dit moment ontvangen beoordelaars geen meldingen in de activiteitenstream wanneer pogingen in de werkstroom voor parallelle beoordeling klaar zijn om te worden beoordeeld. Afstemmers ontvangen meldingen wanneer er cijfers kunnen worden afgestemd.

Als eindbeoordelaar kan de afstemmer geen cijfers toewijzen aan beoordelaars.

The Submissions page is open with the number of submissions to grade highlighted and the status column also highlighted. The status column shows the list of attempts that are left to be graded.

In de werkstroom voor anoniem beoordelen hebben beoordelaars alleen toegang tot de inzendingen die aan hen zijn toegewezen. De cijferlijst is leeg, totdat studenten inzendingen verzenden.

The Submissions page is open with the anonymous submissions list on screen. The notification that indicates the anonymous grading is in progress is displayed.

Op dit moment zijn de aantekeningen die een beoordelaar aan bestanden van studenten toevoegt, niet beschikbaar voor studenten of afstemmers.

Nadat beoordelaars cijfers en feedback hebben gegeven voor de inzendingen, is hun taak volbracht. Beoordelaars kunnen geen cijfers posten. Cursusleiders en afstemmers kunnen geen rubrieken van beoordelaars bekijken en kunnen cijfers en feedback van beoordelaars niet bewerken.

The Submissions page is open with 1) the submissions list displayed, 2) the Status column with the "Complete" message displayed on each submission, and 3) the Grade column with no grades assigned on each submission.

Nadat de afstemmer cijfers heeft gepost, kan een beoordelaar alleen de eindcijfers, rubrieken en feedback van de afstemmer bekijken. Beoordelaars kunnen hun evaluaties niet meer bewerken nadat de cijfers zijn gepost.

An example submission is open with the "Complete" message displayed, 2) a "93.2/100" grade assigned, and 3) the "Posted" message on screen.

Meerdere pogingen

Als je meerdere pogingen toestaat voor een beoordeling, kunnen beoordelaars hun werkbelasting bekijken op de pagina Inzendingen. De eindbeoordelaar kan cijfers afstemmen, zelfs als beoordelaars niet alle pogingen beoordelen.

The Submissions page is open with 1) the submissions list displayed, 2) an example username selected and highlighted, and 3) the Multiple Attempts grading panel opened with two attempts submitted.

3. Eindbeoordelaar: cijfers afstemmen

Wanneer cijfers klaar zijn om te worden afgestemd, ontvang je een melding van de activiteitenstream. Je ontvangt de melding nadat de toegewezen beoordelaars één poging van de student hebben beoordeeld.

"Grades ready to reconcile" notification displayed in the activity stream of the Instructor's view.

Eén poging afstemmen

Je kunt het cijfer en de feedback van elke beoordelaar bekijken voordat je het eindcijfer bepaalt. Je kunt cijfers ook afstemmen als beoordelaars niet alle pogingen beoordelen.

An example submission is open with 1) one attempt ready to reconcile on screen, 2) two different grades assigned, 3) the feedback icon selected and highlighted, and 4) the feedback panel opened with two different feedbacks on screen.
  1. Cijfers geven. Selecteer de cijferbal om een cijfer te geven of open de rubriek. Let op: je kunt de rubriek of aantekeningen van een beoordelaar in bestanden van studenten niet bekijken. Je kunt het cijfer en de feedback van een beoordelaar ook niet bewerken.
  2. Feedback doornemen. Selecteer een feedbackpictogram om het deelvenster Feedback te openen en de feedback van de beoordelaar door te nemen.
  3. Feedback toevoegen. Studenten zien de feedback van beoordelaars niet, maar jouw feedback wordt wel weergegeven wanneer je de eindcijfers post.

Nadat je de eindcijfers hebt gepost, zien beoordelaars alleen de eindcijfers en feedback. Beoordelaars hebben geen toegang tot hun evaluaties om deze nog te bewerken nadat de eindcijfers zijn gepost.

An example submission is open with the "Complete" message displayed, 2) a "93.2/100" grade assigned, and 3) the "Posted" message on screen.

Studentenweergave

Studenten zien alleen het cijfer, de feedback en de rubriek van de afstemmer. Studenten zien niets van wat afzonderlijke beoordelaars hebben ingevoerd.

An example submission from the Student's view is open with a 1) final grade assigned and displayed and 2) the feedback panel opened with a text on it.

Alles afstemmen

Cijfers hoeven niet afzonderlijk te worden afgestemd. Je kunt alle pogingen met een of meer cijfers van beoordelaars in één handeling afstemmen. Je kunt bijvoorbeeld batches afstemmen als je de beoordelaars vertrouwt en het gemiddelde van hun cijfers aan elke poging wilt toewijzen.

Voor het afstemmen van cijfers is het niet nodig dat alle beoordelaars hun werk hebben voltooid. Je hoeft ook niet te wachten tot alle studenten pogingen hebben gedaan. Je kunt de cijfers voor bestaande pogingen automatisch afstemmen. Deze actie kan niet ongedaan worden gemaakt. Met afstemmen worden handmatig afgestemde of eerder afgestemde cijfers niet vervangen.

Selecteer op de pagina Inzendingen de koppeling Alles afstemmen. Selecteer het gewenste cijfer:

  • Gemiddelde van de cijfers
  • Hoogste cijfer
  • Laagste cijfer

Je ziet altijd dat er pogingen klaar zijn om te worden afgestemd als studenten pogingen hebben gedaan. Beoordelaars hoeven geen cijfers en feedback te geven voordat de pogingen kunnen worden afgestemd.

The Submissions page is open with the "Reconcile All" option highlighted.

Als je ervoor kiest om alle cijfers af te stemmen en je een rubriek aan de beoordeling hebt gekoppeld, wordt er een label Vervangen weergegeven. Deze verschijnt alleen op de pagina met de lijst Inzendingen.

Meer informatie over het vervangen van cijfers

Meerdere pogingen afstemmen

Als je meerdere pogingen toestaat voor een beoordeling, zie je voor elke poging de cijfers die de beoordelaars hebben gegeven. Vervolgens stem je de cijfers af voor elke poging. Het eindcijfer voor een beoordeling met meerdere pogingen wordt berekend op basis van de instelling die je voor Pogingen beoordelen hebt gekozen toen je de beoordeling maakte.

Selecteer een poging of de cijferbal om het werk van de student te bekijken en de cijfers af te stemmen. Je kunt alle cijfers voor bestaande pogingen ook in batches afstemmen.

The Submissions page is open with 1) the submissions list displayed, 2) an example username selected with the "2 attempts to reconcile" message highlighted, and 3) the Multiple attempts grading panel opened with the first attempt highlighted.

Parallelle beoordeling heeft geen invloed op hoe het eindcijfer wordt berekend. Het eindcijfer kan echter pas worden berekend nadat de pogingen zijn afgestemd. Nadat de pogingen zijn afgestemd, wordt het eindcijfer weergegeven in de cijferlijst. Als het eindcijfer bijvoorbeeld wordt berekend op basis van de poging met de hoogste beoordeling, wordt het eindcijfer direct weergegeven nadat ten minste één poging is afgestemd. Het cijfer kan dan nog veranderen als studenten meer pogingen inzenden.

Na het afstemmen kun je de eindcijfers voor studenten posten.


Parallelle beoordeling en cursusconversie

De instellingen voor gedelegeerde beoordeling in originele cursussen worden niet overgebracht als je je cursussen converteert naar de Ultra-cursusweergave.