De kwaliteit van de selectie van magistraten onderzocht

Emilie Michaux, Geert Vervaeke, Dirk Van Daele en Ria Mortier analyseren de resultaten van een empirisch onderzoek over het toelatingsexamen tot de gerechtelijke stage. Hun bijdrage verscheen op 13 maart 2019 in aflevering 398 van het Nieuw Juridisch Weekblad (NjW).

Gepubliceerd op 13-03-2019

Weegschaal

Inleiding

Werknemers kunnen een organisatie maken of kraken. Een kwaliteitsvolle personeelsselectie is dus van onschatbare waarde voor een organisatie. Dat is niet anders voor de rechterlijke macht, die bovendien via deze weg haar legitimiteit kan optimaliseren. In België worden magistraten geselecteerd door de Hoge Raad voor de Justitie (HRJ). Het behoort aan de HRJ toe om de selectieprocedure van magistraten zorgvuldig uit te werken. Dit resulteert in drie toegangswegen tot de magistratuur: het vergelijkend toelatingsexamen tot de gerechtelijke stage voor weinig ervaren juristen, het examen inzake beroepsbekwaamheid voor juristen met minstens vier jaar juridische beroepservaring en het mondelinge evaluatie-examen voor zeer ervaren advocaten. In deze bijdrage wordt de kwaliteit van het vergelijkend toelatingsexamen tot de gerechtelijke stage geëvalueerd door de interbeoordelaarsbetrouwbaarheid en de conceptuele validiteit van de selectieprocedure te bestuderen.

Kwaliteitsparameters

De interbeoordelaarsbetrouwbaarheid, een specifieke vorm van betrouwbaarheid, verwijst naar de mate van overeenkomst tussen verschillende beoordelaars bij de beoordeling van eenzelfde persoon. Een grote dispariteit tussen de beoordelaars wijst erop dat factoren inherent aan de beoordelaar (bijv. zijn strengheid of mildheid) de beoordeling van een kandidaat vertekenen. Het is een bedreiging van de objectiviteit en dus van de kwaliteit van een gehanteerde selectiemethode.

De conceptuele validiteit, een specifieke vorm van validiteit, is een indicator voor de mate waarin het resultaat van een selectiemethode aansluit bij de werkelijkheid. Dit wordt onderzocht door na te gaan of factoren die theoretisch geen rol invloed zouden mogen uitoefenen op de behaalde resultaten, evenwel de slaagkans voor het examen mee bepalen. De invloed van de volgende irrelevante factoren wordt onderzocht: het geslacht, de leeftijd, de universiteit, de behaalde graad en de keuze van de rechtsmaterie van de deelnemers. Een invloed van één van dergelijke factoren zou de resultaten vertekenen en zodoende een bedreiging vormen voor de kwaliteit van de selectiemethode.

Resultaten

De resultaten inzake de interbeoordelaarsbetrouwbaarheid wijzen het volgende uit:

  • Elk jaar wijken één of meerdere beoordelaars significant af van de andere beoordelaars;
  • De mate van overeenkomst tussen de beoordelaars is sommige jaren ondermaats. Die jaren worden de resultaten dus in meerdere mate bepaald door de samenstelling van de jury dan door de kwaliteit van de deelnemer;
  • Een hoger aantal beoordelaars biedt geen garantie voor een betere interbeoordelaarsbetrouwbaarheid: een beoordelingsjury van 4 à 5 personen volstaat.

Voor wat betreft de bedreigingen van de conceptuele validiteit wordt het volgende geconcludeerd:

  • Afhankelijk van de inhoud van het toelatingsexamen, beïnvoeden andere irrelevante factoren de slaagkans. Zo is bijvoorbeeld de slaagkans voor vrouwen lager dan mannen wanneer het toelatingsexamen bestaat uit een meerkeuzevragenlijst of een verhandeling
  • De slaagkans voor de huidige invulling van het toelatingsexamen wordt vertekend door de universiteit, de keuze van de rechtsmaterie en de behaalde graad van de deelnemers.

In een discussie worden hypotheses geformuleerd om de resultaten te verklaren alsook suggesties gedaan om de kwaliteitsparameters te optimaliseren.

De auteurs

Emilie Michaux is doctoraatsonderzoeker verbonden aan het Leuvens instituut voor criminologie (LINC - KU Leuven).

Geert Vervaeke is gewoon hoogleraar (KU Leuven).

Dirk Van Daele is gewoon hoogleraar (KU Leuven).

Ria Mortier is advocaat-generaal bij het Hof van Cassatie.

Emilie Michaux
Emilie Michaux
Geert Vervaeke
Geert Vervaeke
van-daele-dirk
Dirk Van Daele
mortier-ria
Ria Mortier
  435