Procédures du BEPC assurant la normalisation des évaluations réalisées dans le cadre des examens pratiques

Le BEPC sait que certains candidats s’inquiètent de l’uniformité de l’examen d’un centre à un autre; ils prétendent que certains centres sont favorisés, le taux de réussite y étant plus élevé qu’ailleurs. Cette allégation circule depuis des années et le BEPC l’a réfutée à plusieurs reprises.

Le BEPC applique des mesures et des procédures rigoureuses afin d’assurer la qualité des examens que passeront les candidats. Les paragraphes suivants décrivent les mesures prises par le BEPC afin d’assurer la normalisation de ses examens pratiques au sein de chaque centre et entre tous les centres où se tient l’ECOS.

Mise au point d’une simulation interactive et critères d’évaluation

Chaque simulation fait l’objet d’une mise au point très détaillée de tout ce qui la constitue :

• problème à résoudre dans le cadre du cas exposé;
• renseignements généraux sur le personnage principal (patient/soignant/professionnel de la santé) qui sera joué par un acteur/actrice dûment formé, appelé « patient normalisé (PN) », répondant à la description fournie dans le scénario;
• dialogue que le PN devra respecter, y compris les indices verbaux à donner aux candidats et les instructions sur la façon de répondre aux questions des candidats;
• critères détaillés de notation de la simulation

On peut trouver des exemples de simulations ici, sur le site Web du BEPC.

Recrutement, formation des PN et des examinateurs

Le BEPC confie aux centres d’examen le recrutement intégré du personnel qui sera chargé du déroulement de la séance, y compris celui des PN et des examinateurs. On peut retrouver les critères particuliers utilisés pour le recrutement des examinateurs sur le site Web du BEPC. L’admissibilité d’un examinateur est remise en cause chaque année, en s’assurant qu’il détient toujours son permis d’exercice en bonne et due forme auprès de l’organisme de réglementation provincial. Les examinateurs doivent respecter un code de conduite strict et confirmer, avant chaque examen, qu’ils n’ont aucun conflit d’intérêts potentiel ou réel.

En vue de l’ECOS, les équipes qui participeront à l’examen (PN et examinateurs) reçoivent plusieurs séances de formation, afin d’assurer la constance de leur prestation. Dans le cas des examinateurs, ils doivent étudier des exemples de prestations de qualité variable et évaluer une série de simulations fictives, afin que leurs verdicts soient cohérents et correspondent bien au niveau de compétence attendu d’un pharmacien débutant.

Procédures le jour de l’examen

Le jour de la séance, la formation décrite ci-dessus se poursuit afin d’assurer une totale compréhension du contenu et du déroulement de l’examen. À chaque centre, pendant toute la durée de la séance, le personnel supérieur examine la notation des examinateurs afin d’en assurer la cohérence et l’exactitude. À des fins d’assurance de la qualité, des examinateurs expérimentés supplémentaires sont affectés à certaines simulations, afin de confirmer l’uniformité de la notation.

Même si la mise au point et l’évaluation du contenu et de la performance reposent sur des normes nationales (c.-à-d. normes de l’ANORP), le BEPC reconnaît que le champ d’exercice de la pharmacie varie d’une province à l’autre. Les examinateurs ont pour consigne de documenter les réponses singulières qui seront étudiées après la séance. Le BEPC veille ainsi à ce que les candidats reçoivent une bonne note pour toute réponse acceptable, mais se situant hors des directives de notation.

De plus, le personnel d’examen documente tout incident survenu lors de la séance au centre d’examen pour un suivi ultérieur.

Assurance de la qualité après l’examen

Le BEPC collige toutes les données provenant des centres d’examen et les analyse, ce qui lui permet de connaître les notes accordées par tous les examinateurs pour toutes les simulations d’un même centre (c.-à-d. les différents circuits dans un centre donné) et dans tous les centres. Experts en clinique et docimologues travaillent de concert à débusquer toute anomalie de notation. Des analyses plus approfondies sont réalisées périodiquement afin de comparer le taux de réussite de différentes populations de candidats (p. ex., candidats canadiens et étrangers passant l’examen pour la première fois et candidats en situation de reprise) à chaque centre ECOS.

À la suite de chaque examen, un comité d’assurance de la qualité se réunit pendant plusieurs jours, afin d’examiner les rapports de notation, les réponses singulières, les incidents, la prestation des candidats « limite » et celle des candidats qui en sont à leur quatrième et dernière reprise pour confirmer les résultats.

Tout le travail réalisé, depuis l’élaboration de la séance ECOS jusqu’à l’annonce des résultats, vise à garantir la validité de l’examen, sa fiabilité comme outil d’évaluation et l’exactitude de ses résultats.  

Variabilité alléguée du degré de difficulté d’un centre ECOS à un autre

Dans le passé, le BEPC a été informé d’allégations formulées par des candidats, voulant que l’examen soit plus facile dans certains centres, un peu partout au pays; ou alors, la localisation de tels centres semble fluctuer au cours des ans. Le BEPC a aussi observé que, pendant la période de dépôt des demandes d’admission, des candidats choisissaient certains centres éloignés de leur lieu de résidence, donnant à penser qu’ils présumaient pouvoir y obtenir de meilleurs résultats.

Ces dernières semaines, des candidats ont contacté le BEPC par courriel se disant préoccupés de ce que les personnes affectées à Ottawa puissent être avantagées par rapport aux autres qui passent l’examen ailleurs, et déclarant que l’on incitait les candidats à se désister, s’ils étaient dirigés vers certains autres centres.

Les préoccupations de ces candidats ont amené le BEPC à entreprendre, en plus des analyses qu’il réalise systématiquement, une étude rétrospective encore plus poussée du taux de réussite et de la notation à l’intérieur de l’ensemble des domaines pour les populations de candidats dans les différents centres de 2018 à 2021. Ces populations comprennent le groupe de référence canadien, les candidats étrangers passant l’examen pour la première fois, ainsi que les candidats, canadiens et étrangers, en situation de reprise. Les résultats de cette étude confirment que, à l’intérieur de chaque population de candidats, aucun centre ne présente des notes ou un taux de réussite générale invariablement supérieurs aux autres dans les différentes séances.

Malheureusement, il arrive que des candidats en situation d’échec, mais convaincus de s’être bien préparés et ne doutant pas de leur compétence, essaient d’expliquer leurs résultats par des facteurs extérieurs à l’examen même. Les candidats devraient plutôt s’efforcer de mieux cibler leurs lacunes et de les combler, en vue de meilleurs résultats lors d’une éventuelle reprise. Le BEPC conseille fortement aux candidats inscrits à la séance ECOS de mai de se concentrer, au cours des prochaines semaines, sur leur préparation à l’examen plutôt que sur ces diversions, non fondées et sans prise sur l’issue réelle de l’ECOS.

Il importe que les conclusions reposent sur les faits et ceux-ci peuvent rassurer les candidats : les pratiques rigoureuses du BEPC en matière d’évaluation de ses examens sont fondées sur les principes de transparence, d’intégrité et d’équité.