Court-Traité de docimologie (5)

Vote utilisateur: 4 / 5

Etoiles activesEtoiles activesEtoiles activesEtoiles activesEtoiles inactives
 

Suite 4

 

 

V. Essai d'harmonisation de l'épreuve orale

 

 

Cette épreuve, correspondant un peu à l'ancien CFEN, porte sur un important programme(1) consacré au rôle administratif et social de l'instituteur. Le fait qu'elle doive se dérouler sur une seule journée entraîne la multiplication des jurys et donc, on l'aura compris, des sources d'erreur(2). D'autant que les suggestions d'harmonisation entre jurys ont été repoussées par des fonctionnaires pressés, c'est un motif bien légitime, de rentrer chez eux aussitôt après les interrogations.


Ici, le problème est largement plus complexe que pour les deux transformations précédentes : le jury n'est pas seul en cause, le choix des questions intervient également. En effet, les candidats, qui passaient leur épreuve à intervalles réguliers (douze candidats à la fois devant douze jurys) tiraient des questions identiques selon leur ordre de passage ; ainsi, tous ceux qui sont passés avec le n° 1 ont eu le choix entre deux questions(3), les n°s 2 ont tiré deux autres questions, identiques pour les douze, etc. Enfin, aux inévitables distorsions entre jurys s'ajoutent de forts écarts entre questions(4) ; c'est donc bien à une triple "transformation en Z" qu'il nous faut procéder.

 

De façon transversale, tout d'abord, c'est-à-dire par n° de question ; ensuite, par jury ; par section (ou classe d'origine), enfin. Si cela est relativement complexe à expliquer, la programmation de la solution (qui peut prendre l'allure d'un calcul à l'intérieur d'une matrice, si l'on veut) s'effectue sans problèmes. Nous partons donc des trois séries de résultats suivantes (notes sur 10) :

 

1. Les résultats 'officiels' par classe,

 

dont voici un exemple de lecture : la classe F (20 présents) obtient les meilleurs résultats, avec une moyenne de 6.55 pour un écart-type de 1.61.

 

 

Classe Moyenne Effectif σ
       
A 5.77 22 1.78
B 6.50 23 1.69
C 6.08 20 1.70
D 6.21 21 1.52
E 5.68 22 1.61
F 6.55 20 1.61
       
Moyenne 6.13 128 1.69

 

2. Les résultats par question,

 

ensuite, qu'on lira ainsi : la question 1, qui a été traitée par 12 candidats, a obtenu une note moyenne de 6.13, avec un écart-type de 1.75.

 

Question Moyenne Effectif σ
       
1 6.13 12 1.75
2 5.83 12 2.12
3 6.13 12 1.79
4 7.21 12 1.31
5 5.29 12 1.66
6 6.25 12 1.28
7 6.31 13 1.64
8 6. 12 1.60
9 5.46 12 1.49
10 6.58 12 1.17
11 6.25 8 2.83
       
Moyenne 6.13 128 1.69

 

 

3. Enfin, les résultats par jury,

 

qui se consultent ainsi : le jury 3, devant lequel sont passés onze candidats, paraît à l'œil nu le plus sévère, avec une moyenne générale de 5.45 et un écart-type de 2.18.

 

Jury Moyenne Effectif σ
       
1 6.18 11 1.80
2 5.55 11 1.42
3 5.45 11 2.18
4 5.95 11 1.42
5 6.09 11 1.08
6 6.18 11 1.64
7 6.50 10 1.48
8 6. 11 1.83
9 6.14 11 1.58
10 6.30 10 1.55
11 6.85 10 1.61
12 6.50 10 1.92
       
Moyenne 6.13 128 1.69

 

 

On aura remarqué que la moyenne de l'ensemble de ces résultats 'tourne' autour de 6, pour un écart-type un peu inférieur à 2. C'est la raison pour laquelle nous avons utilisé tout à l'heure 6 et 2 pour base générale des réductions de notes. En définitive, on obtient le tableau final (résultats par section) suivant, et l'on peut remarquer que le palmarès "officiel" (quelle a été la section réellement la plus performante en RAS ?) en est bouleversé.

 

 

Classe Moyenne Effectif σ
       
A 5.97 22 1.81
B 5.90 23 2.17
C 6.10 20 2.22
D 6.14 21 1.61
E 5.80 22 2.06
F 6.13 20 2.04
       
Moyenne 6.00 128 2.00

Tableau n° 4 - Résultats non-officiels (mais vrais) à l'épreuve orale (par classe).

En fait, l'ordination et la comparaison des deux listes (résultats officiels et résultats "Z" de l'épreuve orale) est presque aussi riche d'enseignements que pour la discipline 1 : si le premier se retrouve 3e, et le 3e, 2e, ce qui n'est pas trop grave, le 1er réel a été officiellement 'classé' au n° 25, tandis que le 4e descend à la 40e place Z, ce qui commence à être sérieusement incohérent pour ne pas dire fondamentalement injuste : il ne s'agit plus de notes, mais de couacs !

 

En réalité, la même confrontation de listes révèle que, sur les 45 premiers en "Z", sept ne figurent pas dans le "classement" officiel. L'apparition d'examinateurs étrangers au système(5), si elle a introduit plus de sévérité et d'étendue dans la notation, n'a pas pour autant diminué les distorsions ; le contraire, en fait, eût été fort extraordinaire.

 

Ainsi, de proche en proche, est-il possible de "réduire" les séries de notes, et d'aboutir au 'classement' réel des élèves sortants. Mais ce ne serait qu'anecdote, et il n'y sera pas procédé ici ; les trois exemples que nous avons détaillés, suffisant à notre démonstration. D'autant qu'une importante question à résoudre reste en suspens au sujet du traitement des notes obtenues lors du stage en responsabilité, plus complexe encore à trancher que celui de l'épreuve finale orale. En effet, si rien n'est insurmontable sur le plan de la solution statistique, en revanche, une seule personne ne saurait décider du poids respectivement accordé aux nombreux paramètres entrant ici en jeu. Expliquons-nous sur l'un d'entre eux : il est clair qu'un élève instituteur qui effectue son stage dans tel endroit du Nord-Isère(6) et, qui plus est, dans une classe à plusieurs cours, est au départ défavorisé par rapport à tel de ses condisciples qui obtient à Meylan une classe à cours unique. Seule, une concertation entre personnels de l'E.N. et formateurs occasionnels (Iden, Cpaiden) peut trancher du mode de correctif à appliquer.

 

Notes

(1) Cent-vingt heures, alors que la mathématique ne bénéficie que de cent trente-cinq heures.
(2) Alors qu'elle intervient pour 90 points (sur un total de 340) dans le bilan d'ensemble. C'est ici le moment de signaler un excellent article consacré à ce type de problème (mais prenant pour point d'interrogation l'épreuve écrite de l'ancien C.A.P. des instituteurs) par Pierre Barnley, IDEN, et publié dans la revue L'Éducation nationale (13 février 1975, pp. 19-22), sous le titre : "L'examen, une injustice bien honnête".
(3) On estimera que chaque candidat ayant eu le choix entre deux sujets, a pris celui pour lequel il se sentait le mieux armé, et donc qu'il y a équivalence (de difficulté) pour chaque fournée de candidats.
(4) Les examinateurs avaient bien noté la différence de difficulté d'une question à l'autre.
(5) Les jurys de l'épreuve orale ne comprenant qu'un tiers de formateurs à temps plein à l'Ecole Normale.
(6) Ne donnons pas davantage de précision géographique, sinon ce sera encore l'occasion d'un article vengeur dans Le Monde, à l'image de celui paru en octobre 1988 !

 

 

S. H., octobre 1989

 

Cliquez pour accéder à la suite de ce texte