Mise en ligne, en ce jour de Saint-Valentin (!) de l'article - déjà ancien, mais toujours d'actualité - qui a le premier, je crois, attiré l'attention des "responsables", académiques ou autres, sur le problème de l'injustice commise lors de la sommation des notes (concours et examens) : "La simple addition des notes [...] détruit la hiérarchie établie entre les matières voulue par les autorités académiques". Avec mes vifs remerciements et mes très respectueux hommages à la diligente responsable de la Bibliothèque Diderot (Lyon) qui a bien voulu me faire tenir un pdf tiré du bulletin de l'Inop.

 

 

Cette étude porte sur l'examen d'entrée en 6e tel qu'il s'est pratiqué dans les années qui ont précédé l'arrêté du 23 novembre 1956 instituant le régime d'admission actuel. Elle était en cours lorsque ce texte est paru, qui a largement modifié les données du problème et nous a incités à faire porter nos recherches sur d'autres points que l'examen d'admission lui-même, comme on le verra dans la suite de ce recueil.

Nous avons cependant terminé ce travail, qui garde peut-être un intérêt descriptif sur deux points :


- variation des notes moyennes pour chacune des cinq épreuves de l'examen, entre cinq établissements différents et deux sessions successives ;
- coefficients effectivement attribués à ces épreuves, et divergences entre ces coefficients effectifs et les coefficients prévus par le règlement.

 

 

I. Les données.

 

Les données ont été recueillies auprès du Service des Examens de la rue Mabillon(1). Elles sont constituées par les notes obtenues par 1 000 candidats (garçons) à l'examen d'entrée en 6e en Dictée, Questions, Compte rendu de lecture, Calcul, Présentation. Le total de ces notes et la décision du jury étaient également recueillis. Ces 1 000 candidats ont été choisis dans cinq établissements parisiens différents, que nous désignerons par des chiffres de I à V. Les établissements I et II sont des lycées, l'établissement III est un collège, les établissements IV et V sont des Cours Complémentaires.

Pour chaque établissement, on a rassemblé les notes de cent candidats à la première session de 1954, et de cent candidats à la première session de 1955.
Le choix des établissements a été fait en fonction de ce que l'on pouvait savoir des populations scolaires qui les fréquentent habituellement, de façon à échantillonner des populations de différents niveaux.

Les cent élèves choisis à chaque session sont les cent premiers candidats par ordre alphabétique. On peut donc les considérer comme raisonnablement représentatifs de l'ensemble des candidats dans cet établissement. à cette session.

 

 

II. Comparaison des notes moyennes.

 

Le tableau 1 fournit la note moyenne (recalculée sur 20 pour faciliter la comparaison) obtenue par les élèves considérés dans chaque matière et chaque session.

 

 

    Établissements
Matières Sessions I II III IV V
Dictée  1954  10,6  10.7  11.9 9.4  9.8
 1955  5.0  8.6  10.1  4.5 5.3
Questions  1954  14.5  12.3  13.9 13 13.1
 1955  14.9  15.1  14.0 15.5 15.1
Compte rendu  1954  11.6  10.1  11.5 10.2 12.5
 1955  7.7  10.7  11.0 12.3 10.6
Calcul  1954  10.1  10.6  8.9 9.7 9.8
 1955  10.1  12.8  11.0 9.5 11.3
Présentation  1954  10.3  10.0  10.4 12.7 11.2
 1955  10.7  10.7  12.3 12.0 10.0

Tableau I

 

 

Quelques remarques peuvent être faites sur ce tableau.

Certaines épreuves se révèlent plus difficiles que d'autres, quels que soient l'établissement et la session. La dictée fournit six moyennes inférieures à la note 10, sur les dix moyennes du tableau. Les moyennes relativement faibles dans cette matière sont surtout provoquées par la présence d'un grand nombre de notes 0. Sur 500 notes relevées chaque année, on observe 85 notes 0 en 1954, 146 notes 0 en 1955. Cette accumulation, bien visible sur la figure 1 fournissant la distribution des notes de dictée en 1955, s'explique aisément par le mode de notation consistant à retrancher du maximum un certain de points par faute, sans utiliser de notes négatives. La même note 0 est donc finalement attribuée à tout un groupe d'élèves qui ont en commun le fait d'être inférieurs à une certaine limite mais qui, en deçà de cette limite, sont de valeurs différentes. Mais il ne faut pas oublier que cette limite est définie par un ensemble de conventions (le barème de correction de l'épreuve) et n'a pas de sens absolu. On ne peut en particulier déduire de ces résultats qu'un cinquième environ des candidats à l'entrée en 6e sont d'une ignorance totale et d'une inaptitude totale à l'orthographe. La limite, résultant d'une convention, pourrait être placée ailleurs. Elle devrait l'être en un point choisi après expérience, de telle sorte que soient écartés les candidats dont on serait à peu près sûr qu'ils ne possèdent pas le minimum d'acquisitions requis pour suivre avec profit l'enseignement de la 6e. Si ce minimum était explicitement défini, les épreuves destinées à vérifier qu'il est atteint pourraient reposer sur une base précise. On trouvera dans la suite de ce recueil des enquêtes utilisant des inventaires de connaissances pouvant répondre à ce besoin. Mais, actuellement, on peut se demander, en particulier à propos de la dictée, si la détermination du zéro de l'échelle utilisée repose sur autre chose que sur l'ensemble des circonstances qui entraînent le choix de tel texte plutôt que de tel autre. Le caractère en partie fortuit de ce choix suffit à expliquer les fluctuations de difficulté de l'épreuve d'une année à l'autre, comme on peut s'en convaincre en comparant les deux premières lignes du tableau des moyennes.

L'épreuve des Questions sur la Dictée est notée partout dans une tradition plus indulgente puisque aucune de nos dix moyennes n'est ici inférieure à 12.

Les autres épreuves ont des moyennes en général voisines de 10.

D'autres comparaisons pourraient être faites entre établissements. Mais les différences de moyennes que l'on pourrait constater ici ne présenteraient pas grand intérêt puisque les établissements ont été choisis systématiquement, au début de l'enquête, de façon à toucher des populations différentes de candidats.

Par contre, les différences entre années, pour un même établissement sont à considérer. Il n'y a guère de raisons de penser en effet qu'un établissement donné, recrutant chaque année dans les mêmes conditions, puisse enregistrer des différences marquées de niveau entre les candidats. Cette affirmation va à l'encontre d'impressions subjectives ressenties par les jurys d'examen et par les enseignants, qui affirment souvent que leur promotion actuelle est exceptionnellement mauvaise. Le caractère régulier de cette affirmation lui enlève une partie de son poids. Au contraire, l'hypothèse d'une assez grande stabilité de niveau des promotions successives d'un même établissement a pour elle des arguments théoriques et des constatations objectives.

Différents examens de recrutement d'un même établissement, pratiqués dans les mêmes conditions, ressemblent beaucoup à l'extraction d'une série d'échantillons d'un même ensemble, selon la même méthode. Concrètement, l'aire géographique de recrutement restant sensiblement la même, la population intéressée garde sensiblement, si l'intervalle considéré est court, le même statut socio-économique, le même type d'activité, le même genre de loisirs. Les enfants sont issus de la même population de familles, et les influences qui se sont exercées sur eux n'ont guère varié. Ces arguments théoriques ont reçu une confirmation expérimentale à l'occasion des examens de recrutement des Centres d'apprentissage de l'Académie de Paris, pratiqués à l'aide d'épreuves identiques, à correction objective. On a constaté une grande diversité de niveaux entre les centres, mais une grande stabilité dans le temps. pour un centre donné.

Il y a donc quelques raisons de penser que lorsque des différences importantes apparaissent au cours de deux années successives dans les niveaux relatifs d'une série d'établissements, les divergences d'interprétation dans les barèmes de correction (toujours communs à tous les établissements) y sont au moins pour une part.

Une analyse statistique appropriée (voir Notes techniques à la fin de ce compte rendu) montre que de telles différences de niveau existent de façon significative pour les Questions sur la Dictée. le Compte rendu de lecture et la Présentation. Ce résultat est assez vraisemblable dans le cadre de l'hypothèse précédente. Il est certainement moins difficile de préciser un barème de notation pour la Dictée et pour le Calcul que pour les trois épreuves qui viennent d'être citées. On peut donc admettre que les risques de divergences subjectives soient plus grands pour ces trois matières, dont la somme des coefficients théoriques s'élève à 8 sur un total de 17.

 

 FIGURE 1 : La hauteur de chaque rectangle donne le nombre de candidats ayant obtenu les notes indiquées sur l'axe horizontal

 

 

 

III. Étude des coefficients réels.

 

Les textes réglementant l'examen accordaient aux différentes épreuves les coefficients suivants. Dictée : 3 ; Questions : 4 ; Compte rendu : 3 ; Calcul : 6 ; Présentation : 1. On peut être surpris que ces coefficients, effectivement employés par les jurys, ne reflètent pas nécessairement cependant l'importance prise par chaque épreuve dans la note totale.

Pour comprendre qu'il peut en être ainsi, il faut remarquer que l'échelle des notes effectivement utilisée par les jurys ne couvre pas pour toutes les épreuves la marge entière des notes possibles.

Si nous ramenons toutes les échelles à 20, par exemple, nous constaterons ainsi que, si les notes attribuées pour la Dictée s'étalent réellement entre 0 et 20, il n'en est pas de même pour la Présentation, épreuve pour laquelle la très grande majorité des notes se situe entre 8 et 16. Les raisons de cet état de choses sont si évidentes qu'il n'est guère utile de les détailler ici. Mais les conséquences en apparaissent quelquefois moins clairement. On peut les présenter intuitivement de la façon suivante. Supposons que la moyenne des notes de Dictée blisse à 10 et la moyenne des notes de Présentation à 12. Les élèves les plus mauvais en Dictée vont avoir la note 0, donc perdre 10 points par rapport à la moyenne du groupe. Les meilleurs en Dictée vont au contraire pouvoir gagner 10 points. Mais les élèves présentant leur travail aussi mal qu'il est possible dans ce groupe auront 8, perdant ainsi 4 points seulement. Et les meilleures présentations ne vaudront que 4 points de bénéfice à leurs auteurs. Nous voyons donc que, dans ce cas où nous avons attribué le même coefficient théorique aux deux épreuves, en les notant toutes deux sur 20, les différences de réussite en Dictée auront néanmoins dans le total un poids deux fois plus grand environ, que les différences de réussite en Présentation. Le coefficient réel de la Dictée sera donc, malgré le strict respect apparent du règlement par les jurys, double du coefficient réel de la Présentation. La différence entre les moyennes des notes n'est pour rien dans ce fait, qui provient entièrement de la différence dans la dispersion des notes autour de ces moyennes.

 fig 2

 FIGURE II : La hauteur de chaque rectangle est proportionnelle au nombre d'élèves ayant reçu la note indiquée sur l'axe horizontal

 

 

Il s'ensuit que la physionomie réelle de l'examen est différente de celle qui est prévue par les textes réglementaires et, de plus, qu'elle diffère de ce point do vue d'un établissement à l'autre. En effet, la marge des notes effectivement utilisées peut varier notablement d'un établissement à l'autre. Voici par exemple (figure 2) comment se distribuent les notes de Présentation dans deux établissements différents, à la même session, 1955.
Une méthode statistique appropriée (voir Note technique 2) permet de calculer le coefficient réel pour chaque épreuve, dans chaque établissement, à chaque session. Ces coefficients sont rassemblés dans le tableau II.

 

    Établissements
Matières et coefficients théoriques Sessions I II III IV V
Dictée (3)  1954 4,7  4,7 4,6 5,0  4,8
 1955  4,3 4,6 4,9 4,3 4,0
Questions (4)  1954  2,9 4,0 3,2 3,2 3,1
 1955 3,0 3,1 3,1 3,1 2,8
Compte rendu (3)  1954  1,9 2,0 2,1 1,7 2,2
 1955 2,0 2,6 2,1 2,8 2,6
Calcul (6)  1954 6,8 5,6 6,4 6,6 6,4
 1955 6,9 5,8 6,5 6,3 7,0
Présentation (1)  1954 0,7 0,6 0,7 0,4 0,5
 1955 0,7 0,9 0,4 0,4 0,5

 

Tableau II

(entre parenthèses, les coefficients théoriques)

 

 

On voit que des différences très appréciables s'établissent entre coefficients théoriques et coefficients réels : la Dictée a toujours un poids supérieur à celui qui devrait lui être accordé, le Compte rendu ou la Présentation, un poids toujours inférieur. D'un établissement à l'autre, il en est de même : les questions ont eu en 1954 bien plus de poids dans l'établissement II que dans l'établissement 1.
La solution théorique à ces incohérences est simple. Il suffirait, par exemple, après que l'ensemble des notes aurait été rassemblé pour un établissement, de déterminer les coefficients réels et d'appliquer ensuite à toutes les notes un coefficient correctif ramenant ce coefficient réel à sa valeur théorique. On pourrait également, et cela revient au même, transformer toutes les notes attribuées selon un "étalonnage" établi de telle sorte que la moyenne et la dispersion des notes transformées soient égales à des nombres fixés à l'avance. L'application de ces méthodes ne relève pas de l'utopie : la seconde est appliquée chaque année à l'examen de recrutement des Centres d'Apprentissage de l'Académie de Paris, sur plusieurs milliers de candidats répartis entre plusieurs dizaines de centres d'examen. Mais elle exige travail de calcul et de transformation assez important et tend par conséquent à allonger les délais de publication des résultats. L'emploi des moyens modernes de calcul automatique, tel qu'il commence à être pratiqué pour l'examen du Baccalauréat, peut offrir une solution à cette difficulté.

 

Résumé.

Les notes obtenues par 1 000 élèves à l'examen d'entrée en 6e dans cinq établissements parisiens, en 1954 et 1955, sont étudiées.
La comparaison des dix moyennes (par établissement et par année) montre que certaines matières fournissent systématiquement des notes plus basses que d'autres. C'est le cas pour la dictée. épreuve dans laquelle 85 candidats sur 500 en 1954 et 146 candidats sur 500 en 1955 ont obtenu la note 0. La signification de ce fait est discutée. Le caractère conventionnel de la note 0 est souligné, caractère qui explique pour une part les fluctuations des notes d'une année à l'autre, dans le même établissement. Ces fluctuations suggèrent également l'idée que les barèmes de correction de certaines épreuves (Questions sur la Dictée, Compte rendu de lecture, Présentation) peuvent être interprétés plus diversement, d'un établissement à l'autre, que ne le sont les barèmes d'autres épreuves (dictée et calcul).
On montre ensuite que le coefficient réel affectant une épreuve dépend de la marge des notes effectivement utilisées par les correcteurs. Ces échelles effectives de notes variant beaucoup selon les épreuves et selon les établissements, il en résulte que les coefficients réels diffèrent de ceux qui sont prévus par les textes, et diffèrent d'un établissement à l'autre.
Le principe de techniques permettant d'atténuer ces imperfections est indiqué.

 

    Établissements
Matières Sessions I II III IV V
Dictée  1954 7,10 6,67 6,64 7,15 6,77
 1955 5,96 6,61 6,40 5,73 5,40
Questions  1954 3,30 4,29 3,44 3,47 3,26
 1955 3,15 3,34 3,03 3,12 2,85
Compte rendu  1954  2,96  2,87  2,99  2,40  3,13
 1955 2,79   3,76   2,81   3,76  3,55
Calcul  1954  5,16  4,02  4,56 4,68  4,51
 1955 4,74 4,14 4,26 4,20 4,72
Présentation  1954  3;04 2,76 3,08 1,74  2,20
 1955 2,82 3,88 1,70 1,60 2,06

 

Tableau III

 Écarts types des différentes distributions de notes

 

 

 

Notes techniques.

 

1. - L'ensemble des notes a donné lieu à une analyse de la variance. Pour chacune des matières, trois sources de variation ont été considérées : les deux sessions, les cinq établissements, les cent candidats considérés pour un établissement et une session donnés. Le compte rendu qui précède a utilisé les résultats des épreuves d'interaction. Pour chaque tableau, un F interaction e été calculé en utilisant comme numérateur un carré moyen calculé par différence entre la somme totale des carrés et la somme des carrés relatifs aux trois sources de variation ; et comme dénominateur, le carré moyen, "candidats à la même session et au même établissement". Avec 4 et 990 degrés de liberté. les seuils de signification de ce F étaient de 2.49 à P = .05 et de 3,56 à P = .01. Voici les valeurs prises par F pour chaque matière :

Dictée 3, 52
Questions 12, 09
Compte rendu 32, 49
Calcul 3, 04
Présentation 15, 30

 

Nous n'avons mentionné dans le compte rendu que les significations dépassant P = .01.

2. - La méthode utilisée pour calculer les coefficients réels est celle qui a été proposée par P. Delaporte (Remarques sur la pondération des notes scolaires. Biotypologie, 1938,  6, 271-273), et l'on se reportera sur ce point à la publication de cet auteur. Les coefficients réels du tableau II ont été déterminés de telle façon que leur somme, pour un établissement et une session donnés, reste égale à 17, la somme des coefficients théoriques.

Le calcul des coefficients réels fait intervenir les écarts types des différentes distributions de notes. On trouvera ces écarts types dans le tableau III, toutes les épreuves étant supposées notées sur 20. On verra sur ce tableau, de façon plus précise que dans le texte, la grande diversité, quant à leur dispersion, des échelles utilisées effectivement.

 

 

Notes

 

(1) Nous devons remercier ici M. le Directeur des Services d'Enseignement de la Seine d'avoir autorisé ce travail, et Mme Dubuis, Chef du Service des Examens, de nous avoir fourni avec la plus grande amabilité, tous les conseils et toutes les facilités matérielles dont nous avons eu besoin.

 

© A.-M. Guerbet-Seux & M. Reuchlin, in Bulletin de l'INOP, 1958.

 

 


 

Texte soumis aux droits d'auteur - Réservé à un usage privé ou éducatif.

 

Dans le même ordre d'idées (docimologie), accéder à "Un obus explosif" (Annexe IV du fichier)

 

[Haut de page]