Archives de catégorie : analyse lexicométrique

Analyser un corpus Sonal 3/5 (L’analyse lexicométrique)

Ce troisième billet sur l’analyse d’un corpus Sonal vous présente les différentes fonctionnalités de la page de lexicométrie, qui vous permettra d’étudier de manière quantitative le vocabulaire de vos répondants.

 

Page de lexicométrie (tri des occurrences par spécificité)

Pour lancer une analyse lexicométrique, cliquez sur le bouton « Lexico » situé dans la page de corpus.

A quoi sert l’analyse lexicométrique?

Compter les occurrences des différents mots (ou « formes »)

L’analyse lexicométrique permet d’abord un décompte des mots les plus fréquemment utilisés dans votre corpus afin de repérer, au-delà des formes généralement très banales qui occupent le haut de la liste, les termes particuliers les plus récurrents dans vos entretiens. La spécificité de Sonal est que vous pourrez non seulement relire mais aussi réécouter tous les passages qui contiennent les mots qui vous intéressent. Dès lors, la lexicométrie joue un rôle d’indexation de la bande sonore et permet une entrée différente dans les matériaux, qui transcende les catégories thématiques et les caractéristiques des entretiens. 

Etudier les spécificités langagières associées à un sujet et/ou à un (type de) locuteur etc.

L’analyse lexicométrique prend tout son intérêt lorsqu’elle ne porte plus sur l’intégralité du corpus, mais sur une sous-partie, que vous aurez préalablement isolée, comme cela vous est expliqué dans le premier billet. En pareil cas, Sonal vous permettra de repérer très rapidement le vocabulaire le plus caractéristique de cette sous-partie. Par exemple, il devient possible d’étudier les mots les plus utilisés par un type de répondant sur un sujet donné, en contrastant en fonction des caractéristiques possibles. Vous accédez ainsi aux différences de formulation sur un sujet donné par différents groupes de locuteurs, ce qui cadre avec une tradition structurale de l’analyse lexicale dans laquelle le vocabulaire est le reflet des positions sociales.

Etudier les catégories de répondants ou les sujets dans lesquels une forme est la plus fréquente.

Sonal propose une approche complémentaire en vous permettant, pour un mot donné, de rechercher dans quelles partitions du corpus il est le plus présent et le plus spécifique. On peut donc faire des allers-retours entre une entrée par les catégories (quel vocabulaire est le plus lié à tel sujet par exemple) et une entrée par le vocabulaire (dans quelle sous population du corpus trouve-t-on le plus fréquemment et le plus spécifiquement un mot donné?)

La base lexicale

Les analyses lexicométriques sont réalisées à partir d’une base lexicale lisible par excel ou calc et qui contient les différents mots du corpus, avec les informations clés sur les extraits dont ils sont issus (rang, mot, lemme (cf. infra), entretien, extrait, thématique). Ce fichier est placé dans le répertoire qui contient le corpus et porte le nom du projet suivi de « Lexico.xls ».

Base lexicale

Lorsque vous cliquez sur le bouton Lexico dans la page du corpus, si vous avez déjà créé cette base, le logiciel la chargera, sinon il en écrira une nouvelle, ce qui prendra plus de temps. La durée de chargement est variable en fonction des dimensions du corpus et de la puissance de votre ordinateur.

Si vous avez le moindre problème avec la base lexicale et qu’elle vous empêche d’accéder à la fonction de lexicométrie, il vous suffit de supprimer le fichier « lexico.xls » dans le dossier projet.  Au prochain rechargement, une base sera régénérée.

La page de lexicométrie

Vous arrivez donc sur une page qui renseigne sur les occurrences des différents mots présents dans les extraits retenus.

Fenêtre de lexicométrie (avec panneau de sélection thématique)

Avant de se pencher sur la signification des graphiques et des indicateurs affichés sur la partie droite, il faut d’abord faire le tour de l’interface…

Les panneaux de filtrage

Pour afficher un mode de filtrage particulier (par thématique, par variable ou par entretien), cliquez sur l’un des trois boutons dans la partie haute de la page.

Affichage des panneaux de filtrage

Si vous avez réduit le champ de l’analyse en filtrant les extraits avant de lancer l’analyse lexicométrique, vous verrez sur le côté gauche des panneaux renseignant les opérateurs de filtrage (par thématiques, par variables ou par entretiens) qui vous permettront de changer les règles de filtrage. Les modifications opérées dans la sélection se répercutent dans tout le corpus.

Le tri des mots

Dans la partie droite de la page, apparaissent des listes de mots qui sont déterminées par le mode de tri utilisé, et par les filtres introduits.

Le tri par occurrences

Le tri par occurrences affiche la fréquence des différents mots par ordre décroissant à l’intérieur de la partie du corpus sélectionnée.

Des barres bleues représentent ces fréquences suivant une échelle logarithmique, pour pouvoir représenter des écarts conséquents entre les mots les plus fréquents et les plus rares. C’est l’occasion de vérifier la fameuse loi de Zipf, que traduit (normalement) la décroissance très progressive des occurrences des formes à l’intérieur d’un corpus.

Tri des formes par occurrences

Le tri par ordre alphabétique

Le tri par ordre alphabétique affiche les mêmes informations que le tri par occurrences. Il ne s’en différencie évidemment que par le tri effectué. A noter : les nombres précèdent les lettres dans ce tri.

Tri des occurrences par ordre alphabétique

Le tri par pourcentage des occurrences

Le tri par pourcentage des occurrences n’a de sens que si vous avez sélectionné une sous-partie du corpus. Par exemple, si ne sont maintenus actifs que les extraits contenant une thématique donnée, ou étant issus d’un entretien etc. Si tous les extraits sont actifs, ce type de tri est sans effet. De même, si vous ne désactivez qu’une toute petite partie du corpus, ce type de tri n’aura pas non plus beaucoup d’intérêt.

Ainsi, si votre champ d’analyse est restreint, le tri par occurrences vous permettra de trouver rapidement les formes qui sont spécifiques aux extraits que vous avez isolés. Les mots 100% spécifiques, qui occupent le haut de la liste, n’apparaissent que dans les extraits sélectionnés, et nulle part ailleurs dans le corpus. Les mots à 50% sont pour moitié dans les extraits, pour moitié dans le reste du corpus. A vrai dire, seuls les 100% spécifiques sont intéressants, car ils vous permettent de repérer les « idiosyncrasies » de vos locuteurs:  les termes qu’ils sont les seuls à utiliser. La liste représente les formes triées d’abord par pourcentage de spécificité, puis par occurrences, ce qui veut dire que vous avez au sommet de la liste les formes exclusives les plus fréquentes.

Tri des occurrences par pourcentage 

Le tri par spécificité

Le tri par spécificité est un outil dédié à l’analyse des particularités langagières des extraits analysés.

Philippe Cibois, que je ne remercierai jamais assez pour ses lumières,  m’a mis sur la piste des travaux de Pierre Lafon, qui propose une approche très efficace pour repérer les formes les plus spécifiques d’une sous-partie à l’intérieur d’un corpus. Pour une présentation détaillée, je vous renvoie à cet article (Lafon, 1980 [1]), qui explique les choses de manière particulièrement claire et vivante. Pour résumer, l’approche de P. Lafon n’est pas fréquentiste. Il ne s’agit pas de quantifier l’écart entre une répartition théorique et la fréquence observée, en s’appuyant sur une loi de répartition, comme par exemple dans l’analyse factorielle du tableau lexical. La démarche de P. Lafon est probabiliste. Elle s’appuie sur un calcul hypergéométrique, qui permet de mesurer des probabilités combinatoires, pour estimer la probabilité que le mot étudié soit présent comme il l’est dans la sous-partie du corpus. Plus précisément, il s’agit de calculer la probabilité qu’en tirant t mots dans un texte qui contient un total de T mots, on trouve k fois un mot qui se trouve en tout f fois dans le corpus. Prenons un exemple : si je tire une série de 100 mots dans un corpus de 1000 mots, l’indice me donne la probabilité pour que j’y trouve 7 fois un mot qui est présent en tout 21 fois dans le corpus?

Le calcul de l’indicateur est différent en fonction des situations, selon que le mot est sur ou sous-représenté dans la partie étudiée. En fonction des situations, on cumule les probabilités associées aux fréquences supérieures ou inférieures à celle observée. Si par exemple on s’attend à ce qu’un mot apparaisse cinq fois dans une sous-partie du corpus, et que ce mot y apparaît 8 fois, l’indice de spécificité de Lafon évaluera la probabilité pour que ce mot apparaisse au moins huit fois dans la sous-partie (il ajoutera les probabilités de k=8,9,10,11,12…f ou t.). Si à l’inverse le mot n’apparaît que trois fois, l’indice calcule la probabilité pour que ce mot apparaisse trois fois au plus.

L’algorithme (fourni par Philippe Cibois) calcule l’indicateur dans un sens ou dans l’autre en fonction de la configuration et ramène toutes les spécificités (positives ou négatives) dans un même tableau. Ressortent donc les mots qu’il était très peu probable de trouver aussi fréquemment  et ceux qu’il était aussi peu probable de trouver si peu dans les extraits retenus.

Tri des occurrences par spécificité

Les barres bleues ou rouges représentent l’improbabilité que les mots apparaissent comme ils le font. Les barres bleues représentent la spécificité positive, la barre rouge la spécificité négative. Plus la barre est large, moins l’apparition du mot dans les conditions observées est probable. Le contenu des cases dans le prolongement des barres renseigne à l’inverse la probabilité en %. Plus elle est basse, moins la forme apparaît de manière prévisible.

Régler le seuil de spécificité

La largeur des barres est fonction du seuil choisi. A droite du bouton d’option permettant de trier les mots par spécificité, se trouve une zone de texte mentionnant le seuil au-delà duquel la probabilité ne doit plus être représentée. Par défaut, le seuil de 10% implique que ne sont représentés que les 10 derniers % d’improbabilité. Cela revient à ne voir apparaître de barre bleue ou rouge uniquement pour les probabilités inférieures à 10%. Mettre par exemple un seuil de 5% ne filtrera pas les résultats, mais reviendra à « zoomer » sur les derniers 5%, accroissant ainsi les écarts entre des probabilités proches.

Afficher (ou non) les spécificités négatives

Par défaut, Sonal n’affiche que les spécificités positives (barres bleues). Cela permet d’éviter un phénomène logique mais problématique qui est que lorsque l’on isole une sous-partie du corpus largement majoritaire, elle ne se caractérise que par les formes absentes, celles-là même qui caractérisent la sous-partie désactivée.

NB: Dans la version 1.3.1, le fait de cocher la case est sans effet immédiat. Les formes négatives n’apparaissent qu’à la prochaine recherche de spécificité.

Filtrer la liste des formes

Vous pouvez choisir de ne retenir que les formes dont la longueur est inférieure à un certain nombre de caractères. Pas défaut, Sonal limite l’affichage aux mots de plus de 2 caractères. Vous pouvez également choisir un plancher pour le nombre d’occurrences. Celui-ci doit être fonction du nombre d’occurrences total et de la finesse du filtrage.

En isolant consécutivement les différentes thématiques, ou les différents (types d’) entretiens, on accède ainsi très rapidement aux mots qui leur sont le plus ou le moins significativement liés.

L’analyse qualitative du quantitatif

Lorsqu’une forme/un mot vous apparaît comme digne d’intérêt, parce qu’il/elle est spécifique ou pour une autre raison, vous pouvez immédiatement retourner aux extraits qui contiennent ce mot, ou ces mots s’il s’agit d’une forme lemmatisée. Cette fonctionnalité, généralement appelée KWIC (pour Key Word In Context), est incontournable dans la plupart des logiciels d’analyse lexicométrique. Elle permet d’étudier les différents contextes dans lesquels la forme apparaît pour assurer un retour interprétatif aux matériaux, afin d’analyser les différents sens conférés à cette forme par les locuteurs. Vous pouvez ainsi compenser le caractère un peu binaire des algorithmes mathématiques, qui peinent le plus souvent à étudier la sémantique des textes, tendant à absorber toutes les acceptions d’un terme dans une même catégorie statistique. En notant que certains logiciels, spécifiquement dédiés à cette tâche, sont bien sûr capables de discerner les contextes, en étudiant les mots associés. Ce n’est pas le cas de Sonal qui, pour l’instant, s’apparente plutôt à un chien de chasse pour gibier d’eau, partant en traque tous azimuts, et qui ramène parfois des canards en plastique à son maître. Une analyse qualitative des résultats quantitatifs est donc indispensable.

Pour ce faire, deux possibilités s’offrent à vous pour ce faire. Parmi les boutons qui apparaissent à droite du mot survolé, les deux premiers servent à accéder au détail de ses occurrences.

Le premier vous permet d’accéder à la synthèse des extraits contenant le lemme sélectionné (le mot ou les mots regroupés sous un même terme).

La page de synthèse s’affiche alors, avec votre sélection.

Synthèse des occurrences du mot choisi

Le bouton représentant une petite liste, situé sur immédiatement à droite du bouton play, vous permet d’accéder à une page d’analyse du mot qui contient de manière condensée toutes les phrases dans lesquelles le mot recherché apparaît.

Détails des occurrences du mot

Sur la partie droite de la page, apparaissent toutes les phrases comprenant le mot choisi. Comme ce listing est tiré de la base lexicale, tous les signes de ponctuation et les sauts de page sont supprimés.

Attention, l’affichage ne se limite pas aux mots contenus dans les extraits isolés. Toutes les apparitions du mot choisi sont recensées, qu’elles soient ou non dans des thématiques ou des extraits filtrés. Pour les mots très fréquents, au dessus de 500 occurrences, le chargement de cette page peut être assez long : un message vous demande de confirmer votre commande.

Ce choix s’explique par la finalité conférée à cette interface, qui est de retourner l’analyse.  En général, vous vous penchez  sur un mot après avoir isolé une sous-partie du corpus (une thématique et/ou un type de locuteur), en retournant l’analyse,  le logiciel vous dit en somme d’où vous auriez pu arriver. Dans cette optique, lors du chargement, la recherche de spécificité se fait d’abord sur l’ensemble des catégories de filtrage du corpus. Sur le côté gauche de la page, apparaissent les différentes catégories avec lesquelles le mot est lié. Les extraits ne sont pas triés.

La barre bleue à gauche représente les effectifs; la barre de droite – bleue ou rouge – représente la probabilité calculée avec l’indice de Lafon pour que ces effectifs soient observés dans la catégorie .

Les quatre boutons au sommet de ce panneau vous permettent de trier les mots. Le premier correspond au mode de tri qui est affiché au démarrage (toutes les catégories, qui mélange les thématiques, les entretiens et les variables, qui peuvent être redondants), le second vous permet de trier par entretien, le troisième par thématique, et enfin, le quatrième,  par variable. A chaque fois, en cliquant sur une sous-catégorie, vous serez ramené aux extraits correspondants.

 

Tri des contextes par entretien
Tri des contextes par thématique
Tri des mots par variable

La lemmatisation

Sur la partie gauche du panneau consacré à la lexicométrie, différents boutons vous permettent de modifier la base lexicale et de lancer des analyses.

Boutons de lemmatisation

La lemmatisation consiste à regrouper sous un même terme différents mots qui partagent par exemple une racine commune, ou qui se réfèrent à un même champ lexical. Concrètement, cela revient par exemple à mettre sous le terme « manger » toutes les formes conjuguées (ou « fléchies ») du verbe manger : (je) mange, (nous) mangeons  (qu’il) mangeât etc. Cela peut aussi consister à mettre au singulier tous les pluriels etc. Cela permet de diminuer le nombre d’occurrences différentes dans la base, et de durcir un peu les résultats statistiques.

En matière d’analyse textuelle informatisée, la lemmatisation est une pratique qui ne fait pas l’unanimité. Tous les logiciels ne la proposent pas et les positions peuvent être assez tranchées. Il est vrai que les logiciels font parfois des regroupements hasardeux et que cela implique une perte de finesse dans l’analyse. C’est affaire de choix. Pour ne pas trancher, Sonal vous laisse le choix de lemmatiser ou non votre corpus. De plus, pour éviter les écueils liés à l’automatisation, vous pouvez revenir tant que vous le voulez sur les lemmatisations opérées, car le contenu d’un lemme reste accessible et les formes regroupées peuvent toujours faire l’objet d’une analyse individualisée, et être « détachées » du groupe.

La lemmatisation manuelle

Le bouton « regrouper » permet de créer des lemmes  « manuellement ».

Etapes de la lemmatisation manuelle

Vous devez d’abord sélectionner les mots que vous voulez regrouper (1). Pour cela cliquez simplement sur les mots dans la liste. Pour faire une sélection collective, enfoncez le bouton de la souris sur le premier mot de la série puis descendez la souris sans relâcher le bouton. Cliquez ensuite sur le bouton « Regrouper » (2) qui vous affiche une fenêtre de lemmatisation récapitulant toutes les formes sélectionnés . Dans la zone de texte en bas de la page, donnez un nom pour le groupe créé (3), appelé forme synthétique (pour faciliter la remémoration qu’il s’agit d’une forme synthétique, vous pouvez prendre le parti de placer un petit « + » à la fin de la forme synthétique). Cliquez enfin sur « lemmatiser » pour valider. Votre nouveau groupe va être créé. Si le nom de groupe existe déjà, les mots seront simplement ajoutés au groupe existant.

La base est partiellement réécrite puis triée. Cette opération peut prendre un certain temps si le groupe contient beaucoup de mots différents…

Les mots outils

Toutes les formes présentes dans un corpus ne présentent pas forcément un grand intérêt. On ne peut cependant pas présumer de la liste de formes que chacun souhaitera écarter de l’analyse. Les « mais » sont généralement extrêmement présents mais qu’en faire dans le cadre d’une analyse sociologique ? A moins de se pencher sur l’esprit de contradiction des locuteurs, il n’y a pas vraiment de raison de les retenir. Il en est de même pour les pronoms, même si la création d’un lemme regroupant « moi », « je » et « j' » s’avère parfois très intéressante.

Le bouton « mots outils » en bas à gauche de cette page permet d’envoyer les mots sélectionnés dans un lemme spécifique, celui des « mots outils », qui regroupe toutes les formes dont vous n’aurez pas l’usage dans l’analyse. On les appelle parfois des « mots vides » par opposition aux « mots pleins » qui véhiculent du sens. Ces mots outils sont mémorisés dans un fichier texte nommé « Outils.txt », qui est placé dans le répertoire « Dico\ » du dossier du programme (généralement C:\Program Files\Sonal\). Cela implique que votre dictionnaire des mots outils est partagé entre vos différents corpus. La liste des mots outils est vierge à l’installation, vous devez l’enrichir progressivement. Une bonne méthode est de trier les mots par occurrences avant toute lemmatisation. Les mots les plus courants sont généralement les moins significatifs et peuvent être éliminés collectivement.

La lemmatisation automatique

Le bouton « Lemmatiser la base » propose une lemmatisation automatique de toute la base.

En cliquant sur la flèche pointant vers le bas à droite du bouton, vous pourrez choisir les différentes options. Pour l’instant, est proposée la lemmatisation des verbes, des pluriels (simples ! (s), pour l’instant…), des nombres et des mots outils. A chaque fois qu’un groupe est créé, la forme synthétique affectée à tous les mots qui en font partie est suivie d’un « + ». Cela n’est en rien obligatoire, mais cela permet de repérer plus vite les formes groupées des formes brutes.

Gérer les groupes créés

Après regroupement, vous avez la possibilité d’ouvrir les groupes de mots créés en cliquant sur la flèche à droite du mot.

Apparaissent alors, sous forme d’arborescence, les différentes formes regroupées sous un lemme commun.Vous pouvez dès lors  regarder le nombre d’occurrences de ces différentes formes, et éventuellement « détacher » certains mots du groupe, en cliquant sur la petite croix à droite du nom.

Détails d'un lemme

Attention, si vous modifiez l’ordre des entretiens ou des thématiques dans votre corpus, il vous faudra impérativement régénérer la base. En effet, celle-ci renseigne le rang des entretiens et des thématiques, par leur nom, il ne faut donc pas qu’ils changent dans le corpus et qu’ils restent identiques dans la base. Pensez cependant que la lemmatisation représente un certain travail, si vous choisissez de régénérer la base, tous les regroupements seront perdus.

 

L’analyse factorielle

Dernière fonction à découvrir dans cette page, l’analyse factorielle du vocabulaire, méthode programmée par Philippe Cibois pour Trideux-Mots, et qui s’inspire des travaux de Lebart et Salem. Pour plus de détails sur cette méthode et sur l’interprétation des résultats produits par Trideux, je vous renvoie à ce chapitre d’ouvrage (Cibois, 2006 [2]) et à cet article (Cibois, 1989 [3]) .

Dans Sonal, cette méthode procède en deux étapes. Il faut d’abord créer un tableau lexical, qui recense, pour chaque mot, le  nombre d’apparitions dans les différentes catégories du corpus. Attention, le tableau lexical est produit à partir des extraits maintenus actifs, et sur les formes retenues après filtrage. Cela implique qu’une approche globale des matériaux par l’intermédiaire d’une analyse factorielle doit logiquement se faire sur l’intégralité du corpus.  Cependant, en cela comme en d’autres choses, Sonal vous laisse une absolue liberté.

En cliquant sur la flèche située à droite du bouton, vous pourrez choisir les catégories à afficher en colonnes dans le tableau lexical, et déterminer si elles joueront un rôle actif ou illustratif (supp.) dans l’analyse factorielle :

Une fois le tableau lexical créé, il vous est proposé de l’ouvrir, pour visualiser son contenu et éventuellement le traiter dans d’autres applications. Vous n’êtes en rien obligé de l’ouvrir, mais cela peut vous permettre de mieux comprendre  de quoi il retourne. Pensez seulement à le refermer pour pouvoir passer à la suite.

Pour obtenir une représentation de type factoriel des écarts à l’indépendance à l’intérieur de ce tableau lexical, cliquez sur le bouton « Analyse factorielle ».

La fenêtre d’analyse factorielle s’ouvre alors.

Analyse factorielle du vocabulaire

Ce plan, que vous pouvez paramétrer avec les différentes options situées sur la partie gauche de l’écran, vous permettra de faire ressortir des typologies articulant le langage utilisé (en noir) et les différentes catégories (en bleu). Pour une meilleure compréhension de la méthode et de la manière dont il faut lire ses résultats, je vous renvoie aux publications de P. Cibois, qui expliquent mieux que je ne puis le faire le sens des conjonctions angulaires.

Pour ne voir que les mots dont le niveau de CPF (contribution par facteur) est pertinent, utilisez le menu déroulant situé au milieu du panneau situé à gauche du plan.

 

 

***

[1] Lafon Pierre. Sur la variabilité de la fréquence des formes dans un corpus. In: Mots, octobre 1980, N°1. pp. 127-165.

[2] Cibois Philippe, Le traitement des mots associés à des questions : l’apport du logiciel Trideux in Didier Demazière, Claire Brossaud, Patrick Trabal et Karl Van Metter (dir.), Analyses textuelles en sociologie. Logiciels, méthodes, usages, Rennes, Presses Universitaires de Rennes, 2006, p.156-173

[3] Cibois Philippe, Eclairer le vocabulaire des questions ouvertes par les questions fermées : le tableau lexical des questions », Bulletin de méthodologie sociologique, n°26, 1989, p.12-23.

 

Alex Alber

Sociologue. Maître de Conférences à l'Université F. Rabelais de Tours/ Laboratoire CITERES (UMR CNRS) Chercheur associé du Centre d'Etudes de l'Emploi.

More Posts - Website