Présentation du système d’analyse statistique de Sonal

Présentation du système d’analyse statistique de Sonal

Après un long travail de développement consacré à l’ergonomie des interfaces de saisie et de visualisation des entretiens, j’ai enfin pu, à la faveur d’un séminaire de l’équipe Cost-Terreni au sein du laboratoire Citeres,  avancer dans le système d’analyse statistique des entretiens, jusqu’ici assez limité.

C’est en quelque sorte la troisième dimension du logiciel, la première étant l’enregistrement des entretiens, la seconde étant la construction des corpus. Cet outil sera une forme de récompense après les efforts faits pour encoder vos entretiens. Il faut dire qu’un corpus encodé dans Sonal devient une mine d’information, beaucoup plus qu’une compilation de fichiers texte contenant des entretiens retranscrits : non seulement chaque portion de texte se voit associer une thématique dès la retranscription – ce qui permet un filtrage thématique ainsi qu’un décompte chronométrique – mais il est également possible de décrire les entretiens à travers le système de base de données, ce qui permet un filtrage en fonction des caractéristiques des locuteurs. Pour l’instant, il y a deux optiques possibles : soit vous optez pour une analyse lexicométrique (décompte des mots), soit vous vous concentrez sur la place des différentes thématiques à l’aide d’une analyse chronométrique.

L’analyse lexicométrique dans Sonal : un système d’intuitions

L’analyse statistique repose sur une approche formelle assez simple. Il s’agit systématiquement d’étudier le vocabulaire contenu dans une série d’extraits définis par leur thématique et/ou par les caractéristiques des locuteurs. Une interface dédiée fait ressortir les éléments langagiers les plus spécifiques d’une collection d’extraits donnée. Cela revient à se demander en somme “quel vocabulaire utilise tel ou tel type de personne interviewée pour parler de tel ou tel sujet?” L’utilisateur peut donc structurer son analyse en regardant d’abord, au sein de chaque thématique, le vocabulaire employé par l’ensemble des répondants, et approfondir éventuellement l’analyse en filtrant à l’aide des caractéristiques renseignées dans la base de données. Par exemple, que disent les personnes interrogées sur la question de la précarité au travail, et qu’en disent les salariés contractuels ? et les statutaires? Etc.

Du point de vue statistique, le système est – pour l’instant – plutôt simple, les mots sont classés en fonction de leur pourcentage de spécificité. Si un mot n’apparait que dans les extraits filtrés, il leur est 100% spécifique; s’il apparaît pour moitié dans les extraits filtrés, et pour moitié dans d’autres extraits non retenus, son taux sera de 50% etc. L’avantage de ce système rudimentaire, c’est que tous les mots outils, par définition peu spécifiques, sont projetés en fin de classement, sans recours à un filtrage spécifique.

A cette entrée reposant sur les catégories analytiques prises isolément, s’ajoute un système d’analyse factorielle importé depuis Trideux grâce au concours de Philippe Cibois, qui permet une recherche plus “inductive” des corrélations locales entre caractéristiques et vocabulaire en introduisant simultanément l’ensemble des variables dans un même plan.

Un tableau lexical est généré, qui décompte, pour chaque modalité de chaque variable, le nombre d’occurrences de chaque mot. L’on peut ainsi, grâce aux marges, étudier l’existence d’éventuels écarts à l’indépendance dans l’utilisation du vocabulaire. Par exemple, dans un corpus où il y a à peu de choses près le même nombre de mots chez les hommes et chez les femmes, si un mot est utilisé 10 fois dans le corpus mais qu’il revient 8 fois chez les hommes contre 2 fois par les femmes, on peut dire qu’il existe une attraction – au sens statistique – entre la catégorie “homme” et ce mot particulier. C’est la logique de base de l’analyse des tableaux croisés transposée à l’analyse du vocabulaire. Et, puisque l’analyse factorielle résume les résultats d’un grand nombre de tableaux croisés, on peut obtenir une représentation géométrique des écarts à l’indépendance dans le tableau lexical tiré de la base, et ainsi découvrir d’éventuelles corrélations insoupçonnées.

Tout l’intérêt d’avoir indexé chronologiquement la bande pendant la retranscription est que ces analyses ne sont pas nécessairement la dernière étape du travail. Le matériau de base qu’est l’enregistrement reste accessible, ce qui transforme les résultats statistiques en simples suggestions, puisque après avoir été informé par le logiciel de la spécificité d’une forme pour un type de sujet/et ou répondant, l’utilisateur peut opérer un retour immédiat aux extraits contenant le mot en question, pour saisir le contexte particulier de son énonciation. Ce contexte est saisi à la fois sur un plan sémantique, en accédant aux phrases desquelles ils est issu – ce qui est une fonction usuelle des CAQDAS-, mais aussi sur un plan prosodique, puisque la réécoute des extraits apporte par surcroît des éléments de contexte améliorant l’interprétation.

Cela permet de ne pas choisir entre une analyse quantitative globale automatisée et une analyse locale de type compréhensif. Cela permet d’obtenir des intuitions analytiques fortes sans pour autant enfermer le sociologue dans un cadre interprétatif préconçu. De plus, en utilisant le filtre lié à l’indexation thématique des extraits et aux modalités des variables renseignées dans la base de données,  l’utilisateur peut restreindre l’analyse quantitative à certaines portions du corpus.

Le dépouillement peut donc être à la fois quantitatif et… inductif, c’est à dire être basé sur une curiosité préalable du chercheur quant à la spécificité de telle ou telle catégorie de répondant concernant tel sujet etc. tout en utilisant des algorithmes permettant de faire ressortir l’existence de corrélations statistiques notables. L’entrée se fait par les catégories définies par l’utilisateur en décrivant ses interlocuteurs. A la différence d’un outil comme Alceste, qui tend à aborder le matériau pris globalement, s’intéressant d’abord aux formes discursives récurrentes à l’intérieur du corpus, pour ensuite rechercher des associations éventuelles entre ces formes et des variables illustratives rattachées aux unités de contexte (UC)[1], Sonal est avant tout un outil de recherche des spécificités langagières propres à chaque sujet et ou à chaque locuteur. L’approche est beaucoup moins ambitieuse et ne débouche pas forcément sur des résultats aussi transversaux que les « mondes sémantiques » dégagés par Alceste, mais elle permet assurément de faire ressortir des constantes intéressantes au sein des corpus.

C’est la chronologie même du travail qui est transformée, puisque l’analyse peut tout à fait se faire tout au long de la construction du corpus. Elle n’est plus l’ultime étape, suivant la retranscription et l’agrégation des verbatims.

Comment analyser statistiquement un corpus?

Du point de vue ergonomique, le système de tri lexical reprend le fonctionnement du système de sélection des extraits.  Le même système de panneaux latéraux est utilisé pour filtrer les thématiques et des caractéristiques des locuteurs depuis le corpus.

1) Isolez (ou non) les thématiques et/ou les entretiens qui vous intéressent, exactement comme si vous souhaitiez les envoyer dans la synthèse.

2) Choisissez un mode d’analyse. Vous avez deux possibilités, soit vous procédez à une analyse lexicométrique, soit à une analyse chronologique. La première consiste à compter les mots, la seconde à compter le temps.

L’analyse lexicométrique se lance avec le bouton ci-dessous.

Au tout premier lancement de cette application, Sonal réalisera une base lexicale qui recensera tous les mots et leur contexte d’apparition. En fonction des capacités de votre machine, le calcul de cette base peut prendre un certain temps. Pour éviter d’avoir à la recalculer à chaque utilisation, Sonal propose de recharger la base existante, qui est enregistrée dans le dossier de projet sous la forme [nom_du projet].Lexico.xls.

Si vous n’avez pas modifié votre corpus depuis la dernière utilisation, vous pouvez répondre non et Sonal rechargera la dernière base. Cette question ne vous sera évidemment posée qu’à la première ouverture de la fenêtre. Par la suite, vous pourrez rafraîchir la base à l’aide d’un bouton « rafraichir la base lexicale » placé dans la fenêtre d’analyse lexicale.

Vous parvenez alors à la fenêtre d’analyse lexicale.

Sur la partie gauche de la page, les panneaux de tri (thématiques, entretiens, variables) reproduisent le filtrage opéré. Si vous avez « éteint » certaines thématiques ou désactivé certains entretiens avant d’ouvrir la page, les panneaux de tri seront affichés sur le côté. Si vous voulez les afficher, utilisez les boutons « thématiques, tri à plat et entretiens » en haut de la page.

Dans la partie droite, une liste de vocabulaire triée par niveau de spécificité. Les mots qui n’apparaissent que dans la sélection opérée en faisant ressortir le vocabulaire spécifique des extraits filtrés.

On peut également opter pour d’autres combinaisons de thématiques ou de caractéristiques dans cette même fenêtre, le nouveau tri opéré se reproduisant instantanément dans la fenêtre de corpus. L’analyse lexicométrique est donc accessible dans la continuité de la construction du corpus, comme la synthèse. De même l’analyse chronométrique, qui reprend(ra) également les catégories utilisées pour filtrer les extraits.

L’analyse chronométrique : un outil réflexif

L’analyse chronométrique s’obtient en cliquant sur le bouton “chrono” positionné juste à droite du bouton lexico dans la page de corpus. Elle procède de la même logique de filtrage que l’analyse lexicométrique, avec les mêmes panneaux latéraux,  mais ses résultats sont à interpréter avec plus de prudence : le rôle de l’encodeur dans la définition des thématiques invite à considérer l’analyse chronométrique comme un outil réflexif.


[1] Pour une explication très claire du fonctionnement d’Alceste, cf. Dalud-Vincent Monique, « Alceste comme outil de traitement d’entretiens semi-directifs : essai et critiques pour un usage en sociologie », Langage et société, 2011/1 n° 135, p. 9-28

Alex Alber

Sociologue. Maître de Conférences à l'Université F. Rabelais de Tours/ Laboratoire CITERES (UMR CNRS) Chercheur associé du Centre d'Etudes de l'Emploi.

More Posts - Website

Intégrez des vidéos dans Sonal

La version 0.0.52 vous permet dorénavant d’intégrer des vidéos dans vos corpus. Avant de vous expliquer comment il faut s’y prendre, je précise dès maintenant qu’il ne s’agit pas de substituer des vidéos aux fichiers sons mais bien d’ajouter l’image à la bande son.

Vous avez donc une vidéo (en *.Avi ou en *.Mpg) et vous voulez l’intégrer dans Sonal. La première chose à faire est d’extraire la bande son de votre vidéo.

1 – Extraire la bande son d’un fichier vidéo

Il existe plusieurs manières de faire. La plus simple que je connaisse est d’utiliser VLC, lecteur multimédia gratuit, aujourd’hui très connu, et que je recommande vivement à ceux qui ne l’ont pas encore téléchargé.  L’un des intérêts de VLC, j’y reviendrai plus bas, est précisément qu’il ne nécessite pas l’installation de “codecs” pour lire les fichiers vidéos compressés (avi etc.).

Vous ouvrez donc VLC. Dans le menu “média”, vous avez un bouton “convertir/enregistrer” (c’était “diffuser” dans les versions plus anciennes) qui donne accès à un utilitaire dans lequel vous allez pouvoir extraire le son de votre vidéo. L’interface change en fonction des versions et il me sera bien difficile de faire un tutoriel précis. Sachez seulement que c’est faisable et que ce n’est pas très compliqué. Il faut choisir votre fichier à traiter et opter pour une extraction en audio au format “CD” ou “WAV”, puis, dans les options, choisir de préférence une sortie mono avec une fréquence d’échantillonnage qui peut descendre jusqu’à 11025 Khz.

Une chose importante à faire une fois votre bande son extraite sera de vous assurer que vos deux fichiers (vidéo et son) portent strictement le même nom, à l’exception bien sur de leur extension : l’un étant en *. WAV, l’autre en *. Avi ou *. Mpg et qu’ils sont tous deux dans votre dossier de corpus.

Par exemple, dans votre dossier de corpus, vous  pouvez avoir deux fichiers :

–  Exemple Interview 1.WAV

–  Exemple Interview 1. AVI

Cette condition est très importante car c’est en repérant l’existence d’un fichier vidéo du même nom que le fichier son que Sonal vous proposera d’afficher la vidéo.

Une fois ces conditions réunies, vous pouvez charger le fichier son dans votre corpus comme n’importe quel entretien. C’est dans la page de lecture/visualisation de l’entretien que vous verrez une petite différence. En haut à droite de la page, un bouton “vidéo” vous permettra d’afficher l’image :

Par défaut, la fenêtre sera aux dimensions de l’image, des boutons + et – vous permettront de la redimensionner;  le traditionnel double-clic vous fera passer en plein écran, ce qui n’est pas nécessairement très pratique à ce stade, car la position dans la lecture se pilote en cliquant sur la bande qui apparaît en arrière plan.

2 -Ajouter des codecs pour Windows Media Player

Sur le strict plan des manipulations dans Sonal, les choses sont donc assez simples. Par contre, il se peut que vous rencontriez un problème avec Windows Media Player, le lecteur d’arrière plan utilisé par Sonal. A la différence de VLC, WMP n’a presque aucun codec à son installation et a souvent bien du mal à lire les formats un peu particuliers. Si Sonal n’affiche pas la vidéo correctement, c’est sans doute qu’il vous manque des codecs.

J’ai rencontré ce problème et je l’ai résolu en téléchargeant ce “pack” de codecs duquel je n’ai pas eu à me plaindre jusqu’ici : http://www.01net.com/telecharger/windows/Multimedia/codecs/fiches/26950.html J’ai aussi essayé un pack de chez Softonic mais l’installateur essaye de vous fourguer en douce toute une ribambelle de logiciels et de barres d’outils dont vous n’aurez jamais l’usage. Je déconseille donc softonic…

Alex Alber

Sociologue. Maître de Conférences à l'Université F. Rabelais de Tours/ Laboratoire CITERES (UMR CNRS) Chercheur associé du Centre d'Etudes de l'Emploi.

More Posts - Website

Partagez facilement vos corpus Sonal

Le partage des données qualitatives est un problème auquel s’affrontent constamment les sociologues. Lors des  recherches en équipe, les corpus collectifs sont souvent une juxtaposition de corpus individuels plus ou moins étanches, chacun tendant à construire son analyse sur ses seuls entretiens et il est difficile de partager ses matériaux, au moins sur un plan pratique (les réticences liées à la pudeur sont un autre sujet).  On peut certes se transmettre ses bandes – la numérisation permet d’ailleurs de faciliter cette tâche, même si la taille des fichiers reste un problème, notamment pour l’envoi par mail-; on peut également se transmettre des fichiers word contenant les retranscriptions mais chacun sait le temps que peut prendre l’écoute ou la lecture complète d’un corpus d’entretiens. Il est donc généralement long et fastidieux d’entrer dans les matériaux de quelqu’un d’autre.

Sonal vise à réduire autant que possible cette difficulté cognitive. Comme tout est fait pour permettre une appréhension globale des matériaux, et que les fonctions de tri par thématique et/ou par attributs des répondants permettent une approche très synthétique de leur contenu, partager un corpus Sonal est sans doute plus intéressant que partager simplement des enregistrements ou leurs retranscriptions. On offre en tout cas au récipiendaire du corpus certains moyens de s’approprier plus rapidement le contenu des entretiens.

Comment partager son corpus?

Le fait que Sonal fonctionne en “adresse relative”, c’est-à-dire que tous les fichiers d’un corpus soient contenus dans un seul et même dossier, facilite considérablement la tâche. Recopiez le dossier qui contient votre corpus sur un disque dur externe (par exemple), transmettez le à un tiers, en ouvrant votre corpus, il le retrouvera exactement comme vous l’avez laissé. Le seul inconvénient est évidemment qu’un dossier de projet dans Sonal est généralement très lourd, du fait de la présence des fichiers WAV, même de qualité minimale (comptez au minimum 1 Go pour une vingtaine d’heures d’entretiens). Il est donc techniquement fastidieux de partager de tels volumes de données via Internet (même si ce n’est pas impossible).

La dernière version de Sonal (0.0.52) offre une alternative intéressante car elle est capable de fonctionner en “mode muet”, c’est-à-dire que l’absence de fichier WAV n’entrave plus l’ouverture des corpus. Toutes les fonctions restent accessibles, hormis bien sûr l’écoute des différents passages. Dans le cas d’entretiens intégralement retranscrits, l’envoi d’un corpus – même “muet” – présente donc l’avantage de permettre de partager la vue synthétique des matériaux et le système de tri qu’offre Sonal. L’intérêt est en l’occurrence qu’en l’absence des fichiers son, un corpus ne pèse presque rien et qu’il est loisible de l’envoyer par mail…

Comment partager un corpus “muet” par mail?

Partager un corpus muet revient à envoyer tous les fichiers d’un projet, à l’exception des enregistrements. Une méthode très simple pour ce faire est d’utiliser la fonction qui permet de créer des dossiers de sauvegarde.

Cette fonction vise à sauver  les fichiers qui représentent un travail de saisie de la part de l’utilisateur : les fichiers de retranscription (Rtr) surtout, mais aussi le fichier de Corpus (Crp). Elle crée, dans le répertoire de projet, un nouveau dossier qui ne contient que les fichiers en question et qui porte par défaut le nom “Sauv” suivi de la date du jour en ordre inversé (année, mois, jour) mais vous êtes libres de le nommer comme bon vous semble.

Ce dossier contient donc un corpus qui peut être ouvert dans Sonal. Du fait de la présence des fichiers Rtr, on y retrouvera tous les extraits, leurs thématiques, leur position, la base de données etc. Ce dossier,  très léger car il ne contient que des fichiers textes, peut ensuite être zippé (clic droit –> envoyer vers –> dossier compressé) et envoyé par mail.

A la réception, il suffit de dézipper le dossier et d’ouvrir le fichier corpus (Crp) qu’il contient. Toutes les fonctions de tri et d’analyse peuvent être utilisées, le corpus peut même être modifié. Attention cependant, le récipiendaire n’aura pas les images des spectres sonores des entretiens dans son corpus car les fichiers d’image (Bmp) ne sont pas ajoutés lors de la sauvegarde automatique. Le corpus aura donc cette apparence:

Si ces questions d’esthétique vous taraudent, sachez qu’il suffit de recopier tous les fichiers Bmp du corpus dans votre dossier avant de le zipper et le tour est joué. Cela devrait légèrement l’alourdir cependant.

Pareillement, les fichiers mémorisant les parties lues (*.Lct) ne sont pas ajoutés à la sauvegarde. A moins de souhaiter ardemment qu’un tiers vienne jeter un oeil sur votre travail d’écoute, vous n’avez pas vraiment de raison de les partager…

Alex Alber

Sociologue. Maître de Conférences à l'Université F. Rabelais de Tours/ Laboratoire CITERES (UMR CNRS) Chercheur associé du Centre d'Etudes de l'Emploi.

More Posts - Website

La version 0.0.52 est en ligne

Cette nouvelle version, que vous pouvez télécharger ici, a été longue à finaliser, car elle contient de nombreuses nouveautés en simultané :

– Il y a de nouveaux développements dans le système d’analyses statistiques. Les analyses lexicométriques et chronométriques ont été dissociées pour plus de commodité; la sélection des extraits à analyser se fait de la même manière que l’export vers la synthèse puis choisissez “Lexico’ ou “Chrono”.

– On peut enfin utiliser les fonctions d’analyse factorielle importées depuis trideux avec l’aide de P. Cibois. L’utilisation de cette fonction demande que la base de données soit correctement renseignée, avec un nombre suffisant de variables pour faire ressortir d’éventuelles corrélations intéressantes.

Des explications et un mode d’emploi seront très prochainement mis en ligne sur ce carnet de recherche.

– Vous pouvez dorénavant analyser des vidéos dans Sonal. Cette fonctionnalité peut vous permettre de retranscrire des entretiens filmés, d’annoter des prises de vue ethnographiques ou de commenter tout ce qui vous semblera bon. Tout se passe exactement de la même manière que si vous travailliez avec le seul fichier son (toujours requis), mais vous pouvez voir en même temps les images correspondantes dans une fenêtre dédiée à la vidéo.

Pour activer cette fonction, il vous suffit de placer le fichier vidéo (format *.Avi ou *.Mpg) dans le même dossier que le fichier WAV correspondant avec exactement le même nom. Le mode vidéo vous sera proposé dans la fenêtre de visualisation:

Là encore, je dédierai prochainement un billet à ce sujet pour donner notamment quelques précisions au sujet de la procédure à suivre pour ajouter des codecs, qui risquent de manquer à Windows Media (le lecteur d’arrière-plan de Sonal), et pour extraire le son des vidéos.

La saisie est mieux sécurisée, avec un système d’enregistrement automatique en cours de dictée.  A chaque validation en cours de dictée, l’extrait en cours de saisie et sauvegardé. Outre la protection contre les mauvaises surprises en cas de bug en cours de saisie (très rares n’est-ce pas?), cela procure la satisfaction de voir progresser en continu la saisie en arrière plan. Je crois que c’est bon pour la psychologie du transcripteur…


– Un mode multi-locuteurs permet d’utiliser des raccourcis pour désigner les locuteurs dans le texte. Je dois cette idée à Xavier Le Nué, qui m’avait d’ailleurs fait cette suggestion il y a bien longtemps…

Les touches F1 à F12 peuvent être attribuées chacune à un raccourci. Par défaut, elles renvoient “R” et leur numéro. Pour personnaliser les raccourcis, cliquez sur le bouton suivant :

La fenêtre suivante apparaît alors.

Cliquez sur les raccourcis existants, modifiez les puis validez votre saisie avec entrée avant de quitter.

Une dernière chose – très importante – la version 0.0.55 est dorénavant capable de fonctionner en “mode muet”, c’est à dire que l’absence de fichier son dans le répertoire du corpus n’arrête plus l’application. Cela a une conséquence très concrète : il est dorénavant possible d’ouvrir les corpus contenus dans les dossiers de sauvegarde (qui ne contiennent pas de fichier WAV) et d’avoir accès à tout son contenu (retranscriptions, thématisations, base de données, commentaires etc.)  hormis bien sûr aux bandes son.

Concrètement, cela permet  par exemple de zipper un dossier de sauvegarde et éventuellement de l’envoyer par mail (c’est très léger) à un tiers pour qu’il l’ouvre lui-même dans Sonal et qu’il voie votre corpus tel que vous le voyez. Bien sûr, sauf à avoir les bandes, il ne pourra pas l’écouter mais si la retranscription est intégrale, le partage d’un corpus Sonal est beaucoup plus instructif qu’un simple envoi de fichiers de traitement de  texte retranscrits… Quelques conseils ici.

Pour le reste, un certain nombre de correctifs qu’il serait fastidieux de présenter.

Alex Alber

Sociologue. Maître de Conférences à l'Université F. Rabelais de Tours/ Laboratoire CITERES (UMR CNRS) Chercheur associé du Centre d'Etudes de l'Emploi.

More Posts - Website