Un point sur le développement de Sonal

Date 24 août 2010

L’été touche à sa fin, la rentrée approche, c’est le moment de faire un petit point sur le développement de Sonal…

Vous pouvez vous attendre, dans un futur proche, à disposer d’améliorations sur ces différents plans :

  • Un correcteur d’orthographe devrait apparaître dans la prochaine version. Il m’a été demandé à de multiples reprises mais je butais jusqu’ici sur des problèmes techniques. J’ai trouvé une solution qui n’est pas pleinement satisfaisante mais qui a le mérite d’exister : Sonal va « sous-traiter » la correction orthographique à Word, qui tournera en arrière-plan. Cela repose évidemment le gros problème de la Microsofto-dépendance du logiciel, qui vient malheureusement du développement en Visual Basic.  J’en suis bien désolé mais je n’ai guère le choix. D’un point de vue fonctionnel, deux modes de correction seront disponibles, une correction globale de l’extrait saisi, lancé à la demande et une correction dite « automatique », qui se contentera de mettre en rouge les mots mal orthographiés au long de la saisie.
  • Une inscription de Sonal dans la base de registre permettra, à partir de la prochaine version, de pouvoir ouvrir ses projets directement en double-cliquant sur les fichiers corpus (*.Crp). Ce qui devrait permettre de gagner un peu de temps, mais a surtout l’avantage de rapprocher Sonal d’un logiciel « normal ».

Sur le plan des projets un peu plus lointains :

  • La page de lecture des entretiens, apparue dans la dernière version, est longue à développer mais sera, à terme, un outil essentiel dans le fonctionnement de Sonal. Sans vouloir ébruiter trop tôt les innovations qu’elle apportera, je peux déjà dire qu’elle devrait permettre de « re-synchroniser » des entretiens retranscrits hors de Sonal, afin notamment de reconstituer un corpus à partir d’entretiens déjà retranscrits voire, à terme, de travailler uniquement à partir de fichiers textes, comme dans un logiciel d’indexation thématique classique. Cette possibilité de créer des points de synchronisation entre le texte et le son permettra aussi de placer des balises temporelles à l’intérieur des extraits déjà retranscrits. On devrait arriver ainsi à un système d’encodage plus fin. J’ai beaucoup d’espoir s’agissant de cet outil, mais je bute actuellement sur des problèmes techniques de fond, que j’entends régler avant d’aller plus loin. Les choses pourraient aller vite cependant, puisque les principaux obstacles sont franchis.
  • Sur le plan de l’analyse des corpus, la page des statistiques a été refondue. L’analyse chronométrique (place des différentes thématiques dans le corpus) sera dorénavant dissociée de la lexicométrie. Cela permet de gagner du temps dans l’affichage des statistiques, car la lexicométrie prend un peu plus de temps. Cette dernière sera améliorée, avec un module de recherche, des critères un peu plus affinés, etc. mais la grande nouveauté sera, dans les temps à venir, l’implémentation dans Sonal du système d’analyse conçu par Philippe Cibois pour Trideux-mots, qui repose sur les méthodes de l’analyse factorielle appliquées à un tableau lexical des questions, qui recense les usages d’un mot par les différentes catégories de locuteurs. J’ai encore un peu de travail pour réintégrer le code, mais on aura bientôt des plans factoriels permettant de suggérer des pistes d’analyse dans l’utilisation du vocabulaire par les différents types de répondants.

A plus long terme maintenant (quelques mois), j’entends aborder un aspect que Sonal délaisse pour l’instant, qui est la collecte et le travail des bandes sonores. J’aimerais permettre aux utilisateurs d’enregistrer leurs entretiens directement dans Sonal, et de commencer l’indexation dès ce moment là. Je réfléchis encore au meilleur moyen de permettre ce travail sans trop parasiter la conduite de l’entretien, qui nécessite une attention constante. J’aimerais également que Sonal prenne en charge la conversion des entretiens, ce qui impliquera l’usage de composants externes. J’ai quelques pistes…

Il reste donc beaucoup de choses à faire, mais les idées ne manquent pas. Plus le temps passe, plus je conçois le logiciel en trois parties :

  • Ce qui a trait à la collecte des matériaux (enregistrement, conversion etc.)
  • Ce qui relève de leur organisation (construction du corpus, retranscription)
  • Ce qui relève de leur analyse.

Pour l’instant, Sonal se concentre sur l’étape 2. Il reste beaucoup à faire sur ce plan, ce qui explique ma réticence à aborder l’étape 3, mais à terme, j’entrevois la possibilité de réaliser une application accompagnant le chercheur de la conduite des entretiens à leur analyse finale. A suivre…

La mystérieuse erreur 6 en partie résolue…

Date 4 août 2010

Depuis plusieurs mois, des utilisateurs me contactent pour me faire part de leur impossibilité à utiliser Sonal du fait d’une mystérieuse erreur 6 qui survient à chaque fois qu’ils tentent de lire un entretien. Les symptômes sont les suivants: le logiciel s’ouvre correctement, ils peuvent ajouter des entretiens, mais dès lors qu’ils tentent de les lire, l’erreur survient immanquablement et le logiciel se ferme.

Comme cette erreur semblait plus fréquente dans Vista et Seven que dans XP, je craignais qu’il n’y ait quelque problème de compatibilité avec Windows media, qui sert de lecteur d’arrière plan dans Sonal. Pourtant, certains parvenaient cependant à lire les fichiers hors de Sonal avec ce même lecteur, ce qui écartait cette explication.

Il semblerait en fait que ce problème vienne (chez certains) de l’utilisation de fichiers WAV encodés en 4 bits.  A l’importation des fichiers, Sonal vérifie qu’ils sont bien au format WAV, mais pas leur type d’encodage. Or, Sonal ne peut dessiner le spectre sonore des fichiers que s’ils sont encodés en 8 ou 16 bits, d’où le plantage systématique de la page de visualisation si les fichiers sont en 4 bits.

Il reste une part importante de mystère dans ce bug, qui est survenu chez certains au moment du changement de version entre la 0.0.13 et la 0.0.14. -  ce que je ne me explique pas vraiment – et il est possible que cette erreur ait parfois d’autres sources que celle mentionnée plus haut. Reste que si vous avez cette fameuse erreur 6, je vous recommande d’essayer de convertir à nouveau vos fichiers (à l’aide de FreeMp3WMA converter par exemple) en vous assurant bien que le format de sortie est bien du mono 8 ou 16 bits.

Un article sur Sonal

Date 26 juillet 2010

La revue en ligne Socio-logos m’a fait l’honneur de publier un modeste papier de réflexions au sujet du logiciel Sonal et de ce qu’il est susceptible de changer dans les pratiques des sociologues. L’article interroge tout particulièrement l’usage du son comme matériau de recherche en sociologie.

Vous pouvez lire et télécharger cet article ici.

Erreur 380 au démarrage

Date 2 juillet 2010

Plusieurs utilisateurs ont rencontré le problème suivant :

Au moment où ils lancent Sonal, la page d’introduction s’affiche correctement, mais dès qu’ils ouvrent un corpus, une erreur se produit, avec ce message :

Si une telle erreur se produit chez vous, il est fort possible que ce soit dû à la position de votre barre des tâches Windows, qui n’est probablement pas en bas de l’écran. Cela occasionne un bug assez bête et méchant car le dessin des pages de Sonal se fait en calculant la position de la barre des tâches à partir du bas de l’écran. Si elle est sur le côté ou en haut, les valeurs renvoyées sont erronées.

Je travaille à une solution, qui devrait être implémentée dans la prochaine version. Dans l’intervalle, il vous suffit de positionner votre barre des tâches en bas de l’écran lorsque vous utilisez Sonal.

Une nouvelle version est en ligne

Date 4 juin 2010

Voici les nouveautés :

  • Il est dorénavant possible de modifier la taille de la police d’affichage dans les fenêtres de saisie et de synthèse, à l’aide de ces boutons :

  • Pour un plus grand confort de lecture, la page de synthèse peut dorénavant être affichée en noir sur fond blanc.
  • Une fenêtre de lecture (encore en développement) vous permet également de lire les entretiens avec un peu plus de confort. On y accède à l’aide de ce bouton :

  • Vous pouvez dorénavant choisir parmi 29 couleurs pour  les thématiques. Des questions de transparence bloquaient le compteur à 13 jusqu’ici. Une question posée par Marie-Anne Bernasconi (merci) m’a amené à me pencher à nouveau sur la question et j’ai finalement compris que le champ des possible était plus vaste, même si les nouvelles couleurs sont souvent des déclinaisons des précédentes.  Certaines sont d’ailleurs  pour le moins « pétantes »‘ mais tous les goûts sont dans la nature…
  • Il est dorénavant possible de recoder les thématiques, c’est à dire de basculer tous les extraits qui étaient d’une thématique donnée dans une autre.

Cette vidéo vous en dira plus :

Nouveautés de la version 0.0.20 de SONAL
envoyé par ProjetSonal.

Partager un corpus dans Sonal

Date 6 mai 2010

Si les étudiants travaillent généralement seuls sur leurs entretiens (évaluation oblige), il est très fréquent que les chercheurs en sciences sociales réalisent des enquêtes collectives. Ce travail en groupe permet notamment de constituer en un temps raisonnable des corpus de dimensions suffisantes pour consolider les résultats obtenus et assoir une montée en généralité suffisamment solide. C’est aussi un excellent exercice pour échanger et débattre au sujet des matériaux recueillis.

En pareil cas, chaque participant conduit un certain nombre d’entretiens, sur la base d’un guide commun élaboré en amont de la recherche, afin de construire un corpus homogène.

Les choses se compliquent lorsqu’il s’agit de partager les matériaux. Un entretien retranscrit pouvant facilement atteindre les 50 pages, la relecture de ceux conduits par d’autres prend logiquement un temps très important; trop important souvent, pour la plupart des chercheurs…

Sonal peut offrir quelques facilitations dans cette tâche, car son fonctionnement -  son système de synthèse notamment- permet de s’approprier très rapidement les éléments essentiels d’un entretien, et d’en réécouter très simplement les passages clés.

Pour ceux qui souhaiteraient utiliser Sonal afin d’agréger des entretiens d’une recherche collective, voici comment il faut s’y prendre.

  • La première chose à faire est de construire un fichier projet ou corpus. Le fichier Corpus contient les caractéristiques partagées par l’ensemble des entretiens du projet. Concrètement, il suffit d’ouvrir Sonal et de choisir « créer un nouveau projet », puis de choisir le nom et l’emplacement du fichier Corpus. Il n’est pas nécessaire d’y ajouter le moindre entretien dans un premier temps.
    • La chose la plus importante à ce stade est de définir les thématiques qui seront partagées par tous les retranscripteurs. (quelques conseils ici).
    • Vous pouvez également  amorcer la saisie des variables qui devront être renseignées (allez dans la base de données et ajoutez des variables).
  • Il suffit ensuite d’envoyer le fichier Crp du projet aux différents participants de l’enquête. C’est un tout petit fichier texte, très léger, un mail peut donc largement faire l’affaire.
  • Chacun peut ensuite ouvrir ce corpus chez lui. Il y retrouvera les différentes thématiques et les variables de la base de données.
    • Il pourra ensuite y ajouter ses propres entretiens, et les saisir.
    • Lors de la saisie, il créera ainsi pour chaque entretien un fichier de retranscription (*.Rtr) compatible avec le corpus commun.
  • Enfin, pour créer le corpus collectif, il faut désigner la personne chargée de centraliser les entretiens. Celle-ci recevra d’une part les fichier sons (convertis en WAV ou non: le mp3 peut faciliter les envois par mail éventuels) et les fichiers Rtr de chaque entretien. À chaque mise à jour d’un entretien, il suffit ensuite que les retranscripteurs envoient leurs fichiers Rtr . Là encore, c’est un simple fichier texte, très léger.

La seule difficulté qui soit susceptible de survenir se situe au niveau de la base de données. Puisque les valeurs des variables sont créées automatiquement, chaque utilisateur aura des valeurs personnelles dans son corpus et, au moment d’agréger les entretiens, il est possible que celles-ci se superposent. Il est donc préférable de laisser le centralisateur saisir les modalités, en se contentant de les renseigner dans les commentaires. C’est là une petite question épineuse. Je posterai prochainement quelque chose à ce sujet…

Dans l’attente, pour mieux comprendre comment marche Sonal et quels fichiers échanger, je vous conseille de lire ce post.

De l’usage des thématiques dans Sonal

Date 30 avril 2010

Le système de retranscription de Sonal suppose de chapitrer les entretiens en découpant successivement des portions de bande à retranscrire. Afin de faciliter le travail d’analyse, ces différents extraits peuvent-être « thématisés », c’est à dire qu’ils peuvent se voir affecter un code couleur ainsi qu’un intitulé qui permettra de les décrire afin de faciliter les recherches et le tri des extraits.

Pour créer des thématiques dans un corpus, il faut soit aller dans le menu thématiques puis choisir gérer les thématiques, soit cliquer sur le raccourci dans l’onglet des thématiques (cerclé en rouge ci-dessous)

Dans la fenêtre qui s’ouvre, il faut ensuite cliquer sur « ajouter une thématique », en définir la couleur et le nom, puis valider. Il n’y a que 13 couleurs disponibles (pour des raisons de transparence) mais les utilisateurs peuvent créer jusqu’à 99 thématiques différentes par corpus. Les usages possibles sont très nombreux et voici quelques suggestions.

Au sens premier, les thématiques servent à  décrire le contenu des échanges. La grille thématique gagnera donc à cadrer avec les différents sujet du guide d’entretien. En pareil cas, on a rarement besoin d’en avoir beaucoup plus de 10 ou 15, car plus les thématiques sont précises, plus il devient difficile de les affecter.

Cela dit, si le protocole d’enquête prévoit des entretiens directifs, il devient possible de créer une « thématique » par question et de colorier de la même teinte toutes les questions portant sur un même sujet. A ce sujet, je recommande d’utiliser un code couleur spécifique (ou pas de couleur) pour isoler les questions posées par l’intervieweur (ceci afin de pouvoir ne pas les inclure dans l’analyse lexicométrique). Bien sûr, cela ne vaut que pour les questions longues; il serait extrêmement fastidieux d’isoler toutes les relances par exemple…

On peut également utiliser les thématiques dans le cadre des récits de vie. Pourquoi ne pas affecter à chaque étape du parcours une thématique particulière?

Bref, les solutions sont nombreuses et je compte sur les utilisateurs pour imaginer de nouveaux usages. Si vous avez des pratiques originales avec les thématiques dans Sonal, n’hésitez pas à les mentionner dans les commentaires, elles pourront inspirer d’autres utilisateurs

La retranscription automatique : une fausse bonne solution

Date 27 avril 2010

Face à la difficulté qu’il y a à  retranscrire les entretiens, nombreux sont les étudiants qui espèrent  trouver une solution miracle dans la retranscription automatique par reconnaissance vocale.

Pourtant, la reconnaissance vocale est loin d’être la panacée qu’on s’imagine. Il ne suffit pas de sélectionner un fichier son, de cliquer sur un bouton et d’attendre sagement que le logiciel le traduise en texte.  Si la reconnaissance vocale marche bien dans certains cadres, elle n’est pas du tout adaptée aux entretiens semi-directifs.

D’abord, la reconnaissance vocale ne reconnaît qu’une seule voix: la vôtre. Il faut en quelque sorte « dresser » le logiciel pendant quelques heures, en lisant un texte imposé, pour que l’application analyse vos intonations et sache les reconnaître. Une phase de rodage plus ou moins longue vous attend donc avant même de commencer à retranscrire.

Une fois que votre voix sera correctement reconnue, vous devrez donc répéter dans le micro tout ce que vous entendez sur la bande. Or, comme ces logiciels ont été conçus pour dicter des courriers, pas des entretiens, toutes les tournures orales, ne sont pas reconnues. Par exemple, les « chépas » devront être « traduits » en « je-ne-sais-pas ». De même, on sait bien que personne ne fait à l’oral des phrases aussi construites qu’à l’écrit. Il y a toujours des hésitations, des répétitions, des bouts de phrases qui n’arrivent nulle part etc. On peut rendre en partie ces digressions lorsque l’on retranscrit à la main, mais, dans la retranscription vocale, c’est plus compliqué,  il faut donc « traduire » en simultanée ce qui disent vos interlocuteurs, quitte à considérablement simplifier leurs phrases, et perdre un certain nombre de finesses du discours. Vous risquez assez vite de vous retrouver dans la peau d’un journaliste sportif obligé de tirer des phrases construites des propos lacunaires d’un footballeur. Or, il est difficile de construire une analyse scientifique digne de ce nom sur ce que les personnes interviewés ne disent qu’en substance…

Chez les professionnels de la retranscription, on appelle un « perroquet » celui qui fait ce travail de répétition/traduction. Il y a un article qui parle de ça ici. Le perroquet travaille généralement en binôme avec un correcteur, qui rattrape les erreurs d’interprétation et les fautes d’accord que font les logiciels. En effet, malgré des progrès indéniables, ces applications sont loin d’avoir une efficacité optimale, tant dans la reconnaissance des tournures que dans la qualité du français.

Si vous travaillez seul, cela veut dire que non seulement vous allez devoir répéter tout le contenu de vos entretiens devant le micro, mais qu’en plus, vous allez devoir vérifier en parallèle qu’il ne commet pas d’erreur, et saisir manuellement tous les noms propres ou les éléments de vocabulaire qui ne figurent pas dans le dictionnaire du logiciel. Ce qui vous obligera à arrêter la bande, le temps de corriger les erreurs.

Bref, c’est peut-être un peu plus rapide (au bout d’un certain temps de dressage) mais ce n’est pas plus simple…

Débuter dans Sonal

Date 20 avril 2010

En réponse à plusieurs sollicitations, voici comment il faut s’y prendre pour débuter dans Sonal.

Je pars du principe que le logiciel a été téléchargé et correctement installé.

1. Conversion des fichiers sons

La première chose à faire est de convertir vos fichiers sons (généralement mp3 ou WMA) au format WAV, si besoin.

Il existe beaucoup d’outils gratuits qui permettent de faire cela. Le plus complet et le plus simple que j’aie trouvé s’appelle Free Mp3 Wma Converter. Vous pouvez y intégrer toutes sortes de fichiers son et choisir un format de sortie.

Quel format choisir?

Sonal fonctionne avec du Wav, soit, mais il existe plusieurs types de fichiers WAV. Leur qualité détermine leur poids. Trois paramètres entrent en ligne de compte :

- le nombre de pistes (mono ou stereo)

Dans Sonal, il est inutile (voir déconseillé) d’utiliser des fichiers Stéréo. Leur affichage n’est pas prévu partout et leur poids est deux fois supérieur aux fichiers mono. Le mono est donc très très vivement conseillé.

- le type d’encodage (8, 16, 24 ou 32 bits)

Dans le cadre de l’analyse d’entretiens, il est parfaitement inutile d’utiliser des fichiers encodés en plus de 16 bits. Le format 16 bits correspond déjà à une bonne qualité de son. Si vous n’éprouvez pas le besoin d’avoir un son cristallin, vous pouvez descendre en 8 bits. Cela affectera légèrement le son (qui sifflera un peu plus), mais cela vous fera économiser de la place et accélèrera le travail du logiciel. En d’autres termes, le 8 bits est conseillé.

- la fréquence (44100 Hz pour une qualité CD).

La fréquence permet là aussi de jouer sur la qualité sonore et le poids des fichiers. Tout dépend de la qualité originelle de vos enregistrements. S’il y a beaucoup de bruits de fond, baisser la fréquence rendra l’écoute plus compliquée. Là encore, c’est à vous de faire des arbitrages entre qualité sonore d’une part et poids du fichier et vitesse de sonal d’autre part. Vous pouvez descendre jusqu’à 11025 hz pour diminuer par 4 le poids de vos fichiers ou vous en tenir à 22050 pour conserver une qualité suffisante

2. Créer un répertoire de projet

Pour constituer un corpus, vous devez réunir tous vos entretiens à l’intérieur d’un seul et unique répertoire, que l’on appellera répertoire projet. Ce dossier contiendra non seulement vos fichiers audio, mais aussi votre fichier corpus et tous les fichiers créés dans le cadre de la retranscription.

3. Créer un nouveau corpus

Vous pouvez maintenant lancer Sonal. La page d’accueil apparaît. Sélectionnez « Nouveau projet » (cf. ci-dessous)

Vous pouvez aussi fermer cette fenêtre et, depuis la fenêtre principale qui s’ouvre alors, sélectionner « nouveau corpus » dans le menu corpus :

La boite de dialogue qui s’ouvre alors correspond à un « enregistrer sous ».

Sonal vous demande comment s’appellera et où sera positionné le projet que vous voulez créer. Naturellement, il faut l’enregistrer dans le répertoire projet qui contient vos entretiens.

Ceci fait, vous avez un projet vierge. La page principale a cette apparence :

Elle ne contient ni entretien, ni thématique.

4. Ajouter des entretiens

Pour ajouter des entretiens, cliquez sur le menu « entretien » puis « ajouter un entretien » (Vous pouvez aussi cliquer directement sur le bouton cerclé de rouge dans l’image ci-dessous).

Puis, sélectionnez votre entretien.

Le processus d’ajout d’un entretien se déroule en plusieurs étapes. L’entretien est d’abord chargé, ce qui peut prendre quelques secondes. Il est en fait dessiné intégralement une première fois, ce qui permet de gagner du temps lors des ouvertures suivantes. Si c’est un peu long, il faut donc s’armer de patience.  Les fois suivantes, ce sera quasi-instantané.

Pour la suite, je vous renvoie aux vidéos de présentation :


Votre avis m’intéresse…

Date 19 avril 2010

Tout va trop bien… Sonal est en ligne depuis quatre mois.  Vous êtes plusieurs centaines à l’avoir téléchargé, et pourtant, je n’ai quasiment eu aucun retour. Une dizaine tout au plus.

Je remercie infiniment ceux qui m’ont fait des remarques, cela m’a permis d’améliorer l’outil, mais ce silence m’inquiète un peu, car il peut vouloir dire plusieurs choses :

  • Soit tout le monde est ravi. Le logiciel tourne comme une horloge et personne n’y trouve rien à redire (on peut rêver) …
  • Soit les utilisateurs rencontrent des difficultés en tentant de l’utiliser et laissent tomber rapidement, préférant retourner à leurs méthodes pourtant fastidieuses mais sécurisantes, et ne m’en informent pas (ce que je peux comprendre).

Dans tous les cas, j’ai un grand besoin de retours -positifs ou négatifs – pour pouvoir améliorer Sonal. Il s’agit encore d’une version d’essai et il reste inévitablement des bugs plus ou moins contrariants. Cependant, on ne les trouve qu’à l’usage car, en tant que développeur, on utilise les applications d’une manière trop « correcte » pour provoquer des erreurs. Seuls des utilisateurs ignorant tout du fonctionnement du logiciel ont la précieuse faculté de faire précisément ce qu’il ne faut pas faire et de provoquer des bugs qu’on n’aurait jamais envisagé. Si vous avez des difficultés pour utiliser Sonal, avant de laisser tomber, n’hésitez donc surtout pas à me contacter ou à laisser un « feedback » sur www.sonal-info.com.

A l’inverse, si vous utilisez Sonal sans difficulté, n’hésitez pas à me le faire savoir aussi. Qu’en faites-vous? Dans quel cadre (universitaire? professionnel?) Combien d’entretiens avez-vous retranscrits? Quelles options vous seraient les plus utiles? etc. J’ai une grande curiosité sur le sujet…

Par ailleurs, je travaille sur le système d’analyse lexicométrique et j’aurai besoin, à terme, de cobayes pour tester les fonctions avancées. Pour cela, il faudra disposer d’un corpus suffisamment important pour pouvoir réaliser des statistiques pertinentes. Si vous avez retranscrit au moins une dizaine d’entretiens, faites-moi signe.

  • Revues.org
  • Calenda
  • Hypothèses
  • La Lettre
  • Enquêtes Revues.org
  • Léo, le blog
  • Cléo