Archives de catégorie : approches d’analyse

Vers l’analyse quantitative des conversations dans Sonal

D’une manière générale, le développement de Sonal suit un plan d’ensemble largement arrêté. Une longue liste de « choses à faire » m’attend et, au gré des disponibilités et de mes échanges avec les utilisateurs, j’avance consécutivement sur différents aspects du projet.

Et puis parfois, il y a des surprises; de très bonnes idées suggérées par les utilisateurs, qui me poussent à dévier un peu le programme de développement, ou, comme ici en l’occurrence, la découverte progressive des conséquences possibles de l’ajout d’une simple  fonction, l’ouverture involontaire d’un nouveau champ des possibles analytique.

Les alternances de parole comme nouvel objet de quantification dans Sonal

En l’occurrence, lorsque j’ai programmé la reconnaissance des balises de question dans la version 1.4.10, je l’ai surtout fait pour mettre en forme les questions dans la page de lecture, et pour permettre à terme leur traitement différencié dans l’analyse lexicométrique (à venir très bientôt). Lorsque Sonal rencontre une balise de locuteur qui termine par un point d’interrogation (Exemple : [>Enquêteur?]), il met en forme cette balise et le texte suivant d’une manière spécifique, jusqu’à ce qu’une nouvelle balise sans « ? » intervienne (voir ci-dessous).

Mise en forme spécifique des questions et des réponses dans la fenêtre de lecture

En faisant cela, je n’avais pas précisément pensé à ce que l’on pouvait tirer, d’un point de vue quantitatif, du repérage dans le texte des alternances des prises de parole entre questionneur(s) et questionné(s).

En y travaillant le week-end dernier, j’ai progressivement déroulé une chaîne de possibles assez passionnante en matière d’analyse quantitative des échanges entre interrogateur(s) et répondant(s) au fil d’un entretien. Puisque je sais trop combien l’inventivité est souvent l’autre nom de l’ignorance ou de l’amnésie, je m’abstiendrai de parler d’invention, mais je pense que ces fonctions risquent d’être bien pratiques.

En cliquant sur le bouton qui a cette apparence :

on pourra bientôt (dans la version 1.4.11 à paraître) avoir accès, pour un entretien donné, aux informations globales suivantes :

  • Nombre de questions et de réponses (il peut y avoir plusieurs répondants, comme dans l’exemple ci-dessous)
  • Longueur moyenne (en mots) des questions et des réponses
  • Ratio des questions et des réponses sur le nombre de mots de l’entretien
  • Nombre total de locuteurs dans l’entretien
  • Part relative (en % des mots) de chacun
Exemple de résultat d'analyse des échanges (projet)

Dans la partie inférieure du graphique ci-dessus, on peut voir un projet de formalisation des longueurs des prises de parole, qui demande encore à être améliorée.

Pour l’instant, l’axe des abscisses correspond à l’enchainement des interventions. Dans l’exemple donné, chaque intervention occupe un 420è (197 Q + 223 R) de la largeur de la page et les histogrammes sont d’autant plus hauts que la prise de parole est longue. La chronologie de l’entretien se déduit donc de la hauteur des histogrammes, ce qui peut être un peu perturbant. Une succession de questions/réponses courtes occupera beaucoup plus de largeur qu’une seule réponse, pourtant beaucoup plus longue en termes de durée.

Dans l’exemple ci-dessus, on peut voir que le premier tiers des échanges (pas forcément de l’entretien donc) est constitué de questions courtes et de réponses courtes entre l’enquêteur et « Madame ». Puis, dans le deuxième tiers, de plus longues interventions de la principale répondante sont visibles avant que, dans le dernier tiers, émergent de courtes prises de parole de « Monsieur » qui, on le voit, intervient beaucoup moins que sa femme, sans doute du fait d’une arrivée tardive.

Cette forme de représentation permet donc une appréhension assez rapide de la manière dont est structuré l’entretien, du point de vue des tours de parole. Je pense également proposer les mêmes informations sous forme de courbes afin de montrer la progression des temps de parole cumulés au fil de l’entretien.

Graphique des temps de parole cumulés (projet)

Dans l’exemple ci-dessus, on voit bien comment l’interrogateur et la répondante sont quasiment à égalité de temps de parole pendant une première partie de l’entretien, avant que les réponses s’allongent progressivement, introduisant un différentiel (normal et salutaire) entre interrogateur et le répondant sur la durée de l’entretien.

J’hésite encore sur la forme à donner, mais étant donné la complémentarité des histogrammes et des courbes, ces deux modes de représentation pourront être proposés en parallèle ou de manière optionnelle. Je vais également tâcher de donner à voir de manière intuitive le déroulé chronologique de l’entretien, mais ce n’est pas évident. Je cherche encore…

Apparaissent donc progressivement des espaces de quantification nouveaux, qui débouchent eux-mêmes sur des possibles analytiques qui restent largement à tester et à consolider, mais quiconque est familier des recherches par entretiens ne pourra que se montrer curieux face à cette objectivation possible des échanges. Sans fétichisme quantitatif, pouvoir se faire une idée générale de la « directivité » d’un entretien ou, dans le cas d’un corpus collectif, pouvoir repérer, autrement qu’à l’intuition, des « styles » d’interrogateurs différents (certains intervenant beaucoup et longuement, d’autres par de courtes incises) est quelque chose d’assez intéressant. A l’instar de l’analyse chronométrique, je vois d’abord ces fonctions comme un outil  réflexif, un moyen de mieux connaître ses propres pratiques d’enquête, mais on peut également s’en servir, bien qu’avec mesure, pour mettre au jour certaines constantes dans les entretiens.

On peut également envisager, en combinant ces fonctions à l’analyse débitmétrique (encore en développement), d’approcher d’une qualification des prises de parole selon une échelle de « fluidité » permettant de faire la différence entre les sujets sur lesquels la conversation est hachée (le locuteur parle lentement et l’interrogateur intervient souvent) et ceux où le répondant parle longuement, rapidement et sans relance. L’existence de variations à l’intérieur d’un même entretien (en fonction de la thématique, ou de l’avancée dans le temps) pourrait présenter un certain intérêt heuristique.

A suivre…

 

Alex Alber

Sociologue. Maître de Conférences à l'Université F. Rabelais de Tours/ Laboratoire CITERES (UMR CNRS) Chercheur associé du Centre d'Etudes de l'Emploi.

More Posts - Website

Analyser un corpus Sonal (1/5)

Le projet Sonal a maintenant plus de deux ans. J’imagine – enfin j’espère – qu’un certain nombre d’utilisateurs a dorénavant un corpus de taille suffisante pour commencer à travailler un peu méthodiquement dans l’analyse  des entretiens. Sonal a beaucoup progressé sur ce plan depuis quelques versions, mais la littérature n’a pas (encore) suivi, et certains utilisateurs sont dans l’attente de quelques conseils pour analyser leur corpus.

Je vais donc écrire quelques billets pour faire le point sur ce qu’il est possible de tirer d’un corpus encodé dans Sonal, en fonction des centres d’intérêt de chacun.

Celui-ci est donc le premier d’une série prévue de cinq billets. Il abordera les conditions préalables pour analyser efficacement ses entretiens avec Sonal, fera le point sur les différents angles d’analyse possibles et se terminera par la présentation du système de filtrage, commun à toutes les approches.

Conditions optimales pour l’analyse d’un corpus Sonal

Pour pouvoir tirer profit de la complémentarité des approches proposées par Sonal, il est préférable d’avoir un corpus complet.
Par cela il faut entendre deux choses :

  • Des entretiens encodés thématiquement.

Il faut avoir utilisé l’encodage thématique lors de la retranscription. Cela veut dire ne pas avoir créé un seul extrait de la longueur de l’entretien, mais avoir découpé progressivement des passages dans la bande, en les qualifiant à l’aide de la grille thématique que vous aurez définie.

  • Un corpus contenant les informations clés au sujet des locuteurs

Cela implique d’avoir utilisé la base de données, en créant des variables susceptibles d’intervenir comme éléments distinctifs dans la comparaison des différents entretiens. Par exemple, si vous pensez que le sexe est une caractéristique importante pour éclairer les discours de vos répondants, ajoutez cette variable dans la base de données et renseignez la pour tous; de même avec l’âge et ainsi de suite avec tout ce qui vous semblera potentiellement éclairant, dans la limite de 99 variables. Bien sûr, vous n’êtes pas obligés de vous retrouver dans cette approche, très proche de ce que proposent les logiciels statistiques en matière d’analyse des réponses aux questions ouvertes. Cependant, il me semble toujours préférable de stocker un maximum d’informations au sujet des entretiens, quoi que l’on espère en tirer par la suite.

Base de données Sonal

 

Choisir (ou pas) un angle d’approche des données

Sonal vous propose d’analyser votre corpus de trois (ou quatre) façons. Ces approches peuvent être utilisées en parallèle, tout au long de la construction du corpus.

  •  La première méthode, l’approche qualitative, consistera à trier les extraits retranscrits en fonction de leur thématique, du type d’entretien dont ils sont issus, pour isoler une collection d’extraits que l’on pourra relire et/ou réécouter pour analyse. On pourra aussi trier à l’intérieur des extraits ceux qui contiennent une forme particulière. C’est la fonction de synthèse, à laquelle sera consacré le second billet de la série.
  • La seconde manière, intrinsèquement quantitative, consiste à étudier le vocabulaire utilisé dans les différents extraits, en analysant le vocabulaire spécifique des différents types de locuteurs sur les différents thèmes. On peut ainsi contraster le vocabulaire utilisé en fonction des grilles d’analyses renseignées dans la base de données et dans la liste des thématiques. C’est l’analyse lexicométrique, à laquelle sera consacré le troisième billet.
  • La troisième approche consiste en l’analyse des temps de parole. De par le découpage de la bande lors de la thématisation, il est possible de calculer le temps passé sur les différents thèmes par les différents ( types de) locuteurs. Même si cet outil permet surtout une approche réflexive des matériaux, il peut présenter un certain intérêt. C’est l’analyse chronométrique, qui sera présentée dans le quatrième billet.
  • Enfin, en prévision: l’analyse débitmétrique, qui consistera à compter le nombre de mots par minutes, en se basant sur le rapport entre la durée des extraits et le nombre de mots qu’ils contiennent. Les accélérations, les ralentissements, peuvent faire l’objet d’une analyse, même si l’essentiel reste sans doute à inventer en la matière. Ce sera l’objet du cinquième et dernier billet.

Toutes les analyses proposées par Sonal reposent sur un même principe de filtrage visant à faire ressortir des contrastes. On va systématiquement isoler des sous parties du corpus pour les étudier, soit qualitativement, soit quantitativement, en les comparant au reste du corpus. Cette méthode de filtrage repose sur plusieurs critères combinables, qui fonctionnent tous d’une manière similaire.

 

Comprendre la logique du système de filtrage

On peut voir un corpus encodé dans Sonal comme une sorte de « base de données qualitative » composée d’une collection d’extraits à la fois sonores et textuels. Ces extraits sont représentés par des « briques » de couleurs collées sur la bande et qui valent à la représentation synthétique du corpus le qualificatif de « mur » :

Exemple de corpus Sonal

Toutes les fonctions d’analyse de Sonal reposent sur un principe de filtrage commun : elles supposent un filtrage qui repose sur l’activation ou la désactivation des extraits en fonction des différentes caractéristiques qui leur sont rattachées.

Chaque extrait possède des caractéristiques qui lui sont propres :

•    des coordonnées temporelles spécifiques (les extraits ne se superposent pas)
•    une chaîne de caractères (texte) correspondant à la retranscription

Et d’autres, qu’il partage avec d’autres extraits :
•    une thématique, qui définit notamment sa couleur
•    un entretien, duquel il est issu, et qui lui confère des caractéristiques renseignées dans la base de données.
Dans Sonal, un extrait c’est donc 1) une durée de bande, 2) du texte, 3) une thématique et 4)  des caractéristiques tirées de la base de données où sont enregistrées des informations sur l’entretien duquel est issu l’extrait. C’est sur la base de ces différents attributs que les extraits vont être activés ou non.

Représentation schématique de la "base de données qualitatives"

La première question est donc de savoir comment on active et comment on désactive les extraits.
Il y a trois approches possibles et complémentaires pour activer ou désactiver les extraits :
•    On peut choisir de ne garder actives que certaines thématiques
•    On peut choisir de ne garder actifs que certains entretiens en les choisissant individuellement
•    On peut choisir de ne garder actifs que certains types d’entretiens, en se basant sur les caractéristiques de la base de données.
D’un point de vue graphique, Sonal offre une représentation très intuitive des filtrages puisque les analyses portent sur les extraits « allumés » repérables dans le « mur » du corpus.

Corpus filtré (certaines thématiques et certains entretiens sont désactivés)

Filtrer par thématique

Pour allumer ou éteindre une thématique, un clic gauche sur la thématique considérée dans le volet thématique à gauche de la page suffira. Pour ne garder que cette thématique, utilisez un clic droit. Pour rallumer ou éteindre toutes les thématiques, cliquez sur le bouton on/off situé en haut à gauche du volet thématique. Dans la page de corpus, les extraits dont la thématique a été désactivée disparaissent.

Filtrer par entretien

Les entretiens s’allument et s’éteignent individuellement en cliquant sur le bouton on/off situé à l’extrême gauche de la ligne de l’entretien dans le corpus. Là aussi, le clic droit revient à isoler l’entretien en question et le bouton on/off situé en haut du volet consacré aux entretiens permet l’activation/désactivation collective des entretiens. Un entretien désactivé reste visible mais ses extraits sont grisés.

Filtrer par variables

Le filtrage par variables revient au même que le filtrage par entretien mais procède de manière collective. Au lieu d’activer ou de désactiver les entretiens individuellement, vous pouvez le faire au regard de leurs caractéristiques. Cette fonction passe par l’affichage du tri à plat, qui va vous donner la composition de votre corpus pour les différentes variables.

Après avoir déplié les variables, le clic gauche vous permettra d’allumer ou d’éteindre les entretiens. Attention, ici, le clic droit vous permettra de modifier l’intitulé de la modalité. Le bouton on/off situé en haut du volet vous permettra de remettre le filtrage à zéro.

Filtrage des entretiens en fonction de leurs attributs

En cumulant ou non les caractéristiques de filtrage, vous pourrez donc très facilement sélectionner une collection d’extraits que vous pourrez soumettre à l’une des approches proposées par le logiciel, à commencer par la plus simple, l’analyse thématique, que nous verrons dans le prochain billet.

 

Alex Alber

Sociologue. Maître de Conférences à l'Université F. Rabelais de Tours/ Laboratoire CITERES (UMR CNRS) Chercheur associé du Centre d'Etudes de l'Emploi.

More Posts - Website

Un point sur le développement de Sonal

L’été touche à sa fin, la rentrée approche, c’est le moment de faire un petit point sur le développement de Sonal…

Vous pouvez vous attendre, dans un futur proche, à disposer d’améliorations sur ces différents plans :

  • Un correcteur d’orthographe devrait apparaître dans la prochaine version. Il m’a été demandé à de multiples reprises mais je butais jusqu’ici sur des problèmes techniques. J’ai trouvé une solution qui n’est pas pleinement satisfaisante mais qui a le mérite d’exister : Sonal va « sous-traiter » la correction orthographique à Word, qui tournera en arrière-plan. Cela repose évidemment le gros problème de la Microsofto-dépendance du logiciel, qui vient malheureusement du développement en Visual Basic.  J’en suis bien désolé mais je n’ai guère le choix. D’un point de vue fonctionnel, deux modes de correction seront disponibles, une correction globale de l’extrait saisi, lancée à la demande et une correction dite « automatique », qui se contentera de mettre en rouge les mots mal orthographiés au long de la saisie.
  • Une inscription de Sonal dans la base de registre permettra, à partir de la prochaine version, de pouvoir ouvrir ses projets directement en double-cliquant sur les fichiers corpus (*.Crp). Ce qui devrait permettre de gagner un peu de temps, mais a surtout l’avantage de rapprocher Sonal d’un logiciel « normal ».

Sur le plan des projets un peu plus lointains :

  • La page de lecture des entretiens, apparue dans la dernière version, est longue à développer mais sera, à terme, un outil essentiel dans le fonctionnement de Sonal. Sans vouloir ébruiter trop tôt les innovations qu’elle apportera, je peux déjà dire qu’elle devrait permettre de « re-synchroniser » des entretiens retranscrits hors de Sonal, afin notamment de reconstituer un corpus à partir d’entretiens déjà retranscrits voire, à terme, de travailler uniquement à partir de fichiers textes, comme dans un logiciel d’indexation thématique classique. Cette possibilité de créer des points de synchronisation entre le texte et le son permettra aussi de placer des balises temporelles à l’intérieur des extraits déjà retranscrits. On devrait arriver ainsi à un système d’encodage plus fin. J’ai beaucoup d’espoir s’agissant de cet outil, mais je bute actuellement sur des problèmes techniques de fond, que j’entends régler avant d’aller plus loin. Les choses pourraient aller vite cependant, puisque les principaux obstacles sont franchis.
  • Sur le plan de l’analyse des corpus, la page des statistiques a été refondue. L’analyse chronométrique (place des différentes thématiques dans le corpus) sera dorénavant dissociée de la lexicométrie. Cela permet de gagner du temps dans l’affichage des statistiques, car la lexicométrie prend un peu plus de temps. Cette dernière sera améliorée, avec un module de recherche, des critères un peu plus affinés, etc. mais la grande nouveauté sera, dans les temps à venir, l’implémentation dans Sonal du système d’analyse conçu par Philippe Cibois pour Trideux-mots, qui repose sur les méthodes de l’analyse factorielle appliquées à un tableau lexical des questions, qui recense les usages d’un mot par les différentes catégories de locuteurs. J’ai encore un peu de travail pour réintégrer le code, mais on aura bientôt des plans factoriels permettant de suggérer des pistes d’analyse dans l’utilisation du vocabulaire par les différents types de répondants.

A plus long terme maintenant (quelques mois), j’entends aborder un aspect que Sonal délaisse pour l’instant, qui est la collecte et le travail des bandes sonores. J’aimerais permettre aux utilisateurs d’enregistrer leurs entretiens directement dans Sonal, et de commencer l’indexation dès ce moment là. Je réfléchis encore au meilleur moyen de permettre ce travail sans trop parasiter la conduite de l’entretien, qui nécessite une attention constante. J’aimerais également que Sonal prenne en charge la conversion des entretiens, ce qui impliquera l’usage de composants externes. J’ai quelques pistes…

Il reste donc beaucoup de choses à faire, mais les idées ne manquent pas. Plus le temps passe, plus je conçois le logiciel en trois parties :

  • Ce qui a trait à la collecte des matériaux (enregistrement, conversion etc.)
  • Ce qui relève de leur organisation (construction du corpus, retranscription)
  • Ce qui relève de leur analyse.

Pour l’instant, Sonal se concentre sur l’étape 2. Il reste beaucoup à faire sur ce plan, ce qui explique ma réticence à aborder l’étape 3, mais à terme, j’entrevois la possibilité de réaliser une application accompagnant le chercheur de la conduite des entretiens à leur analyse finale. A suivre…

Alex Alber

Sociologue. Maître de Conférences à l'Université F. Rabelais de Tours/ Laboratoire CITERES (UMR CNRS) Chercheur associé du Centre d'Etudes de l'Emploi.

More Posts - Website

De l’usage des thématiques dans Sonal

Le système de retranscription de Sonal suppose de chapitrer les entretiens en découpant successivement des portions de bande à retranscrire. Afin de faciliter le travail d’analyse, ces différents extraits peuvent être « thématisés », c’est à dire qu’ils peuvent se voir affecter un code couleur ainsi qu’un intitulé qui permettra de les décrire afin de faciliter les recherches et le tri des extraits.

Pour créer des thématiques dans un corpus, il faut soit aller dans le menu thématiques puis choisir gérer les thématiques, soit cliquer sur le raccourci dans l’onglet des thématiques (cerclé en rouge ci-dessous)

Dans la fenêtre qui s’ouvre, il faut ensuite cliquer sur « ajouter une thématique », en définir la couleur et le nom, puis valider. Il n’y a que 13 couleurs disponibles (pour des raisons de transparence) mais les utilisateurs peuvent créer jusqu’à 99 thématiques différentes par corpus. Les usages possibles sont très nombreux et voici quelques suggestions.

Au sens premier, les thématiques servent à  décrire le contenu des échanges. La grille thématique gagnera donc à cadrer avec les différents sujet du guide d’entretien. En pareil cas, on a rarement besoin d’en avoir beaucoup plus de 10 ou 15, car plus les thématiques sont précises, plus il devient difficile de les affecter.

Cela dit, si le protocole d’enquête prévoit des entretiens directifs, il devient possible de créer une « thématique » par question et de colorier de la même teinte toutes les questions portant sur un même sujet. A ce sujet, je recommande d’utiliser un code couleur spécifique (ou pas de couleur) pour isoler les questions posées par l’intervieweur (ceci afin de pouvoir ne pas les inclure dans l’analyse lexicométrique). Bien sûr, cela ne vaut que pour les questions longues; il serait extrêmement fastidieux d’isoler toutes les relances par exemple…

On peut également utiliser les thématiques dans le cadre des récits de vie. Pourquoi ne pas affecter à chaque étape du parcours une thématique particulière?

Bref, les solutions sont nombreuses et je compte sur les utilisateurs pour imaginer de nouveaux usages. Si vous avez des pratiques originales avec les thématiques dans Sonal, n’hésitez pas à les mentionner dans les commentaires, elles pourront inspirer d’autres utilisateurs

Alex Alber

Sociologue. Maître de Conférences à l'Université F. Rabelais de Tours/ Laboratoire CITERES (UMR CNRS) Chercheur associé du Centre d'Etudes de l'Emploi.

More Posts - Website

La retranscription automatique : une fausse bonne solution

Face à la difficulté qu’il y a à  retranscrire les entretiens, nombreux sont les étudiants qui espèrent  trouver une solution miracle dans la retranscription automatique par reconnaissance vocale.

Pourtant, la reconnaissance vocale est loin d’être la panacée qu’on s’imagine. Il ne suffit pas de sélectionner un fichier son, de cliquer sur un bouton et d’attendre sagement que le logiciel le traduise en texte.  Si la reconnaissance vocale marche bien dans certains cadres, elle n’est pas du tout adaptée aux entretiens semi-directifs.

D’abord, la reconnaissance vocale ne reconnaît qu’une seule voix: la vôtre. Il faut en quelque sorte « dresser » le logiciel pendant quelques heures, en lisant un texte imposé, pour que l’application analyse vos intonations et sache les reconnaître. Une phase de rodage plus ou moins longue vous attend donc avant même de commencer à retranscrire.

Une fois que votre voix sera correctement reconnue, vous devrez donc répéter dans le micro tout ce que vous entendez sur la bande. Or, comme ces logiciels ont été conçus pour dicter des courriers, pas des entretiens, toutes les tournures orales, ne sont pas reconnues. Par exemple, les « chépas » devront être « traduits » en « je-ne-sais-pas ». De même, on sait bien que personne ne fait à l’oral des phrases aussi construites qu’à l’écrit. Il y a toujours des hésitations, des répétitions, des bouts de phrases qui n’arrivent nulle part etc. On peut rendre en partie ces digressions lorsque l’on retranscrit à la main, mais, dans la retranscription vocale, c’est plus compliqué,  il faut donc « traduire » en simultanée ce qui disent vos interlocuteurs, quitte à considérablement simplifier leurs phrases, et perdre un certain nombre de finesses du discours. Vous risquez assez vite de vous retrouver dans la peau d’un journaliste sportif obligé de tirer des phrases construites des propos lacunaires d’un footballeur. Or, il est difficile de construire une analyse scientifique digne de ce nom sur ce que les personnes interviewés ne disent qu’en substance…

Chez les professionnels de la retranscription, on appelle un « perroquet » celui qui fait ce travail de répétition/traduction. Il y a un article qui parle de ça ici. Le perroquet travaille généralement en binôme avec un correcteur, qui rattrape les erreurs d’interprétation et les fautes d’accord que font les logiciels. En effet, malgré des progrès indéniables, ces applications sont loin d’avoir une efficacité optimale, tant dans la reconnaissance des tournures que dans la qualité du français.

Si vous travaillez seul, cela veut dire que non seulement vous allez devoir répéter tout le contenu de vos entretiens devant le micro, mais qu’en plus, vous allez devoir vérifier en parallèle qu’il ne commet pas d’erreur, et saisir manuellement tous les noms propres ou les éléments de vocabulaire qui ne figurent pas dans le dictionnaire du logiciel. Ce qui vous obligera à arrêter la bande, le temps de corriger les erreurs.

Bref, c’est peut-être un peu plus rapide (au bout d’un certain temps de dressage) mais ce n’est pas plus simple…

Alex Alber

Sociologue. Maître de Conférences à l'Université F. Rabelais de Tours/ Laboratoire CITERES (UMR CNRS) Chercheur associé du Centre d'Etudes de l'Emploi.

More Posts - Website