Archives pour la catégorie Annonces

Postes d’ingénieur R&D sur le traitement de la voix dans les contenus audiovisuels (fil de l’eau jusqu’au 17 mars)

Inria Nancy recrute deux ingénieurs R&D pour un projet industriel ambitieux sur le traitement de la voix dans les contenus audiovisuels. La mission consiste à développer, évaluer et améliorer des prototypes logiciels basés sur les dernières avancées scientifiques et à les transférer au studio de création sonore initiateur du projet et à la société de développement informatique partenaire. Le logiciel commercial issu du projet sera un logiciel de référence dans le domaine audiovisuel professionnel.

*Ingénieur R&D A*
Début de contrat: mai 2017
Durée: 18 mois
Missions:
– reconnaissance du locuteur basée sur le logiciel ALIZE
– rehaussement de la parole par deep learning multicanal
Profil:
– M2 ou doctorat en informatique, traitement du signal ou apprentissage automatique
– compétences opérationnelles en génie logiciel (gestion de version, tests, qualité de code) et langage Python 3 (numpy, scipy, Keras)
– une expérience en reconnaissance du locuteur ou rehaussement de la parole serait un plus
Salaire: 2048 à 2509€ net/mois selon l’expérience

*Ingénieur R&D B*
Début de contrat: mai-juin 2017
Durée: 16 mois
Missions:
– reconnaissance de la parole basée sur le logiciel Kaldi
– synthèse de la parole par concaténation
Profil:
– M2 ou doctorat en informatique, traitement du signal ou apprentissage automatique
– compétences opérationnelles en génie logiciel (gestion de version, tests, qualité de code) et langages Python 3 (numpy, scipy, Keras) et Java (Java SE 8)
– une expérience en reconnaissance ou synthèse de la parole serait un plus
Salaire: 2048 à 2509€ net/mois selon l’expérience

*Environnement de travail*
Inria Nancy est le plus grand institut public de recherche en informatique du Grand Est. L’équipe Multispeech (https://team.inria.fr/multispeech/) regroupe 30 chercheurs, ingénieurs et étudiants dans le domaine de la parole.

*Candidature*
Envoyer un CV, une lettre de motivation et 1 à 3 lettres de recommandation éventuelles à emmanuel.vincent@inria.fr. Préciser sur quel(s) poste(s) porte la candidature. Les candidatures seront examinées au fil de l’eau jusqu’au 17 mars. Merci de candidater dès que possible avant cette date.

Proposition de stage M2R « Commande vocale à large vocabulaire … »

Proposition de stage M2R : Commande vocale à large vocabulaire pour la domotique par apprentissage profond et “word embedding”

Encadrants : Michel Vacher, François Portet, Benjamin Lecouteux

Dans le cadre du projet VOCADOM financé par l’ANR, nous cherchons à concevoir un système domotique contrôlé à distance par la voix et qui peut être utilisé dans des conditions réelles (bruit, présence de plusieurs personnes). Outre les problèmes de bruit, l’un des défis à relever est de constamment s’adapter aux utilisateurs finaux en prenant en compte de toute l’information disponible (capteurs audio et capteurs domotiques). L’une de ces adaptions consiste à comprendre l’énoncé de parole des utilisateurs sans avoir de contrainte sur le vocabulaire et la syntaxe que les utilisateurs utiliseront. Par exemple, l’ordre standard pour allumer la lumière est “Nestor allume la lumière”, mais il pourrait être “Nestor, on n’y voit rien” ou «S’il te plaît Nestor allume la lumière “.
Le but du stage proposé est donc de permettre cette association “énoncé vocal” <-> “ordre domotique” avec le minimum de contraintes lexicales et syntaxiques. Nous proposons d’opérer non seulement au niveau phonétique mais également au niveau lexical en travaillant sur le treillis de sortie du décodeur du système de reconnaissance vocale.
Le travail proposé consistera en une première étape pour faire une étude bibliographique liées à ce domaine. La deuxième étape consistera à développer une méthode pour explorer le réseau à la sortie du décodeur KALDI ASR. Celle-ci utilisera un modèle externe de mots basés sur le Word Embedding (acquis par apprentissage profond) afin de pouvoir associer un score de proximité entre un énoncé connu et un nouvel énoncé. Le système développé sera ensuite évalué sur un corpus synthétique (construit par synthèse vocale) et sur le corpus enregistré dans l’habitat intelligent du laboratoire.
L’étudiant recruté pourra bénéficier des études antérieures, dans lesquelles les enregistrements ont été faits dans un véritable appartement avec plusieurs chambres, chacune équipée de micros. Les participants y ont joué des scénarios réalistes de la vie quotidienne (AVQ) (dormir, se lever, faire sa toilette, préparer un repas, déjeuner, se détendre, sortir …). Cela nous a permis de recueillir un corpus réaliste contenant les commandes vocales enregistrées dans diverses conditions.

Mots clés : automatic speech recognition, Deep Neural Network, Word Embedding, Home Automation, reconnaissance automatique de Parole, apprentissage profond, représentation vectorielle des mots, domotique
Durée du stage : 5 à 6 mois
Rémunération : Environ 529€ / mois (suivant textes de lois en vigueur au moment du stage)
Possibilité de poursuivre en thèse (financement sur budget ANR)

Candidature à adresser à : Michel.Vacher<AT>imag.fr / Francois.Portet<AT>imag.fr / Benjamin.Lecouteux<AT>imag.fr
===

Soutenance d’HDR sur la voix humaine

AVIS DE SOUTENANCE D‘HDR
Vendredi 4 Décembre 2015 à 13h45

Soutenance de  Nathalie HENRICH BERNARDONI  pour une Habilitation à Diriger les Recherches (HDR) de l’Université de Grenoble Alpes (UGA),  spécialité  Ingénierie pour la santé, la cognition, l’environnement

Intitulé de l’HDR :« La voix humaine: vibrations, résonances, interactions pneumo-phono-résonantielles« 

Lieu de soutenance de l’HDR : GIPSA-lab, salle Mont-Blanc

MEMBRES DU JURY

Dr. Rachid Ridouane, rapporteur, LPP, Paris
Pr. Dominique Morsomme, rapporteur, Université de Liège, Belgique
Dr. Christophe d’Alessandro, rapporteur, LIMSI-CNRS, Orsay
Pr. Malte Kob, examinateur, Detmold Hochschule für Musik, Allemagne
Pr. Antoine Giovanni, examinateur, CHU La Timone, Marseille

 

Deux propositions de stage sur les interactions vocales Homme-Machine

========================================================================
Modèles connexionnistes pour la génération automatique de texte dans le cadre de l’interaction vocale

Encadrants : Dr Stéphane Huet, Dr Bassam Jabaian, Prof. Fabrice Lefèvre

Descriptif du stage :
Les systèmes d’interaction vocales utilisés dans des applications comme la réservation de billets d’avion ou d’hôtels, ou bien encore pour le dialogue avec un robot, font intervenir différents composants. Parmi ceux-ci figure le module de génération de texte qui produit la réponse du système en langage naturelle à partir d’une représentation sémantique interne créée par le gestionnaire de dialogue.

Les systèmes de dialogue actuels intègrent des modules de génération basés sur des règles ou patrons lexicaux définis manuellement, par ex :

confirm(type=$U, food=$W,drinks=dontcare)
→ Let me confirm, you are looking for a $U serving $W food and any kind of drinks right ?

Ces modules gagneraient à se baser sur des méthodes d’apprentissage automatique afin de faciliter la portabilité des systèmes de dialogue vers de nouvelles tâches et améliorer la diversité des réponses générées. Parmi ces méthodes figurent les réseaux de neurones qui ont vu un regain d’intérêt depuis l’introduction de la notion de « deep learning ». De tels réseaux de neurones ont déjà été employés par le laboratoire de recherche de Google pour une tâche de génération de description d’images (http://googleresearch.blogspot.fr/2014/11/a-picture-is-worth-thousand-coherent.html) proche de celle qui nous intéresse ici. Ainsi l’objectif de ce stage est d’étudier l’utilisation de ces modèles précisément dans le cadre de l’interaction vocale.

Si un intérêt pour l’apprentissage automatique et le traitement de la langue naturelle est souhaitable, il est attendu surtout du stagiaire de bonnes capacités en développement logiciel. Le stagiaire travaillera dans le contexte d’une plateforme d’interaction vocale complète et pourra élargir son champ d’investigation aux autres composants. Plusieurs pistes pour une prolongation en thèse sont ouvertes.

Durée du stage : 6 mois
Rémunération : Environ 529€ / mois
Thématique associée au stage : Systèmes de dialogue homme-machine, génération du langage naturelle, apprentissage automatique…

========================================================================
Humour et systèmes d’interaction vocale

Encadrants : Dr Bassam Jabaian, Dr Stéphane Huet, Prof. Fabrice Lefèvre

Descriptif du stage : Automatisation de productions humoristiques.

Des travaux précédents en linguistique ont permis d’établir les bases d’une taxonomie des mécanismes d’humour interactionnels. En partant de cette base la question que nous souhaitons aborder dans ce travail est : peut-on automatiser la production de traits humoristiques dans un dialogue homme-machine finalisé et si oui quel est l’impact sur les performances du dialogue ?

Bien sur il ne peut s’agir de reproduire exactement les capacités générales d’un humain, qui sont très complexes à décrire et certainement impossible à automatiser, mais plutôt d’extraire certains mécanismes suffisamment réguliers pour les formaliser et les faire exécuter en situation de dialogue. Cela devrait permettre de produire un effet décalé, donnant ainsi une dimension de sympathie au système d’interaction dans la perception de l’utilisateur.

D’un point de vue pragmatique plusieurs types de production (plus ou moins indépendamment du mécanisme humoristique utilisé) sont déjà envisagés, réactionnel ou générationnel :
1. Dans le premier cas on détecte une opportunité (présence de connecteurs), puis on réagit (génération de disjoncteurs). C’est le cas de l’humour basé sur les mots polysémiques, i.e. on repère un mot que le système fait semblant de comprendre dans son sens « gênant » ou inadapté.
2. Dans le second cas, on propose un trait d’humour ex-nihilo ou après détection d’une nécessité de facilitation, par exemple lors de l’apparition d’un désalignement (l’évolution normale du dialogue est gênée par une ou plusieurs incompréhensions). Il s’agit alors de calembours (« puns »), mots d’esprits ou histoires drôles (« jokes »). On pourra alors avoir recours à une base prédéfinie de blagues et les sélectionner selon le contexte de dialogue (au moyen de technique de recherche d’information classique).

L’objectif est de pouvoir implémenter les solutions retenues sur les robots NAO d’Aldebaran, disponibles au laboratoire, dans le contexte d’une tâche simple (jeux). Au-delà de l’intérêt pour la thématique de l’intelligence artificielle sous-jacente au sujet il est principalement attendu du stagiaire de très bonnes compétences en développement logiciel. Ce stage ouvre sur plusieurs possibilités de poursuite en thèse dans le domaine de la communication Homme-Machine pour l’intelligence artificielle.

Durée du stage : 6 mois
Rémunération : Environ 529€ / mois
Thématique associée au stage : Systèmes de dialogue homme-machine, compréhension de la parole, gestion du dialogue, apprentissage automatique.
========================================================================

Les étudiants intéressés sont invités à envoyer un email à fabrice.lefevreAtuniv-avignon.fr, bassam.jabaianAtuniv-avignon.fr et stephane.huetAtuniv-avignon.fr en indiquant le sujet visé (ou les 2) et en joignant un dossier d’évaluation (avec au moins un CV, un relevé de notes des 2 dernières années et une lettre de motivation).

Une première sélection aura lieu le 24/11/15.

Bien cordialement,
– Fabrice Lefevre


Fabrice Lefèvre, LIA-CERI-Univ. Avignon
BP 91228, 84911 Avignon Cedex 9, FRANCE
tel 33 (0)4 90 84 35 63/ fax – – – – 01

Offre post-doctorale : Vibrations de cordes vocales artificielles

Offre de post-doc (contrat CNRS, 12 mois, à pourvoir dès que possible)
        GIPSA-lab, avec F. Silva et X. Pelorson
Post-doctoral fellowship : Vibrations of synthetic vocal folds
Funded by the ANR VOFOCAM project
Laboratory : Grenoble Image Parole Signal Automatique (GIPSA-lab), Grenoble, France
Starting as soon as possible, Duration : 12 months full time
Pour plus de détails / For more details : Cliquez ici.

Résumé 
Vibrations de cordes vocales artificielles Les recherches actuelles en acoustique de la parole s'appuient sur des maquettes reproduisant expérimentalement les mécanismes impliqués dans la production de la voix humaine et permettant des mesures acoustiques, aérodynamiques et mécaniques souvent difficiles in-vivo. Si ces maquettes autorisent un contrôle fin de nombreux paramètres, il reste nécessaire de mieux maîtriser l'assemblage de la maquette et les caractéristiques résultantes des membranes en termes notamment de résonances mécaniques pour rendre possible une validation expérimentale de modèles simplifiés.


La voix charismatique : aspects psychologiques et caractéristiques acoustiques

Rosario SIGNORELLO

Soutiendra publiquement ses travaux de thèse intitulés

La voix charismatique : aspects psychologiques et caractéristiques acoustiques

Co-tutelle avec l’« Università degli Studi Roma Tre » (ITALIE)

Soutenance prévue le jeudi 30 janvier 2014 à 10h00

  Université Stendhal, Grenoble 3

1180 Avenue Centrale, 38400 Saint-Martin-d’Hères, France

Salle des actes (entrée nord principal, rez-de-chaussée)

Composition du jury proposé

M. Didier DEMOLIN     Université Stendhal, Grenoble 3   Directeur de thèse
Mme Isabella POGGI     Università degli Studi di Roma Tre   Directeur de thèse
Mme Maria Grazia BUSÀ     Università degli Studi di Padova   Rapporteur
M. Alessandro VINCIARELLI     University of Glasgow   Rapporteur
Mme Nathalie HENRICH BERNARDONI     Institut des Sciences Humaines et Sociales du CNRS, GIPSA-lab   Examinateur
Mme Nathalie VALLÉE     Institut des Sciences Humaines et Sociales du CNRS, GIPSA-lab   Examinateur

 

Mots-clés : charisme, parlé politique, qualité de voix, leadership politique, inter-culturalité
Résumé :     

Cette thèse porte sur la voix charismatique dans le cadre du leadership politique. L’hypothèse générale est que le locuteur-leader utilise sa voix selon deux fonctions. Une fonction primaire, biologique, qui est d’utiliser les modulations de fréquence fondamentale pour être reconnu comme le leader du groupe. Une fonction secondaire, apprise et dépendante de la langue parlée et de la culture d’appartenance, qui est de modifier la qualité de la voix pour véhiculer différents traits et types de charisme dans le but de persuader l’auditoire et atteindre certains buts.

La première étape a été de décrire le phénomène du charisme avec une théorie socio-cognitive qui distingue le charisme de l’esprit (la pensée, les actions et le visionnarisme du leader exprimés à travers le langage écrit et verbal) du charisme du corps (tout comportement non verbal utilisé pour exprimer son message ainsi que ses affects et émotions). De plus, des recherches empiriques ont permit de récolter des adjectifs décrivant les traits positifs et négatifs du charisme propres au français, à l’italien et au portugais brésilien. Enfin, un outil appelé MASCharP a été développé pour évaluer les traits du charisme d’un individu à partir de tout comportement perceptible.

La deuxième étape d’étude concerne la description acoustique et perceptive de la voix charismatique. Une première phase a consisté à créer des profils vocaux des leaders masculins français, italiens et portugais brésiliens, dans le but de représenter l’extension vocale du leader lors de différents contextes de communication (formels vs. informels). Les profils vocaux montrent l’adoption, par les leaders, d’une stratégie vocale liée au contexte de communication et à leur stratégie persuasive. Ces résultats montrent des similarités inter-langagières et culturelles du comportement vocal entre leaders. La deuxième phase expérimentale sur la voix charismatique démontre l’influence de la qualité de voix des phrases sur la perception de différents types et attributs du leadership charismatique.

Le locuteur-leader utilise sa production vocale pour être reconnu comme le leader du groupe. Ceci est valable dans tous les contextes de communication formels où le leader doit exprimer son leadership et a un but persuasif à atteindre. S’il veut soumettre les membres du groupe et souhaite apparaître comme un leader dominant ou menaçant, il utilise une fréquence fondamentale basse associée à des types phonatoires comme le creaky. S’il veut être perçu comme un leader sincère, calme et rassurant, il utilise une fréquence fondamentale plus haute associée à sa voix modale, évitant des types de phonation comme le harsh. Cela est la fonction primaire de la voix charismatique.

Enfin, ces travaux de recherche montrent que les traits du leader charismatique, dans le discours politique, sont filtrés par le contexte langagier et culturel d’interaction partagé entre leader et partisans. L’utilisation de la voix pour véhiculer différents types de charisme, caractérises par des attributs différents, est filtrée par la langue et la culture qui favorisent l’émergence de comportements vocaux charismatiques, prototypiques et qui correspondent à l’attente inhérente de l’auditoire. Cela est la fonction secondaire de la voix charismatique.

__________________________________________________________________________________

Key-words: charisma, political speech, voice quality, political leadership, cross-culture.

Abstract:

This dissertation analyzes the charismatic voice in the context of political leadership. It is shown that the speaker-leader uses his/her voice based on two functions. The primary function is biological and consists of manipulating changes in fundamental frequency in order to be recognized as the leader of the group. The secondary function is learned and dependent upon the language spoken and the culture that one belongs to, and consists of changing voice quality in order to convey different traits and types of charisma. These functions are employed in order to persuade an audience and achieve certain goals.

The phenomenon of charisma is first addressed through social-cognitive theory that distinguishes charisma of the mind (the leader’s thought, actions, and vision expressed through written and spoken language) from charisma of the body (all non-verbal behaviors used for expressing one’s message, affects, and emotions. Certain adjectives were established through empirical research to describe positive and negative traits in French, Italian, and Brazilian Portuguese speech. The tool MASCharP (Multi-dimensional Adjective-based Scale of Charisma Perception) was then developed in order to evaluate the charismatic traits of an individual’s perceptible behavior.

The study then establishes an acoustic and perceptual description of the charismatic voice. Speech range profiles are created for French, Italian, and Brazilian male leaders in order to represent the leaders’ vocal extension in different communication contexts (formal vs. informal). The voice profiles demonstrate how the leaders adopt a particular vocal strategy related to the communication context as well as the leaders’ persuasive strategy. These results show cross-language and cross-cultural similarities in leaders’ vocal behavior. The following experimental phase demonstrates the influence of voice quality on the perception of different types and attributes of charismatic leadership.

The speaker-leader uses his vocal production to be recognized as the leader of a group. This is true for all formal communication contexts wherein the leader must express his leadership and has a persuasive goal to achieve. If he wants to submit group members and hopes to appear as a dominant or threatening leader, the leader uses a low fundamental frequency associated with phonatory types such as creaky voice. If he wants to be perceived as a sincere, calm, and reassuring, he uses a higher fundamental frequency associated with his modal voice, avoiding phonatory types such as harsh voice. This is the primary function of the charismatic voice.

Lastly, this study shows that, in political discourse, the traits of a charismatic leader are filtered by the language and cultural context of the interaction. The secondary function of the charismatic voice is therefore addressed: the use of one’s voice for conveying different types of charisma, as characterized by varying attributes, is filtered through the language and culture that favor certain charismatic vocal behaviors which serve as prototypes that correspond to the audience’s inherent expectations.

 

Production de la voix : exploration, modèles et analyse/synthèse

La Thèse de Doctorat « Production de la voix : exploration, modèles et analyse/synthèse » sera soutenue par Thomas Hézard le Lundi 09 Décembre 2013 à 14h30 à l’IRCAM. Pour plus de détails, cliquez ici.

Résumé
Ce travail porte sur l’étude de la production de la voix. L’objectif principal est de proposer des solutions
pour son analyse-synthèse qui permettent une large représentation de la diversité des signaux biométriques
(observés en pratique) dans le cadre du paradigme source-filtre ou de modèles physiques simplifiés. L’étude
est menée selon trois axes, l’exploration de l’activité laryngée, la modélisation de la phonation et l’analysesynthèse
sonore.
Après une description de l’appareil phonatoire et de modèles d’analyse-synthèse actuels, la première
partie s’intéresse à l’exploration de signaux biométriques. À partir du recensement des dispositifs actuels,
nous proposons un outil de synchronisation qui révèle la complexité du mouvement 3D des plis vocaux.
Une étude comparative avec un système acoustique à valve humaine similaire (lèvres d’un tromboniste) est
menée et le développement d’un nouvel outil combinant deux techniques récentes d’imagerie électrique est
proposé.
Dans la deuxième partie, deux algorithmes d’analyse sont proposés pour un modèle source-filtre fondé
sur une représentation tous-pôles causale-anticausale du signal vocal. Un calcul du cepstre complexe est
proposé, garantissant l’holomorphie sur une couronne de convergence dans le domaine en Z. Cet outil est
alors exploité pour la séparation de la source et du filtre.
Enfin, des représentations paramétriques des signaux d’aire glottique sont exploitées pour piloter des
modèles à géométrie forcée. Un modèle de synthèse, inspiré du modèle source-filtre mais intégrant l’effet du
couplage entre la glotte et le conduit vocal, et des avancées sur la modélisation de conduit vocal à profil
régulier sont présentées.
Mots-clés : production de la voix, analyse-synthèse, séparation source-filtre, modèles physiques, mesures
in vivo, impédancemétrie.

Abstract
This work focuses on the study of voice production. The main objective is to propose solutions for
its analysis-synthesis which enable a wide representation of the diversity of biometric signals (observed
in practice) within the framework of source-filtre paradigm or simplified physical models. The study is
conducted according to three axes : exploration of laryngeal activity, modelisation of the phonation and
sound analysis-synthesis.
After a description of the vocal apparatus and current analysis-synthesis models, the first part focuses
on the exploration of biometric signals. From an inventory of current devices, we propose a synchronisation
tool which reveals the complexity ot the 3D motion of vocal folds. A comparative study with a similar
human-valve-based sound production system (lips of a tombonist) is conducted and the development of a
new tool combining two recent electrical imaging techniques is proposed.
In the second part, two new analysis algorithms are proposed for a source-filter model based on a
causal-anticausal all-pole representation of speech signals. A computation method of the complex cepstrum
is proposed, which ensures the holomorphy on a convergence domain in the Z plane. This tool is then used
for the separation of the source and the filter.
Finally, parametric representations of glottal area waveforms are used to drive models controlled by
the geometry. A synthesis model, based on the source-filter model but including the effect of the coupling
between the glottis and the vocal tract, and advances in the modeling of the vocal tract with regular profile
are presented.
Keywords : voice production, analysis-synthesis, source-filter separation, physical models, in vivo measurements,
impedancemetry.

Thèse en biométrie vocale / PhD thesis in voice biometrics

Deux thèses sont à pourvoir au LIA à Avignon
1) Fiabilité en biométrie vocale (voir descriptif ci-dessous)

2) Un espace binaire de représentation des caractéristiques vocales individuelles

Pour toute information, contacter Jean-François Bonastre : jean-francois.bonastre@univ-avignon.fr

Projet de thèse : Fiabilité en Biométrique Vocale

 

1.   Descriptif

Ce projet s’inscrit dans le cadre du projet ANR Blanc 2012 « Fabiole ». Il concerne le domaine de l’authentification biométrique vocale et s’attache plus particulièrement à explorer l’apport des « connaissances phonétiques ».

Depuis près de 15 années, des systèmes de Reconnaissance Automatique du Locuteur (RAL) sont évalués par le NIST à travers les campagnes SRE. Ces évaluations montrent une progression importante des performances, amenant à envisager de nombreuses applications notamment dans le domaine judiciaire. Les conséquences que peuvent avoir de telles applications nécessitent de s’interroger sur la fiabilité des mesures d’évaluation effectuées. En effet, les critères actuellement employés pour mesurer la performance d’un système sont estimés globalement sur l’ensemble des tests effectués. Il s’agit de mesures de Taux d’Egale Erreur (EER) ou de Decision Cost Function (DCF). Ces mesures moyennes calculées sur un grand nombre de tests provenant de locuteurs différents ne tiennent qu’imparfaitement compte du cadre applicatif pour lequel une réponse doit être retournée pour un cas précis lié à des données impliquant seulement un ou deux locuteurs donnés. En particulier, ce mode d’évaluation ne prend en considération ni la différence entre un enregistrement et un locuteur, ni les différences entre locuteurs. Des travaux récents montrent clairement les limites des mesures de performance utilisées.

L’objet de ce projet de thèse est double. Dans un premier temps, il s’agit de caractériser et de mesurer l’influence des facteurs acoustiques et phonétiques amenant la variabilité interlocuteur. Il ne s’agit plus ici de mesurer une réussite globale en termes de reconnaissance du locuteur mais de préciser la part de variabilité interlocuteur expliquée par chacun des facteurs ainsi caractérisés. Dans un deuxième temps, ces éléments serviront à établir une mesure de confiance en comparaison de voix, basée uniquement sur les deux enregistrements de voix à comparer soit indépendamment de la technique utilisée par la suite.

Il s’agit ici d’identifier les informations caractéristiques du locuteur présentes dans chacun des deux enregistrements et de mesurer la cohérence de ces informations, tout en croisant ces informations avec la capacité des systèmes automatiques à traiter celles-ci.

Outre les apports en termes de connaissances sur les caractéristiques individuelles portées par la voix, cette thèse permettra, pour la comparaison de voix, de dépasser le cadre de la performance pour entrer dans le domaine de la fiabilité.

2.   Environnement et organisation

Ce projet de thèse s’inscrit dans de la collaboration entre le LIA et le LIG qui a mené au co-encadrement de Juliette Kahn (dont la thèse a été soutenue fin décembre 2011), sur la notion de « parole et de locuteur ». Cette collaboration a permis de définir la méthodologie qui sera réutilisée dans ce projet. Elle a également démontré la pertinence du rapprochement entre les aspects « RAL » et « Sciences du langage » et de l’approche proposée ainsi que la faisabilité de celle-ci.

Le ou la doctorante bénéficiera de l’expérience du LIA en reconnaissance automatique du locuteur (plateforme ALIZE, participation continue à NIST-SRE depuis 1998…). De même, la thèse s’appuiera sur les compétences du LIG en ce qui concerne les éléments acoustiques et phonétiques. Enfin, le troisième partenaire du projet Fabiole, le LNE, amènera ses compétences en termes de protocoles d’évaluation et d’exploitation des données.

Le ou la doctorante sera basé principalement au LIA ou au LIG. Des séjours longs (6 mois) seront organisés dans le deuxième laboratoire pour bénéficier pleinement de l’apport pluridisciplinaire du sujet et de l’encadrement. Enfin, des séjours courts et fréquents (un jour à une semaine) seront organisés au LNE.

3.   Compétences souhaitées et acquises

Au vu de la nature fondamentalement pluridisciplinaire du sujet propose, les candidatures attendues doivent montrer a minima une bonne connaissance du traitement automatique (et/ou de la classification automatique) ou des sciences du langage. Un intérêt démontré pour le deuxième domaine est également indispensable.

Le cas échéant, les encadrants s’attacheront à compléter les connaissances du doctorant en début de thèse, sur un des deux domaines considérés.

Durant tout le travail de thèse, les encadrants veilleront à l’équilibre entre les deux grandes disciplines, tant au niveau du travail à réaliser que de la valorisation de celui-ci, de manière à permettre au jeune docteur de faire valoir des compétences de haut niveau dans chacune des disciplines.

4.   Références bibliographiques

(Bimbot, 2004)               F. Bimbot, J. F. Bonastre, C. Fredouille, G. Gravier, I. Magrin-Chagnolleau, S. Meignier, T. Merlin, J. Ortega-Garcia, D. Petrovska-Delacretaz, et D. A. Reynolds, 2004. A tutorial on Text-Independent speaker verification. Eurasip Journal on applied signal processing 4, 430–451

(Bonastre, 2003)            J. Bonastre, F. Bimbot, L. Boë, J. Campbell, D. Reynolds, et I. Magrin-Chagnolleau, 2003. Person authentification by voice : A need for caution. Dans les actes de EUROSPEECH

(Campbell, 2009)           Campbell J.P, Shen W., Campbell W.M., Schwartz R., J-F. Bonastre, D. Matrouf, « Forensic Speaker Recognition: A need for caution« , 2009, IEEE Signal Processing Magazine, March 2009, vol 26 pp 95-103

(Doddington, 1998)      G. Doddington, W. Liggett, A. Martin, M. Przybocki, et D. Reynolds, 1998. Sheep, goats, lambs and wolves : A statistical analysis of speaker performance in the NIST 1998 speaker recognition evaluation. Dans les actes de International Conference on Spoken Language Processing (ICSLP), Sydney, 1351–1354

(Doddington, 2000)      G. R. Doddington, M. A. Przybocki, A. F. Martin, et D. A. Reynolds, 2000. The NIST speaker recognition evaluation – overview, methodology, systems, results, perspective. Speech Communication 31(2-3), 225–254

(Eriksson, 2006)            A. Eriksson, 2006. Charlatanry and fraud–an increasing problem for forensic phonetics ? Dans les actes de Conference of the International Association for Forensic Phonetics and Acoustics (IAFPA), Göteborg, 10–11.

(Fauve, 2007)                Fauve, D. Matrouf, D. Scheffer, J-F. Bonastre, J.-F. Mason, J. S. D.
«  State-of-the-Art Performance in Text-Independent Speaker Verification Through Open-Source Software« , 2007, IEEE Transactions on Audio, Speech and Language Processing, Vol. 15, Issue 7, pp 1960-1968, September

(Kahn, 2011a)                J. Kahn, 2011, Parole de Locuteur : Performance et confiance en identification biométrique vocale. Thèse de Doctorat de l’Université d’Avignon et des Pays de Vaucluse

(Kahn, 2011b)               J. Kahn, N. Audibert, J-F Bonastre, S. Rossato, 2011, « Inter and intra-speaker variability: a formant analysis for french speakers and its implication on automatic speaker verification», International Conference in Phonetic Sciences 2011, Hong Kong, p

(Kahn, 2010a)                J. Kahn, N. Audibert, S. Rossato, J-F Bonastre , 2010, « Intra-speaker variability effects on Speaker Verification performance », Odyssey 2010, Brno, p

(Kahn, 2010b)               J. Kahn, S. Rossato, J-F Bonastre, 2010, « Beyond Doddington menagerie, a first step towards », International Conference on Acoustic, Speech and Signal Processing 2010, Dallas, p

(Kahn, 2009)                 J. Kahn, S. Rossato, 2009, « Do Humans and Automatic systems use the same information to recognize voices? », Interspeech 2009, Brighton, p.2375-p.2378

(Magrin-Chagnolleau)  I. Magrin-Chagnolleau, J. Bonastre, et F. Bimbot, 1995. Effect of utterance duration and phonetic content on speaker identification using second-order statistical methods. Dans les actes de European Conference on Speech Communication and Technology (Eurospeech), Madrid, 337–340

(Stoll, 2010)                   L. Stoll et G. Doddington, 2010. Hunting for wolves in speaker recognition. Dans les actes de ISCA-IEEE Speaker Odyssey, Brno, 159–162

 

Offre de post-doctorat dans le cadre du projet ANR DIADEMS (Description, Indexation, Accès aux Documents Ethnomusicologiques et Sonores)

Offre de post-doctorat dans le cadre du projet ANR DIADEMS (Description, Indexation, Accès aux Documents Ethnomusicologiques et Sonores). 
Sujet de post-doctorat : identification / classification instrumentale

Durée : 12 mois
Salaire : environ 2000 €/mois
Date de début souhaitée : septembre 2013

La reconnaissance automatique d'instrument et la classification par famille d'instruments est un domaine de recherche actif du MIR (Music Information Retrieval) [Hei09] [Kit07] [Her06] [Ess06]. Les principales techniques reposent sur des méthodes statistiques utilisant des paramètres audio de type MFCC. Nous souhaitons ici tracer une voie nouvelle, permettant de faire le lien entre le traitement de la parole et le traitement de la musique, en considérant l'interprétation musicale comme une phrase, et l'instrument ou l'instrumentiste comme un locuteur.

Ce travail s'effectuera en parallèle d'une thèse en cours sur la caractérisation et l'identification de la voix chantée. Au cours de cette thèse, nous avons proposé une méthode permettant d'identifier les segments contenant de la voix chantée dans des enregistrements polyphoniques (e.g. musique "pop"). L'objet actuel d'étude est de déterminer quels sont les paramètres du signal les plus pertinents pour caractériser différents styles de chant. 

Une des pistes que nous souhaitons poursuivre sera d'identifier l'instrument en suivant le vibrato, de manière similaire à ce qui est proposé pour la voix chantée. En insistant sur la dimension temporelle plutôt que spectrale, nous pourrons aussi observer comment s'enchainent les respirations, les attaques sonores ou les changements timbraux utilisés par le musicien. Ce travail exploratoire nécessitera dans un premier temps d'effectuer des expérimentations sur des bases de données simples (telles que [Fri97] et [Got03]) afin de valider notre approche avant d'appliquer nos algorithmes aux données du projet DIADEMS.

- Références : 

[Hei09] Heittola, T., Klapuri, A., Virtanen, T., "Musical Instrument Recognition in Polyphonic Audio Using Source-Filter Model for Sound Separation," in Proc. 10th Int. Society for Music Information Retrieval Conf. (ISMIR 2009), Kobe, Japan, 2009.

[Kit07] Tetsuro Kitahara, Masataka Goto, Kazunori Komatani, Tetsuya Ogata, and Hiroshi G. Okuno: "Instrument Identification in Polyphonic Music: Feature Weighting to Minimize Influence of Sound Overlaps", EURASIP Journal on Advances in Signal Processing, Special Issue on Music Information Retrieval based on Signal Processing, Vol.2007, No.51979, pp.1--15, 2007.

[Her06] P. Herrera-Boyer, A. Klapuri, and M. Davy. Automatic classification of pitched musical instrument sounds. Signal Processing Methods for Music Transcription, pages 163–200. Springer, 2006.

[Ess06] S. Essid, G. Richard, and David.B. Instrument recognition in polyphonic music based on automatic taxonomies. IEEE Transactions on Audio, Speech & Language Processing, 14(1):68–80, 2006.

[Fri97] L. Fritts, “Musical Instrument Samples,” Univ. Iowa Electronic Music Studios, 1997–. [Online]. Available: http://theremin.music.uiowa.edu/MIS.html

[Got03] Goto M, Hashiguchi H, Nishimura T, Oka R. RWC music database: Music genre database and musical instrument sound database. ISMIR. 2003:229–230.

---------

Description du projet DIADEMS (Partenaires : LaBRI, IRIT, LESC, Parisson, LIMSI, MNHN, LAM-IJLRA)

Le Laboratoire d'Ethnologie et de Sociologie Comparative (LESC) comprenant le Centre de Recherche en Ethnomusicologie (CREM) et le centre d'Enseignement et de Recherche en Ethnologie Amérindienne (EREA) ainsi que le Laboratoire d'Eco-anthropologie du Muséum National d'Histoire Naturelle (MNHN) sont confrontés à la nécessité d'indexer les fonds sonores qu'ils gèrent et de faire un repérage des contenus, travail long, fastidieux et coûteux. 

Lors de l'Ecole d'Été interdisciplinaire Sciences et Voix 2010 organisée par le CNRS, une convergence d'intérêts s'est dégagée entre les acousticiens, les ethnomusicologues et les informaticiens : il existe aujourd'hui des outils d'analyse avancés du son développés par les spécialistes en indexation qui permettent de faciliter le repérage, l'accès et l'indexation des contenus. 

Le contexte du projet est l'indexation et l'amélioration de l'accès aux fonds d'archives sonores du LESC : le fonds du CREM et celui d'ethnolinguistique de l'EREA (« chanté-parlé » Maya, ainsi que celui du MNHN (musique traditionnelle africaine). Il s'inscrit dans la continuité d'une réflexion entreprise en 2007 pour l'accès aux données sonores de la Recherche : aucune application n'existant en « open source » sur le marché, le CREM-LESC, le LAM et la Phonothèque de la MMSH d'Aix-en Provence ont étudié la conception d'un outil innovant et collaboratif qui répond à des besoins « métier » liés à la temporalité du document, tout en étant adapté à des exigences du secteur de la recherche. Avec le soutien financier du Très Grand Equipement (TGE) ADONIS du CNRS et du Ministère de la Culture, la plateforme Telemeta développée par la société PARISSON a été mise en ligne en mai 2011 : http://archives.crem-cnrs.fr . Sur cette plateforme, des outils d'analyse élémentaires de traitement de signal sont d'ores et déjà disponibles. 

Cependant, il est nécessaire de disposer d'un ensemble d'outils avancés et innovants pour une aide à l'indexation automatique ou semi-automatique de ces données sonores, issues d'enregistrements parfois longs, au contenu très hétérogène et d'une qualité variée. L'objectif du projet DIADEMS est de fournir certains des outils, de les intégrer dans Telemeta, en répondant aux besoins des usagers. Il s'en suit une complémentarité des objectifs scientifiques des différents partenaires : Les fournisseurs de technologies, l'IRIT, le LIMSI, le LaBRI et le LAM auront à : 
- Fournir des technologies existantes telles que la détection de parole, de musique, la structuration en locuteurs. Ces outils visent à extraire des segments homogènes d'intérêt pour l'usager. Ces systèmes auront à faire face à la diversité des bases qu'il est proposé d'étudier dans ce projet ; leur hétérogénéité est liée aux conditions d'enregistrement, au genre et à la nature des documents, à leur origine géographique. Il faudra adapter ces systèmes dits « état de l'art » aux besoins des usagers. 
- Proposer des outils innovants d'exploration du contenu de segments homogènes. Les travaux sur l'opposition voix parlée-déclamée-chantée, le chant, les tours de chant, la recherche de similarité musicale ne sont pas matures. Un véritable travail de recherche reste à faire et avoir à sa disposition des musicologues et des ethnomusicologues est un atout positif. Les ethnomusicologues, ethnolinguistes, acousticiens spécialistes de la voix et les documentalistes spécialisés vont jouer un rôle important dans le projet en tant que futurs utilisateurs des outils d'indexation : Les documentalistes doivent s'approprier les outils et apporter leur expérience afin d'adapter ces outils à leur besoin en indexation. 

Un échange important doit se réaliser entre celui qui fournit l'outil, celui qui l'intègre et celui qui l'utilise. L'effort doit être porté sur la visualisation des résultats avec pour fin une aide forte à l'indexation en la rendant de fait semi-automatique Pour l'ethnomusicologue et le musicologue, l'objectif va au-delà de l'indexation. Il s'agit au travers d'aller et retour entre lui et les concepteurs de technologies de cibler les outils pertinents d'extraction d'information.

Offre de thèse sur une interface pour la parole silencieuse

Available PhD position with scholarship – Silent speech interface, GIPSA-lab, Grenoble, France
Incremental speech synthesis for a real-time silent speech interface

Une thèse financée sur 3 ans est proposée au GIPSA-lab à Grenoble sur la thématique « Incremental speech synthesis for a real-time silent speech interface »

Pour en savoir plus, cliquez sur ce lien.