Proposition de stage M2R : Commande vocale à large vocabulaire pour la domotique par apprentissage profond et “word embedding”

Encadrants : Michel Vacher, François Portet, Benjamin Lecouteux

Dans le cadre du projet VOCADOM financé par l’ANR, nous cherchons à concevoir un système domotique contrôlé à distance par la voix et qui peut être utilisé dans des conditions réelles (bruit, présence de plusieurs personnes). Outre les problèmes de bruit, l’un des défis à relever est de constamment s’adapter aux utilisateurs finaux en prenant en compte de toute l’information disponible (capteurs audio et capteurs domotiques). L’une de ces adaptions consiste à comprendre l’énoncé de parole des utilisateurs sans avoir de contrainte sur le vocabulaire et la syntaxe que les utilisateurs utiliseront. Par exemple, l’ordre standard pour allumer la lumière est “Nestor allume la lumière”, mais il pourrait être “Nestor, on n’y voit rien” ou «S’il te plaît Nestor allume la lumière “.
Le but du stage proposé est donc de permettre cette association “énoncé vocal” <-> “ordre domotique” avec le minimum de contraintes lexicales et syntaxiques. Nous proposons d’opérer non seulement au niveau phonétique mais également au niveau lexical en travaillant sur le treillis de sortie du décodeur du système de reconnaissance vocale.
Le travail proposé consistera en une première étape pour faire une étude bibliographique liées à ce domaine. La deuxième étape consistera à développer une méthode pour explorer le réseau à la sortie du décodeur KALDI ASR. Celle-ci utilisera un modèle externe de mots basés sur le Word Embedding (acquis par apprentissage profond) afin de pouvoir associer un score de proximité entre un énoncé connu et un nouvel énoncé. Le système développé sera ensuite évalué sur un corpus synthétique (construit par synthèse vocale) et sur le corpus enregistré dans l’habitat intelligent du laboratoire.
L’étudiant recruté pourra bénéficier des études antérieures, dans lesquelles les enregistrements ont été faits dans un véritable appartement avec plusieurs chambres, chacune équipée de micros. Les participants y ont joué des scénarios réalistes de la vie quotidienne (AVQ) (dormir, se lever, faire sa toilette, préparer un repas, déjeuner, se détendre, sortir …). Cela nous a permis de recueillir un corpus réaliste contenant les commandes vocales enregistrées dans diverses conditions.

Mots clés : automatic speech recognition, Deep Neural Network, Word Embedding, Home Automation, reconnaissance automatique de Parole, apprentissage profond, représentation vectorielle des mots, domotique
Durée du stage : 5 à 6 mois
Rémunération : Environ 529€ / mois (suivant textes de lois en vigueur au moment du stage)
Possibilité de poursuivre en thèse (financement sur budget ANR)

Candidature à adresser à : Michel.Vacher<AT>imag.fr / Francois.Portet<AT>imag.fr / Benjamin.Lecouteux<AT>imag.fr
===

========================================================================
Modèles connexionnistes pour la génération automatique de texte dans le cadre de l’interaction vocale

Encadrants : Dr Stéphane Huet, Dr Bassam Jabaian, Prof. Fabrice Lefèvre

Descriptif du stage :
Les systèmes d’interaction vocales utilisés dans des applications comme la réservation de billets d’avion ou d’hôtels, ou bien encore pour le dialogue avec un robot, font intervenir différents composants. Parmi ceux-ci figure le module de génération de texte qui produit la réponse du système en langage naturelle à partir d’une représentation sémantique interne créée par le gestionnaire de dialogue.

Les systèmes de dialogue actuels intègrent des modules de génération basés sur des règles ou patrons lexicaux définis manuellement, par ex :

confirm(type=$U, food=$W,drinks=dontcare)
→ Let me confirm, you are looking for a $U serving $W food and any kind of drinks right ?

Ces modules gagneraient à se baser sur des méthodes d’apprentissage automatique afin de faciliter la portabilité des systèmes de dialogue vers de nouvelles tâches et améliorer la diversité des réponses générées. Parmi ces méthodes figurent les réseaux de neurones qui ont vu un regain d’intérêt depuis l’introduction de la notion de « deep learning ». De tels réseaux de neurones ont déjà été employés par le laboratoire de recherche de Google pour une tâche de génération de description d’images (http://googleresearch.blogspot.fr/2014/11/a-picture-is-worth-thousand-coherent.html) proche de celle qui nous intéresse ici. Ainsi l’objectif de ce stage est d’étudier l’utilisation de ces modèles précisément dans le cadre de l’interaction vocale.

Si un intérêt pour l’apprentissage automatique et le traitement de la langue naturelle est souhaitable, il est attendu surtout du stagiaire de bonnes capacités en développement logiciel. Le stagiaire travaillera dans le contexte d’une plateforme d’interaction vocale complète et pourra élargir son champ d’investigation aux autres composants. Plusieurs pistes pour une prolongation en thèse sont ouvertes.

Durée du stage : 6 mois
Rémunération : Environ 529€ / mois
Thématique associée au stage : Systèmes de dialogue homme-machine, génération du langage naturelle, apprentissage automatique…

========================================================================
Humour et systèmes d’interaction vocale

Encadrants : Dr Bassam Jabaian, Dr Stéphane Huet, Prof. Fabrice Lefèvre

Descriptif du stage : Automatisation de productions humoristiques.

Des travaux précédents en linguistique ont permis d’établir les bases d’une taxonomie des mécanismes d’humour interactionnels. En partant de cette base la question que nous souhaitons aborder dans ce travail est : peut-on automatiser la production de traits humoristiques dans un dialogue homme-machine finalisé et si oui quel est l’impact sur les performances du dialogue ?

Bien sur il ne peut s’agir de reproduire exactement les capacités générales d’un humain, qui sont très complexes à décrire et certainement impossible à automatiser, mais plutôt d’extraire certains mécanismes suffisamment réguliers pour les formaliser et les faire exécuter en situation de dialogue. Cela devrait permettre de produire un effet décalé, donnant ainsi une dimension de sympathie au système d’interaction dans la perception de l’utilisateur.

D’un point de vue pragmatique plusieurs types de production (plus ou moins indépendamment du mécanisme humoristique utilisé) sont déjà envisagés, réactionnel ou générationnel :
1. Dans le premier cas on détecte une opportunité (présence de connecteurs), puis on réagit (génération de disjoncteurs). C’est le cas de l’humour basé sur les mots polysémiques, i.e. on repère un mot que le système fait semblant de comprendre dans son sens « gênant » ou inadapté.
2. Dans le second cas, on propose un trait d’humour ex-nihilo ou après détection d’une nécessité de facilitation, par exemple lors de l’apparition d’un désalignement (l’évolution normale du dialogue est gênée par une ou plusieurs incompréhensions). Il s’agit alors de calembours (« puns »), mots d’esprits ou histoires drôles (« jokes »). On pourra alors avoir recours à une base prédéfinie de blagues et les sélectionner selon le contexte de dialogue (au moyen de technique de recherche d’information classique).

L’objectif est de pouvoir implémenter les solutions retenues sur les robots NAO d’Aldebaran, disponibles au laboratoire, dans le contexte d’une tâche simple (jeux). Au-delà de l’intérêt pour la thématique de l’intelligence artificielle sous-jacente au sujet il est principalement attendu du stagiaire de très bonnes compétences en développement logiciel. Ce stage ouvre sur plusieurs possibilités de poursuite en thèse dans le domaine de la communication Homme-Machine pour l’intelligence artificielle.

Durée du stage : 6 mois
Rémunération : Environ 529€ / mois
Thématique associée au stage : Systèmes de dialogue homme-machine, compréhension de la parole, gestion du dialogue, apprentissage automatique.
========================================================================

Les étudiants intéressés sont invités à envoyer un email à fabrice.lefevreAtuniv-avignon.fr, bassam.jabaianAtuniv-avignon.fr et stephane.huetAtuniv-avignon.fr en indiquant le sujet visé (ou les 2) et en joignant un dossier d’évaluation (avec au moins un CV, un relevé de notes des 2 dernières années et une lettre de motivation).

Une première sélection aura lieu le 24/11/15.

Bien cordialement,
– Fabrice Lefevre