Thèse - Compréhension du langage en contexte d'interaction F/H

Description de l'offre

about the role

Votre rôle est d'effectuer un travail de thèse sur : « la compréhension du langage en contexte d'interaction »

·   Contexte

Ces dernières années ont vu l'usage des assistants vocaux se développer considérablement. Parallèlement, les chatbots intégrés dans les interfaces web ou mobiles font désormais partie intégrante des modalités d'interaction pour la Relation Client. Le développement de ces services est devenu un enjeu industriel majeur et les acteurs du marché sont très présents, soit en proposant des solutions propres ou via des frameworks open-source comme RASA.

Cependant, le paradigme dominant des assistants vocaux demeure le modèle domain/intent/concept qui réduit souvent les interfaces vocales à de simples commandes d'actions à la voix, sans réelle interaction. Parallèlement, des chatbots de type "chit chat" peuvent simuler une conversation naturelle mais ces systèmes restent réduits à des applications "jouets". De nombreuses questions de recherche demeurent ouvertes pour améliorer l'efficacité de ces systèmes et enrichir l'expérience utilisateur.

L'objet de cette thèse est de proposer des modèles de compréhension du langage permettant d'intégrer à la fois les capacités des conversations "naturelles" et le contrôle sémantique requis pour développer des assistants vocaux efficaces. Pour pouvoir passer à un niveau supérieur d'acceptabilité, les systèmes devraient être dotés de capacités d'introspection pour apprendre de leurs erreurs et devraient être capables d'englober dans leurs connaissances le « sens commun » implicite dans les interactions humaines. Enfin, la pertinence des assistants vocaux se mesurant également par leur capacité à évoluer rapidement et régulièrement, les modèles devront pouvoir être adaptés de façon continue.

·   Etat de l'art

Ces dernières années, de nouveaux paradigmes sont apparus en Traitement Automatique du Langage liés à la grande performance des modèles de langage contextuels, permettant d'envisager par exemple des optimisations multimodales ou des modélisations cross-lingue Parallèlement, des avancées significatives ont eu lieu dans l'apprentissage semi-supervisé (few-shot learning, zero-shot learning). Le NLU (Natural Language Understanding) et le SLU (Spoken Language Understanding) évoluent également dans cette mouvance. Ainsi les principaux acteurs du marché mènent des recherches autour du few-shot learning pour adapter efficacement les modèles à de nouvelles thématiques à partir de peu de données ([1] pour Google et [2,3] pour Amazon) y compris via des données multilingues [4].

La prise en compte du contexte pour l'amélioration du NLU est également un axe de recherche d'actualité [5,6]. Dans cet écosystème, de nouvelles ressources (par exemple SNIPS et Facebook Semantic Parsing System dataset) commencent à être disponibles mais encore peu de données sont rendues publiques en français et des questionnements émergent sur la validité des évaluations [7]. Parallèlement, des avancées significatives ont eu lieu en Question Réponse en domaine ouvert grâce à de nouveaux paradigmes de Machine Reading Comprehension [8], avec des travaux émergents sur la langue française [9] et l'apparition de nouvelles applications qui peuvent en découler [10]. Enfin, de façon transverse à l'ensemble de ces problématiques, une communauté scientifique se structure autour du Life-long learning [11],avec des workshops dédiés dans différentes conférences (IWSDS'19 et ASRU'19 par exemple)

Merci de se référer à la section « Le plus de l'offre » pour des informations plus détaillés sur la mission scientifique et les principales activités associées à la thèse.

about you

Un diplôme d'ingénieur ou un Master Recherche en Informatique, intelligence artificielle, statistique ou similaire avec une spécialisation en traitement du langage
Compétences en informatique, programmation, algorithmique, apprentissage automatique et intérêt marqué pour le traitement du langage.

Très bon niveau en anglais (lectures et rédaction d'articles scientifiques, présentation lors de conférences)

Autonomie , curiosité, capacité à analyser

additional information

·   Objectifs scientifique - verrous à lever

Il s'agira de proposer des modèles permettant d'intégrer à la fois les capacités de conversations "naturelles" avec le contrôle sémantique requis pour développer des assistants vocaux efficaces. Les modèles étudiées permettront d'intégrer des connaissances expertes dans l'apprentissage des systèmes de compréhension en contexte pour permettre d'effectuer un contrôle sur les inférences effectuées par les modèles.

Les principaux verrous à lever pour atteindre ces objectifs sont :

·  L'apprentissage incrémental : comment gérer au mieux l'évolution continue des modèles ?
·  La compréhension multi-domaine : comment faire cohabiter des domaines fermés et les domaines ouverts ?
·  La compréhension en contexte : comment mettre en oeuvre des mécanismes de compréhension capable de tirer parti du contexte ?
·  L'introspection : comment rendre le système de compréhension capable de connaître ses limites, de détecter ses erreurs (voire les réparer) et d'apprendre de ses erreurs
·  Le sens commun : comment donner aux systèmes du "bon sens » ? (ou plus précisément des connaissances générales communes hors-ontologie)

·   Approche méthodologique - planning

Il s'agit de proposer une approche méthodologique envisagée, cheminement possible pour atteindre les objectifs de la thèse (par exemple modélisation, simulation, expérimentation …). Le planning permet d'identifier et de quantifier les grandes étapes de la thèse depuis l'état de l'art à la rédaction du manuscrit de thèse.

Afin de lever ces verrous, il s'agira d'exploiter les capacités des approches de pre-training d'embeddings contextuels à base de Transformers tout en étudiant l'intégration des connaissances expertes dans l'apprentissage des systèmes de compréhension en contexte pour permettre d'effectuer un contrôle sur les inférences effectuées par les modèles. Enfin, les paradigmes du Life-long learning seront pris en compte pour sous-tendre l'ensemble des réflexions (continual learning, open-world learning [8]).

Les travaux commenceront par une première série d'évaluations sur des corpus publics et internes de façon à maîtriser les indicateurs de performances objectives et les facteurs de complexité inhérents à la tâche. Le candidat devra ensuite s'approprier les méthodologies d'adaptation continue pour les modèles de compréhension du langage, en cohérence avec les contraintes industrielles. Enfin il s'attachera à mettre en oeuvre et à évaluer des modèles intégrant les capacités de compréhension de conversations "naturelles" avec le contrôle sémantique requis pour développer des assistants vocaux efficaces.

·  Première année : Etat de l'art approfondi ; Premières implémentations et évaluations de systèmes de compréhension du langage sur des bases de données publiques et des bases de données internes ; Préparation d'un protocole expérimental pour l'adaptation continue des modèles.
·  Seconde année : Mise en oeuvre des mécanismes d'adaptation continue sur la base des protocoles préparés pendant la première année ; Conception, implémentation et évaluation de systèmes de compréhension en contexte ; Publications sur ces différentes dimensions.
·  Troisième année : Mise en oeuvre de mécanismes d'introspection capables d'améliorer l'explicabilité des modèles et d'enrichir les processus d'amélioration continue ; Ouverture vers une meilleure prise en compte des connaissances communes pour améliorer les capacités conversationnelles des systèmes ; Réalisation de proof-of-concepts démontrant la valeur ajoutée des concepts explorés ; Rédaction du manuscrit de thèse et soutenance en fin d'année.

department

·   Description de l'équipe

L'équipe dans laquelle se déroulera la thèse a en charge des travaux de recherche et développement dans le domaine du Traitement Automatique des Langues (analyse sémantique, extraction d'information, structuration de documents, etc.). L'équipe apporte également son expertise pour l'évaluation et l'amélioration continue de systèmes de Compréhension Automatique du Langage auprès des équipes opérationnelles qui développent les solutions de chatbots, de callbots ou d'assistants personnels pour le Groupe Orange.

·   valeur ajoutée de cette offre

Les services opérationnels déployés auprès du grand public offrent une opportunité de travailler sur des données réelles (après anonymisation systématique bien entendu, dans le respect des réglementations de la GDPR) avec des perspectives de valorisation concrètes du travail fourni pendant la thèse.

·   références

[1] (Almost) Zero-Shot Cross-Lingual Spoken Language Understanding, Upadhyay, S., Faruqui, M., Tur, G., Hakkani-Tur, D., Heck, L., ICASSP (2018)

[2] A Closer Look At Feature Space Data Augmentation For Few-Shot Intent Classification, , Kumar, V., Glaude, H., de Lichy, C., & Campbell, W., EMNLP (2019)

[3] Graph-Based Semi-Supervised Learning for Natural Language Understanding, Qiu, Z., Cho, E., Ma, X., & Campbell, W. EMNLP (2019)

[4] Cross-lingual intent classification in a low resource industrial setting, Khalil, T., Kiełczewski, K., Chouliaras, G. C., Keldibek, A., & Versteegh, M. , EMNLP (2019)

[5] Sequential Dialogue Context Modeling for Spoken Language Understanding, Ankur Bapna, A., Tur, G., Hakkani-Tur, D., Heck, L. , SIGDIAL (2017)

[6] CASA-NLU: Context-Aware Self-Attentive Natural Language Understanding for Task-Oriented Chatbots, Gupta, A., Zhang, P., Lalwani, G., & Diab, M. , EMNLP (2019)

[7] Benchmarking benchmarks: introducing new automatic indicators for benchmarking Spoken Language Understanding corpora, Béchet F. & Raymond, C., , Interspeech (2019)

[8] Bert: Pre-training of deep bidirectional transformers for language understanding, Devlin, J., Chang, M. W., Lee, K., & Toutanova, K., arXiv preprint arXiv:1810.04805 (2018)

[9] CALOR-QUEST: generating a training corpus for Machine Reading Comprehension models from shallow semantic annotations, Béchet, F., Aloui, C., Charlet, D., Damnati, G., Heinecke, J., Nasr, A., & Herledan, F., EMNLP workshop MRQA (2019)

[10] Wizard of Wikipedia: Knowledge-Powered Conversational agents, Dinan, E., Roller, S., Shuster, K., Fan, A., Auli, M., & Weston, J. , ICLR (2019)

[11] Lifelong Machine Learning, Z. Chen and B. Liu, (UIC), book Morgan & Claypool, 2nd edition August 2018 (1st edition, 2016).

contract

Thèse