Thèse Les interactions multimodales dans le contexte de l'Internet des Objets F/H

Ref : 0023049 | 21 mai 2019

4 rue du clos Courtel 35510 CESSON SEVIGNE - France

Leaflet

Life At Orange : la campagne

Votre rôle est d'effectuer un travail de thèse sur les interactions multimodales dans le contexte de l'Internet des Objets.

Un nombre toujours plus grand d'objets de notre quotidien deviennent "connectés", réalisant ainsi l'idée depuis longtemps anticipée d'un Internet des objets (IoT). Que ce soit dans les bâtiments (maison, entreprise, …), les voitures, dans la ville, ou même directement porté par l'utilisateur (wearable), ces objets sont les briques des environnements intelligents de demain.

L'apport de l'IoT ne se limite cependant pas à l'ajout d'une connectivité à des objets unitaires, ou à la création de services dédiés à chacun d'eux. C'est pris dans leur ensemble, et en tant qu'écosystème, que ces objets redéfiniront en profondeur notre rapport au monde digital.

D'abord, parce que la multiplication des capteurs produit une somme de données, qui une fois agrégées et traitées, est capable de caractériser toujours plus finement nos actions et notre environnement. L'Internet des objets ouvre ainsi la voix au « contexte-aware computing », et au-delà, à des systèmes ambiants, pervasifs et ubiquitaires. Ensuite, parce que la multiplication des interacteurs est à la fois source de complexité et d'opportunité dans les interactions homme - machine. Elle submerge l'utilisateur d'informations et d'actions potentielles, dans lesquelles il lui est parfois difficile de s'y retrouver. Mais elle apporte également de nouvelles conditions, favorables au développement de nouveaux paradigmes d'interaction. Parmi ceux-là, la multimodalité est un concept particulièrement intéressant. Elle tire avantage des multiples interacteurs, en s'appuyant sur leur complémentarité, dans le cadre d'une interaction distribuée. De plus, dans ce contexte d'environnements ultra-connectés et pervasifs les interactions multimodales sont particulièrement adaptées puisqu'elles offrent une manière naturelle d'interagir avec les équipements, notamment par les gestes, la parole ou la manipulation directe.

Etat de l'art

Le concept de multimodalité n'est pas nouveau dans le champ de la recherche en interaction homme - machine. Il prend naissance en 1980 avec le papier fondateur de Bolt : "“Put-that-there”: Voice and gesture at the graphics interface" [1] qui pose les bases de cette discipline naissante. Par la suite, les chercheurs ont caractérisé plus précisément les interactions multimodales, mettant en avant les processus de fusion et fission des modalités [2], les contraintes temps-réel intrinsèques à ce type d'interaction [3], et proposer des définitions [2] et des taxonomies [4] [2] pour mieux appréhender la mutlimodalité à la fois pour son usage et sa mise en oeuvre. Pour ce dernier point, plusieurs frameworks ont été proposés [5] [6], principalement basés sur une approche par composants, allant jusqu'à la définition d'architecture [7] et de protocole [8] normalisés au sein de la W3C.

L'émergence de l'Internet des objets et de l'intelligence ambiante apporte cependant de nouvelles problématiques, non couvertes par les travaux proposés jusque-là. En effet, dans ce premier temps, la multimodalité était avant tout vue comme une construction de la phase de conception, dans des environnements statiques. Les solutions proposées alors étaient "adaptées à des environnements bien délimités, lorsque les tâches à accomplir et les équipements à dispositions étaient connues à l'avance" [9]. Dans le cadre de l'IOT, il s'agit désormais de proposer une interaction distribuée, dynamique, pervasive, et toujours adaptée aux besoins et capacités de l'utilisateur dans son contexte.

Se référer à la section 3 « Le plus de l'offre » pour des informations détaillées sur la mission scientifique et les principales activités associées à la thèse.

Vous disposez d'un Master recherche ou diplôme d'ingénieur dans le domaine de l'informatique.

Vous avez une expérience en interaction homme-machine (formation ou stage). Une expérience dans un contexte recherche serait un plus (labo académique ou industriel).

Programmation (C++/C#/Python)

Interface Homme Machine (2D et/ou 3D)

Architecture logicielle et modélisation

Rigueur, autonomie, capacité de synthèse, de présentation et rédaction

Anglais

Des connaissances en interaction (vocale, gestuelle, tangible, …) seraient un plus.

Le plus de l'offre

Objectif scientifique - verrous à lever

L'objectif global de la thèse est la mise en oeuvre d'un framework d'adaptation des modalités d'interaction en fonction du contexte d'usage. Pour atteindre cet objectif, plusieurs verrous sont à lever :

Dans les environnements IoT, l'incroyable richesse et diversité des interacteurs susceptibles d'être intégrés aux dispositifs interactifs multimodales, rend difficile la maitrise et la connaissance à priori (i.e. lors de la conception du dispositif) de la topologie et des caractéristiques de ces interacteurs. Dans ce contexte, comment abstraire celles-ci pour éviter le fastidieux travail d'adaptation à chacun des interacteurs pour le développeur ? Pour répondre à cette question, vous pourrez vous appuyer sur les résultats des travaux en plasticité des interfaces.

Comment intégrer la prise en compte du contexte dans les deux principaux processus des systèmes multimodaux, à savoir la fusion et la fission de modalité ? Il sera notamment intéressant de faire la distinction entre les critères génériques dont la prise en compte pourra être automatisée, et les critères spécifiques, qui dépendent directement de l'application à mettre en oeuvre. Pour ces derniers, il s'agira alors d'offrir des mécanismes pour faciliter leur intégration.

Des questions se posent aussi du point de vue de l'usage de tels dispositifs :

Comment l'utilisateur peut anticiper l'interaction attendue dans un environnement interactif dynamique (question de l'affordance) ?

Comment l'utilisateur peut agir sur les choix de modalité pour qu'ils correspondent mieux à ces besoins, ces attentes (question de la personnalisation) ?

Approche méthodologique-planning

TO  T6 : Etude bibliographique (interfaces multimodales, IoT, plasticité des interfaces), tests des solutions existantes

T6  T12 : Proposition d'un modèle d'interaction Multimodales dans le cadre de l'Internet des Objets

T12  T18 : Implémentation des modèles au sein d'un Framework s'appuyant sur la plateforme Thing'in

T18  24 : Réalisation d'un prototype d'interaction et validation avec des utilisateurs

T24  T30 : Ajustement des modèles et contributions sur l'usage des interfaces multimodales, validation avec des utilisateurs

T30  T36 : Rédaction du manuscrit de thèse et préparation de la soutenance.

L'équipe eXperience Design Lab (xdlab) a pour ambition de mettre la compréhension de l'humain au coeur des projets et du processus d'innovation pour que l'expérience Orange soit mémorable. Ses missions sont :

La réalisation des éléments d'expérience pour les projets et produits du groupe, explorer et matérialiser de nouveaux concepts d'expérience en relation étroite avec les équipes Marketing et Techniques.

La construction de la vision Design et définir les fondamentaux de l'expérience Orange, développer les savoir-faire, outils et méthodes UX et les diffuser largement dans le groupe et les projets.

Qu'est ce qui fait la valeur ajoutée de cette offre ?

Dans le cadre de cette thèse, vous évoluerez dans un environnement scientifique multidisciplinaire (informatique, ergonomie, design, sociologie, ..). Vous participerez à l'élaboration des dispositifs interactifs à venir, qui se veulent à la fois plus simple, plus intuitif, mais aussi plus riche, afin de mettre la technologie au service de l'humain.

Références :

[1] Bolt, Richard A. 1980. « “Put-That-There”: Voice and Gesture at the Graphics Interface ». In , 262 70. ACM Press.

[2] Nigay, Laurence, et Joëlle Coutaz. 1993. « A Design Space for Multimodal Systems: Concurrent Processing and Data Fusion ». In , 172 78. ACM Press.

[3] Dumas, Bruno, Denis Lalanne, et Sharon Oviatt. 2009. « Multimodal Interfaces: A Survey of Principles, Models and Frameworks ». In Human Machine Interaction, édité par Denis Lalanne et Jürg Kohlas, 5440:3 26. Berlin, Heidelberg: Springer Berlin Heidelberg.

[4] Coutaz, Joëlle, Ann Blandford, et Jon May. 1995. « Four easy pieces for assessing the usability of multimodal interaction: the CARE properties ». In . Lillehammer.

[5] Bouchet, Jullien, Laurence Nigay, et Thierry Ganille. 2004. « ICARE Software Components for Rapidly Developing Multimodal Interfaces ». In , 251. ACM Press.

[6] Serrano, Marcos, Laurence Nigay, Jean-Yves L. Lawson, Andrew Ramsay, Roderick Murray-Smith, et Sebastian Denef. 2008. « The Openinterface Framework: A Tool for Multimodal Interaction. » In , 3501. ACM Press.

[7] Bodell, Michael, Deborah Dahl, Ingmar Kliche, Jim Larson, Brad Porter, Dave Raggett, T.V. Raman, et al. 2012. Multimodal Architecture and Interfaces. https://www.w3.org/TR/mmi-arch/.

[8] Loquendo, Paolo Baggia, Daniel C. Burnett, Jerry Carter, Deborah A. Dahl, Gerry McCobb, et Dave Raggett. s. d. Extensible Multi-Modal Annotations (EMMA). https://www.w3.org/TR/emma/.

[9] Avouac, Pierre-Alain, Philippe Lalanda, et Laurence Nigay. 2012. « Autonomic Management of Multimodal Interaction: DynaMo in Action ». In Proceedings of the 4th ACM SIGCHI Symposium on Engineering Interactive Computing Systems - EICS '12, 35. Copenhagen, Denmark: ACM Press.

[10] Thevenin, D., Coutaz, J. Plasticity of User Interfaces : Framework and Research Agenda. In Proc. Interact99, Edinburgh, A. Sasse & C. Johnson Eds, IFIP IOS Press Publ. , 1999, pp.110-117.

Thèse