Quand l'intelligence artificielle s'invite à la table de jeux

ALTKEY s’est retrouvé au cœur d’un autre projet phare de Mattel™ : Pictionary Vs. AI™. Une façon unique de redécouvrir le jeu de table classique de 1985 : Pictionary™.

À l’aide de la caméra d’un appareil mobile (ou d’une webcam sur PC), l’intelligence artificielle (IA) de notre application web tentera de deviner correctement ce que les utilisateurs dessinent sur leurs tableaux de jeu. Les utilisateurs sont amenés à cerner les forces et les limites de notre IA. D’abord en dessinant de façon à ce que leurs dessins soient correctement identifiés, et ensuite en évaluant si oui ou non les dessins des autres utilisateurs marqueront des points. 

Il s’agissait de prendre des outils technologiques qui sont dans l’ère du temps, comme l’intelligence artificielle et la vision par ordinateur, et d’en faire une expérience interactive des plus accessibles. Lorsque l’on possède la boîte de jeu, il suffit de scanner un code QR pour ouvrir l’application web et la partie peut commencer. La narration dans l’application (créée, elle aussi, grâce à l’intelligence artificielle - Azure TTS) prend complètement en charge les utilisateurs qui n’auront qu’à suivre des consignes simples pour s’amuser. L’entièreté de l’application pèse moins de 10Mb et une connexion internet n’est plus nécessaire une fois téléchargée. Ayant la sécurité des données de nos utilisateurs à cœur, notre IA ne nécessite aucun service extérieur et roule à l’intérieur même du navigateur.

Le plus grand défi de ce projet fût la mise sur pied d’une intelligence artificielle capable d'adéquatement identifier les dessins réalisés par divers utilisateurs, en utilisant une gamme tout aussi diversifiée de caméras. Pour ce faire, notre équipe technique a puisé dans l’immense base de données de Quick, Draw!, de Google™. Cette immense base de données regroupe plus de 50 millions de croquis d’utilisateurs, classés en 345 indices. Ensuite, nous avons entraîné notre propre intelligence artificielle sur nos machines internes avec TensorFlow en Python. Actuellement, notre IA peut identifier avec succès 224 indices, couvrant un large éventail, dont "bonhomme de neige" et "feu de camp" sont des exemples.

Notre équipe a également utilisé différents algorithmes de traitement d’images pour traiter les photos prises par les utilisateurs, de façon à uniformiser les images fournies à notre IA. Suivant nos recommandations, l’équipe de Mattel™ a ajouté des marqueurs sur les tableaux effaçables de manière à ce que nos algorithmes saisissent bien leur positionnement et orientation dans l’espace.

Pour la suite des choses, on souhaite continuer notre collaboration sur ce produit avec Mattel™ et on envisage d’ajouter des modes de jeux supplémentaires dans l’application et de parfaire notre intelligence artificielle pour y incorporer de nouveaux indices. Nous pensons scinder notre base de données en différentes catégories pour faciliter la tâche d’intégration de nouveaux indices à notre IA. Par exemple, si l’on joue dans la catégorie Nature, l’IA saura que le dessin fourni ne peut pas être un téléphone, ce qui réduit grandement l’interférence et laisse plus d’espace à l’ajout de différents indices.