Extraction multisources d'un haut-parleur intelligent

De nos jours, plusieurs objets du quotidien sont reliés à Internet, tels que les caméras, les haut-parleurs, les voitures, les réfrigérateurs et les verrous intelligents. Parmi les fonctions proposées par ces appareils, certains offrent des capacités de reconnaissance et de commandes vocales. Considérant que les performances de ces capacités sont parfois limitées, des écrans tactiles et des caméras sont parfois ajoutés aux appareils pour en faciliter ou en diversifier leur utilisation. C’est le cas par exemple de haut-parleurs intelligents Echo Show 2e génération d’Amazon fonctionnant avec l’assistant vocal Alexa. Ces ajouts font en sorte que les appareils à affichage intelligents contiennent différentes traces numériques semblables à celles retrouvées dans les appareils mobiles et les ordinateurs. De ce fait, il devient d’autant plus pertinent de chercher à exploiter ces traces en contexte d’enquête. D’ailleurs, Youn et ses collègues ont réalisé une étude en 2021 portant sur les traces numériques pouvant être retrouvées spécifiquement dans ce type de haut-parleur. Celle-ci visait à extraire les données numériques provenant de cet appareil, du téléphone et des serveurs infonuagiques qui y étaient associées, tout en proposant une procédure standardisée aux fins d’analyse. De cette façon, les auteurs présentent une analyse intégrative permettant de reconstituer le comportement de l’utilisateur en regroupant les données des différentes sources.

image numérique 2

Les traces présentes dans l’appareil Echo Show sont obtenues à partir de la puce de mémoire flash et contiennent diverses informations concernant le système, le compte utilisé et les activités des derniers jours. Par exemple, on retrouve des informations sur l’historique du navigateur web, le contenu d’échanges par courriels et les vidéos visionnées. Les données présentes dans le téléphone connecté sont obtenues à partir de l’application Alexa grâce au protocole ADB et contiennent des informations sur le compte et sur la connexion entre le téléphone et Alexa, de même que sur l’historique des conversations avec le haut-parleur. Les données contenues dans l’infonuagique sont obtenues grâce à l’API d’Amazon. Les fichiers en cache de l’Echo Show et du téléphone connecté peuvent également être consultés pour l’analyse des traces.

Les traces numériques de ce type d’appareil étant conservées à plusieurs endroits, certaines données peuvent être dupliquées, alors que d’autres ne sont présentes que dans une seule source. Il devient possible d’avoir accès à de nouvelles informations en collectant les traces numériques provenant de plusieurs sources et en effectuant une analyse compréhensive de ces données. Par exemple, l’Echo Show ne contient que la date de création et le hachage des photographies prises par l’appareil, alors que les photographies sont stockées dans l’infonuagiques. En combinant ces données, il est alors possible de relier les dates de création et aux photographies. De même, les informations concernant des produits achetés en ligne sont conservées sous forme de fichier texte dans l’infonuagique, alors que les images de ces produits sont contenues dans les fichiers en cache de l’Echo Show. La combinaison de ces données permet d’obtenir un portrait plus complet de l’historique d’achats de l’utilisateur.

En somme, l’étude réalisée par Youn et ses collègues montre bien comment les traces numériques liées à l’utilisation des haut-parleurs intelligents sont conservées dans plusieurs sources différentes. Elle met également en lumière la pertinence et la nécessité d’effectuer des expertises sur l’ensemble de ces sources afin de pouvoir en combiner les informations extraites et obtenir un portrait nettement plus complet visant à reconstruire le portait des activités reliées à cet appareil.


Par Marilyne Cloutier (mars 2024)


Youn, M. A., Lim, Y., Seo, K., Chung, H., & Lee, S. (2021). Forensic analysis for AI speaker with display Echo Show 2nd generation as a case study. Forensic Science International: Digital Investigation, 38, 301130.





S'inscrire pour recevoir les nouvelles du LAB404 et les synthèses de recherche

* requis

Énoncé de confidentialité