Booster la performance IoT avec des insights données pilotés par les métadonnées

Alors que les données IoT deviennent une partie plus importante des opérations business d'entreprise, la capacité à réduire la latence dans l'analytique et le traitement des données peut faire la différence. Cela élève la promesse du temps réel à un nouveau niveau.

Il y a beaucoup de données qui circulent à travers les réseaux IoT – au point où identifier et localiser les données d'importance matérielle peut ralentir les choses. Les métadonnées – données sur les données – sont les clés du royaume des données, surtout quand il s''agit d'indexer et d'identifier des données non structurées. Tout comme les données peuvent submerger les fonctions d'entreprise, les métadonnées peuvent ralentir les choses encore davantage.

Une nouvelle proposition, présentée à la récente conférence IEEE Edge Computing, offre une façon d'adresser le problème de téraoctets de métadonnées étant assignés dans de nombreux domaines d'application – ce qu'ils appellent « métadonnées efficaces et scalables », un terme qui n'aurait même pas été nécessaire dans l'ère pré-edge, batch.

Les chercheurs, Bing Zhang de l'Université de l'Illinois et Tevfik Kosar de l'Université de Buffalo, proposent une solution qui déplace les métadonnées à travers les réseaux IoT de manière plus rapide et plus efficiente. Ils ont aussi conçu un moyen de mettre en cache et prédire l'accès aux métadonnées à travers le réseau, ce qui pourrait potentiellement réduire la latence dans l'accès et le mouvement des données. « Nous avons rejoué environ 20 millions d'opérations d'accès métadonnées depuis de vraies traces d'audit, dans lesquelles notre système a atteint 80 % de précision pendant la prédiction de préchargement et réduit la latence moyenne de récupération de 50 % comparé aux mécanismes state-of-the-art. »

Voir aussi : Rapport Deloitte détaille l'ampleur du défi de modernisation des données

Déjà, « plus de 50 % de toutes les opérations I/O sont dues au computing métadonnées-intensif et les requêtes pour lire les attributs de fichiers dominent dans toutes les charges de travail », affirment Zhang et Kosar. Ils disent que des routines de préchargement plus agressives – qui déplacent les données du stockage vers la mémoire temporaire en anticipation des prochaines requêtes utilisateur – peuvent mieux fonctionner avec les métadonnées qu'avec les données elles-mêmes.

Les auteurs ont testé une telle architecture, employant les logs de trace de grille Hadoop Yahoo du dataset Yahoo! Webscope, consistant en opérations métadonnées quotidiennes continues du name node Hadoop en 2010. Le système a atteint « un taux de prédiction de 80 % sur son opération métadonnées et réduit la latence moyenne de récupération de 50 % comparé aux autres mécanismes state-of-the-art », rapportent-ils. « Cela est favorable aux réseaux IoT, où les dispositifs IoT avec capacités de calcul et stockage limitées peuvent atteindre la même latence moyenne de récupération que le nœud de calcul edge/fog de proximité. »

Alors que les données IoT deviennent une partie plus importante des opérations business d'entreprise, la capacité à réduire la latence dans l'analytique et le traitement des données peut faire la différence. Cela élève la promesse du temps réel à un nouveau niveau.