Prendre l'avantage avec les données À propos des données

Alors que les données IoT deviennent une partie plus importante des opérations commerciales de l'entreprise, la capacité à réduire la latence dans l'analyse et le traitement des données peut faire la différence. Il élève la promesse du temps réel à un nouveau niveau.

De nombreuses données circulent sur les réseaux IoT, au point que l'identification et la localisation de données d'importance matérielle peuvent ralentir les choses. Les métadonnées - données sur les données - sont les clés du royaume des données, en particulier lorsqu'il s'agit d'indexer et d'identifier des données non structurées. Tout comme les données peuvent submerger les fonctions de l'entreprise, les métadonnées peuvent ralentir encore plus les choses.

Une nouvelle proposition, présentée lors de la récente conférence IEEE Edge Computing,
offre un moyen de s'attaquer au problème des téraoctets de métadonnées attribuées dans de nombreux domaines d'application - ce qu'ils appellent des « métadonnées efficaces et évolutives », un terme qui n'aurait même pas été nécessaire à l'ère des lots pré-bord.

Les chercheurs, Bing Zhang de l'Université de l'Illinois et Tevfik Kosar de l'Université de Buffalo, ont proposé une solution qui déplace les métadonnées sur les réseaux IoT de manière plus rapide et plus efficace. Ils ont également conçu un moyen de mettre en cache et de prédire l'accès aux métadonnées sur le réseau, ce qui pourrait potentiellement réduire la latence dans l'accès et le mouvement des données. "Nous avons rejoué environ 20 millions d'opérations d'accès aux métadonnées à partir de traces d'audit réelles, dans lesquelles notre système a atteint une précision de 80 % lors de la prédiction de prélecture et a réduit la latence de récupération moyenne de 50 % par rapport aux mécanismes de pointe."

Voir aussi : Le rapport Deloitte détaille l'étendue du défi de modernisation des données

Déjà, "plus de 50 % de toutes les opérations d'E/S sont dues à des
l'informatique et les demandes de lecture des attributs de fichiers dominent dans toutes les charges de travail », déclarent Zhang et Kosar. Ils disent que des routines de prélecture plus agressives - qui déplacent les données du stockage vers la mémoire temporaire en prévision des demandes des utilisateurs à venir - peuvent mieux fonctionner avec les métadonnées que les données elles-mêmes.

Les auteurs ont testé une telle architecture, en utilisant les journaux de suivi de la grille Yahoo Hadoop de Yahoo! Ensemble de données Webscope, composé d'opérations quotidiennes continues de métadonnées du nœud de nom Hadoop en 2010. Le système a atteint « un taux de prédiction de 80 % sur son opération de métadonnées et a réduit la latence de récupération moyenne de 50 % par rapport à d'autres mécanismes de pointe », ils rapportent. "Ceci est compatible avec le réseau IoT, où les appareils IoT avec des capacités de calcul et de stockage limitées peuvent atteindre la même latence de récupération moyenne que le nœud de calcul edge/fog de proximité."

Alors que les données IoT deviennent une partie plus importante des opérations commerciales de l'entreprise, la capacité à réduire la latence dans l'analyse et le traitement des données peut faire la différence. Il élève la promesse du temps réel à un nouveau niveau.