Les technologies convergentes permettent une recherche élastique à l'échelle d'un milliard

La convergence numérique se produit tout autour de nous alors que des technologies qui n'étaient pas liées à l'origine se réunissent de nouvelles manières passionnantes. L'iPhone en est un parfait exemple, combinant un téléphone avec un ordinateur, un appareil photo et des capteurs pour offrir une expérience exceptionnelle.

La convergence n'est pas nouvelle dans l'espace embarqué. Les dispositifs embarqués ont traditionnellement été soumis à des restrictions de mémoire et de traitement plus sévères et ont adopté la convergence comme moyen de tirer le meilleur parti de nombreux domaines technologiques. Ainsi, comme nous ne sommes qu'au début de la convergence de technologies à différentes échelles, avec des technologies apparemment disparates promettant de s'associer pour perturber les industries existantes et ouvrir la voie à de nouvelles opportunités intéressantes, l'espace embarqué en bénéficiera également. Une nouvelle convergence est l'utilisation du voisin le plus proche k-NN (k-NN) avec un traitement d'accélération en mémoire pour fournir des réponses en temps quasi réel pour les opérations Elasticsearch à l'échelle d'un milliard.

Elasticsearch est un moteur de recherche qui prend les requêtes JSON pour les recherches de documents et fournit des données JSON comme résultats. Le format de données Elasticsearch est un document avec des données structurées encodées en JSON. Elasticsearch a commencé comme un moteur de recherche de texte, mais la base de données peut couvrir tout type de données, chaque document ayant un identifiant unique et un type de données.

Parce que la structure est « sans schéma », elle permet de définir des documents selon les besoins de l'utilisateur. Exemples de documents dans les bases de données Elasticsearch :

• Images utilisées pour identifier les demandes de recherche des consommateurs.
• Journaux de données réseau utilisés pour identifier les intrusions, les anomalies ou les déséquilibres de charge.
• Reçus de produits utilisés pour identifier les habitudes d'achat des clients et améliorer la gestion des stocks.
• Architecture réseau utilisée pour le partage et la réplication automatiques.
• Les documents texte utilisés pour trouver des instances littéraires spécifiques.
• Documents texte avec mappages un-à-plusieurs utilisés pour la traduction assistée par ordinateur.

Elasticsearch a été conçu pour être distribué. Il est évolutif dans l'infrastructure et flexible pour un serveur local, un serveur distant ou un fonctionnement basé sur le cloud. Grâce à sa structure API ouverte et reposante, le moteur de recherche extensible peut être utilisé sans effort avec des plugins. L'un de ces plugins provient de GSI Technology et offre un certain nombre d'avantages, notamment le k-NN accéléré par le matériel, l'utilisation de vecteurs pour la recherche multimodale et la fusion des résultats des scores.

Elasticsearch s'appuie sur son support informatique distribué pour l'évolutivité, et ses vitesses fulgurantes sont de l'ordre de quelques secondes pour des recherches de bases de données à l'échelle d'un million. En raison de sa nature distribuée et de sa prise en charge du sharding, Elasticsearch permet la duplication des données, en parallélisant la recherche et en l'accélérant pour les bases de données plus volumineuses. La fonctionnalité distribuée qui provient de la publication de commandes HTTP permet également d'effectuer plusieurs recherches de résolutions différentes par un périphérique intégré - une sur les ressources locales et une envoyée aux ressources en amont.

Core Elasticsearch utilise une correspondance exhaustive de calculs lourds (match all), ce qui le ralentit ou le rend assez coûteux en matériel en double pour prendre en charge la recherche de base de données à grande échelle. Une technique qui peut être utilisée pour augmenter la taille de la base de données est la recherche k-NN. Cela fonctionne en recherchant d'abord les similitudes dans les groupements communs, puis en effectuant la recherche finale au sein de ces un ou plusieurs groupements. Cette technique permet également d'effectuer des recherches dans de grandes bases de données sur des serveurs à l'échelle de la périphérie au lieu de fermes de calcul basées sur le cloud pour les applications très sensibles à la latence.

Approche difficile sur le plan informatique

Alors que k-NN fournit une méthodologie à Elasticsearch pour prendre en charge de très grandes bases de données, telles que celles à l'échelle du milliard d'entrées et au-dessus, elle est exhaustive en termes de calcul. En conséquence, k-NN a été un défi à accélérer en raison de la contrainte de déplacer les bases de données entre les cœurs GPU ou CPU.

L'une des plus grandes limitations à l'accélération de la charge de travail est la limitation de l'échange de données requis entre les processeurs et la mémoire. Un inconvénient majeur de l'architecture Von Neumann utilisée dans les processeurs modernes est la surcharge de transfert de données entre les processeurs et le stockage. Le CPU doit aller chercher des données pour chaque opération qu'il fait.

Cette architecture est encore plus inefficace dans un environnement d'accélération de déchargement. Les performances de tels systèmes sont limitées par la vitesse à laquelle les données peuvent être échangées via la mémoire par l'hôte demandant les opérations et également par les moteurs de calcul effectuant les opérations.

Des architectures qui réduisent le flux de données de la mémoire sont à l'étude pour aider à atténuer le goulot d'étranglement de Von Neumann. Cependant, le goulot d'étranglement est particulièrement flagrant lorsqu'il s'agit d'applications d'intelligence artificielle gourmandes en mémoire. Le fonctionnement des applications liées à l'IA dépend du déplacement rapide et efficace de quantités massives de données en mémoire. Les bases de données entraînées doivent être chargées dans la mémoire de travail et les requêtes d'entrée vectorisées. Ensuite, ils doivent être traités et chargés pour que les fonctions de comparaison fonctionnent.

Une technologie éprouvée ayant déjà un impact sur le marché est l'unité de traitement associatif (APU). La beauté de l'accélération en mémoire est que le stockage lui-même devient le processeur. Il ne s'agit pas d'une matrice massive de cœurs de traitement avec une mémoire cache à proximité, mais plutôt d'une matrice mémoire avec des unités de calcul intégrées à l'architecture de la ligne de lecture.

Ainsi, l'APU se différencie en ayant la matrice mémoire capable d'accélérer le calcul. Il a été démontré que ce type de processeur « accéléré » accélère les performances de plusieurs ordres de grandeur tout en réduisant la consommation d'énergie de la charge de travail des serveurs standard.

La convergence d'Elasticsearch, de k-NN et de l'accélération APU offre moins de latence et plus de requêtes par seconde. Il permet également de prendre en charge la recherche de bases de données à l'échelle d'un milliard à une puissance inférieure à celle des systèmes traditionnels à processeur seul ou à accélération GPU. Dans l'espace embarqué, Elasticsearch peut fournir un moyen d'effectuer une recherche locale sur un périphérique périphérique tout en envoyant simultanément une requête HTTP pour une recherche plus approfondie sur le réseau. Des résultats variables peuvent être soit assemblés pour une réponse de plus en plus précise, soit seules de nouvelles exceptions peuvent être incorporées.

Un périphérique de périphérie extrême pourrait appliquer ses ressources CPU pour effectuer une recherche sur une base de données localement pertinente pour la vitesse. Ensuite, l'utilisation du multiplicateur de densité APU permet aux requêtes du réseau Elasticsearch d'être efficacement exécutées sur un serveur de périphérie ou un agrégateur au lieu d'être envoyées vers le cloud. Considérez les robots qui peuvent prendre des décisions autonomes tout en obtenant une validation de sauvegarde ou des corrections de cap à partir d'une recherche plus approfondie en amont. Pensez aux véhicules automatisés qui prennent des décisions immédiates en fonction d'un ensemble de règles et des conditions locales tout en envoyant des informations via des passerelles de signalisation routière et en obtenant des informations routières et des instructions de conduite en amont.

À l'avenir, il sera passionnant de voir quelles nouvelles opportunités cette convergence permettra.