Actualités

SRIS obtient des résultats en temps réel pour le traitement géospatial

Architecture accélérée par GPU 72 fois plus rapide et 12 fois moins chère que les configurations CPU

Le défi du temps réel pour le traitement géospatial

SRIS

Émetteurs à températures froides et chaudes

Les systèmes d’informations géographiques (GIS) sont essentiels pour comprendre le monde qui nous entoure. Jusqu’à récemment, l’idée d’avoir accès aux informations géospatiales en temps réel était difficile à concevoir. Notre capacité à créer de grandes quantités de données a surpassé notre capacité à optimiser la qualité des informations pouvant être offertes par ces données. Par exemple, le traitement de données d’émetteur et de capteur permettant de suivre la vie sauvage dans un lieu éloigné présente un défi monumental, nécessitant des milliards de calculs. Les données sont en flux continu, les capteurs et émetteurs en mouvement constant, et les variations de terrain et de temps peuvent produire un impact significatif sur la collecte de données.

SRIS a créé une architecture innovante accélérée par les GPU NVIDIA Tesla® pour traiter des quantités massives de données en temps réel. « La capacité de traitement améliorée des GPU rend les résultats plus facilement accessibles », déclare Srinivas Reddy, directeur de la technologie au SRIS. « Nous avons également constaté que l'augmentation exponentielle de la taille des données soulève un nouveau problème : la gestion d’immenses quantités de données dans un environnement distribué de clusters de GPU. » Ainsi, SRIS a conçu un système personnalisé permettant de gérer et traiter les flux de données vers les clusters de GPU.

Gains de coût et de temps avec l’accélération GPU par rapport aux CPU

SRIS a assemblé un cluster pour le traitement de données géospatiales en temps réel. L'équipe recevait des données de plusieurs sources, effectuait l’analyse requise et renvoyait les données au serveur ESRI pour les visualiser. « Notre première version a été une configuration CPU », explique M. Reddy. « Le coût du système CPU a été d’1,2 M de dollars, avec un temps de performance de 3,6 minutes. Nous ne pouvions donc pas obtenir de véritables résultats en temps réel. Après la mise en œuvre de l’accélération GPU, nous avons réduit de 12 fois les coûts, qui ont chuté à 100 000 dollars, et avons amélioré les temps de performances de 72 fois en passant à 9 secondes, ce qui est proche du temps réel. »

SRIS continue de faire reculer les limites du possible. Très récemment, l'équipe a amélioré son algorithme GIS CUDA et sa technique de chargement des données. Les mêmes données géospatiales peuvent désormais être traitées en 0,0017 secondes, grâce au GPU NVIDIA K20. Ce résultat est extrêmement proche du temps réel.

Pour faciliter le flux de données en temps réel, SRIS a choisi l’environnement Storm et a exécuté un traitement et un calcul géospatial sur un cluster de GPU Tesla K10 et Tesla K20. « Les algorithmes CUDA permettent un accès efficace au traitement massivement parallèle des clusters GPU », poursuit M. Reddy. « Nous avons utilisé un cluster HyperDex pour le stockage et la récupération de données de référence, car il est doté d’une fonction de recherche extrêmement rapide. »

SRIS a développé une plateforme nommée MonsterWave pour gérer et traiter des flux de données vers les clusters GPU. « MonsterWave nous permet d’optimiser la vitesse et la puissance des clusters GPU », ajoute M. Reddy. « Il planifie et gère les tâches basées sur la connaissance du GPU, en mettant en file d’attente des tâches selon le statut GPU pour un résultat des plus efficaces. » SRIS estime qu’il s’agit de la première approche efficace permettant d'accélérer les calculs géospatiaux en temps réel avec des entités et événements dynamiques. « Grâce à ce système, nous pouvons désormais recevoir de grandes quantités de données provenant de plusieurs sources, les fusionner avec un autre ensemble de données de référence, traiter les données enrichies grâce à 18 algorithmes complexes, extraire les informations pertinentes et les présenter aux utilisateurs en quelques secondes. La possibilité de traiter des données permet aux utilisateurs de formuler rapidement des décisions, en un délai qui fait vraiment la différence. »

Un futur radieux pour les applications de calcul par GPU en temps réel

L’équipe SRIS voit beaucoup de potentiel pour ces fonctions. « Nous travaillons actuellement sur des algorithmes géospatiaux pour GPU et pouvons associer efficacement des bases de données aux GPU », indique M. Reddy. « Ceci permettra aux applications de stockage de données et aux systèmes de bases de données d’exploiter la puissance des GPU dans le domaine géospatial. Grâce au calcul par le GPU, nous savons que nous pouvons désormais atteindre des temps de réponse de quelques millisecondes lorsque nous analysons des informations géospatiales. »

SRIS