Technologies de Tableau

Hyper est une technologie de moteur de données en mémoire très performante qui permet d'analyser plus rapidement des ensembles de données volumineux ou complexes grâce à une évaluation efficace des requêtes analytiques directement dans la base de données transactionnelle. Composante essentielle de la plate-forme Tableau, Hyper utilise la génération de code dynamique propriétaire et des techniques avancées de parallélisation pour accélérer la création des extraits et l'exécution des requêtes.

La particularité d'Hyper

Ces 10 dernières années, les moteurs de données en mémoire et les technologies de base de données analytiques ont permis une amélioration incroyable des performances des requêtes grâce à des techniques telles que l'échantillonnage et la récapitulation. Cependant, ces améliorations ont un coût. De nombreux systèmes sacrifient les performances d'écriture, qui sont essentielles à la création rapide d'extraits et à l'efficacité de l'actualisation, en faveur de l'optimisation des performances de la charge de travail analytique. Pourtant, la lenteur de l'écriture aboutit à des données obsolètes et déconnectées. Au final, cela produit un décalage entre les utilisateurs et les données qu'ils souhaitent analyser. Avec Hyper, notre mission est de les rapprocher de leurs données en accélérant les écritures et les performances des charges de travail analytiques. En résumé, Hyper fournit plus rapidement des données toujours à jour pour vous permettre d'analyser une vue plus étendue et complète de vos données.

Une architecture système plus efficace

Avec Hyper, les transactions et les requêtes analytiques sont traitées dans la même banque de colonnes. Aucun autre traitement n'est requis après l'ingestion des données. Cela permet de réduire les données obsolètes et les décalages entre les systèmes spécialisés. L'approche unique d'Hyper permet de véritablement consolider dans un système unique des charges de travail impliquant de nombreuses opérations de lecture et d'écriture. En d'autres termes, il est possible de bénéficier d'une création rapide des extraits sans sacrifier la rapidité du traitement des requêtes.

Nouvelle approche de l'exécution des requêtes : génération de code dynamique

Hyper utilise un nouveau modèle d'exécution : la compilation à la volée. Beaucoup d'autres systèmes reposent sur un modèle traditionnel d'exécution des requêtes qui ne peut pas tirer pleinement parti du matériel multicœur actuel. Hyper, en revanche, optimise et compile les requêtes dans un langage machine personnalisé pour exploiter au mieux le matériel sous-jacent. Lorsqu'il reçoit une requête, il crée une arborescence, l'optimise de manière logique et l'utilise ensuite comme référence afin de créer un programme unique, qui sera ensuite exécuté. Cela permet de mieux tirer profit des dernières avancées des composants matériels pour accélérer l'exécution des requêtes.

Mieux exploiter le matériel : parallélisation basée sur la fragmentation

Nous avons conçu Hyper pour des environnements multicœurs et étendus. Notre modèle de parallélisation repose sur la fragmentation du travail en très petits « morceaux ». Ces fragments sont attribués efficacement à tous les cœurs disponibles, ce qui permet à Hyper de mieux tenir compte des différences de vitesse de ces derniers. Cela se traduit par une meilleure utilisation du matériel et une accélération des performances.

Hyper a commencé par un projet de recherche de l'Université technique de Munich (TUM) en 2010. C'est devenu une entreprise en 2015. Le but était de faire connaître Hyper et de livrer une version commerciale de la technologie. Hyper a été racheté par Tableau en 2016 et cette technologie bénéficie désormais au moteur de données Tableau.