Spectre Athéna vs Redshift
Je suis en quelque sorte en train d’évaluer Athena et Redshift Spectrum. Les deux servent le même objectif, Spectrum a besoin d’un cluster Redshift, alors qu’Athena est sans serveur. Athena utilise Presto et Spectrum utilise le moteur de son Redshift
Existe-t-il des inconvénients spécifiques au spectre Athena ou Redshift?
J'ai utilisé les deux dans différents cas d'utilisation et je conclus:
Avantages du spectre Redshift:
- Permet la création de tables Redshift
- Capable de joindre des tables Redshift avec des tables de spectre Redshift Efficacement
Si vous n'avez pas besoin de ces choses, alors vous devriez aussi considérer Athena
Différences Athéna du spectre Redshift:
- Facturation. C’est la différence majeure et selon votre cas d’utilisation.__ vous pouvez en trouver un beaucoup moins cher que l’autre
- Performance. J'ai trouvé Athéna un peu plus vite.
- Syntaxe SQL et fonctionnalités. Athena est dérivé de presto et est un peu différent de Redshift, qui tire ses racines du postgres.
- Connectivité. Il est assez facile de se connecter à Athena à l’aide d’API, JDBC ou ODBC, mais de nombreux autres produits offrent une connexion "standard prête à l'emploi" À Redshift
De plus, quelle que soit la solution choisie, veillez à utiliser les métadonnées AWS Glue plutôt qu'Athena, car il existe moins de limitations.
Cette question remonte à un bon bout de temps, mais je pense quand même pouvoir apporter quelque chose à la discussion.
Qu'est-ce qu'Athéna?
Amazon Athena est un service de requête interactif qui facilite l'analyse des données dans Amazon S3 à l'aide de SQL standard. Athena étant sans serveur, il n'y a pas d'infrastructure à gérer et vous ne payez que pour les requêtes que vous exécutez. (Du doc)
Assez simple, non?
Vient ensuite la question: Redshift Spectrum et pourquoi les gens d’Amazon l’ont fait quand Athena était à peu près une solution pour les requêtes de tables externes?
Ainsi, les utilisateurs d’AWS souhaitaient créer une extension pour Redshift (ce qui est très populaire actuellement en tant que magasin de données en colonnes géré) et lui donner la possibilité de communiquer avec des tables externes (généralement S3). Mais ils voulaient rendre la vie plus facile aux utilisateurs de Redshift, principalement ceux qui se consacraient à l'analyse. De nombreux outils d'analyse ne prennent pas en charge Athena mais prennent en charge Redshift pour le moment. Mais créer votre cluster Reshift et stocker des données était un goulot d'étranglement. Encore une fois, Redshift n’est pas aussi évolutif horizontalement et il faut un certain temps pour ajouter de nouvelles machines. Si vous êtes un utilisateur Redshift, rendre votre stockage moins cher vous simplifie la vie beaucoup plus fondamentalement.
Je vous suggérerai d'utiliser le spectre Redshift dans les cas suivants:
Vous êtes un utilisateur existant de Redshift et vous souhaitez stocker davantage de données dans Redshift.
Vous souhaitez déplacer des données plus froides vers une table externe, mais souhaitez quand même rejoindre les tables Redshift dans certains cas.
- Décharge Spark de vos données et si vous souhaitez simplement importer des données vers Pandas ou tout autre outil d’analyse.
Et Athena peut être utile lorsque:
- Vous êtes un nouvel utilisateur et vous n'avez pas de cluster Redshift. L'accès à Spectrum nécessite une instance active de Redshift en cours d'exécution. Redshift Spectrum n’est donc pas une option sans Redshift.
- Un spectre est encore un outil en développement et ils ajoutent des fonctionnalités telles que les transactions pour le rendre plus efficace.
- BTW Athena est livré avec une API Nice REST , alors allez-y, vous le voulez.
Tout le monde à dire Redshift + Redshift spectre est en effet puissant avec beaucoup de promesses. Mais il reste encore beaucoup de chemin à parcourir pour arriver à maturité.
Si vous utilisez la base de données Redshift, il sera judicieux d'utiliser Spectrum avec redshift pour obtenir les performances requises.
Cependant, si vous commencez à explorer des options, alors nous pouvons considérer Athena comme un outil pour aller de l'avant.