Kinesis Analytics améliore le traitement des données pré-requêtes SQL
Les services Amazon Kinesis facilitent l'exploitation des données de streaming en temps réel dans le cloud AWS. Ils se déclinent en trois versions répondant à des besoins différents:
- Amazon Kinesis Streams pour traiter vos données de streaming en temps réel.
- Amazon Kinesis Firehose pour charger en temps réel des flux de données vers AWS.
- Amazon Kinesis Analytics pour exécuter en temps réel des requêtes SQL sur des données streamées.
Amazon Kinesis Analytics fournit donc un éditeur interactif qui permet de créer des requêtes SQL. Le traitement se fait avec des temps de latence inférieurs à 1 seconde. Vous pouvez ainsi créer des alertes et générer des tableaux de bord exploitables en temps réel. Vous pouvez également consulter les résultats de streaming et les erreurs en utilisant les données en direct, idéal pour déboguer ou affiner davantage vos scripts.
Depuis le 5 octobre 2017, Amazon Kinesis Analytic vous permet de transformer vos données avant que ces dernières soient traitées par vos requêtes SQL. Cette nouvelle fonctionnalité vous permet, à l’aide d’AWS Lambda, de convertir, d’enrichir ou de filtrer vos données en amont des requêtes SQL. Des modèles de fonctions Lambda sont proposés dans la console Amazon Kinesis Analytic, par exemple pour convertir des GZIP en JSON.
Autre nouveauté depuis le 4 octobre 2017, Amazon Kinesis Analytics permet d’identifier lui-même le schéma d’un objet Amazon S3, dans un Bucket S3 ou en streaming. Après avoir entré un exemple de donnée stockée dans Amazon S3, Kinesis Analytics identifie les noms de colonnes, les types de données et la position des éléments de données dans un fichier JSON ou CSV.
- Plus d'informations dans la fiche produit AWS (FR).
AWS Batch accélère le scale-down de ses environnements
Vous le savez surement déjà : depuis le 2 octobre 2017, les services Amazon EC2, les volumes EBS, Amazon EMR et AWS Batch sont facturés à la seconde !
Ce nouveau mode de facturation, en plus d’être un avantage concurrentiel et financier important, implique des changements dans la manière dont les environnements et services AWS fonctionnent. AWS Batch est un exemple parfait de ce changement de réflexe induit : les instances Amazon EC2 étant historiquement facturées durant une heure indivisible, le service AWS Batch ne supprimait des instances (scale-down) qu’au bout d’une cinquantaine de minutes pour éviter de relancer des instances, et donc éviter une heure facturable supplémentaire. Avec la facturation à la seconde, une instance lancée puis stoppée trois fois durant une même heure ne sera pas facturée 3 heures. Il est donc désormais inutile de laisser tourner ses instances durant 59 minutes. Le scale-down d’AWS Batch est donc immédiat depuis le 5 octobre 2017, réduisant énormément le coût - déjà bas - du service.
- Plus d'informations dans l'annonce officielle (EN).
Nouvelles disponibilités régionales !
Comme chaque semaine, petit tour rapide des nouvelles disponibilités régionales sur Amazon Web Services !
- Amazon Glacier est disponible à Singapour
- Amazon AD Connector est disponible à Londres.
- Amazon ECS est désormais disponible à Séoul.
- Le SDK Node.JS Amazon DynamoDB Accelerator (DAX) ainsi que le support des instances EC2 R4 sont disponibles à Mumbai et Sao Paulo.
Plus d'informations dans le tableau des régions officiel (fr).
Nouvelles fonctionnalités pour les VPN AWS
Le service de VPN d’Amazon Web Services propose deux nouveaux services depuis le 3 octobre 2017.
Le premier concerne le support des pre-shared key (PSK, aussi connu comme Personal mode) et des blocs CIDR personnalisés pour monter le tunnel. Ces supports devraient permettre les utilisateurs de mieux maîtriser leurs VPN, d’éliminer les conflits d’adresse dans les tunnels IP et permettre le support de devices supplémentaires.
La deuxième nouveauté est une mise à jour du SDK, qui propose désormais un nouveau champ qui précise la catégorie de votre VPN - à savoir un VPN AWS classique ou un VPN AWS. La différence ? “AWS VPN”, contrairement à “AWS classic VPN”, prend en charge les dernières nouveautés, à savoir la prise en charge des métriques CloudWatch, AES 256, SHA-2, les échange de clés Diffie-Hellman, NAT Traversal, et bien entendu les deux nouveautés présentées plus haut (PSK et “inside tunnel IP CIDR blocks”).
- Plus d'informations dans l’annonce officielle (EN).
Les autres nouveautés de la semaine sur Amazon Web Services :
- Amazon EMR 5.9.0 prend en charge Apache Livy, Hue 4.0.1, et Presto 0.184
- Amazon RDS pour Oracle supporte le “Oracle SQLT Diagnostics Tool”
- AWS Database Migration Service accepte comme source de données Amazon S3 et Azure SQL Database
- L’agent Amazon EC2 Systems Manager est désormais pré-installé dans les AMI Amazon Linux
- Amazon EC2 supporte Microsoft SQL Server 2017
C'est tout pour cette semaine ! Vous êtes désormais au top de l'actualité sur AWS :)
N'hésitez pas à nous faire vos retours sur notre twitter @Osones, ou à contacter nos Experts si vous avez besoin d'aide !
Découvrez les derniers articles d'alter way
- Big Data & AI Paris 2024 : L'IA au cœur de toutes les transformations.
- Un retour vers l'open-source ? Vos outils DevOps préférés et leurs equivalents open-source.
- Prowler : L'outil de sécurité multi-cloud indispensable pour renforcer votre infrastructure
- Kubernetes : plateforme "star" de l'IT et levier d'innovation des entreprises
- AI_dev2024
- : DirectPV : Avoir du stockage bloc distribué facilement dans kubernetes