Comme chaque année depuis 2015, les équipes alter way Cloud Consulting sont de retour à Las Vegas pour participer au Re:Invent 2019.

Nous vous avons préparé un bref résumé des quelques sessions auxquelles nous avons eu l’occasion d’assister aujourd’hui, en revanche il faudra patienter jusqu’à demain pour avoir les dernières avancées sur AWS avec la keynote d’Andy Jassy !

Amazon DynamoDb deep dive

Cette Première Session de la journée sur le thème des bases de données NoSQL nous est présentée par Rick Houlihan, senior practice manager chez AWS.

Cette session de niveau 400 - Expert, regroupe une collection de best practices à utiliser lorsque vous créez vos bases sur DynamoDB. Tout commence par une brève histoire des bases de données. Rick explique que l’arrivée du SQL a permis de pallier au fait que le stockage coûtait extrêmement cher à l’époque. Chaque nouveau besoin a donné naissance à une avancée technologique. Aujourd’hui, le NoSQL répond à des besoins d'optimisation, l'objectif est de réduire la charge de calcul et donc de réduire les coûts, tout comme SQL répondait au besoin de réduire les coûts de stockages, la session aborde ensuite des concepts d’architecture avancés sur DynamoDB.

Le SQL n’est pas mort ! c’est simplement une question de besoin :

Tables index, item, composite key, tout y passe :

Impossible de résumer cette session en un article en revanche nous avons regroupé quelques éléments à retenir :

• Pensez aux index, secondaire globaux ou locaux ! (GSI - Global Secondary Index, LSI - Local Secondary Index).

• Gardez à l’esprit que le scan évalue toute la table dynamo, tandis que la query est plus granulaire et donc de réduire les coûts.

• Donnez assez de capacité à vos index afin d’éviter le throttling.

• Utilisez l’autoscaling

Un peu de lecture pour aller plus loin ;)

Gestion des clés DynamoDB

DynamoDB best practice

Amplifying CI/CD helped Wag! reduce release process by 600%

Pendant presque une heure, Dave Bullock, VP of Technology chez Wag Labs et Brandon Jung, VP of Alliances chez GitLab ont parlé de la transformation de tout le cycle de déploiement des services Wag grâce notamment à Gitlab. Ils ont aussi décrit l'ensemble du travail effectué pour avoir une infrastructure AWS répondant au Well Architected Framework. Le besoin d'effectuer ces changements se sont fait ressentir dès lors que le constat d'un besoin de cycles de déploiement de plus en plus courts s'est présenté.

Le refactoring de l'infrastructure AWS

L'idée est de partir d'une infrastructure "flat" (un VPC avec un "security group to rule them all") et d'aller vers une infra plus structurée avec plusieurs tiers. Ceci se traduit par de nombreuses évolutions:

• La séparation des environnement de production, de développement et de tests ainsi que leur homogénéisation
• Le déploiement en multi-AZ
• L'utilisation plus fine des NACLs et des Security Groups qui en plus d'améliorer grandement la sécurité permettent une meilleure gestion des briques de l'infrastructure
• Le provisionnement et le déploiement des ressources uniquement via Terraform
• La containeurisation des applications
• Les déploiements blue-green

La CI/CD everywhere

En général on aborde le sujet de la CI/CD sous le prisme du déploiement du code avec toutes les étapes de sécurité, tests, validation et déploiement mais ici, l'expérience de Wag! nous prouve qu'on peut aller plus loin. Après avoir repensé le déploiement du code, ils ont décidé d'appliquer les mêmes principes pour l'infra. Au lieu d'appliquer et déployer directement le template Terraform, celui-ci passe par plusieurs étapes proches de celles appliquées au code. Par exemple une étape de vérification de sécurité où tous les changements de configuration des NACLs et des Security groups sont notifiés à l'équipe sur Slack et doivent être validés pour avancer dans le pipeline.

Intelligently automating cloud operations

Ce workshop a été l'occasion pour nous de (re)découvrir à quel point le cloud AWS est programmable. Malheureusement pour nos lecteurs, ce workhop n'a pas l'air d'être reproductible en dehors du re:invent puisqu'il dépend de ressources déjà provisionnées. Le service AWS Health permet à AWS de vous informer des événements qui peuvent impacter votre plateforme. Si AWS detecte qu'une de vos instances EC2 sont génératrices d'attaques, AWS va vous générer une alerte dans AWS Health. Dans le premier lab, il s'agit de montrer comment l'on peut remédier automatiquement à la réception d'une telle alerte de AWS. Cette alerte génère un cloudwatch event qui, filtré à l'aide d'une cloudwatch rule, déclenche une fonction Lambda. Dans le lab, celle-ci s'occupe d'arrêter l'instance EC2 incriminée si ton tag est différent de "Prod" et envoie une notification dans un topic SNS afin d'envoyer un SMS pour alerter de l'incident. Enfin, deux méthodes nous permettent de tester le processus mis en place :

• La génération d'un événement de test au niveau de la fonction lambda
• La génération d'un événement Cloudwatch de test Le second lab intitulé "automatic region failover" est surtout utilisé comme occasion de montrer la fonctionalité de détection d'anomalies CloudWatch sortie en octobre 2019. Cette fonctionnalité permet notamment de générer des alertes selon des seuils déterminés par machine learning : Cloudwtach va apprendre à reconnaître une tendence normale d'une métrique, puis reconnaître lorsque cette métrique dévie de la normale.

Ici, la métrique observée est sortie du couloir de normalité vers 5h50. Enfin, le dernier lab nommé "Automated EBS Usage Forecast and Limit Increases" a fait la démonstration de Amazon Forecast : celui-ci permet d'appliquer des techniques de machine learning à des séries temporelles afin de délivrer des prévisions.

Monday night live

C'est toujours la tradition : le lundi soir, place au Monday Night Live ! Présentée cette année encore par Peter De Santis, Vice président de l'infrastructure globale d'AWS, elle est l'occasion de voir ce qui se passe dans les entrailles du cloud d'Amazon. Peter a longuement venté le réseau propriétaire de AWS et ses performances. Selon lui, le HPC dans le Cloud est désormais une réalité : les performances du réseau AWS sont maintenant à la hauteur. Grace à cela, il vante la démocratisation du HPC en le rendant plus accessible que jamais : composé d'instances EC2, son pricing reste à la seconde. Peter a également abordé l'investissement de AWS en faveur de sa neutralité carbone prévue à horizon 2040, et de tous les efforts de AWS pour produire de l'énergie renouvelable à destination de ses datacenters. Cela peut sembler familier