Nouvelle classe Amazon S3 : S3 One Zone-Infrequent Access
Lancé aux Etats-Unis en mars 2006 et en Europe en novembre 2007, Amazon Simple Storage Service - ou S3 - est devenu le service de stockage de référence sur Amazon Web Services. Il permet de stocker en mode objet une quantité « virtuellement » illimité de donnée avec une très haute disponibilité.
Sous l’appellation Amazon S3 se cache en réalité plusieurs classes de stockages :
- Amazon S3 “Standard” (fichiers utilisés fréquemment et redondés sur 3 AZ)
- Amazon S3 RRS (Reduced Redundancy Storage, avec des fichiers utilisés fréquemment mais non-redondés sur les autres AZ – par exemple des miniatures pouvant être recréées facilement)
- Amazon S3 IA (Infrequent Access Storage, pour des fichiers rarement utilisés mais redondés sur 3 AZ)
- Amazon Glacier (proposant de l'archivage à froid).
Depuis le 4 avril 2018, une nouvelle classe arrive sur Amazon S3 : S3 One Zone-Infrequent Access (ou ses acronymes « S3 One Zone-IA » & « Z-IA »). Amazon S3 One Zone-Infrequent Access est un mélange entre Amazon RRS et Amazon IA, puisque cette classe se destine aux fichiers rarement utilisés non redondés sur les autres AZ. Ces objets à faible valeur ajoutée pourront donc être également conservés à moindre coût : 0,01 USD par GB et par mois, contre le prix – déjà très bas – de 0,023 USD /GB/mois pour la région Paris.
Il est intéressant de noter qu’Amazon S3 Standard, S3 Standard-IA, S3 One Zone-IA, et Amazon Glacier proposent tous une durabilité de 99.999999999%. Seul Amazon RRS ne propose une durabilité de 99.99%, ce qui explique que ce dernier n’est presque plus proposé par AWS.
S3 Standard | S3 Standard-IA | S3 One Zone-IA | Amazon Glacier | |
---|---|---|---|---|
Durabilité des objets | 99.999999999% | 99.999999999% | 99.999999999% | 99.999999999% |
Disponibilité des objets | 99.99% | 99.9% | 99.5% | N/A |
SLA de disponibilité | 99.9% | 99% | 99% | N/A |
Nombre d’Availability Zones | >3 |
>3 | 1 | >3 |
Taille incompressible de facturation des objets | N/A | 128KB | 128KB | N/A |
Durée incompressible de facturation des objets | N/A | 30 jours | 30 jours | 90 jours |
Latence au premier byte | millisecondes | millisecondes | millisecondes | Quelques minutes / quelques heures |
Type de stockage | Objet | Objet | Objet | Objet |
Supporte le Cycle de Vie des objets | Oui | Oui | Oui | Oui |
Plus d’informations sur le blog post officiel (EN).
Amazon S3 Select et Amazon Glacier Select sont disponibles !
On reste sur Amazon S3, puisque un nouveau service annoncé lors du Re:Invent 2017 est désormais en « generally available » : S3 Select et Glacier Select.
Les services de stockage #AWS #S3 et #Glacier s'améliorent avec "Select", pour affiner la recherche de données 🕵️♀️#AWSreinvent2017 #AWSreInvent pic.twitter.com/bapyy8TmB3
— Osones 🇫🇷 (@osones) 29 novembre 2017
Il est possible sur AWS de faire des requêtes SQL directement sur Amazon S3. Ces requêtes peuvent être faites avec différents services : Amazon Athena, Amazon Redshift, Amazon EMR, ou avec des solutions tierces comme Cloudera ou DataBricks.
Or, lorsque l’on sait qu’Amazon S3 peut stocker des fichier allant jusqu’à 5 terabytes, il est utile de pouvoir traiter les données avant de faire sa requêtes SQL. C’est à cela que sert Amazon S3 Select : ne sélectionner que les données dont vous aurez directement besoin.
Dans un fichier contenant 300 lignes de texte par exemple, il suffira d’utiliser “s3select” couplé à un ou plusieurs mots clés pour récupérer les données qui vous intéressent. Par conséquent, Amazon S3 Select permet d’optimiser la durée d’execution de ces requêtes SQL à partir de fichiers CSV, JSON, ou GZIP ! Ce qui permet de diminuer les coûts associés.
Ce service fonctionne aussi avec Amazon Glacier. L'exécution de la requête restera cependant dépendante du temps d’extractions de données (d’une minute à 12 heures, en fonction de l’option que vous aurez choisie et payée pour votre Coffre-Fort Glacier).
Plus d’informations sur l’annonce officielle (EN).
Nouveau service : AWS Secrets Manager
AWS secret Manager est un nouveau service AWS vous proposant de chiffrer vos secrets au repos en utilisant les clés que vous possédez et que vous stockez dans AWS Key Management Service (ou AWS KMS). Lorsque vous avez besoin d’un secret, Secrets Manager déchiffre ce dernier avant de vous le transmettre de manière sécurisée via TLS. Par défaut, Secrets Manager n’écrit ou ne cache aucun secret dans du stockage persistant.
A l’aide de la console, des SDK ou de la CLI, AWS Secrets Manager propose un certain nombre de features intéressantes, comme la rotation de vos informations d’identifications (de manière planifiée ou sur demande) pour vos bases de données Amazon Aurora, par exemple.
En termes de tarification, AWS Secrets Manager est proposé pour 0,40 USD par secret et par mois, auquel s’ajoutent 0,05 USD par tranche de 10 000 requêtes à l’API.
Plus d’informations sur la page produit (FR).
Nouveau service : AWS Firewall Manager
Encore un nouveau service cette semaine : AWS Firewall Manager. Après la gestion de vos secrets, c’est à la centralisation de vos règles de pare-feu que nous nous attaquons. Pour rappel, ces règles passent sur Amazon Web Services par le services AWS WAF, le pare-feu au niveau applicatif d’AWS.
Avec AWS Firewall Manager, vous disposez désormais d'un service unique pour créer des stratégies de protection de pare-feu et les appliquer de manière cohérente dans votre infrastructure Application Load Balancer et Amazon CloudFront. Par exemple, si vous devez respecter les réglementations OFAC (Office of Foreign Assets Control) du Département du Trésor des États-Unis, vous pouvez utiliser Firewall Manager pour déployer une règle bloquant le trafic des pays sous embargo sur vos comptes Application Load Balancer et CloudFront. Firewall Manager prend en charge vos règles WAF personnalisées ainsi que les règles gérées pour WAF, qui sont fournies et mises à jour par un fournisseur de sécurité AWS Marketplace de votre choix. Maintenant, votre équipe de sécurité peut être avertie des menaces afin qu'elle puisse rapidement répondre et atténuer une attaque.
AWS Firewall Manager est disponible pour les organisations qui sont abonnées à AWS Shield Advanced sans frais supplémentaires et vous ne payez que pour les règles AWS Config sous-jacentes créées.
Plus d’informations sur la page produit (FR).
Nouveaux articles sur le blog Osones
On aime bien vous proposer de petits articles sympas sur notre blog, et nous avons/allons clairement augmenter la cadence cette année. Parmi les nouveaux articles récents :
- Un article pour comprendre les groupes de sous réseaux de propres à Amazon RDS et ElastiCache
- Un tuto bien expliqué pas à pas “Kubernetes 101” : Lancez votre premier template k8s
- Un article technique sur la gestion de multiples branches git avec Concourse-CI en EN
- Un retour d’experience technique pour automatiser vos déploiements CodePipeline à intervalles régulières en FR et en anglais
- Un article technique sur la construction d’un pipeline de déploiement continu avec Kubernetes et Concourse-CI, disponible en FR et en anglais
- Une introduction rapide des nouveaux services de conteneurs sur AWS : ECS, EKS, ou Fargate ?
- Retour du FosDem 2018
Bonne lecture !
C'est tout pour cette semaine ! Vous êtes désormais au top de l'actualité sur AWS :)
N'hésitez pas à nous faire vos retours sur notre twitter @Osones, ou à contacter nos Experts si vous avez besoin d'aide !
Découvrez les derniers articles d'alter way
- Big Data & AI Paris 2024 : L'IA au cœur de toutes les transformations.
- Un retour vers l'open-source ? Vos outils DevOps préférés et leurs equivalents open-source.
- Prowler : L'outil de sécurité multi-cloud indispensable pour renforcer votre infrastructure
- Kubernetes : plateforme "star" de l'IT et levier d'innovation des entreprises
- AI_dev2024
- : DirectPV : Avoir du stockage bloc distribué facilement dans kubernetes