Chaque lundi, Osones revient en français sur l'actualité de la semaine d'Amazon Web Services. Vous pouvez à tout moment retrouver ces infos dans leur version originale sur le blog AWS (en).

Améliorations d'Amazon Kinesis.

Amazon Kinesis est un service managé par Amazon permettant de traiter des données en temps réel. Ce service est capable d’accepter n’importe quel volumétrie de donnée quelqu’en soit la source, AWS provisionnant automatiquement les ressources nécessaires à son bon fonctionnement. Les développeurs peuvent utiliser le Kinesis Client Library (KCL) pour simplifier l’implémentation du service dans les applications demandant du traitement de données.

Cette semaine, Amazon reprend un certain nombre d'éléments :

Augmentation de la taille des fichiers d'enregistrements de données

L'enregistrement est l'unité utilisée pour les données stockées dans un flux Amazon Kinesis. Un enregistrement se compose d'un numéro de séquence, d'une clé de partition et d'un blob de données. Le blob de données correspond aux données utiles que le producteur ajoute au flux.

Cette semaine donc, la taille maximale d'un blob de données (charge de données utiles après le décodage en base64) passe de 50 kilo-octets (Ko) à 1MB. Cette augmentation donne plus de flexibilité et ouvre la possibilité d’utiliser Kinesis pour de nouveaux scénarios : envoyer des fichiers de longs plus larges, des documents semi-structurés, des courriers électroniques, et d’autre type de données volumineuses.

Réduction des prix pour les appels de type « PUT »

Jusqu’à présent, la facturation pour les opérations de type « PUT » était basé sur le nombre de fichiers d’enregistrement, avec un coût de $0,028 par million d’enregistrement. La taille de ces fichiers d'enregistrement pouvant désormais fortement varier, AWS à souhaité revoir le mode de facturation. Ainsi, il faudra à présent payer $0,014 par « payload unit », une nouvelle unité qui représente un équivalent de 25KB de donnée. Si cela ne changera pas le prix pour les fichiers de 50Kb (qui restera à $0,028 au final), ce nouveau calcul permet de réduite la facture pour les petits fichiers - ce qui semble correspondre à l’utilisation de la plupart des utilisateurs - tout en tenant compte des fichiers se rapprochant des 1MB.

Arrivée du « Kinesis Producer Library (KPL) »

Il est possible d’utiliser Kinesis pour répondre aux besoins de traitement de données de nombreuses applications tels que les sites internet (données liées au « clickstream », l’analyse du chemin utilisateur), les serveurs de publicité (données du publication), les applications mobiles (données sur l’engagement des utilisateurs).

Pour assurer le traitement d’un important débit de données avec Kinesis, vous pouviez alors combiner des nombreux enregistrements de données dans un seul appel « PutRecords ». Il était également possible d’agréger plusieurs données utilisateur au sein d’un même fichier Kinesis, avant de le rediviser afin d’en assurer le traitement. Enfin, il fallait être en mesure de détecter les appels ayant échoués.

Le Kinesis Producer Library propose de répondre à ces contraintes : il vous sera possible d’écrire sur un ou plusieurs streams Kinesis des politiques de récupération de données, de collecter plusieurs enregistrements et de les traiter sous forme de batch à l’aide du « PutRecords », d’agréger des données afin d’optimiser le débit, et enfin de soumettre ces métriques à Amazon CloudWatch pour détecter les éventuelles erreurs.

En savoir plus sur le blog AWS (en)

La Developer Preview du kit de developpement AWS pour le langage Go est disponible

Sorti en 2007 des labos de Google, ce langage OpenSource "se veut généraliste et peut donc être utilisé pour tout type d’application (système, web, serveur…) et a été pensé dès sa conception, pour des machines possédant une architecture multicœur. C’est un langage prometteur, soutenu par une communauté grandissante, conçu par des développeurs dont la renommée n’est plus à faire et une société qui n’aura pas de mal à faire avancer le projet." (nous citons ici l'article de Vincent Letourneau disponible sur http://golang.io/debuter-avec-go/introduction/ que nous vous recommandons si vous souhaitez en apprendre d'avantage sur ce projet).

Cette semaine, Amazon Web Services annonce sa première release du SDK GO pour AWS dans sa version Developer Preview (v0.6.0). Ce SDK offre déjà la possibilité de communiquer avec la plupart des services, et permet entre autre de gérer les chargements et téléchargements de S3. Vous pourrez retrouver ce SDK sur le Github d'AWS.

En savoir plus sur le blog AWS (en).

Osones, Sponsor du summit AWS Paris !

L'AWS Summit Paris se déroulera le 23 Juin 2015, et Osones est fier d'être sponsor de cette nouvelle édition, en présence de Dr. Werner Vogels, VP & CTO d'Amazon.com. Si vous souhaitez nous y rencontrer, n'hésitez pas à nous contacter dès à présent (par exemple via @osones sur Twitter) afin de préparer au mieux cette journée !

Infos et inscriptions : http://aws.amazon.com/fr/summits/paris/

Rejoignez vous aussi la conversation !

Questions, remarques, suggestions... Contactez-nous directement sur Twitter sur @osones !

Pour discuter avec nous de vos projets, nous restons disponibles directement via contact@osones.com !

Rejoignez VOTRE groupe LinkedIn dès maintenant : Utilisateurs Francophones d'Amazon Web Services (AWS).

Kevin MESSY