Les données sont la pierre angulaire pour réussir le déploiement des applications, les flux de travail d’analyse et l’innovation en matière de machine learning. Lorsque vous migrez vos données sur le cloud, vous devez, par exemple, connaître leurs destinations en fonction de vos différents cas d’utilisation, les types de données migrées et les ressources réseau disponibles. AWS offre une large gamme de services et d’outils de partenaires pour vous aider à migrer vos ensembles de données, sous forme de fichiers, de bases de données, d’images machines, de volumes par bloc, voire de sauvegardes sur bande.
La suite de services de transfert de données créée par AWS comprend plusieurs méthodes permettant de migrer les données de manière plus efficace. Il existe deux catégories de méthodes :
- le transfert de données en ligne et le stockage hybride dans le cloud. Ces méthodes simplifient la création d’un lien réseau vers votre VPC, le transfert de données vers AWS ou l’utilisation de S3 pour le stockage hybride dans le cloud à l’aide de vos applications sur site existantes. Ces services peuvent vous aider à effectuer le portage ponctuel de grands ensembles de données, ainsi qu’à intégrer les flux de processus existants, comme les flux de sauvegarde et de récupération ou les flux de données en continu, directement avec le stockage dans le cloud.
- Migration de données hors ligne vers Amazon S3. Ne sous-estimez jamais la bande passante d’un semi-remorque contenant 100 pétaoctets de disques durs ou d’un appareil de 100 téraoctets de la taille d’une valise. Ces services de migration de données hors ligne utilisant des appareils robustes et livrables sont recommandés pour transférer de grands volumes d’archives ou de lacs de données, ainsi que dans les cas où la bande passante et le volume des données ne peuvent pas être pris en charge par vos réseaux dans le temps imparti.
| Si vous avez besoin de la solution ou capacité suivante : | Envisagez : |
|---|---|
Un lien en ligne vers les services de stockage dans le cloud AWS pour pouvoir : |
|
Connecter en privé votre centre de données avec un lien réseau direct vers votre VPC au sein d’une région AWS |
AWS Direct Connect |
Copier ou répliquer des données de systèmes de fichiers dans Amazon S3 ou Amazon EFS |
AWS DataSync |
Connecter des applications sur site existantes à un stockage dans le cloud
|
AWS Storage Gateway : Passerelle de fichiers Passerelle de bandes Passerelle de volume (ou) Produits de partenaires |
Migrer vos bases de données vers AWS rapidement et en toute sécurité avec un temps d'arrêt minimal |
AWS Database Migration Service |
Migrer des images machines en cours d’exécution avec leurs données vers Amazon EC2 |
CloudEndure |
Écrire et lire des données vers Amazon S3 sur de longues distances géographiques |
Amazon S3 Transfer Acceleration |
Collecter et ingérer plusieurs sources de données diffusées en streaming |
Amazon Kinesis Data Firehose |
Transférer des sauvegardes ou des archives vers le cloud en limitant les interruptions |
Partenariats technologiques |
| Une méthode hors ligne pour transférer des données par lots volumineux pour pouvoir : | |
Transporter physiquement des pétaoctets de données par lots vers le cloud |
AWS Snowball |
Transporter physiquement des pétaoctets de données dans une appliance dotée de capacités de stockage et de calcul intégrées |
AWS Snowball Edge |
Migrer des dizaines de pétaoctets, voire d’exaoctets, de données par lots vers le cloud |
AWS Snowmobile |
Vous pouvez également combiner des services, pour un résultat optimal. Prenez les exemples suivants :
- AWS DataSync pour les données actives, et AWS Snowball Edge pour les ensembles de données d’archives
- Plusieurs Snowballs s'exécutant en parallèle
- Direct Connect et l’interface de ligne de commande S3
- Direct Connect et un partenaire technologique APN de stockage
- Direct Connect et DataSync
- AWS Storage Gateway (passerelle de bandes) et un partenaire technologique APN de sauvegarde pour les sauvegardes sur bande virtuelles
Vous avez besoin d'aide pour un cas précis ? Laissez-nous vous aider.
Ces méthodes de migration permettent d'améliorer ou de remplacer Internet pour porter des données depuis leur emplacement actuel directement dans les centres de données d'Amazon. Aucun travail de développement ni aucune API n’est pas pris en charge ; les transferts peuvent avoir une incidence sur vos processus sur site existants.
Découvrez nos offres partenaires Direct Connect permettant d'étendre nos technologies sur site vers le cloud.
Le client choisit une connexion physique Direct Connect dédiée pour accélérer les transferts réseau entre leurs centres de données et les nôtres.
AWS Direct Connect vous permet d’établir une connexion réseau dédiée entre votre réseau et l'un des emplacements d'AWS Direct Connect. Utilisant des VLAN 802.1q aux normes du secteur, cette connexion dédiée peut être partitionnée en plusieurs interfaces virtuelles. Cela vous permet d'utiliser la même connexion pour accéder aux ressources publiques telles que les objets stockés dans Amazon S3 en utilisant l'espace d'adresse IP publique, et les ressources privées telles que les instances Amazon EC2 s'exécutant dans Amazon Virtual Private Cloud (VPC) en utilisant l'espace d'adresse IP privée, tout en maintenant la séparation du réseau entre les environnements publics et privés. Les interfaces virtuelles peuvent être reconfigurées à n'importe quel moment pour répondre à l'évolution de vos besoins.
En savoir plus sur le service Direct Connect.
AWS DataSync est un service de transfert de données en ligne qui facilite l'automatisation du transfert de données entre le stockage sur site et Amazon S3 ou Amazon Elastic File System (Amazon EFS). DataSync gère automatiquement de nombreuses tâches liées aux transferts de données pouvant ralentir les migrations ou alourdir vos opérations informatiques, comme exécuter vos instances, gérer le chiffrement, gérer les scripts, l'optimisation du réseau et la validation de l'intégrité des données. Vous pouvez utiliser AWS DataSync pour transférer des données 10 fois plus rapidement qu'avec des outils open source. Vous pouvez utiliser DataSync pour copier des données sur AWS Direct Connect ou des liens Internet vers AWS en vue de migrations de données, de flux de travail récurrents de traitement de données et de réplications automatisées ponctuels aux fins de protection et de restauration des données.
En savoir plus sur DataSync
Une passerelle se trouve sur site et relie votre environnement au cloud AWS. Il s'agit d'une solution idéale pour les scénarios hybrides dans lesquels il faut de l'espace de stockage local à des fins de performance et de conformité, mais également de l'espace de stockage déchargé vers S3.
Pour garantir des performances optimales, pensez à associer le service AWS Direct Connect à votre passerelle.
Le service AWS Storage Gateway simplifie l'adoption sur site du service de stockage AWS. Vos applications existantes se connectent à une passerelle locale par le biais de protocoles standard de stockage en blocs et en bandes pour stocker des données dans Amazon S3 et Amazon Glacier.
- Les données sont compressées et transférées en toute sécurité vers AWS.
- La passerelle de fichiers comprend les partages de fichiers SMB ou NFS pour les applications sur site et permet de stocker les fichiers sous forme d’objets S3 et d’y accéder via des interfaces de fichiers classiques.
- La passerelle de volumes stocke ou met en cache les volumes par bloc de manière locale, avec des sauvegardes à un instant du passé sous forme d’instantanés EBS. Ces instantanés peuvent être récupérés dans le cloud.
- La configuration Virtual Tape Library (VTL) de la passerelle de bandes s'intègre de façon transparente à votre logiciel de sauvegarde existant pour un remplacement de bande économique dans Amazon S3 et un archivage à long terme dans S3 Glacier et S3 Glacier Deep Archive.
En savoir plus sur AWS Storage Gateway.
AWS a collaboré avec plusieurs fournisseurs de l'industrie sur les appareils de passerelle physiques comblant l'écart entre la sauvegarde traditionnelle et le cloud. Associez les données sur site existantes au cloud d'Amazon pour franchir le pas sans influencer la performance et pour préserver les catalogues de sauvegarde existants.
- S'intègre aisément dans l'infrastructure existante
- Peut offrir la déduplication, la compression, le chiffrement ou l'accélération WAN
- Mettez en cache les sauvegardes récentes localement, archivez en toute sécurité toutes les données sur le cloud AWS
En savoir plus sur les partenariats de passerelles.
Amazon S3 Transfer Acceleration accélère les transferts vers Amazon S3 via l'Internet public. Vous pouvez maximiser votre bande passante disponible, quelle que soit la distance ou les conditions variables d'Internet. De plus, il n'existe aucun client spécial ni protocole réseau propriétaire. Modifiez simplement le point de terminaison que vous utilisez avec votre compartiment S3 et l'accélération est automatiquement appliquée.
Cela est idéal pour les tâches récurrentes qui voyagent à travers le globe, telles que les chargements de médias, les sauvegardes et les tâches de traitement de données locales qui sont régulièrement envoyées vers un emplacement centralisé.
Amazon Kinesis Firehose pour les données est la solution la plus simple pour charger des données en streaming dans AWS. Les données en streaming sont capturées et chargées automatiquement dans Amazon S3 et Amazon Redshift, ce qui permet d'effectuer des analyses quasiment en temps réel avec les tableaux de bord et outils d'informatique décisionnelle existants que vous utilisez habituellement. Amazon Kinesis Firehose est un service entièrement géré qui s'adapte automatiquement au débit de données et ne nécessite pas d'administration continue. Il peut également regrouper, compresser et chiffrer les données avant de les charger, ce qui réduit l'espace de stockage utilisé tout en renforçant la sécurité. Vous pouvez facilement créer un flux de diffusion Firehose à partir d'AWS Management Console, le configurer en quelques clics, puis commencer à envoyer des données vers ce flux depuis des centaines de milliers de sources de données, afin de les charger en continu dans AWS ; le tout ne prend que quelques minutes.
En savoir plus sur AWS Kinesis Data Firehose.
Amazon a collaboré avec des fournisseurs de l'industrie pour faciliter grandement le transfert de vos sauvegardes et archives sur le cloud. Le moyen le plus simple de déplacer vos données est peut-être de passer par un connecteur S3 intégré à votre logiciel de sauvegarde existant. Le net avantage de cette approche est que le catalogue de sauvegarde restera cohérent, de façon à ce que vous mainteniez de la visibilité et le contrôle des tâches qui concernent les disques, les bandes et le cloud.
Il peut arriver que la bande passante ou même le réseau nécessaires ne soient pas disponibles pour les transferts ou les migrations de données à effectuer préalablement à la fermeture d’un centre de données ou pour une tâche de transfert de données à distance planifiée. Voici les options de transferts de données qui s’offrent à vous :
Snowball est une solution de transport de données reposant sur des appliances sécurisées. Elle peut prendre en charge le transfert de volumes de données de l'ordre de plusieurs pétaoctets, depuis et vers AWS. Snowball permet de résoudre les problèmes courants qui se présentent lors de transferts de grands volumes de données dans des cas tels que : bande passante réseau limitée, longs délais de transfert et problèmes de sécurité. Le transfert de données avec Snowball est simple, rapide et sécurisé.
En savoir plus sur le service Snowball.
Snowball Edge est un dispositif de transfert de données d'une capacité de plusieurs pétaoctets intégrant des capacités de stockage et de calcul. Vous pouvez utiliser la solution Snowball Edge pour déplacer de grand volume de données vers et depuis AWS, comme niveau de stockage temporaire pour de grands ensembles de données locaux, ou pour supporter les charges de travail locales dans des emplacements distants ou hors ligne.
En savoir plus sur Snowball Edge.
Snowmobile est une solution de transport de données prenant en charge plusieurs exaoctets de données. Via un demi-conteneur d'expédition de 40 pieds (12 m) sécurisé, vous pouvez transférer de gros volumes de données depuis et vers AWS. Snowmobile permet de résoudre les problèmes courants qui se présentent lors d'importants transferts de données, en particulier les coûts de réseau élevés, la durée des transferts et les risques de sécurité. Le transfert des données avec Snowmobile repose sur un engagement personnalisé. Il est rapide, sécurisé et peut s'avérer jusqu'à 5 fois moins coûteux qu'un transfert via une connexion Internet haut débit.
En savoir plus sur le service Snowmobile.
AWS offre également des outils de script ou d’interface de ligne de commande simples permettant de migrer les données sur site vers un service de stockage dans le cloud d’Amazon.
- rsync. Les clients utilisent cet outil open source avec des outils de système de fichiers tiers pour copier des données directement sur des compartiments S3.
- Interface de ligne de commande S3. Les clients utilisent la CLI Amazon S3 pour rédiger des commandes permettant de déplacer des données directement vers des compartiments S3.
- Interface de ligne de commande Glacier. Les clients utilisent la CLI Amazon Glacier pour déplacer des données dans des coffres-forts Glacier.
Les défis décourageants liés au transfert de données s'appliquent à la plupart des projets. Comment déplacer sans heurts les données de leur emplacement actuel vers votre nouveau cloud, le tout en évitant les interruptions, les coûts et la perte de temps ? Quel est le moyen le plus judicieux de déplacer réellement vos Go, To ou Po de données ?
Il s'agit d'un problème sous-jacent classique : quel volume de données peut être déplacé, jusqu'où, à quelle vitesse ? Pour le meilleur des cas, utilisez cette formule :
Nombre de jours = (octets totaux)/(mégabits par seconde x 125 x 1000 x utilisation réseau x 60 secondes x 60 minutes x 24 heures)
Par exemple, si vous avez une connexion T1 (1,544 Mb/s) et 1 To (1 024 x 1 024 x 1 024 x 1 024 octets) à déplacer dans ou hors d'AWS, le temps minimum théorique qu'il faudrait pour charger par le biais de votre connexion réseau avec une utilisation réseau de 80 % est de 82 jours.
Détendez-vous. Nous l'avons déjà fait. Nous avons constaté que les clients voient cela de deux façons : ils utilisent des outils de migration non gérés très basiques pour déplacer leurs données, ou ils choisissent un des services de la suite Amazon ci-dessus.
En règle générale, pour obtenir les meilleurs résultats, nous proposons :
| Connexion | Évolutivité des données | Méthode |
| Moins de 10 Mb/s | Moins de 500 Go | Non géré |
| Plus de 10 Mb/s | Plus de 500 Go | Service géré |
