ข้อมูลคือรากฐานสำคัญของการปรับใช้แอปพลิเคชัน เวิร์กโฟลว์การวิเคราะห์ และนวัตกรรมด้านแมชชีนเลิร์นนิ่งที่ประสบความสำเร็จ เมื่อย้ายข้อมูลไปยังระบบคลาวด์ คุณต้องรับทราบว่ากำลังย้ายข้อมูลไปยังที่ใดสำหรับกรณีใช้งานที่แตกต่างกัน ประเภทของข้อมูลที่คุณกำลังย้าย และทรัพยากรเครือข่ายที่พร้อมใช้งานในบรรดาข้อควรพิจารณาอื่นๆ AWS นำเสนอบริการและเครื่องมือสำหรับคู่ค้าที่หลากหลายเพื่อช่วยให้คุณย้ายชุดข้อมูลได้ ไม่ว่าจะเป็นไฟล์, ฐานข้อมูล, Machine Image, บล็อกโวลุ่ม หรือแม้แต่การสำรองข้อมูลด้วยเทป
ชุดบริการการถ่ายโอนข้อมูลที่สร้างขึ้นโดย AWS มีวิธีการมากมายที่ช่วยให้คุณย้ายข้อมูลได้อย่างมีประสิทธิภาพมากยิ่งขึ้น คุณสามารถจำแนกออกเป็นสองหมวดหมู่ ได้แก่
- การถ่ายโอนข้อมูลออนไลน์และพื้นที่จัดเก็บบนระบบคลาวด์แบบไฮบริด วิธีการเหล่านี้ทำให้การสร้างลิงก์เครือข่ายไปยัง VPC ของคุณ ถ่ายโอนข้อมูลไปยัง AWS หรือใช้ S3 สำหรับพื้นที่จัดเก็บบนระบบคลาวด์แบบไฮบริดด้วยแอปพลิเคชันในองค์กรที่มีอยู่ของคุณนั้นเป็นเรื่องง่าย บริการเหล่านี้สามารถช่วยให้คุณย้ายและเปลี่ยนชุดข้อมูลขนาดใหญ่ได้ในครั้งเดียว รวมถึงช่วยให้คุณผสานรวมโฟลว์กระบวนการที่มีอยู่ เช่น การสำรองข้อมูลและการกู้คืนหรือสตรีมข้อมูลต่อเนื่องโดยตรงกับพื้นที่จัดเก็บบนระบบคลาวด์
- การย้ายข้อมูลออฟไลน์ไปยัง Amazon S3 ไม่ว่าใครก็ไม่ควรประเมินแบนด์วิดท์ขนาดเทียบเท่ารถบรรทุกที่บรรจุฮาร์ดไดรฟ์ขนาด 100 เพตะไบต์หรืออุปกรณ์ขนาดกระเป๋าเดินทางขนาด 100 TB ต่ำเกินไป บริการย้ายข้อมูลออฟไลน์เหล่านี้ที่ใช้อุปกรณ์ที่สามารถจัดส่งได้และมีความทนทานเหมาะสมอย่างยิ่งสำหรับการย้ายข้อมูลที่เก็บถาวรขนาดใหญ่, Data Lake หรือในสถานการณ์ที่แบนด์วิดท์และไดรฟ์ข้อมูลไม่สามารถล้ำเครือข่ายของคุณภายในกรอบเวลาที่คุณต้องการได้
| หากคุณต้องการ: | พิจารณา: |
|---|---|
ลิงก์ออนไลน์ไปยังบริการพื้นที่จัดเก็บบน AWS Cloud เพื่อให้คุณสามารถ: |
|
เชื่อมต่อศูนย์ข้อมูลของคุณกับลิงก์เครือข่ายโดยตรงอย่างเป็นส่วนตัวไปยัง VPC ของคุณในเขต AWS |
AWS Direct Connect |
คัดลอกหรือทำซ้ำข้อมูลระบบไฟล์ลงใน Amazon S3 หรือ Amazon EFS |
AWS DataSync |
เชื่อมต่อแอปพลิเคชันในองค์กรที่มีอยู่กับพื้นที่จัดเก็บบนระบบคลาวด์
|
AWS Storage Gateway: File Gateway Tape Gateway Volume Gateway (หรือ) ผลิตภัณฑ์ของคู่ค้า |
ย้ายฐานข้อมูลไปยัง AWS ได้อย่างรวดเร็วและปลอดภัยโดยมีเวลาหยุดทำงานน้อยที่สุด |
AWS Database Migration Service |
ย้ายอิมเมจเครื่องที่ทำงานอยู่ไปยัง Amazon EC2 พร้อมข้อมูล |
CloudEndure |
อ่านและเขียนข้อมูลไปยัง Amazon S3 ในระยะไกลตามภูมิศาสตร์ |
Amazon S3 Transfer Acceleration |
รวบรวมและเก็บแหล่งข้อมูลการสตรีมหลายแห่ง |
Amazon Kinesis Data Firehose |
ย้ายข้อมูลสำรองและการเก็บข้อมูลถาวรไปยังระบบคลาวด์โดยมีการติดขัดน้อยที่สุด |
การเป็นคู่ค้าด้านเทคโนโลยี |
| วิธีแบบออฟไลน์ในการย้ายข้อมูลกลุ่มใหญ่ เพื่อให้คุณสามารถ: | |
ขนส่งข้อมูลขนาดเพตะไบต์เป็นกลุ่มไปยังระบบคลาวด์ในรูปแบบทางกายภาพ |
AWS Snowball |
ขนส่งข้อมูลขนาดเพตะไบต์ในอุปกรณ์พร้อมพื้นที่จัดเก็บภายในและความสามารถในการประมวลผลในรูปแบบทางกายภาพ |
AWS Snowball Edge |
ย้ายข้อมูลขนาดหลายสิบเพตะไบต์ถึงเอกซะไบต์เป็นกลุ่มไปยังระบบคลาวด์ |
AWS Snowmobile |
คุณสามารถผสมผสานบริการต่างๆ เพื่อผลลัพธ์ที่ดีที่สุดได้อีกด้วย ลองดูตัวอย่างต่อไปนี้
- AWS DataSync สำหรับข้อมูลที่ใช้งานและ AWS Snowball Edge สำหรับชุดข้อมูลที่เก็บถาวร
- Snowball หลายตัวที่ทำงานแบบคู่ขนาน
- Direct Connect และ S3 CLI
- Direct Connect และคู่ค้าด้านเทคโนโลยีพื้นที่จัดเก็บของ APN
- Direct Connect และ DataSync
- AWS Storage Gateway (Tape Gateway) และ APN Technology Backup Partner สำหรับการสำรองข้อมูลด้วยเทปเสมือน
ต้องการความช่วยเหลือในกรณีเฉพาะของคุณหรือไม่ ให้เป็นหน้าที่เรา
วิธีการย้ายเหล่านี้ช่วยเพิ่มประสิทธิภาพหรือแทนที่อินเทอร์เน็ตในการย้ายข้อมูลจากตำแหน่งปัจจุบันไปยังศูนย์ข้อมูลของ Amazon โดยตรง งานพัฒนาหรือ API ต่างๆ จะไม่มีการรองรับ และการถ่ายโอนข้อมูลอาจส่งผลกระทบต่อกระบวนการภายในองค์กรที่มีอยู่ของคุณ
ศึกษาชุดคู่ค้า Direct Connect ของเราที่ช่วยขยายเทคโนโลยีในองค์กรไปยังระบบคลาวด์
ลูกค้าเลือกการเชื่อมต่อทางกายภาพสำหรับ Direct Connect โดยเฉพาะในการเร่งความเร็วของการถ่ายโอนข้อมูลผ่านเครือข่ายระหว่างศูนย์ข้อมูลของลูกค้าและของเรา
AWS Direct Connect ช่วยให้คุณสามารถสร้างการเชื่อมต่อเครือข่ายเฉพาะระหว่างเครือข่ายของคุณกับหนึ่งในตำแหน่งของ AWS Direct Connect ด้วยการใช้ VLAN ตามมาตรฐานอุตสาหกรรม 802.1q การเชื่อมต่อเฉพาะนี้จึงสามารถแบ่งพาร์ติชั่นออกเป็นอินเทอร์เฟซเสมือนหลายอินเทอร์เฟซได้ นี่จะช่วยให้คุณสามารถใช้การเชื่อมต่อเดียวกันเพื่อเข้าถึงทรัพยากรสาธารณะ เช่น อ็อบเจ็กต์ที่เก็บไว้ใน Amazon S3 โดยใช้พื้นที่ที่อยู่ IP สาธารณะ และทรัพยากรส่วนตัว เช่น อินสแตนซ์ Amazon EC2 ที่รันอยู่ภายใน Amazon Virtual Private Cloud (VPC) โดยใช้พื้นที่ IP ส่วนตัว ขณะเดียวกันก็คงการแยกเครือข่ายระหว่างสภาพแวดล้อมสาธารณะกับสภาพแวดล้อมส่วนตัวไว้ อินเทอร์เฟซเสมือนสามารถกำหนดค่าใหม่ได้ตลอดเวลาเพื่อตอบสนองความต้องการที่เปลี่ยนแปลงของคุณ
เรียนรู้เพิ่มเติมเกี่ยวกับบริการ Direct Connect
AWS DataSync เป็นบริการถ่ายโอนข้อมูลที่ทำให้คุณย้ายข้อมูลระหว่างพื้นที่จัดเก็บข้อมูลในองค์กรและ Amazon S3 หรือ Amazon Elastic File System (Amazon EFS) ได้อย่างง่ายดายโดยอัตโนมัติ DataSync จะจัดการงานมากมายที่เกี่ยวข้องกับการถ่ายโอนข้อมูลซึ่งอาจชะลอการย้ายข้อมูลหรือเป็นภาระในการดำเนินงานด้านไอทีของคุณโดยอัตโนมัติ รวมถึงการใช้งานอินสแตนซ์ของคุณเอง การจัดการการเข้ารหัส การจัดการสคริปต์ การเพิ่มประสิทธิภาพเครือข่าย และการตรวจสอบความสมบูรณ์ของข้อมูล คุณสามารถใช้ DataSync เพื่อถ่ายโอนข้อมูลด้วยความเร็วที่สูงกว่าเครื่องมือแบบโอเพนซอร์สถึง 10 เท่า คุณสามารถใช้ DataSync เพื่อคัดลอกข้อมูลผ่าน AWS Direct Connect หรือลิงก์อินเทอร์เน็ตไปยัง AWS สำหรับการย้ายข้อมูลแบบครั้งเดียว เวิร์กโฟลว์การประมวลผลข้อมูลที่เกิดซ้ำ และการจำลองแบบอัตโนมัติสำหรับการปกป้องและกู้คืนข้อมูล
เรียนรู้เพิ่มเติมเกี่ยวกับ DataSync
เกตเวย์จะอยู่ภายในองค์กรและเชื่อมโยงสภาพแวดล้อมของคุณเข้ากับ AWS Cloud นี่เป็นโซลูชันที่เหมาะสมสำหรับระบบไฮบริดที่จำเป็นต้องมีพื้นที่จัดเก็บบางส่วนไว้ในเครื่องสำหรับเหตุผลด้านประสิทธิภาพหรือการปฏิบัติตามข้อกำหนด แต่สามารถลดภาระโดยไปไว้ที่ S3 บางส่วนได้
ลองพิจารณาการผสมผสานบริการ AWS Direct Connect เข้ากับเกตเวย์ของคุณเพื่อให้มั่นใจในประสิทธิภาพสูงสุด
บริการ AWS Storage Gateway ช่วยให้การปรับใช้พื้นที่จัดเก็บของ AWS ในองค์กรง่ายดายยิ่งขึ้น แอปพลิเคชันที่คุณมีอยู่จะเชื่อมต่อเข้ากับเกตเวย์ภายในผ่านบล็อกตามมาตรฐานอุตสาหกรรมและโปรโตคอลพื้นที่จัดเก็บเทป เพื่อจัดเก็บข้อมูลใน Amazon S3 และ Amazon Glacier
- โดยจะบีบอัดข้อมูลและถ่ายโอนข้อมูลไปยัง AWS อย่างปลอดภัย
- File Gateway ให้การแบ่งปันไฟล์ SMB หรือ NFS สำหรับแอปพลิเคชันในองค์กรเพื่อจัดเก็บไฟล์เป็นอ็อบเจ็กต์ S3 และเข้าถึงได้ด้วยอินเทอร์เฟซของไฟล์แบบดั้งเดิม
- Volume Gateway จัดเก็บหรือแคชไดรฟ์ข้อมูลบล็อกในระบบ พร้อมกับการสำรองข้อมูล ณ จุดใดจุดหนึ่งของเวลาเป็นสแน็ปช็อต EBS สแน็ปช็อตเหล่านี้สามารถกู้คืนในระบบคลาวด์ได้
- การกำหนดค่าไลบรารีเทปเสมือน (VTL) ของ Tape Gateway ผสานรวมกับซอฟต์แวร์สำรองข้อมูลที่มีอยู่ของคุณได้อย่างราบรื่นสำหรับการเปลี่ยนเทปที่ประหยัดคุ้มค่าใน Amazon S3 และการเก็บถาวรระยะยาวใน S3 Glacier และ S3 Glacier Deep Archive
เรียนรู้เพิ่มเติมเกี่ยวกับ AWS Storage Gateway
AWS ร่วมมือกับผู้จัดจำหน่ายในอุตสาหกรรมด้านอุปกรณ์เกตเวย์แบบกายภาพซึ่งเชื่อมช่องว่างระหว่างการสำรองข้อมูลแบบดั้งเดิมและระบบคลาวด์หลากหลายราย เชื่อมโยงข้อมูลภายในองค์กรที่มีอยู่เข้ากับระบบคลาวด์ของ Amazon เพื่อย้ายข้อมูลโดยไม่สร้างผลกระทบต่อประสิทธิภาพและช่วยเก็บรักษาแคตตาล็อกข้อมูลสำรองที่มีอยู่
- ผสานรวมเข้ากับโครงสร้างพื้นฐานที่มีอยู่อย่างราบรื่น
- อาจมีการกำจัดข้อมูลซ้ำ การบีบอัดข้อมูล การเข้ารหัสข้อมูล หรือการเร่งความเร็ว WAN
- สร้างไฟล์แคชการสำรองข้อมูลล่าสุดบนเครื่อง จัดเก็บข้อมูลทั้งหมดไว้ใน AWS Cloud
เรียนรู้เพิ่มเติมเกี่ยวกับ Gateway Partnership
Amazon S3 Transfer Acceleration ช่วยให้ถ่ายโอนอินเทอร์เน็ตแบบสาธารณะไปยัง Amazon S3 ได้รวดเร็วขึ้น คุณสามารถเพิ่มแบนด์วิธสูงสุดของคุณได้โดยต้องไม่คำนึงถึงระยะทางหรือสภาพอินเทอร์เน็ต และไม่มีไคลเอ็นต์พิเศษหรือโปรโตคอลเครือข่ายที่เป็นกรรมสิทธิ์ จะมีการเร่งความเร็วโดยอัตโนมัติเพียงเปลี่ยนตำแหน่งข้อมูลที่คุณใช้กับบัคเก็ต S3 ของคุณ
ซึ่งเหมาะสมอย่างยิ่งสำหรับงานต่างๆ ที่เกิดขึ้นซ้ำๆ ทั่วโลก เช่น การอัปโหลดสื่อ การสำรองข้อมูล และการประมวลผลข้อมูลบนเครื่องที่มักจะถูกส่งไปยังพื้นที่ส่วนกลาง
Amazon Kinesis Data Firehose คือวิธีที่ง่ายที่สุดในการโหลดข้อมูลการสตรีมไปยัง AWS บริการนี้สามารถบันทึกและโหลดข้อมูลการสตรีมเข้าไปใน Amazon S3 และ Amazon Redshift ได้โดยอัตโนมัติ ส่งผลให้สามารถวิเคราะห์ข้อมูลแบบใกล้เคียงเรียลไทม์ด้วยเครื่องมือข่าวกรองธุรกิจและแดชบอร์ดที่คุณใช้งานอยู่ในปัจจุบันได้ นี่เป็นบริการที่ได้รับการจัดการอย่างครบครันที่สามารถปรับขนาดเพื่อให้ตรงกับปริมาณของข้อมูลของคุณได้โดยอัตโนมัติและไม่จำเป็นต้องคอยจัดการอยู่ตลอดเวลา อีกทั้งยังสามารถจัดกลุ่ม บีบอัด และเข้ารหัสข้อมูลก่อนโหลดได้ ซึ่งช่วยลดปริมาณการใช้งานพื้นที่จัดเก็บ ณ ปลายทางได้และช่วยเพิ่มความปลอดภัยอีกด้วย คุณสามารถสร้างสตรีมการส่งมอบ Firehose จาก AWS Management Console ได้อย่างง่ายดาย กำหนดค่าเพียงแค่คลิกไม่กี่ครั้ง และเริ่มส่งข้อมูลไปยังสตรีมจากแหล่งข้อมูลนับแสนที่จะโหลดไปยัง AWS อย่างต่อเนื่อง ซึ่งทั้งหมดนี้ใช้เวลาเพียงไม่กี่นาที
เรียนรู้เพิ่มเติมเกี่ยวกับ AWS Kinesis Data Firehose
Amazon ได้ร่วมมือกับผู้จัดจำหน่ายในอุตสาหกรรมเพื่อให้การย้ายข้อมูลสำรองและการเก็บถาวรไว้บนระบบคลาวด์เป็นเรื่องง่าย วิธีที่ง่ายที่สุดในการย้ายข้อมูลอาจเป็นการย้ายข้อมูลผ่านตัวเชื่อมต่อ S3 ที่ฝังอยู่กับซอฟต์แวร์การสำรองข้อมูลที่มีอยู่ ข้อดีที่เห็นได้ชัดเจนของวิธีนี้คือแค็ตตาล็อกข้อมูลสำรองจะสอดคล้องกันเสมอ คุณจึงสามารถมองเห็นและควบคุมงานต่างๆ ที่ครอบคลุมดิสก์ เทป และระบบคลาวด์
บางครั้งแบนด์วิดท์ที่เพียงพอหรือแม้แต่เครือข่ายก็อาจไม่พร้อมใช้งานสำหรับการถ่ายโอนหรือย้ายข้อมูลที่คุณต้องดำเนินการเพื่อให้การปิดศูนย์ข้อมูลหรืองานถ่ายโอนข้อมูลจากสถานที่ระยะไกลเป็นไปตามกำหนดเวลา ตัวเลือกต่อไปนี้จะช่วยย้ายข้อมูลของคุณได้ตลอดเส้นทาง
Snowball คือโซลูชันขนส่งข้อมูลขนาดเพตะไบต์ที่ใช้อุปกรณ์ที่มีความปลอดภัยในการถ่ายโอนข้อมูลจำนวนมากเข้าและออกจาก AWS การใช้ Snowball ช่วยแก้ปัญหาที่พบได้บ่อยๆ ในการถ่ายโอนข้อมูลขนาดใหญ่ เช่น แบนด์วิดท์เครือข่ายที่จำกัด ระยะเวลาในการถ่ายโอนที่ยาวนาน และข้อกังวลด้านความปลอดภัย การถ่ายโอนข้อมูลด้วย Snowball นั้นง่ายดาย รวดเร็ว และปลอดภัย
เรียนรู้เพิ่มเติมเกี่ยวกับบริการ Snowball
Snowball Edge เป็นอุปกรณ์ถ่ายโอนข้อมูลขนาดเพตะไบต์ที่มีพื้นที่จัดเก็บที่พร้อมใช้งานและความสามารถในการประมวลผล คุณสามารถใช้ Snowball Edge เพื่อย้ายข้อมูลปริมาณมากไปยังหรือออกจาก AWS ได้ซึ่งใช้เป็นระดับชั้นการจัดเก็บชั่วคราวสำหรับชุดข้อมูลขนาดใหญ่ภายในเครื่อง หรือเพื่อรองรับปริมาณงานบนเครื่องจากระยะไกลหรือในตำแหน่งออฟไลน์
เรียนรู้เพิ่มเติมเกี่ยวกับ Snowball Edge
Snowmobile คือโซลูชันขนส่งข้อมูลขนาดเอกซะไบต์ที่ใช้คอนเทนเนอร์ขนส่งแบบผสมผสานขนาด 40 ฟุตที่ปลอดภัยเพื่อถ่ายโอนข้อมูลจำนวนมากเข้าและออกจาก AWS การใช้ Snowmobile ช่วยแก้ปัญหาที่พบได้บ่อยๆ ในการถ่ายโอนข้อมูลขนาดใหญ่ เช่น ค่าใช้จ่ายจำนวนมากสำหรับเครือข่าย ระยะเวลาในการถ่ายโอนที่ยาวนาน และข้อกังวลด้านความปลอดภัย การถ่ายโอนข้อมูลด้วย Snowmobile ผ่านข้อผูกพันที่กำหนดเองนั้นทำได้ง่าย รวดเร็ว ปลอดภัย และมีค่าใช้จ่ายเพียงหนึ่งในห้าของอินเทอร์เน็ตความเร็วสูง
เรียนรู้เพิ่มเติมเกี่ยวกับบริการ Snowmobile
นอกจากนี้ AWS ยังมีเครื่องมือสคริปต์หรือ CLI ง่ายๆ เพื่อย้ายข้อมูลจากเว็บไซต์ของคุณไปยังพื้นที่จัดเก็บบนระบบคลาวด์ของ Amazon อีกด้วย
- rsync ลูกค้าใช้เครื่องมือแบบโอเพนซอร์สนี้ร่วมกับเครื่องมือระบบไฟล์ของบริษัทอื่นในการคัดลอกข้อมูลไปยังบักเก็ต S3 โดยตรง
- อินเทอร์เฟซบรรทัดคำสั่งของ S3 ลูกค้าใช้ Amazon S3 CLI ในการเขียนคำสั่งเพื่อย้ายข้อมูลไปยังบัคเก็ต S3 โดยตรง
- อินเทอร์เฟซบรรทัดคำสั่งของ Glacier ลูกค้าใช้ Amazon Glacier CLI ในการย้ายข้อมูลไปยังชุดเก็บข้อมูล Glacier
ความเป็นจริงที่น่ากังวลใจในการย้ายข้อมูลมักเกิดขึ้นกับโปรเจกต์ส่วนใหญ่ คุณจะย้ายข้อมูลจากตำแหน่งเดิมไปยังระบบคลาวด์ใหม่โดยมีการหยุดชะงักน้อยที่สุด ใช้ต้นทุนต่ำ และใช้เวลาน้อยได้อย่างไร วิธีที่ดีที่สุดในการย้ายข้อมูลขนาด GB, TB หรือ PB คือวิธีใด
นี่คือปัญหาพื้นฐานทั่วไป นั่นคือ สามารถย้ายข้อมูลได้เท่าใด ไกลแค่ไหน และรวดเร็วเพียงใด สำหรับกรณีสถานการณ์ที่ดีที่สุด ให้ใช้สูตรนี้:
จำนวนวัน = (ไบต์รวม)/(เมกาบิตต่อวินาที * 125 * 1,000 * ระดับการใช้เครือข่าย * 60 วินาที * 60 นาที * 24 ชั่วโมง)
ตัวอย่างเช่น หากคุณมีการเชื่อมต่อ T1 (1.544 Mbps) และมีข้อมูลขนาด 1 TB (1,024 * 1,024 * 1,024 * 1,024 ไบต์) ที่จะย้ายเข้าหรือออกจาก AWS ดังนั้น เวลาขั้นต่ำทางทฤษฎีในการโหลดผ่านการเชื่อมต่อเครือข่ายที่ระดับการใช้เครือข่าย 80% จะเท่ากับ 82 วัน
ไม่ต้องกังวลไป เราเคยทำสิ่งนี้มาก่อนแล้ว เราพบว่าลูกค้าจะเลือกใช้วิธีการสองแบบ ได้แก่ การใช้เครื่องมือย้ายข้อมูลที่ไม่ได้รับการจัดการในขั้นพื้นฐานอย่างมากเพื่อย้ายข้อมูล หรือเลือกใช้ชุดบริการอย่างใดอย่างหนึ่งของ Amazon ตามที่ระบุไว้ข้างต้น
ตามหลักทั่วไปแล้ว เราขอแนะนำดังนี้เพื่อผลลัพธ์ที่ดีที่สุด
| การเชื่อมต่อ | ขนาดข้อมูล | วิธีการ |
| น้อยกว่า 10 Mbps | น้อยกว่า 500 GB | ไม่ได้รับการจัดการ |
| มากกว่า 10 Mbps | มากกว่า 500 GB | บริการที่ได้รับการจัดการ |
