Data Lake และ Analytics บน AWS
พอร์ตโฟลิโอของบริการที่ครอบคลุม ปลอดภัย ปรับขนาดได้ และคุ้มค่าที่สุดในการสร้างโซลูชัน Data Lake และ Analytics
ขนาดและความซับซ้อนของข้อมูลที่จำเป็นต้องวิเคราะห์ในวันนี้หมายความว่าเทคโนโลยีและแนวทางเดียวกันกับที่ใช้ทำงานในอดีตที่ผ่านมานั้นไม่สามารถใช้งานได้อีกต่อไป เพื่อให้ได้ประโยชน์จากข้อมูลของคุณให้มากที่สุด AWS จึงมอบพอร์ตโฟลิโอของบริการที่ครอบคลุม ปลอดภัย ปรับขนาดได้ และคุ้มค่าที่สุดซึ่งช่วยให้คุณสามารถสร้าง Data Lake ในระบบคลาวด์ วิเคราะห์ข้อมูลทั้งหมด อันประกอบด้วยข้อมูลจากอุปกรณ์ IoT โดยใช้แนวทางเชิงเคราะห์ที่หลากหลายซึ่งรวมถึง Machine Learning
องค์กรที่ใช้งาน Data Lake และ Analytics บน AWS มีจำนวนมากกว่าบนแพลตฟอร์มอื่น โดยมีตัวอย่างลูกค้า เช่น NASDAQ, Zillow, Yelp, iRobot และ FINRA ที่ไว้วางใจ AWS ให้ดำเนินการวิเคราะห์ปริมาณงานที่สำคัญทางธุรกิจของตน
Data Lake และ Analytics บน AWS
AWS มอบชุดบริการที่ครอบคลุมสูงสุดเพื่อการย้าย จัดเก็บ และวิเคราะห์ข้อมูลในการสร้างโซลูชัน Data Lake และ Analytics
การย้ายข้อมูล
นำเข้าข้อมูลจากในองค์กรแบบเรียลไทม์
Data Lake
จัดเก็บข้อมูลทุกประเภทอย่างปลอดภัย ตั้งแต่ขนาดกิกะไบต์ไปจนถึงเอกซะไบต์
Analytics
วิเคราะห์ข้อมูลด้วยเครื่องมือวิเคราะห์และเอนจินที่มีให้เลือกอย่างหลากหลาย
Machine Learning
คาดการณ์ผลลัพธ์ในอนาคตและกำหนดการดำเนินการ
การย้ายข้อมูล
ขั้นตอนแรกในการสร้าง Data Lake บน AWS คือการย้ายข้อมูลไปยังระบบคลาวด์ ข้อจำกัดจริงของแบนด์วิธและความเร็วในการถ่ายโอนจะจำกัดความสามารถในการย้ายข้อมูลโดยไม่มีการหยุดชะงักที่สำคัญ ค่าใช้จ่ายสูง และเวลา เพื่อทำให้ถ่ายโอนข้อมูลได้ง่ายและมีความยืดหยุ่น AWS จึงมอบตัวเลือกในการถ่ายโอนข้อมูลไปยังระบบคลาวด์ที่มีให้เลือกมากที่สุด
การย้ายข้อมูลในองค์กร
AWS มีหลายวิธีในการย้ายข้อมูลจากศูนย์ข้อมูลไปยัง AWS ในการสร้างการเชื่อมต่อเครือข่ายเฉพาะระหว่างเครือข่ายของคุณกับ AWS คุณสามารถใช้ AWS Direct Connect ในการย้ายข้อมูลขนาดเพตะไบต์ไปยัง AWS โดยใช้อุปกรณ์จริง คุณสามารถใช้ AWS Snowball และ AWS Snowmobile ในการทำให้แอปพลิเคชันภายในองค์กรจัดเก็บข้อมูลลงใน AWS โดยตรง คุณสามารถใช้ AWS Storage Gateway
การย้ายข้อมูลแบบเรียลไทม์
AWS มีหลายวิธีในการนำเข้าแบบเรียลไทม์สำหรับข้อมูลที่สร้างขึ้นจากต้นทางใหม่ เช่น เว็บไซต์ แอปมือถือ และอุปกรณ์ที่เชื่อมต่ออินเทอร์เน็ต หากต้องการให้บันทึกและโหลดข้อมูลที่สตรีมหรือข้อมูลของอุปกรณ์ IoT ได้อย่างง่ายดาย คุณสามารถใช้ Amazon Kinesis Data Firehose, Amazon Kinesis Video Streams และ AWS IoT Core
Data Lake
เมื่อข้อมูลพร้อมสำหรับระบบคลาวด์แล้ว AWS จะช่วยให้จัดเก็บข้อมูลทุกรูปแบบอย่างปลอดภัยและในจำนวนมหาศาลโดยใช้ Amazon S3 และ Amazon Glacier ได้อย่างง่ายดาย เพื่อให้ผู้ใช้ปลายทางค้นหาข้อมูลที่เกี่ยวข้องที่จะใช้ในการวิเคราะห์ได้อย่างง่ายดาย AWS Glue จึงสร้างแคตตาล็อกเดี่ยวขึ้นโดยอัตโนมัติเพื่อให้ผู้ใช้สามารถค้นหาและสืบค้นได้
พื้นที่จัดเก็บอ็อบเจ็กต์
Amazon S3
Amazon S3 เป็นพื้นที่จัดเก็บอ็อบเจ็กต์ที่ปลอดภัย ปรับขนาดได้มาก มีความคงทน และเข้าถึงข้อมูลได้ด้วยเวลาแฝงระดับมิลลิวินาที S3 ได้รับการสร้างขึ้นเพื่อใช้จัดเก็บข้อมูลทุกประเภทได้จากทุกที่ ไม่ว่าจะเป็นเว็บไซต์และแอปมือถือ แอปพลิเคชันขององค์กร และข้อมูลจากเซ็นเซอร์หรืออุปกรณ์ IoT บริการนี้สร้างขึ้นเพื่อใช้จัดเก็บและเรียกใช้ข้อมูลตามจำนวนที่ต้องการ โดยมีความสามารถที่ไม่เหมือนใครและสร้างขึ้นมาตั้งแต่ต้นเพื่อให้มีความคงทนที่ระดับ 99.999999999% (เลขเก้า 11 ตัว) S3 มีการรักษาความปลอดภัยที่ครอบคลุมและความสามารถในการปฏิบัติตามข้อกำหนดที่ตรงตามข้อกำหนดด้านระเบียบข้อบังคับที่เข้มงวดที่สุด
การสำรองข้อมูลและการเก็บถาวร
Amazon Glacier
Amazon Glacier เป็นพื้นที่จัดเก็บที่ปลอดภัย คงทน และมีค่าใช้จ่ายต่ำสำหรับการเก็บถาวรและสำรองข้อมูลระยะยาวที่สามารถเข้าถึงข้อมูลได้ในไม่กี่นาที บริการนี้ได้รับการออกแบบมาเพื่อให้มีความคงทนที่ระดับ 99.999999999% (เลขเก้า 11 ตัว) และมีการรักษาความปลอดภัยที่ครอบคลุมและความสามารถในการปฏิบัติตามข้อกำหนดที่สามารถตอบสนองได้แม้กระทั่งข้อกำหนดด้านระเบียบข้อบังคับที่เข้มงวดที่สุด ลูกค้าสามารถเก็บข้อมูลได้ในราคาถูกเพียง 0.004 USD ต่อกิกะไบต์ต่อเดือน ซึ่งประหยัดเงินไปได้มากเมื่อเทียบกับโซลูชันที่มีอยู่ในองค์กร
แคตตาล็อกข้อมูล
AWS Glue
AWS Glue เป็นบริการที่มีการจัดการอย่างเต็มรูปแบบซึ่งมีแคตตาล็อกข้อมูลที่จะทำให้ข้อมูลใน Data Lake สามารถค้นหาได้และมีความสามารถที่จะแยก แปลง และโหลด (ETL) เพื่อเตรียมข้อมูลสำหรับการวิเคราะห์ แคตตาล็อกข้อมูลถูกสร้างขึ้นโดยอัตโนมัติเพื่อเป็นที่เก็บข้อมูลเมตาที่ใช้งานได้อย่างต่อเนื่องสำหรับข้อมูลทั้งหมด โดยทำให้ข้อมูลทั้งหมดนั้นสามารถค้นหาและสืบค้นได้ในมุมมองเดียว
Analytics
AWS มีชุดบริการวิเคราะห์ที่หลากหลายที่สุดและคุ้มค่าที่สุดซึ่งทำงานอยู่บน Data Lake บริการวิเคราะห์แต่ละรายการถูกสร้างขึ้นตามวัตถุประสงค์สำหรับกรณีใช้งานเพื่อการวิเคราะห์ที่หลากหลาย เช่น การวิเคราะห์เชิงโต้ตอบ, การประมวลผลข้อมูลขนาดใหญ่โดยใช้ Hadoop และ Spark, คลังข้อมูล, การวิเคราะห์แบบเรียลไทม์, การวิเคราะห์การดำเนินการ, แดชบอร์ด และการแสดงข้อมูลด้วยภาพ
การวิเคราะห์เชิงโต้ตอบ
Amazon Athena
สำหรับการวิเคราะห์เชิงโต้ตอบ Amazon Athena ช่วยให้การวิเคราะห์ข้อมูลโดยตรงใน S3 และ Glacier ทำได้ง่ายโดยใช้การสืบค้น SQL มาตรฐาน Athena เป็นบริการไร้เซิร์ฟเวอร์ ดังนั้นจึงไม่ต้องติดตั้งหรือจัดการโครงสร้างพื้นฐาน คุณสามารถเริ่มต้นการสืบค้นได้ทันที ได้ผลลัพธ์ในไม่กี่วินาที และจ่ายเฉพาะสำหรับการสืบค้นที่คุณเรียกใช้ เพียงแค่ชี้ไปที่ข้อมูลของคุณใน Amazon S3 กำหนดแบบแผน และเริ่มสืบค้นโดยใช้ SQL มาตรฐาน ผลลัพธ์ส่วนใหญ่จะแสดงภายในไม่กี่วินาที
การประมวลผลข้อมูลขนาดใหญ่
Amazon EMR
สำหรับการประมวลผลข้อมูลขนาดใหญ่ที่ใช้เฟรมเวิร์ก Hadoop และ Spark นั้น Amazon EMR มีบริการที่มีการจัดการซึ่งช่วยให้สามารถประมวลผลข้อมูลจำนวนมหาศาลได้อย่างง่ายดาย รวดเร็ว และคุ้มค่า Amazon EMR รองรับโปรเจกต์แบบโอเพนซอร์สได้ 19 รายการ ซึ่งรวมถึง Hadoop, Spark, HBase, Presto และอื่นๆ ระบบจะอัปเดตแต่ละโปรเจกต์ใน EMR ภายใน 30 วันของการเปิดตัวเวอร์ชัน เพื่อให้มั่นใจว่าคุณมีเวอร์ชันล่าสุดและดีที่สุดจากชุมชน
คลังข้อมูล
Amazon Redshift
สำหรับคลังข้อมูล Amazon Redshift มีความสามารถในการรันการสืบค้นการวิเคราะห์ที่ซับซ้อนจากข้อมูลที่จัดโครงสร้างขนาดเพตะไบต์ได้ และมี Redshift Spectrum ที่รันการสืบค้น SQL โดยตรงจากข้อมูลที่จัดโครงสร้างขนาดเพตะไบต์หรือที่ไม่ได้จัดโครงสร้างดังกล่าวใน S3 โดยไม่ต้องย้ายข้อมูลโดยไม่จำเป็น Amazon Redshift มีค่าใช้จ่ายน้อยกว่าหนึ่งในสิบของโซลูชันแบบเดิม โดยเริ่มต้นจากขนาดเล็กในราคาเพียง 0.25 USD ต่อชั่วโมง และปรับขนาดเป็นข้อมูลขนาดเพตะไบต์สำหรับ 1,000 USD ต่อเทราไบต์ต่อปี
การวิเคราะห์แบบเรียลไทม์
Amazon Kinesis
สำหรับการวิเคราะห์แบบเรียลไทม์ Amazon Kinesis ช่วยให้สามารถรวบรวม ประมวลผล และวิเคราะห์ข้อมูลที่สตรีม เช่น ข้อมูลจากการวัดและการส่งข้อมูลทางไกลของ IoT, รายการบันทึกของแอปพลิเคชัน และคลิกสตรีมของเว็บไซต์ได้อย่างง่ายดาย ทั้งนี้จะช่วยให้คุณสามารถประมวลผลและวิเคราะห์ข้อมูลได้เมื่อข้อมูลมาถึงใน Data Lake และตอบกลับได้แบบเรียลไทม์โดยไม่ต้องรอจนกว่าจะรวบรวมข้อมูลทั้งหมดก่อนจึงจะสามารถเริ่มการประมวลผลได้
การวิเคราะห์การดำเนินการ
Amazon Elasticsearch Service
สำหรับการวิเคราะห์การดำเนินการ เช่น การดูแลแอปพลิเคชัน การวิเคราะห์บันทึก และการวิเคราะห์คลิกสตรีม Amazon Elasticsearch Service จะช่วยให้คุณค้นหา สำรวจ กรอง รวบรวม และแสดงภาพข้อมูลได้แบบใกล้เคียงเรียลไทม์ Amazon Elasticsearch Service มี API ที่ใช้งานง่ายของ Elasticsearch และมีความสามารถในการวิเคราะห์แบบเรียลไทม์ควบคู่ไปกับความพร้อมใช้งาน ความสามารถในการปรับขนาด และความปลอดภัยซึ่งจำเป็นต้องใช้ในปริมาณงานด้านการผลิต
แดชบอร์ดและการแสดงข้อมูลด้วยภาพ
Amazon QuickSight
สำหรับแดชบอร์ดและการแสดงข้อมูลด้วยภาพ Amazon QuickSight มีบริการวิเคราะห์ธุรกิจแบบรวดเร็วที่ให้บริการโดยระบบคลาวด์ ซึ่งช่วยให้สร้างการแสดงข้อมูลด้วยภาพที่น่าทึ่งและแดชบอร์ดที่มีประโยชน์ได้อย่างง่ายดาย ทั้งนี้จะสามารถเข้าถึงได้จากเบราว์เซอร์หรืออุปกรณ์มือถือใดก็ได้
Machine Learning
สำหรับกรณีใช้งานการวิเคราะห์เชิงคาดการณ์ AWS มีชุดบริการหลากหลายของ Machine Learning และเครื่องมือที่ทำงานบน Data Lake บน AWS บริการของเรามาจากความรู้และความสามารถที่เราได้สั่งสมขึ้นที่ Amazon ที่ซึ่ง ML เป็นขุมพลังให้กับเอนจินคำแนะนำ ซัพพลายเชน การคาดการณ์ ศูนย์กระจายสินค้า และการวางแผนความจุของ Amazon.com
เฟรมเวิร์กและอินเทอร์เฟซ
สำหรับผู้ปฏิบัติงานที่เชี่ยวชาญด้าน Machine Learning และ Data Scientist นั้น AWS มี AWS Deep Learning AMI ที่ช่วยให้สามารถสร้างโมเดล Deep Learning และสร้างคลัสเตอร์ที่มีอินสแตนซ์ GPU ที่เสริมประสิทธิภาพด้วย ML และ DL ได้อย่างง่ายดาย AWS รองรับ Machine Learning Framework หลักทั้งหมด ได้แก่ TensorFlow, Caffe2 และ Apache MXNet เพื่อให้คุณสามารถนำไปใช้หรือพัฒนาโมเดลที่คุณเลือก ความสามารถเหล่านี้มีพลัง ความเร็ว และประสิทธิภาพที่ไม่เหมือนใครซึ่งปริมาณงานของ Deep Learning และ Machine Learning จะต้องใช้
บริการแพลตฟอร์ม
สำหรับ Developer ที่ต้องการเจาะลึกเกี่ยวกับ ML นั้น Amazon SageMaker เป็นบริการแพลตฟอร์มที่ดำเนินการทั้งหมดเกี่ยวกับกระบวนการสร้าง การฝึก และการปรับใช้โมเดล ML ซึ่งง่ายต่อการจัดหาทุกอย่างที่คุณต้องการเพื่อให้เชื่อมต่อกับข้อมูลการฝึกของคุณ ให้เลือกและใช้อัลกอริธึมรวมทั้งเฟรมเวิร์กที่ดีที่สุด จากนั้นปรับใช้โมเดลของคุณบนคลัสเตอร์แบบปรับขยายอัตโนมัติของ Amazon EC2 นอกจากนี้ SageMaker ยังรวม Jupyter Notebook ที่เป็นโฮสต์ที่จะช่วยให้สามารถสำรวจและแสดงภาพข้อมูลการฝึกของคุณที่จัดเก็บไว้ใน Amazon S3 ได้อย่างง่ายดาย
บริการแอปพลิเคชัน
สำหรับ Developer ที่ต้องการเสียบฟังก์ชัน AI ที่สร้างมาแล้วล่วงหน้าลงในแอปของตน AWS มี API แบบโซลูชันสำหรับคอมพิวเตอร์วิทัศน์และการประมวลผลภาษาธรรมชาติ บริการแอปพลิเคชันเหล่านี้ช่วยให้ Developer สามารถเพิ่มเชาว์ปัญญาให้กับแอปพลิเคชันได้โดยไม่ต้องมีการพัฒนาหรือฝึกอบรมโมเดลของตนขึ้นมาใหม่
เหตุผลที่ควรใช้ Data Lake และ Analytics บน AWS
ความยืดหยุ่นและทางเลือก
AWS มีชุดเครื่องมือวิเคราะห์และเอนจินที่หลากหลายที่สุดในการวิเคราะห์ข้อมูลโดยใช้รูปแบบเปิดและมาตรฐานเปิด คุณต้องจัดเก็บข้อมูลในรูปแบบข้อมูลตามมาตรฐานที่คุณเลือก เช่น CSV, ORC, Grok, Avro และ Parquet รวมทั้งความยืดหยุ่นในการวิเคราะห์วันที่ด้วยวิธีที่หลากหลาย เช่น คลังข้อมูล, การสืบค้น SQL เชิงโต้ตอบ, การวิเคราะห์แบบเรียลไทม์ และการประมวลผลข้อมูล Big Data ตรวจสอบให้แน่ใจว่าความกว้างของบริการวิเคราะห์ที่คุณสามารถใช้กับข้อมูลใน AWS จะตรงตามกรณีใช้งานการวิเคราะห์ที่มีอยู่และที่จะใช้ในอนาคต
ความสามารถในการปรับขนาดและความพร้อมใช้งานที่เหนือใคร
Amazon S3 ถูกสร้างขึ้นเพื่อใช้จัดเก็บและเรียกใช้ข้อมูลตามจำนวนที่ต้องการ โดยมีความสามารถที่เหนือใครและถูกสร้างขึ้นมาตั้งแต่ต้นเพื่อให้มีความคงทนที่ระดับ 99.999999999% (เลขเก้า 11 ตัว) บริการนี้เป็นพื้นที่จัดเก็บเดียวที่มีให้ซึ่งสามารถเก็บข้อมูลของคุณได้ในศูนย์ข้อมูลหลายแห่งทั่ว Availability Zone ทั้งสามเขตภายในภูมิภาค AWS เพียงแห่งเดียวเพื่อให้ความยืดหยุ่นที่เหนือใครสำหรับปัญหาของศูนย์ข้อมูลเพียงแห่งเดียว และเป็นพื้นที่จัดเก็บเดียวที่มีให้ซึ่งสามารถคัดลอกข้อมูลระหว่างภูมิภาคต่างๆ ได้อย่างราบรื่น
ระบบมีความปลอดภัยสูง
S3 เป็นแพลตฟอร์มจัดเก็บข้อมูลบนระบบคลาวด์เพียงแพลตฟอร์มเดียวที่ให้คุณสามารถเข้าถึง บันทึก และตรวจสอบนโยบายที่บัญชีและระดับอ็อบเจ็กต์ได้ S3 มีการเข้ารหัสฝั่งเซิร์ฟเวอร์โดยอัตโนมัติ การเข้ารหัสด้วยคีย์ที่มีการจัดการโดย AWS Key Management Service (KMS) และการเข้ารหัสด้วยคีย์ที่คุณเป็นผู้จัดการ S3 เข้ารหัสข้อมูลในระหว่างการถ่ายโอนเมื่อทำการคัดลอกข้อมูลระหว่างภูมิภาค รวมทั้งให้คุณใช้บัญชีของภูมิภาคต้นทางและปลายทางแยกบัญชีกันเพื่อป้องกันการลบภายในที่เป็นอันตราย เพื่อเป็นการตรวจจับการโจมตีในระยะแรกในเชิงรุก Amazon Macie บริการรักษาความปลอดภัยที่ใช้ขุมพลังจาก ML จะเฝ้าตรวจกิจกรรมการเข้าถึงข้อมูลเพื่อหาความผิดปกติและส่งคำเตือนโดยละเอียดเมื่อตรวจพบความเสี่ยงจากการเข้าถึงโดยไม่ได้รับอนุญาตหรือข้อมูลรั่วไหลโดยไม่ได้ตั้งใจ
คุ้มค่า
Data Lake ที่สร้างขึ้นบน AWS มีความคุ้มค่าที่สุด ข้อมูลที่ใช้ไม่บ่อยสามารถย้ายไปยัง Amazon Glacier ซึ่งมีการสำรองข้อมูลระยะยาวและเก็บถาวรได้ในราคาที่ต่ำมาก ความสามารถในการจัดการของ Amazon S3 จะสามารถวิเคราะห์รูปแบบการเข้าถึงของอ็อบเจ็กต์เพื่อย้ายข้อมูลที่ใช้ไม่บ่อยไปยัง Glacier ตามต้องการหรือโดยอัตโนมัติได้ด้วยนโยบายรอบการใช้งาน คุณสามารถเริ่มสืบค้นข้อมูลด้วย Amazon Athena ได้ในราคาเพียง 0.005 USD/GB ที่สืบค้น บริการ Machine Learning และการวิเคราะห์ประเภทอื่นจะมีแนวทางการเก็บค่าบริการที่ใช้ตามจริงสำหรับทรัพยากรที่คุณใช้
ประสิทธิภาพการทำงานที่รวดเร็ว
บริการวิเคราะห์ของ AWS เช่น Amazon Redshift และ Amazon Athena ถูกสร้างขึ้นให้มีประสิทธิภาพในการสืบค้นที่ตอบสนองได้อย่างรวดเร็วเพื่อรองรับการสืบค้นที่ตอบสนองได้จำนวนมากพร้อมๆ กัน เมื่อใช้งานพอร์ตโฟลิโอบอร์ดการวิเคราะห์ของ AWS และบริการ Machine Learning โดยใช้ Amazon S3 Select ระบบจะส่งกลับเฉพาะส่วนย่อยของข้อมูลที่จำเป็นภายในอ็อบเจ็กต์เท่านั้น ซึ่งทำให้การสืบค้นเร็วขึ้นสูงถึง 400% รวดเร็วขึ้น และราคาลดลงอย่างมาก Glacier Select มีความสามารถที่คล้ายกันซึ่งช่วยให้คุณสามารถเรียกใช้ข้อมูลที่เก็บถาวรได้เร็วยิ่งขึ้นและช่วยให้คุณขยายความสามารถในการวิเคราะห์ผ่าน Data Lake ไปรวมถึงพื้นที่จัดเก็บถาวร
เครือข่ายคู่ค้าที่ใหญ่ที่สุด
AWS Partner Network (APN) มีการผสานรวมคู่ค้ามากกว่าผู้อื่นเป็นสองเท่าโดยมีคู่ค้านับหมื่นราย รวมถึงผู้ให้คำปรึกษาและผู้ค้าซอฟต์แวร์อิสระจากทั่วโลก ข้อนี้ทำให้ง่ายต่อการทำงานและการผสานรวมกับเครื่องมือเดียวกันหลายๆ รายการที่คุณใช้และชื่นชอบตอนนี้ Data Lake Quick Starts ที่ได้รับการพัฒนาโดยสถาปนิกด้านโซลูชันและคู่ค้าของ AWS จะช่วยคุณในการสร้าง ทดสอบ และปรับใช้ โซลูชัน Data Lake ตามแนวทางการปฏิบัติที่ดีที่สุดของ AWS เพื่อความปลอดภัยและความพร้อมใช้งานสูง ด้วยขั้นตอนเพียงไม่กี่ขั้น
เริ่มต้นใช้งาน AWS
ลงชื่อสมัครใช้งานบัญชี AWS
เรียนรู้เพิ่มเติมเกี่ยวกับ Data Lake ใน AWS
เริ่มต้นสร้างด้วย AWS
เริ่มต้นใช้งาน Data Lake บน AWS



















