Machine Learning trên AWS
Machine Learning trong tay mọi nhà khoa học dữ liệu và nhà phát triển
Tại Amazon, chúng tôi đã đầu tư sâu vào trí tuệ nhân tạo hơn 20 năm nay. Các thuật toán Machine Learning (ML) thúc đẩy nhiều hệ thống nội bộ của chúng tôi. Machine Learning cũng là cốt lõi của những khả năng mà khách hàng của chúng tôi trải nghiệm – từ tối ưu hóa đường đi trong các trung tâm phân phối hàng hóa và công cụ đề xuất của Amazon.com, Echo sử dụng Alexa, đến sáng kiến máy bay không người lái Prime Air và trải nghiệm bán lẻ mới của chúng tôi, Amazon Go. Đây mới chỉ là bắt đầu. Sứ mệnh của chúng tôi là chia sẻ kiến thức và các khả năng của ML như các dịch vụ được quản lý đầy đủ, và cung cấp chúng cho mọi nhà khoa học dữ liệu và nhà phát triển.
Vì sao nên sử dụng Machine Learning trên AWS?
Machine Learning cho mọi người
Dịch vụ ML sử dụng API
Hỗ trợ nhiều framework
Phạm vi tùy chọn điện toán
Tích hợp nền tảng sâu
Phân tích toàn diện
Bảo mật
Thanh toán theo mức sử dụng
Đào tạo và triển khai mô hình nhanh chóng
Amazon SageMaker
Amazon SageMaker cho phép các nhà khoa học dữ liệu và nhà phát triển nhanh chóng và dễ dàng xây dựng, đào tạo và triển khai mô hình máy học với các thuật toán máy học hiệu suất cao, hỗ trợ khuôn khổ rộng lớn và đào tạo, tinh chỉnh và suy luận bằng một lần nhấp chuột. Amazon SageMaker có kiến trúc mô-đun để bạn có thể sử dụng bất kỳ hoặc tất cả các khả năng của nó trong các luồng máy học hiện có của mình.
Trải nghiệm thực tế AWS DeepLens
AWS DeepLens là máy quay video có tích hợp deep learning đầu tiên trên thế giới dành cho các nhà phát triển. Được tích hợp với Amazon SageMaker và nhiều dịch vụ khác của AWS, nó cho phép bạn cài đặt và chạy deep learning một cách nhanh chóng và dễ dàng.
Một cách mới để học
AWS DeepLens cho phép nhà phát triển ở mọi trình độ kỹ năng bắt đầu với deep learning trong chưa đầy 10 phút thông qua các dự án mẫu với các ví dụ thực tế.
Có thể lập trình đầy đủ
Bằng cách sử dụng AWS Lambda, bạn có thể dễ dàng tùy chỉnh và lập trình AWS DeepLens. Các mô hình trên DeepLens thậm chí chạy như một phần của một hàm AWS Lambda cho thử nghiệm nhanh.
Phần cứng tùy chỉnh cho học sâu
AWS DeepLens là một máy quay video không dây độ nét thực tế cao, với khả năng tính toán tùy chỉnh được tích hợp trên thiết bị cho phép chạy suy luận deep learning trên các mô hình phức tạp trong thời gian thực.
Tích hợp tùy chỉnh cho deep learning
DeepLens được cài đặt sẵn phiên bản được tối ưu hóa của Apache MXNet. Bạn có thể chạy bất kỳ khuôn khổ deep learning nào trên thiết bị, bao gồm cả TensorFlow và Caffe2.
Các dịch vụ sử dụng API đưa thông tin vào bất kỳ ứng dụng nào
Các dịch vụ thông tin của chúng tôi cung cấp cho bạn khả năng thêm thông tin vào các ứng dụng của mình thông qua một lệnh gọi API đến các dịch vụ được đào tạo sẵn thay vì lãng phí thời gian vào việc phát triển và đào tạo các mô hình của riêng bạn.
Dịch vụ hình ảnh
Chatbot đàm thoại
Dịch vụ ngôn ngữ
Phát triển các mô hình phức tạp với bất kỳ khuôn khổ nào
AWS hỗ trợ mọi khuôn khổ học sâu lớn để cung cấp cho các nhà khoa học dữ liệu và nhà phát triển môi trường mở và linh hoạt nhất.
AMI Amazon Deep Learning
AWS Deep Learning AMIs trang bị cho bạn cơ sở hạ tầng và các công cụ để đẩy nhanh khả năng deep learning trong đám mây. Các AMI được cài đặt sẵn Apache MXNet, TensorFlow, PyTorch, Microsoft Cognitive Toolkit (CNTK), Caffe, Caffe2, Theano, Torch, Gluon và Keras để đào tạo các mô hình AI tùy chỉnh, phức tạp. Deep Learning AMI cho phép bạn tạo các cụm GPU được quản lý, tự động thay đổi quy mô cho đào tạo quy mô lớn, hoặc chạy suy luận trên các mô hình được đào tạo với các phiên bản CPU đa dụng hoặc được tối ưu hóa cho tính toán.
Do AWS và Microsoft phát triển, Gluon cung cấp một API rõ ràng, ngắn gọn để xác định các mô hình máy học bằng cách sử dụng một tập hợp các cấu phần mạng nơ-ron dựng sẵn và đã được tối ưu hóa. Các nhà phát triển mới làm quen với máy học sẽ thấy giao diện này gần giống mã truyền thống, vì các mô hình máy học có thể được xác định và thao tác giống như bất kỳ cấu trúc dữ liệu nào khác. Các nhà khoa học dữ liệu và nhà nghiên cứu dày dạn kinh nghiệm hơn sẽ đánh giá cao khả năng xây dựng nguyên mẫu một cách nhanh chóng và sử dụng các sơ đồ mạng nơ-ron động cho các kiến trúc mô hình hoàn toàn mới – thực hiện được tất cả những điều này mà không làm ảnh hưởng đến tốc độ đào tạo.
Gluon hiện có sẵn trong Apache MXNet, một phiên bản sắp tới của Microsoft Cognitive Toolkit và trong nhiều khuôn khổ khác theo thời gian.
Khai thác tính toán phù hợp cho mọi trường hợp sử dụng
Máy học cần một loạt tùy chọn điện toán mạnh, từ GPU dành cho deep learning thâm dụng tài nguyên điện toán, FPGA cho tăng tốc phần cứng chuyên biệt, cho đến phiên bản bộ nhớ cao để chạy suy luận. Amazon EC2 cung cấp nhiều lựa chọn loại phiên bản được tối ưu để phù hợp với các phiên bản sử dụng máy học. Các loại phiên bản bao gồm nhiều tổ hợp khác nhau giữa CPU, bộ nhớ, lưu trữ, và công suất mạng và cung cấp cho bạn sự linh hoạt để chọn sự kết hợp tài nguyên thích hợp, cho dù bạn đang đào tạo các mô hình hay chạy suy luận trên các mô hình đào tạo.
Các phiên bản GPU
Các phiên bản P3 cung cấp hiệu năng cao hơn đến 14 lần so với các phiên bản điện toán GPU Amazon EC2 thế hệ trước. Với lên đến 8 GPU NVIDIA Tesla V100, các phiên bản P3 cung cấp hiệu năng điểm động lên đến một petaflop mixed-precision, 125 teraflop single-precision và 62 teraflop double-precision.
Khả năng điện toán mạnh mẽ
Các phiên bản C5 được trang bị bộ xử lý Intel Xeon 3 GHz có khả năng mở rộng và cho phép một lõi đơn chạy lên đến 3,5 GHz sử dụng công nghệ Intel Turbo Boost. Các phiên bản C5 có tỷ lệ bộ nhớ/vCPU cao hơn và cải thiện 25% tỷ lệ giá/hiệu năng so với các phiên bản C4, và chính là lựa chọn lý tưởng cho các ứng dụng đòi hỏi phải tính toán nhiều.
FPGA theo yêu cầu
Amazon EC2 F1 là một phiên bản tính toán với FPGA mà bạn có thể lập trình để tạo tăng tốc phần cứng tùy chỉnh cho các ứng dụng máy học của mình. Các phiên bản F1 dễ lập trình và có sẵn mọi thứ bạn cần để phát triển, mô phỏng, gỡ lỗi và biên dịch mã tăng tốc phần cứng. Bạn có thể sử dụng lại các thiết kế của mình nhiều lần và trên nhiều phiên bản F1, tùy theo nhu cầu của bạn.
Xây dựng trên nền tảng đầy đủ nhất cho dữ liệu lớn
Để thực hiện máy học thành công, bạn không chỉ cần các khả năng máy học, mà còn cần các dịch vụ lưu trữ, bảo mật và phân tích dữ liệu phù hợp phối hợp cùng nhau.
Dịch vụ hồ dữ liệu
Amazon S3
Amazon S3 là dịch vụ lưu trữ đối tượng được xây dựng để lưu trữ và truy xuất bất kỳ lượng dữ liệu nào từ bất cứ nơi nào. Dịch vụ này được thiết kế để đem đến độ bền 99,999999999% và khả năng lưu trữ dữ liệu cho hàng triệu ứng dụng được sử dụng bởi các đơn vị dẫu đầu thị trường trong mọi ngành. S3 cung cấp các khả năng bảo mật và tuân thủ toàn diện đáp ứng ngay cả những yêu cầu quy định nghiêm ngặt nhất. Amazon S3 là nền tảng lưu trữ được hỗ trợ nhiều nhất hiện có, với các hệ sinh thái giải pháp ISV lớn nhất và các đối tác là nhà tích hợp hệ thống.
AWS Glue
AWS Glue là một dịch vụ trích xuất, chuyển đổi và nạp (ETL) được quản lý đầy đủ giúp khách hàng dễ dàng chuẩn bị và nạp dữ liệu của họ để phân tích. Bạn có thể tạo và chạy một công việc ETL bằng một vài cú nhấp chuột trong Bảng điều khiển quản lý AWS. Bạn chỉ cần trỏ AWS Glue đến dữ liệu được lưu trữ trên AWS, AWS Glue sẽ phát hiện dữ liệu của bạn và lưu trữ siêu dữ liệu liên quan trong Danh mục dữ liệu của AWS Glue. Sau khi đã được lưu vào danh mục, dữ liệu của bạn ngay lập tức có thể được tìm kiếm, truy vấn và có sẵn cho ETL.
Dịch vụ phân tích
Amazon Athena
Amazon Athena là một dịch vụ truy vấn tương tác giúp bạn dễ dàng phân tích dữ liệu trong Amazon S3 bằng cách sử dụng SQL tiêu chuẩn. Athena không cần máy chủ, do đó, không phải quản lý sở hạ tầng và bạn chỉ phải trả tiền cho những truy vấn bạn chạy.
Amazon EMR
AWS EMR cho phép bạn nhanh chóng xử lý một lượng lớn dữ liệu không có cấu trúc trên các cụm có khả năng mở rộng linh hoạt bằng cách sử dụng các khuôn khổ phổ biến như Apache Spark, Presto, Hive và Pig.
Amazon Redshift
Amazon RedShift là kho dữ liệu nhanh, được quản lý đầy đủ giúp bạn phân tích hàng petabyte dữ liệu một cách đơn giản và hiệu quả về mặt chi phí bằng cách sử dụng SQL tiêu chuẩn và các công cụ Nghiệp vụ thông minh (BI) hiện tại của mình.
Amazon Redshift Spectrum
Redshift Spectrum cho phép bạn chạy truy vấn SQL của Amazon Redshift với hàng exabyte dữ liệu trong Amazon S3 để mở rộng khả năng phân tích của Amazon Redshift để truy vấn số lượng lớn dữ liệu không có cấu trúc trong “hồ dữ liệu” Amazon S3 của bạn.
Các chương trình ML
Là một phần trong cam kết của Amazon nhằm mang khả năng máy học đến với mỗi nhà phát triển, nhà khoa học dữ liệu và nhà nghiên cứu, Amazon tự hào cung cấp các chương trình giúp đẩy mạnh việc tạo ra các giải pháp dựa trên máy học.
Amazon ML Solutions Lab
Amazon ML Solutions Lab kết hợp nhóm của bạn với các chuyên gia máy học của Amazon để chuẩn bị dữ liệu, xây dựng và đào tạo các mô hình, đồng thời đưa các mô hình này vào sản xuất. Dịch vụ này kết hợp các hội thảo giáo dục thực hành với các buổi tìm kiếm ý tưởng và dịch vụ tư vấn chuyên nghiệp để giúp bạn ‘lội ngược dòng để tìm hiểu’ từ những thách thức trong kinh doanh, sau đó từng bước thực hiện quá trình phát triển các giải pháp dựa trên máy học. Vào cuối chương trình, bạn sẽ có thể áp dụng những gì bạn đã học được thông qua quá trình này và sử dụng nó ở nơi khác trong tổ chức của bạn để áp dụng ML cho các cơ hội kinh doanh.
Amazon ML Research Grants
Chương trình AWS Machine Learning Research Awards tài trợ cho các khoa, giảng viên, nghiên cứu sinh và tiến sĩ khoa học của các trường đại học đang tiến hành các nghiên cứu tính mới về máy học (ML).
Mục tiêu của chúng tôi là thúc đẩy sự phát triển các thuật toán, ấn phẩm và mã nguồn sáng tạo trên nhiều ứng dụng ML và lĩnh vực tập trung khác nhau. Các dự án được lựa chọn sẽ nhận được quà tặng bằng tiền mặt và tín dụng AWS không hạn chế mà có thể được đổi thành bất kỳ dịch vụ đám mây nào. Người nhận cũng hưởng lợi từ các tài nguyên đào tạo và có cơ hội tham dự một hội thảo nghiên cứu hàng năm tại các trụ sở của chúng tôi ở Seattle.
Tích hợp máy học trên nền tảng AWS
Quy mô máy học tại AWS còn tiến xa hơn phạm vi các dịch vụ được thiết kế riêng để tạo ra các ứng dụng ML. Nhiều dịch vụ trên nền tảng tận dụng máy học để nâng cao chức năng họ cung cấp cho bạn.
Amazon Connect
Tổng đài trên đám mây Amazon Connect được tích hợp với Amazon Lex để thiết lập các nhân viên đàm thoại truyền thống, chatbot được gọi, mà có thể chủ động giải quyết và chuyển cuộc gọi hỗ trợ của khách hàng một cách tự động.
Amazon Macie
Amazon Macie là dịch vụ bảo mật sử dụng machine learning để tự động phát hiện, phân loại và bảo vệ dữ liệu nhạy cảm trong AWS. Macie cung cấp cho bạn các bảng điều khiển và cảnh báo để giúp bạn hiểu được cách dữ liệu này đang được truy cập hoặc di chuyển để giảm thiểu truy cập trái phép hoặc rò rỉ dữ liệu vô ý.
Bắt đầu với machine learning trên AWS