Amazon SageMaker
Машинное обучение для любого разработчика и специалиста по работе с данными.
Amazon SageMaker предоставляет каждому разработчику и аналитику данных возможность быстро создавать, обучать и развертывать модели машинного обучения. Amazon SageMaker – это полностью управляемый сервис, который охватывает процесс машинного обучения, включая маркировку и подготовку данных, выбор алгоритма, обучение модели, адаптацию и оптимизацию для развертывания, составление прогнозов и принятие мер. Вы получаете возможность развертывать модели в своей продуктивной среде гораздо быстрее и с гораздо меньшими затратами и усилиями.
Amazon SageMaker
Машинное обучение для любого разработчика и специалиста по работе с данными.
Amazon SageMaker предоставляет каждому разработчику и аналитику данных возможность быстро создавать, обучать и развертывать модели машинного обучения. Amazon SageMaker – это полностью управляемый сервис, который охватывает процесс машинного обучения, включая маркировку и подготовку данных, выбор алгоритма, обучение модели, адаптацию и оптимизацию для развертывания, составление прогнозов и принятие мер. Вы получаете возможность развертывать модели в своей продуктивной среде гораздо быстрее и с гораздо меньшими затратами и усилиями.
РАЗРАБОТКА
Сбор и подготовка обучающих данных
Маркировка данных и использование готовых блокнотов для решения стандартных проблем
Выбор и оптимизация алгоритма машинного обучения
Высокопроизводительные встроенные алгоритмы и сотни готовых к использованию алгоритмов в AWS Marketplace
ОБУЧЕНИЕ
Настройка сред для обучения и управление ими
Обучение одним нажатием с использованием инстансов Amazon EC2 по требованию или спотовых инстансов
Обучение и настройка модели
Однократное обучение, многократное использование и оптимизация модели
РАЗВЕРТЫВАНИЕ
Развертывание модели в продуктивной среде
Развертывание одним щелчком
Масштабирование продуктивной среды и управление ею
Полная управляемость и автоматическое масштабирование с экономией 75 % затрат
РАЗРАБОТКА
Сбор и подготовка обучающих данных
Маркировка данных и использование готовых блокнотов для решения стандартных проблем
Выбор и оптимизация алгоритма машинного обучения
Высокопроизводительные встроенные алгоритмы и сотни готовых к использованию алгоритмов в AWS Marketplace
ОБУЧЕНИЕ
Настройка сред для обучения и управление ими
Обучение в инфраструктуре высочайшей производительности одним нажатием
Обучение и настройка модели
Однократное обучение, многократное использование и оптимизация модели
РАЗВЕРТЫВАНИЕ
Развертывание модели в продуктивной среде
Развертывание одним щелчком
Масштабирование продуктивной среды и управление ею
Полная управляемость и автоматическое масштабирование с экономией 75 % затрат
Избранные клиенты
Сбор и подготовка обучающих данных
Быстрая маркировка обучающих данных
Amazon SageMaker Ground Truth помогает быстро создавать в высшей степени точные обучающие наборы данных и управлять ими. Ground Truth обеспечивает удобный доступ к общедоступным и частным специалистам по маркировке данных и предоставляет им готовые рабочие процессы и интерфейсы для выполнения стандартных задач маркировки. Кроме того, Ground Truth анализирует выполненные специалистами маркировки и учится составлять качественные автоматические аннотации, что способствует значительному снижению затрат на маркировку.
Подробнее »
Размещенные блокноты
Полностью управляемые блокноты Jupyter, которые можно использовать в облаке или в локальной среде для изучения и визуализации данных, а также для разработки модели. Вы можете не только создавать собственные, но и выбирать подходящие блокноты из нескольких десятков предустановленных. Их можно использовать «как есть» для более быстрого и легкого изучения и визуализации обучающих данных или внести нужные изменения, чтобы они лучше соответствовали вашим нуждам. Доступны решения для множества стандартных проблем, таких как рекомендации и персонализация, выявление мошенничества, составление прогнозов, классификация изображений, прогнозирование оттока клиентов, выбор целевой клиентуры, обработка журналов и обнаружение аномалий, а также преобразование речи в текст.
Подробнее »
Выберите и оптимизируйте свой алгоритм машинного обучения
Amazon SageMaker автоматически настраивает и оптимизирует алгоритмы TensorFlow, Apache MXNet, PyTorch, Chainer, Scikit-learn, SparkML, Horovod, Keras и Gluon. Распространенные алгоритмы машинного обучения интегрируются в систему и настраиваются так, чтобы обеспечить необходимые показатели масштабируемости, скорости и точности. Для этого используется более 200 дополнительных предварительно обученных моделей и алгоритмов, которые доступны на AWS Marketplace. Кроме того, вы можете разместить в контейнере Docker и использовать любой другой алгоритм или платформу.
Настройка сред обучения и управление ими
Обучение одним нажатием
Начните обучение своей модели одним нажатием и снизьте затраты на него до 90% благодаря управляемому спотовому обучению. Amazon SageMaker выполняет все необходимые операции с базовой инфраструктурой, чтобы обеспечить удобное масштабирование наборов данных до размеров, исчисляемых петабайтами.
Самое быстрое распределенное машинное обучение в облаке.
Инстансы P3 в Amazon EC2 обеспечивают графические процессоры (GPU) 8 NVIDIA Tesla.
64 масштабируемые виртуальные ЦПУ Intel Xeon Skylake с AVX-512
Пропускная способность сети: 25 Гбит/с
Память: 16 ГБ на графический процессор
Обучение одним нажатием
Теперь для начала обучения вашей модели достаточно одного нажатия. Amazon SageMaker выполняет все необходимые операции с базовой инфраструктурой, чтобы обеспечить удобное масштабирование наборов данных до размеров, исчисляемых петабайтами.
Самое быстрое распределенное машинное обучение в облаке.
Инстансы P3 в Amazon EC2 обеспечивают графические процессоры (GPU) 8 NVIDIA Tesla.
64 масштабируемые виртуальные ЦПУ Intel Xeon Skylake с AVX-512
Пропускная способность сети: 25 Гбит/с
Память: 16 ГБ на графический процессор
Оптимальная среда для запуска TensorFlow
Оптимизации AWS TensorFlow обеспечивают эффективное, практически линейное масштабирование на сотнях графических процессоров, что дает возможность работать в облачных масштабах без значительной нагрузки на вычислительные ресурсы. Все это позволяет обучать более точные и более сложные модели в гораздо более сжатые сроки.
Полностью управляемое обучение и размещение
Практически линейное масштабирование на сотнях графических процессоров
Снижение расходов на логические выводы на 75 %
Эффективное масштабирование с 256 графическими процессорами
Настройка и оптимизация модели
Автоматическая настройка модели
Однократное обучение и многократное использование
Amazon SageMaker Neo позволяет обучить модель один раз, а затем развертывать ее где угодно. С помощью технологий машинного обучения SageMaker Neo автоматически оптимизирует любую обученную модель, созданную на распространенной платформе, для заданной вами аппаратной платформы без ущерба для точности. После этого модель можно развернуть в инстансах EC2 и SageMaker или на любом периферийном устройстве со средой выполнения Neo, в том числе на устройствах AWS Greengrass.
Развертывание моделей и управление ими в продуктивной среде
Развертывание в продуктивной среде одним нажатием
Amazon SageMaker упрощает развертывание обученной модели в продуктивной среде (это можно сделать одним нажатием), так что вы можете сразу начать генерировать прогнозы (делать логические выводы) на основе данных, поступающих в режиме реального времени, или пакетных данных. Ваша модель выполняется в автомасштабируемых кластерах инстансов машинного обучения Amazon SageMaker, расположенных в нескольких зонах доступности, что позволяет обеспечить как высокую производительность, так и высокую доступность. Помимо этого, Amazon SageMaker имеет встроенные возможности проведения А/В-тестирования модели, которые позволяют поэкспериментировать с различными версиями для достижения наилучших результатов.
Выполнение моделей на периферийных устройствах
AWS Greengrass упрощает развертывание моделей, обученных в Amazon SageMaker, на периферийных устройствах для составления логических выводов. AWS Greengrass позволяет подключенным устройствам выполнять функции AWS Lambda, синхронизировать данные устройств и безопасно взаимодействовать с другими устройствами даже без подключения к Интернету.
Используйте Amazon Elastic Inference для удобного внедрения механизмов эластичного ускорения графических процессоров в свои инстансы Amazon SageMaker, чтобы сократить свои затраты на глубокое обучение до 75 %. В большинстве случаев для составления логических выводов полный инстанс графического процессора избыточен. Кроме того, бывает сложно адаптировать требования вашего приложения глубокого обучения к графическому процессору, ЦП и памяти, используя инстанс только одного типа. Elastic Inference позволяет выбрать тип инстанса, который максимально соответствует общим требованиям вашего приложения к ЦП и памяти, а затем отдельно настроить подходящее значение ускорения графического процессора для составления логических выводов.
ПОДДЕРЖКА
Истории успеха клиентов
«Компания GE Healthcare преобразует систему здравоохранения, создавая условия для более эффективной работы поставщиков медицинских услуг. Мы обучаем модели компьютерного зрения в Amazon SageMaker, а затем развертываем их на машинах MRI и X-Ray. Используя техники стимулированного обучения, мы смогли уменьшить размер обученных моделей и обеспечить идеальный баланс между точностью модели и сетевым сжатием. Благодаря системе стимулированного обучения Amazon SageMaker мы смогли перейти от идеи к реализации менее, чем за четыре недели, ведь мы избавились от необходимости выполнять рабочие нагрузки стимулированного обучения».
«Технология AWS помогла НФЛ более эффективно улучшить метрики для предложения Next Gen Stats. Раньше на совершенствование Machine Learning и других вычислений уходили месяцы, теперь – нескольких недель или дней, что позволяет нам сосредоточить внимание на новых и уникальных способах привлечения, информирования и подогревания интереса фанатов».
«За каждым смахиванием фото в приложении для знакомств Tinder стоит система, которая управляет миллионами запросов в минуту, миллиардами просмотров в день в более чем в 190 странах. Amazon SageMaker упрощает машинное обучение, помогая нашим командам разработчиков выстраивать прогнозные модели для новых знакомств, которые иначе были бы невозможны».
«С помощью Amazon SageMaker мы можем ускорить развитие наших инициатив по искусственному интеллекту, причем делать это в нужном масштабе, создавая и развертывая свои алгоритмы на готовой платформе. Мы создадим новые крупномасштабные алгоритмы машинного обучения и искусственного интеллекта с развертыванием на этой платформе и сможем решать сложные проблемы, чтобы обеспечить процветание наших клиентов».
«Система стимулированного обучения Amazon SageMaker делает распределенное стимулированное обучение простым, масштабируемым и доступным. Мы создаем белок, разрабатывая передовые инструменты для обнаружения и оптимизации ферментов. Таким образом химическое производство становится дешевле и экологичнее. Благодаря системе стимулированного обучения Amazon SageMaker мы можем использовать разные кластеры с разными типами инстансов для обучения и выполнения имитационного моделирования. Процессы разработки стали гораздо более эффективными, а стоимость выполнения рабочих нагрузок стимулированного обучения значительно снизилась. Имея в своем распоряжении эти возможности, мы сможем достичь гораздо большего в сфере многоагентного стимулированного обучения».
«Компания Hotels.com всегда заинтересована в том, чтобы быстрее развиваться, использовать новейшие технологии и оперативно внедрять инновации. При использовании Amazon SageMaker распределенное обучение, оптимизированные алгоритмы и встроенные возможности гиперпараметров должны дать нашей команде возможность быстро создавать более точные модели по самым большим наборам данных и значительно сократить время, необходимое для переноса модели в рабочую среду. Все выполняется простым вызовом API. Применение Amazon SageMaker значительно снизит сложность машинного обучения, что позволит нам улучшить качество обслуживания наших клиентов, причем в короткие сроки».
Мэтт Фрай, вице-президент и руководитель отдела обработки данных в Hotels.com и партнерской сети Expedia
«Включение машинного обучения в наши системы и методы вывело понимание игры на совершенно новый уровень для наших болельщиков и 30 клубов. Мы выбрали AWS благодаря производительности, степени охвата и проверенной эффективности в предоставлении услуг машинного обучения, чтобы создавать новые возможности для обмена ранее неизвестными метриками».
Джейсон Гедтке (Jason Gaedtke), технический директор, Главная лига бейсбола
Создавайте модели будущего, используя полностью управляемые системы стимулированного обучения
Используйте стимулированное обучение (RL) для создания сложных моделей, способных достигать определенных результатов, без необходимости предварительной маркировки обучающих данных. Стимулированное обучение используется в тех случаях, когда модели «не у кого» и «не у чего» учиться, однако известен оптимальный результат: например, научиться водить автомобиль или торговать на бирже с выгодой. Алгоритмы стимулированного обучения не предполагают анализ данных за прошлые периоды – вместо этого в симуляторе выполняются определенные действия и с помощью условных вознаграждений и штрафов формируется правильная модель поведения.
Система стимулированного обучения Amazon SageMaker включает встроенные, полностью управляемые алгоритмы стимулированного обучения. SageMaker поддерживает стимулированное обучение на многих платформах, включая TensorFlow и MXNet, а также пользовательских платформах, специально разработанных для стимулированного обучения, например Intel Coach и Ray RLlib.
Система стимулированного обучения Amazon SageMaker также поддерживает множество сред стимулированного обучения, включая полнофункциональные двухмерные и трехмерные физические среды, коммерческие среды моделирования (MATLAB и Simulink) и все, что поддерживает интерфейс с открытым исходным кодом OpenAI Gym, включая среды собственной разработки. Кроме того, SageMaker RL позволяет обучать модели, используя виртуальные трехмерные среды, которые были созданы в Amazon Sumerian и AWS RoboMaker. Это означает, что можно моделировать все что угодно: от рекламных и финансовых систем до промышленных средств управления, робототехники и автономных роботов-автомобилей.
Открытость и гибкость
Машинное обучение по вашим правилам
Технология машинного обучения быстро развивается, и вам нужно сохранять гибкость, чтобы не терять доступ к широкому ассортименту платформ и инструментов. Благодаря Amazon SageMaker можно использовать встроенные контейнеры для любой популярной платформы или использовать собственную платформу. В любом случае Amazon SageMaker полностью берет на себя управление базовой инфраструктурой, необходимой для разработки, обучения и развертывания моделей.
Более высокая производительность на периферии
Возможности SageMaker Neo также доступны любому разработчику в рамках проекта с открытым исходным кодом Neo. Мы уверены, что предоставление кому угодно возможности выполнять модели где угодно – важный шаг на пути реализации полного потенциала машинного обучения. Продолжая работать над созданием продуктов с открытым исходным кодом, поставщики оборудования могут усовершенствовать Neo, предложив новые оптимизации и адаптировав аппаратную экосистему в целом для машинного обучения.
SageMaker адаптируется под ваши рабочие процессы
Amazon SageMaker состоит из нескольких отдельных компонентов: Ground Truth, Notebooks, Training, Neo и Hosting. Взаимодействие этих компонентов обеспечивает комплексный сервис машинного обучения. С другой стороны, эти компоненты можно использовать по отдельности, дополняя существующие процессы машинного обучения или обеспечивая поддержку моделей, которые выполняются в вашем ЦОД или на периферии.
Обучение и ускорение
AWS DeepRacer
Полностью автономный гоночный робот-автомобиль в масштабе 1/18. В нем есть все необходимое для освоения принципов стимулированного обучения на примере автопилота.
AWS DeepLens
Изучайте компьютерное зрение, используя предложенные проекты, руководства и примеры из реальной жизни, ведь в вашем распоряжении – первая в мире видеокамера для разработчиков с поддержкой глубокого обучения.
Обучение и сертификация AWS Machine Learning
Университет AWS Machine Learning. Структурированные курсы по машинному обучению, основанные на материалах, которые используются для обучения разработчиков Amazon. Учащиеся получат базовые знания и примеры их практического применения.
Amazon ML Solutions Lab
Amazon ML Solutions Lab – это возможность для ваших специалистов связаться с экспертами по машинному обучению Amazon. Программа включает практические учебные семинары с элементами мозгового штурма и профессиональные консультативные услуги, которые помогут выполнить разбор бизнес‑задач в обратном направлении, а затем шаг за шагом пройти весь процесс внедрения модели в продуктивную среду. После этого вы сможете использовать полученные знания и навыки для реализации дополнительных возможностей в своей организации.