AWS позволяет упростить геномный анализ и безопасно масштабировать его. AWS поддерживает встроенную масштабируемость и развитую сеть партнеров, которые предлагают инструменты и пакеты данных, готовые к работе с вашими конфиденциальными данными и рабочими нагрузками. Клиенты AWS получают возможность ускорить анализ геномных данных и выстроить мост, соединяющий их существующую локальную инфраструктуру с облаком.
С помощью AWS можно эффективно хранить и динамично обрабатывать данные, взаимодействовать с коллегами и интегрировать свои открытия в клиническую практику. Можно также различными способами обеспечивать безопасность и соответствие требованиям, например с помощью шифрования данных при хранении и передаче или деидентификации данных пациента.
Организации, занимающиеся геномикой, имеют дело с пакетами данных, которые являются едва ли не самыми большими и сложными в мире. Целью таких организаций является предоставление персонализированных медицинских услуг. AWS позволяет клиентам, занимающимся геномикой, быстро извлекать из данных важную информацию и повышает тем самым ценность их работы. AWS предоставляет быстрый доступ к гибким и экономичным ИТ-ресурсам. Платформа AWS избавляет клиентов от больших стартовых расходов времени и средств на создание и поддержку инфраструктуры. Вы практически мгновенно получаете доступ к необходимому количеству ресурсов и платите только за то, что используете.
Многие проекты в области геномики, особенно на ранних стадиях, работают с большими колебаниями в объемах выполняемых вычислений. Создается конвейер, проводится эксперимент, и затем все сворачивается и откладывается для использования в будущем. Если запускать такой конвейер на AWS, его можно эффективно масштабировать в соответствии с увеличением и уменьшением потребностей. AWS также предоставляет альтернативные цены и методы вычислений для полного геномного тестирования.
AWS сформировала обширную сеть партнеров, с которыми можно сотрудничать по широкому спектру задач, от создания геномного конвейера до интеграции полученных результатов в схемы лечения и диагностики. Эта сеть предоставляет набор разнообразных гибких возможностей и позволяет расширять функциональность ваших решений. Партнеры AWS, подключившиеся к программе компетентности в сфере медико-биологических разработок, подтвердили свой профессионализм в технической области и обеспечили клиентам успех в области медико-биологических разработок.
«Благодаря AWS DNAnexus позволяет компаниям по всему миру заниматься генетическим анализом и клиническими исследованиями в безопасной и соответствующей требованиям среде, причем в масштабах, которые ранее казались недостижимыми».
Ричард Дели, генеральный директор, DNAnexus
«Обслуживать физическую платформу для работы с данными нам было бы не по карману. [AWS позволяет нам] увеличивать масштаб экспериментов и испытывать новое программное обеспечение на реалистичных конфигурациях из сотен и даже тысяч компьютеров».
Майкл Франклин, профессор информатики и директор лаборатории AMP Lab, Калифорнийский университет в Беркли
«Полнофункциональная система инструментов, разработанная на базе API AWS, стала своеобразной книгой рецептов, которую мы использовали при запуске инфраструктуры...и это нам очень помогло».
Рави Маддури, научный сотрудник и руководитель проекта, Чикагский университет
| Видео клиента | Серия «This is My Architecture». How UC Santa Cruz Uses Mesos & Amazon EC2 Spot to Enable Low Cost Cancer Research (ссылка) | ||
| Техническое описание | Руководство AWS по геномике: общие стратегии и рекомендации (ссылка) |
||
| Публикация в блоге | How DNAnexus and Edico Genome are Powering Precision Medicine on AWS (ссылка) |
Чтобы облегчить распределение и запуск геномного конвейера, можно использовать контейнеры в облаке AWS с помощью Amazon EC2 Container Service (ECS) или работать с Docker на AWS. Можно решать крупные проблемы, возникающие при проведении исследований в области геномики, по частям. Например, облегчить использование библиотек со сложными настройками, сделать воспроизводимым вывод данных и упростить совместное использование данных.
Компания Human Longevity, Inc. рассказывает, как она обрабатывает до 12 ТБ необработанных данных в день в Amazon S3 при помощи специальных аналитических инструментов, работающих в контейнерах Docker.
Ознакомьтесь с архитектурной схемой здесь.
Контейнеры AWS для решений в области геномики
Использование контейнеров в облаке AWS позволяет создавать надежные, масштабируемые приложения и сервисы, использующие такие преимущества облака AWS, как эластичность, доступность, безопасность и экономия за счет масштаба. Кроме того, вы платите только за те ресурсы, которые используете.
Amazon EC2 Container Service – это высокопроизводительный сервис управления контейнерами с высокими возможностями масштабирования. Он поддерживает контейнеры Docker и позволяет с легкостью запускать приложения в автоматически управляемом кластере инстансов Amazon EC2. C Amazon ECS не требуется самостоятельно устанавливать, масштабировать и обслуживать инфраструктуру управления кластерами.
Использование Docker в AWS предоставляет высоконадежный и недорогой способ быстро создавать, запускать, тестировать и развертывать распределенные приложения в любых масштабах. В рамках сервисов AWS обеспечена поддержка решений Docker с открытым исходным кодом и коммерческого уровня.
Для того чтобы более эффективно управлять геномным конвейером, можно разработать правила управления рабочим потоком в облаке AWS. Это поможет разработать и выполнить серию конкретных вычислительных шагов и шагов по манипуляции данными.
Решения по управлению рабочими потоками в AWS
Amazon SWF позволяет разработчикам создавать, запускать и масштабировать фоновые задания с параллельными или последовательными этапами выполнения. Этот сервис представляет собой полностью автоматизированное средство отслеживания и координирования заданий в облаке.
Сервис AWS Batch динамически выделяет оптимальные объемы и типы вычислительных ресурсов на основании объемов и особых требований к ресурсам заданий пакетной обработки, отправленных на выполнение. AWS Batch осуществляет планирование и выполнение пакетных вычислительных рабочих нагрузок с использованием всего спектра вычислительных сервисов и возможностей платформы AWS, например сервиса Amazon EC2 и спотовых инстансов.
Сервис AWS Step Functions облегчает координацию компонентов распределенных приложений и микросервисов благодаря использованию наглядных схем рабочих потоков. Если приложение состоит из отдельных компонентов, каждый из которых выполняет свою функцию, его можно легко изменять или масштабировать. Step Functions – это простой способ координировать работу компонентов и последовательно контролировать функции приложения.
Организации, занимающиеся геномикой, рискуют утонуть в потоках данных, генерируемых их геномными конвейерами. Чтобы увеличить практическую ценность этих данных, можно выполнить развертывание на AWS компонентов, которые будут поддерживать весь аналитический конвейер, от извлечения и анализа данных до визуализации, хранения и архивирования.
Мэри Голдман, инженер по проектированию и специалист по связям с научным сообществом Института геномики Калифорнийского университета в Санта-Крузе, объясняет, как специалисты института обрабатывают данные геномного секвенирования на AWS. Для обработки объемов данных, измеряемых в петабайтах, было разработано экономичное решение с одновременным использованием контейнеров Docker и спотовых инстансов EC2.
Анализ больших данных на AWS
Amazon EMR предоставляет управляемую инфраструктуру Hadoop, которая способна эффективно, быстро и экономично обрабатывать большие объемы данных на динамически масштабируемых инстансах Amazon EC2. Amazon EMR безопасно и надежно выполняет обработку больших данных для различных примеров использования, включая анализ журналов, индексацию веб-сайтов, трансформацию данных (ETL), машинное обучение, научное моделирование и биоинформатику.
Amazon Redshift – это высокоскоростное, полностью управляемое, масштабируемое до петабайт хранилище данных, которое делает анализ всех данных с помощью имеющихся у вас инструментов бизнес-аналитики проще и дешевле. Вы можете начать всего лишь с 0,25 USD за час без каких-либо обязательств и выполнять масштабирование до нескольких петабайт по цене 1000 USD за терабайт в год. Это в десять раз меньше стоимости других решений.
Amazon Athena – интерактивный сервис запросов, позволяющий анализировать данные в Amazon S3 стандартными средствами SQL. Athena – это бессерверный сервис, поэтому не нужно управлять архитектурой, а плата начисляется только за выполненные запросы.
Решения партнеров AWS в сфере больших данных
Набор программных решений ConvergeHEALTH создан с пониманием того, что на современном рынке действительно ценная информация извлекается из комбинации фактических данных, подтверждающих данных и практических знаний, а не просто из данных. В решения компании вложен не имеющий себе равных отраслевой опыт, они разработаны специально для работы над самыми крупными бизнес-задачами и операционными проблемами, с которыми сталкиваются организации в отрасли здравоохранения и медико-биологических исследований.
Набор программных решений ConvergeHEALTH создан с пониманием того, что на современном рынке действительно ценная информация извлекается из комбинации фактических данных, подтверждающих данных и практических знаний, а не просто из данных. В решения компании вложен не имеющий себе равных отраслевой опыт, они разработаны специально для работы над самыми крупными бизнес-задачами и операционными проблемами, с которыми сталкиваются организации в отрасли здравоохранения и медико-биологических исследований.
Компания Edico Genome создала запатентованную комплексную платформу для анализа секвенируемых данных следующего поколения DRAGEN™, которая ускоряет анализ данных генома с нескольких часов до нескольких минут, сохраняя при этом высокую точность и уменьшая затраты. Лучшие клинические специалисты и исследователи используют платформу для ускоренного диагностирования критически больных новорожденных, пациентов, больных раком, и будущих родителей, ожидающих результатов пренатальных тестов, а также для ускорения получения результатов учеными и разработчиками лекарств.
С помощью AWS вы можете получать доступ к собственным частным пакетам данных или к контролируемым репозиториям, таким как база данных генотипов и фенотипов (dbGaP) Национальных институтов здравоохранения (NIH). Для анализа данных можно использовать инструментарий по вашему выбору (например, GATK или Galaxy). AWS обладает всем инструментами, необходимыми для обеспечения безопасности и соответствия требованиям при работе с такими конфиденциальными данными, включая встроенные возможности шифрования данных при хранении и пересылке.
Работе с контролируемыми пакетами данных на платформе AWS посвящено техническое описание, опубликованное AWS. Загрузить техническое описание AWS по работе с dbGaP »
Решения AWS для пакетов данных
Amazon Simple Storage Service (Amazon S3) – это объектное хранилище, оснащенное простым веб-интерфейсом. Сервис позволяет хранить любой объем данных и извлекать данные через Интернет, где бы вы ни находились. Amazon S3 обеспечивает надежность на уровне 99,999999999 % и возможность масштабирования более чем на триллионы объектов по всему миру.
Apache Hadoop – это программный проект с открытым исходным кодом, предназначенный для эффективной обработки больших пакетов данных. Вместо одного большого компьютера для обработки и хранения данных Hadoop предлагает использовать для параллельного анализа огромных пакетов данных кластеры на базе стандартного аппаратного обеспечения. Сервис Amazon EMR позволяет легко создавать полностью настроенные эластичные кластеры инстансов Amazon EC2, на которых работают Hadoop и различные приложения этого семейства, и обеспечивать управление таковыми.
Использование Docker в AWS предоставляет высоконадежный и недорогой способ быстро создавать, запускать, тестировать и развертывать распределенные приложения в любых масштабах. В рамках сервисов AWS обеспечена поддержка решений Docker с открытым исходным кодом и коммерческого уровня.
CfnCluster представляет собой инструмент, используемый для создания кластеров высокопроизводительных вычислений (HPC) на AWS и управления ими. После создания кластера можно войти в кластер через главный узел, где вам будет открыт доступ к стандартным инструментам HPC, таким как планировщики, совместные хранилища и среда MPI.
Решения партнеров AWS для пакетов данных
Seven Bridges Genomics предоставляет масштабируемую и безопасную облачную платформу для анализа данных секвенирования нового поколения (NGS). Платформа предназначена для исследователей, лабораторий, головных центров и фармацевтических компаний. Она позволяет управлять большими объемами данных NGS, разрабатывать и запускать масштабируемые аналитические конвейеры и обеспечивать эффективное взаимодействие при работе над проектом.
DNAnexus предоставляет глобальную сеть совместного использования и администрирования генетических данных, а также инструменты для ускорения исследований в области геномики. Облачная платформа DNAnexus оптимизирована для решения проблем в области безопасности, масштабирования и взаимодействия в клиниках и исследовательских лабораториях организаций, которые придерживаются подхода к здравоохранению, основанного на генетике.
BaseSpace Sequence Hub предлагает широкий спектр приложений для анализа данных секвенирования нового поколения (NGS), разработанных и оптимизированных компанией Illumina или расширяющейся сетью сторонних поставщиков приложений. Вместе эти два источника охватывают все традиционные методы анализа, используемые для данных NGS компании Illumina, включая секвенирование РНК, экзомное обогащение, секвенирование ампликонов, полногеномное секвенирование (WGS), алгоритм de novo assembly и 16S-метагеномику.
Делитесь данными с коллегами – и неважно, работают они в соседнем кабинете или на другом конце света. AWS может предоставить централизованное, совместно используемое рабочее пространство, где вы вместе с коллегами сможете анализировать пакеты данных или писать алгоритмы и создавать инструменты. При этом не нужно будет физически перемещать данные куда-либо или беспокоиться о нарушении прав на интеллектуальную собственность.
Решения AWS для совместной работы
Amazon Simple Storage Service (Amazon S3) – это объектное хранилище, оснащенное простым веб-интерфейсом. Сервис позволяет хранить любой объем данных и извлекать данные через Интернет, где бы вы ни находились. Amazon S3 обеспечивает надежность на уровне 99,999999999 % и возможность масштабирования более чем на триллионы объектов по всему миру.
Функция Amazon S3 Transfer Acceleration обеспечивает быструю, простую и безопасную передачу файлов на большие расстояния между вашим клиентом и корзиной Amazon S3.
Amazon Redshift – это высокоскоростное, полностью управляемое, масштабируемое до петабайт хранилище данных, которое делает анализ всех данных с помощью имеющихся у вас инструментов бизнес-аналитики проще и дешевле. Вы можете начать всего лишь с 0,25 USD за час без каких-либо обязательств и выполнять масштабирование до нескольких петабайт по цене 1000 USD за терабайт в год. Это в десять раз меньше стоимости других решений.
Решения партнеров AWS для совместной работы
Thermo Fisher – это американская биотехнологическая компания, производящая оборудование для генетического тестирования и лабораторий. Компания использовала AWS для создания платформы Thermo Fisher Cloud, с помощь которой исследователи и ученые надежно хранят, анализируют и совместно используют данные в глобальном масштабе. Используя AWS, компания Thermo Fisher предоставляет своим клиентам масштабируемую и безопасную платформу, обеспечивающую проведение исследований, совместную работу и улучшение медицинского обслуживания пациентов.
REAN Cloud (произносится как «рейн») – это полнофункциональный ведущий партнер-консультант AWS и партнер программы управляемых сервисов AWS. Заставьте опыт работы компании в облаке и в сфере DevOps работать на вас. Компания поставляет комплексные корпоративные ИТ-решения. REAN Cloud внедряет безопасные архитектуры, соответствующие требованиям наиболее жестко регламентируемых отраслей, таких как финансовые сервисы, здравоохранение и медико-биологические разработки, образование и государственный сектор.
Если вы готовы использовать геномику в клинической практике, AWS предлагает инструменты и обширную сеть партнеров, которые помогут создать приложения в области геномики, соответствующие требованиям HIPAA.
Решения AWS в области интеграции геномного секвенирования в клиническую практику
AWS OpsWorks – это сервис управления конфигурацией на базе Chef, платформы автоматизации, которая рассматривает конфигурацию серверов в виде кода. OpsWorks использует Chef для автоматизации конфигурации, развертывания и управления серверами в инстансах Amazon Elastic Compute Cloud (Amazon EC2) или в локальных вычислительных средах. OpsWorks предлагает два решения: AWS Opsworks for Chef Automate и AWS OpsWorks Stacks.
Amazon SWF позволяет разработчикам создавать, запускать и масштабировать фоновые задания с параллельными или последовательными этапами выполнения. Этот сервис представляет собой полностью автоматизированное средство отслеживания и координирования заданий в облаке.
Amazon API Gateway – это полностью управляемый сервис для разработчиков, предназначенный для создания, публикации, обслуживания, мониторинга и обеспечения безопасности API в любых масштабах. Amazon API Gateway выполняет любые задания, связанные с приемом и обработкой сотен тысяч одновременных вызовов API, включая управление трафиком, авторизацию и контроль доступа, мониторинг и управление версиями API. Работа с Amazon API Gateway не требует минимальных платежей или стартовых вложений.
Решения партнеров AWS в области интеграции геномного секвенирования в клиническую практику
Компания Syapse дает возможность системам здравоохранения улучшать клинические результаты, оптимизировать рабочие процессы и переходить к новым моделям оплаты. Ведущие системы здравоохранения используют этот комплексный пакет ПО для реализации программ прецизионной онкологии. Он представляет собой образцовую для этой категории платформу, которая позволяет осуществлять интеграцию клинических и генетических данных, поддержку решений и координацию медицинских услуг, а также повышать качество обслуживания пациентов.
AWS Marketplace – это интернет-магазин программного обеспечения, в котором геномные компании могут найти, приобрести и сразу начать использовать популярное ПО для коммерческих компаний или специальные приложения, работающие в облаке AWS.
Дополнительные сведения об AWS Marketplace »
Партнерская сеть Amazon (APN) включает партнеров, подтвердивших компетентность в сфере медико-биологических разработок путем демонстрации технических навыков работы с платформой AWS, подтвержденных отзывами клиентов. Сотрудничество с такими партнерами предоставляет вам доступ к инновационным облачным решениям, имеющим подтвержденный опыт успешного использования в здравоохранении и медико-биологических разработках.
Подробнее о решениях партнеров в сфере медико-биологических разработок »
Мы можем помочь вам начать работу, предоставив консультации подразделений по продажам и архитектурным решениям, либо вы можете начать работу самостоятельно уже сегодня.