Amazon EMR
Einfache Ausführung und Skalierung von Apache Spark, Hadoop, HBase, Presto, Hive und anderen Big Data-Frameworks
Amazon EMR bietet ein verwaltetes Hadoop-Framework, mit dem Sie umfangreiche Datenmengen einfach, schnell und kosteneffektiv in dynamisch skalierbaren Amazon EC2 Instances verarbeiten können. Sie können in Amazon EMR auch andere beliebte verteilte Frameworks wie Apache Spark, HBase, Presto und Flink ausführen. Darüber hinaus haben Sie die Möglichkeit, mit Daten in anderen AWS-Datenspeichern wie Amazon S3 und Amazon DynamoDB zu interagieren.
Amazon EMR verarbeitet sicher und zuverlässig eine breite Palette von Big Data-Anwendungsfällen. Hierzu zählen unter anderem Protokollanalysen, Web-Indizierungen, Datentransformationen (ETL), Machine Learning, Finanzanalysen, wissenschaftliche Simulationen und Bioinformatik.
Nutzen
Einfache Nutzung
Sie können ein Amazon EMR-Cluster in wenigen Minuten starten. Sie brauchen sich nicht um die Bereitstellung von Knoten, die Einrichtung von Clustern, die Konfiguration von Hadoop oder die Optimierung von Clustern zu kümmern. Diese Aufgaben werden von Amazon EMR ausgeführt, damit Sie sich auf die Analyse konzentrieren können.
Geringe Kosten
Amazon EMR-Preise sind einfach und planbar: Sie zahlen für jede genutzte Sekunde, wobei mindestens eine Gebühr für eine Minute in Rechnung gestellt wird. Sie können einen Hadoop-Cluster mit 10 Knoten schon für nur 0,15 USD pro Stunde starten. Da Amazon EMR über systemeigene Unterstützung für Amazon EC2 Spot und Reserved Instances verfügt, können Sie außerdem 50 bis 80 % der Kosten der zugrunde liegenden EC2 Instances einsparen.
Elastisch
Mit Amazon EMR können Sie eine, Hunderte oder sogar Tausende von Datenverarbeitungs-Instances bereitstellen, um Daten jeder Größenordnung zu verarbeiten. Sie können die Anzahl der Instances einfach manuell oder mittels Auto Scaling erhöhen oder verringern, und zahlen nur für das, was Sie nutzen.
Zuverlässig
Sie brauchen weniger Zeit für die Optimierung und Überwachung Ihres Clusters aufzuwenden. Amazon EMR hat Hadoop für die Cloud optimiert. Es überwacht auch Ihren Cluster, wiederholt fehlgeschlagene Aufgaben und ersetzt Instances mit schlechter Leistung automatisch.
Sicher
Amazon EMR konfiguriert automatisch die Amazon EC2-Firewall-Einstellungen, die den Netzwerkzugriff auf Instances steuern, und Sie können Cluster in Amazon Virtual Private Cloud (VPC) starten, einem selbst definierten logisch isolierten Netzwerk. Für in Amazon S3 gespeicherte Objekte können Sie die Amazon S3-Verschlüsselung auf der Serverseite oder Amazon S3-Verschlüsselung auf der Clientseite mit EMRFS, AWS Key Management Service oder mit vom Kunden verwalteten Schlüsseln verwenden. Darüber hinaus können Sie mühelos andere Verschlüsselungsoptionen sowie die Authentifizierung mit Kerberos aktivieren.
Flexibel
Sie haben die vollständige Kontrolle über Ihren Cluster. Sie verfügen über Root-Zugriff auf jede Instance, sodass Sie mühelos zusätzliche Anwendungen installieren können, und Sie können jeden Cluster mit Bootstrap-Aktionen anpassen. Sie können Amazon EMR-Cluster auch mit benutzerdefinierten Amazon Linux-AMIs starten.
Anwendungsfälle
Clickstream-Analyse
Sie können mit Amazon EMR Clickstream-Daten analysieren, um Benutzer zu segmentieren, Benutzereinstellungen zu verstehen und effektivere Anzeigen zu schalten.
Echtzeitanalysen
Verwenden und verarbeiten Sie Echtzeitdaten von Amazon Kinesis, Apache Kafka oder anderen Daten-Streams mit Spark Streaming für Amazon EMR. Führen Sie fehlertolerante Streaming-Analysen durch, und schreiben Sie die Ergebnisse in Amazon S3 oder HDFS.
Protokollanalyse
Mit Amazon EMR lassen sich durch Web- und mobile Anwendungen generierte Protokolle verarbeiten. Amazon EMR hilft den Kunden, Petabytes an unstrukturierten und halbstrukturierten Daten in nützliche Einblicke in Anwendungen und Benutzerverhalten zu verwandeln.
Extract Transform Load (ETL)
Amazon EMR bietet Ihnen die Möglichkeit, Verarbeitungslasten zur Datentransformation (ETL) großer Datensätze, wie das Sortieren, Aggregieren und Zusammenführen von Daten, schnell und kosteneffizient durchzuführen.
Prädiktive Analysen
Apache Spark für Amazon EMR beinhaltet MLlib für skalierbare Algorithmen für maschinelles Lernen. Alternativ haben Sie auch die Möglichkeit, Ihre eigenen Bibliotheken zu verwenden. Apache Spark für Amazon EMR beinhaltet MLlib für skalierbare Algorithmen für Machine Learning. Alternativ haben Sie auch die Möglichkeit, Ihre eigenen Bibliotheken zu verwenden.
Genomik
Mit Amazon EMR können riesige Mengen genomischer Daten und anderer wissenschaftlicher Datensätze rasch und effizient verarbeitet werden. Forscher können kostenfrei auf durch AWS gehostete genomische Daten zugreifen.
Fallbeispiele
Blog-Beiträge und Artikel
Erste Schritte mit AWS
Registrieren Sie sich für ein AWS-Konto
Erfahren Sie mehr in unseren zehnminütigen praktischen Anleitungen
Beginnen Sie die Erstellung mit AWS
Weitere Informationen zu Amazon EMR