Amazon MSK - Managed Streaming per Apache Kafka

Amazon MSK è un servizio completamente gestito che semplifica la creazione e l'esecuzione di applicazioni che si servono di Apache Kafka per l'elaborazione dei dati in streaming. Apache Kafka è una piattaforma open source per creare pipeline di flussi di dati e applicazioni in tempo reale. Con Amazon MSK, puoi usare le API native di Apache Kafka per data lake popolari, trasmettere modifiche verso e da database, nonché favorire il machine learning e le applicazioni di analisi.

I cluster Apache Kafka sono complessi da configurare, ridimensionare e gestire in produzione. Quando esegui Apache Kafka, hai bisogno di effettuare il provisioning dei server, configurare Apache Kafka manualmente, sostituire i server se si verifica un errore, orchestrare patch di server e aggiornamenti, progettare cluster per un’alta disponibilità, assicurarti che i dati siano archiviati e al sicuro in modo duraturo, configurare monitoraggio e allarmi, pianificare con attenzione gli eventi di dimensionamento per supportare modifiche di carico. Amazon MSK semplifica la creazione e l'esecuzione di applicazioni di produzione in Apache Kafka anche se non si ha esperienza nella gestione dell'infrastruttura Apache Kafka. Questo significa che dovrai dedicare meno tempo alla gestione dell’infrastruttura e avrai più tempo a disposizione per la creazione delle applicazioni.

Con pochi clic sulla console di Amazon MSK, puoi creare cluster Apache Kafka ad alta disponibilità con impostazioni e configurazione basate sulle best practice di distribuzione di Apache Kafka. Amazon MSK effettua automaticamente il provisioning ed esegue i cluster Apache Kafka. Amazon MSK monitora continuamente lo stato di integrità dei cluster e sostituisce automaticamente i nodi danneggiati, senza tempi di inattività per le tue applicazioni. Inoltre, Amazon MSK protegge i cluster Apache Kafka eseguendo la crittografia dei dati inattivi.

Vantaggi

Interamente compatibile

Amazon MSK esegue e gestisce Apache Kafka per te. Questo semplifica la migrazione e l’esecuzione delle applicazioni Apache Kafka esistenti su AWS, senza modifiche al codice dell’applicazione. Usando Amazon MSK, puoi mantenere la compatibilità dell’open source e continuare ad usare strumenti di personalizzazione famigliari e realizzati dalla community, ad esempio MirrorMaker, Apache Flink e Prometheus.

Servizio completamente gestito

Amazon MSK ti consente di concentrarti sulla creazione di applicazioni di flussi di dati, senza doverti preoccupare del sovraccarico operativo della gestione del tuo ambiente Apache Kafka. Amazon MSK gestisce il provisioning, la configurazione e la manutenzione dei cluster Apache Kafka e dei nodi ZooKeeper per l'utente. Amazon MSK mostra inoltre i parametri principali di prestazione di Apache Kafka nella console AWS.

Elaborazione elastica di flussi

Apache Flink è un solido framework open source di elaborazione di flussi per calcoli stateful dei flussi di dati. Puoi eseguire applicazioni Apache Flink completamente gestite scritte in SQL, Java o Scala che si dimensionano in modo elastico per l’elaborazione di flussi di dati nell’ambito di Amazon MSK.

Elevata disponibilità

Amazon MSK crea un cluster Apache Kafka e offre una replica multi AZ all’interno di una regione AWS. Amazon MSK monitora continuamente lo stato di integrità del cluster e se un componente risulta danneggiato, lo sostituisce automaticamente.

Altamente sicuro

Amazon MSK fornisce diversi livelli di sicurezza per i cluster Apache Kafka, tra cui isolamento della rete VPC, AWS IAM per l'autorizzazione API del piano di controllo, crittografia a riposo, crittografia TLS in transito, autenticazione di certificati basati su TLS e offre supporto per le liste di controllo accessi Apache Kafka (ACL) per l’autorizzazione del piano dati.

Casi di studio dei clienti

Vedi casi di studio dei clienti »

Come funziona

Apache Kafka è un archivio di flusso dati che separa le applicazioni che producono flussi di dati (produttori) nell’archivio dati dalle applicazioni che consumano flussi di dati (consumatori) dall’archivio dati. Le organizzazioni usano Apache Kafka come origine dati per le applicazioni che analizzano continuamente e reagiscono al flusso di dati.

Con pochi clic sulla console Amazon MSK, Amazon MSK esegue il provisioning del tuo cluster Apache Kafka e ne gestisce gli aggiornamenti delle versioni, così che potrai sempre usufruire della versione più veloce e più sicura supportata dal servizio. Una volta configurati i cluster, le tue applicazioni possono inviare flussi di dati dai produttori a un argomento, dove tali dati saranno letti in tempo reale dai consumatori.