AWS’de Data Lake'ler ve Analitik
Data lake va analitik çözümlerinizi oluşturmanız için en kapsamlı, güvenli, ölçeklenebilir ve uygun maliyetli hizmet portföyü
Günümüzde analiz edilmesi gereken verilerin boyutu ve karmaşıklığı nedeniyle geçmişte işe yarayan teknoloji ve yaklaşımlar artık yetersiz kalıyor. Verilerinizden olabildiğince fazla değer elde etmeniz için AWS, data lake’lerinizi bulutta oluşturmanıza, IoT cihazlarından gelen veriler dahil olmak üzere tüm verilerinizi makine öğrenimi gibi analitik yaklaşımlarıyla analiz etmenize olanak tanıyan en kapsamlı, güvenli, ölçeklenebilir ve uygun maliyetli hizmet portföyünü sunmaktadır.
NASDAQ, Zillow, Yelp, iRobot ve FINRA gibi işletmelerinin kritik öneme sahip analitik iş yüklerini çalıştırmak için AWS’ye güvenen ve data lake’leriyle analitik yüklerini AWS’de çalıştıran kuruluş sayısı diğer platformlardan çok daha fazladır.
AWS’de Data Lake'ler ve Analitik
AWS, data lake’lerinizi ve analitik çözümlerinizi oluşturmak üzere verilerinizi taşımanız, depolamanız ve analiz etmeniz için en kapsamlı hizmet yelpazesini sunar.
Veri Taşıma
Verilerinizi şirket içinden, gerçek zamanlı olarak içeri aktarın.
Data Lake
Boyutunun gigabayt ya da eksabayt ölçeğinde olmasından bağımsız olarak dilediğiniz türde veriyi güvenli bir biçimde depolayın.
Analitik
Verilerinizi geniş bir analitik araç ve altyapı seçenek yelpazesiyle analiz edin.
Machine Learning
Gelecekte alınacak sonuçları tahmin edin ve izlenecek yolu belirleyin.
Veri Taşıma
AWS’de data lake oluşturma sürecinin ilk adımı verileri buluta taşımaktır. Verilerin büyük bir kesinti, yüksek maliyetler ve zaman kaybı olmaksızın taşınması konusunda fiziksel olarak bant genişliği ve aktarım hızı kısıtlamaları söz konusudur. AWS, veri aktarımını kolay ve esnek bir sürece dönüştürmek için verilerin buluta aktarılmasına yönelik en geniş seçenek yelpazesini sunar.
Şirket içi veri taşıma
AWS, veri merkezinizden AWS’ye veri taşımanın birden çok yolunu sunar. Ağınız ile AWS arasında tahsis edilmiş bir ağ bağlantısı kurmak için AWS Direct Connect’i kullanabilirsiniz. Fiziksel gereçler kullanarak AWS’ye petabaytlarca, hatta eksabaytlarca veri taşımak için AWS Snowball ve AWS Snowmobile çözümlerini kullanabilirsiniz. Şirket içi uygulamalarınızın verileri doğrudan AWS’de depolaması için AWS Storage Gateway’i kullanabilirsiniz.
Gerçek zamanlı veri taşıma
AWS’de web siteleri, mobil uygulamalar ve internete bağlı cihazlar gibi yeni kaynaklar tarafından üretilen gerçek zamanlı verileri almanın birden çok yolu sunulur. Akış verilerinin ve IoT cihaz verilerinin yakalanıp yüklenmesini kolaylaştırmak için Amazon Kinesis Data Firehose, Amazon Kinesis Video Streams ve AWS IoT Core hizmetlerini kullanabilirsiniz.
Data Lake
Veriler bulut için hazır olduğunda, AWS’nin sunduğu Amazon S3 ve Amazon Glacier hizmetleri biçiminden bağımsız olarak tüm verilerin güvenli bir şekilde ve çok büyük ölçekte bulutta depolanmasını kolaylaştırır. AWS Glue, son kullanıcıların analizlerinde kullanmak üzere ilgili verileri bulmasını kolaylaştırmak için otomatik olarak kullanıcıların arama yapabileceği ve sorgulayabileceği tek bir katalog oluşturur.
Object Storage
Amazon S3
Amazon S3, veri erişimi için milisaniye düzeyinde gecikme süresi sunan, güvenli, yüksek oranda ölçeklenebilir ve dayanıklı bir nesne depolama alanıdır. S3, web siteleri ve mobil uygulamalar, kurumsal uygulamalar ve IoT sensörleri ya da cihazlardan alınan veriler dahil olmak üzere kaynağından bağımsız olarak her tür verinin depolanabilmesi için tasarlanmıştır. Her miktarda verinin eşsiz bir erişilebilirlik düzeyinde depolanıp alınabilmesini sağlayacak ve en başından itibaren %99,999999999 (11 dokuz) dayanıklılık sağlayacak şekilde tasarlanmıştır. S3, en katı düzenleme gereksinimlerini dahi karşılayan kapsamlı güvenlik ve mevzuat uyumluluğu özellikleri sunar.
Yedekleme ve Arşivleme
Amazon Glacier
Uzun vadeli yedekleme ve arşivlemeye yönelik güvenli, dayanıklı ve son derece düşük maliyetli bir depolama alanı olan Amazon Glacier, verilere dakikalar içinde erişim sağlayabilir. %99,999999999 (11 dokuz) dayanıklılığa sahip olacak şekilde tasarlanmıştır ve en katı düzenleme gereksinimlerinin bile karşılanmasına yardımcı olabilecek kapsamlı güvenlik ve uyumluluk özellikleri sağlar. Verilerini aylık gigabayt başına 0,004 USD düzeyinden başlayan fiyatlarla depolayabilen müşteriler, şirket içi çözümlerle karşılaştırıldığında önemli ölçüde tasarruf sağlar.
Data Catalog
AWS Glue
AWS Glue, data lake’teki verilerin keşfedilebilmesi için bir veri kataloğu sağlayan, tam olarak yönetilen bir hizmettir ve verilerin analize hazırlanması için ayıklama, dönüştürme ve yükleme (ETL) özelliklerine sahiptir. Tüm veri varlıkları için otomatik olarak kalıcı bir meta veri deposu olarak oluşturulan veri kataloğu, tüm verileri tek bir görünümde aranabilir ve sorgulanabilir hale getirir.
Analitik
AWS, data lake üzerinde çalışan en geniş, en uygun maliyetli analitik hizmet seçenek yelpazesini sağlar. Analitik hizmetlerinin her biri etkileşimli analiz, Hadoop ve Spark ile büyük veri işleme, veri ambarı, gerçek zamanlı analitik, operasyonel analitik, panolar ve görselleştirmeler gibi birçok farklı analitik kullanım örneğine yönelik olarak, amacına uygun bir şekilde tasarlanmıştır.
Etkileşimli Analitik
Amazon Athena
Amazon Athena, etkileşimli analiz için verilerin standart SQL sorguları kullanılarak doğrudan S3 ve Glacier’da analiz edilmesini kolaylaştırır. Athena sunucusuz olduğundan, kurmanız veya yönetmeniz gereken bir altyapı yoktur. Verileri anında sorgulamaya başlayarak sonuçları saniyeler içinde alabilirsiniz ve yalnızca çalıştırdığınız sorgular için ödeme yaparsınız. Basitçe Amazon S3'teki verilerinizi işaret edin, şemayı tanımlayın ve standart SQL kullanarak sorgulamaya başlayın. Çoğu sonuç saniyeler içinde sunulur.
Büyük Veri İşleme
Amazon EMR
Amazon EMR, büyük verilerin Hadoop ve Spark framework’leriyle işlenmesi için çok büyük miktarda verinin işlenmesini kolay, hızlı ve uygun maliyetli hale getiren, yönetilen bir hizmet sağlar. Amazon EMR tarafından Hadoop, Spark, HBase, Presto ve başkaları dahil olmak üzere 19 farklı açık kaynak kodlu proje desteklenmektedir. Her proje, yeni bir sürüm yayınlandıktan sonra 30 gün içinde EMR’de güncellenerek topluluğun sunduğu en son ve en iyi özelliklere sahip olmanız sağlanır.
Veri Ambarı
Amazon Redshift
Amazon Redshift, veri ambarı için petabaytlarca yapılandırılmış veri üzerinde karmaşık analitik sorguları çalıştırma olanağı sağlar ve verilerin gereksiz bir şekilde taşınmasını gerektirmeksizin doğrudan S3’teki eksabaytlarca yapılandırılmış veya yapılandırılmamış veriler üzerinde SQL sorguları çalıştıran Redshift Spectrum’u içerir. Amazon Redshift, geleneksel çözümlerin onda birinden daha düşük bir maliyete sahiptir. Saatlik yalnızca 0,25 USD ödeyerek küçük ölçekte kullanmaya başlayın ve yıllık terabayt başına 1.000 USD karşılığında ölçeği petabayt düzeyine genişletin.
Gerçek Zamanlı Analitik
Amazon Kinesis
Amazon Kinesis, gerçek zamanlı analitik için IoT telemetri verileri, uygulama günlükleri ve web sitesi tıklama akışları gibi akış verilerini toplamayı, işlemeyi ve analiz etmeyi kolaylaştırır. Bu sayede, data lake’inizde gelen verileri hemen işleyip analiz edebilir ve İşleme sürecinin başlaması için tüm verilerinizin toplanmasını beklemek zorunda kalmadan gerçek zamanlı olarak yanıt verebilirsiniz.
Operasyonel Analitik
Amazon Elasticsearch Service
Amazon Elasticsearch Service, uygulama izleme, günlük analitiği ve tıklama akışı analitiği gibi alanlarda operasyonel analitik için verilerinizi neredeyse gerçek zamanlı olarak arama, keşfetme, filtreleme, toplama ve görselleştirme olanağı sunar. Amazon Elasticsearch Service, Elasticsearch’ün kullanımı kolay API'leri ve gerçek zamanlı analitik özelliklerinin yanı sıra üretim iş yüklerinin gerektirdiği erişilebilirliği, ölçeklenebilirliği ve güvenliği sunar.
Panolar ve Görselleştirmeler
Amazon QuickSight
Amazon QuickSight, panolar ve görselleştirmeler için tüm tarayıcılardan ya da mobil cihazlardan erişilebilecek etkileyici ve zengin panolar oluşturmanızı kolaylaştıran hızlı, bulut destekli bir analitik hizmeti sağlar.
Machine Learning
AWS, tahmine dayalı analitik kullanım örnekleri için data lake’inizi AWS’de çalıştırmaya yönelik birçok makine öğrenimi hizmeti ve araç sunar. Hizmetlerimizin kaynağında, Amazon.com’un öneri altyapılarını, tedarik zincirini, tahmin süreçlerini, yerine getirme merkezlerini ve kapasite planlamasını desteklemek için kullandığımız ML teknolojilerinden edindiğimiz bilgi ve deneyimler yatıyor.
Framework’ler ve arabirimler
AWS, makine öğrenimi uzmanları ve veri bilimcileri için derin öğrenim modelleri oluşturmanın yanı sıra ML ve DL için optimize edilmiş GPU bulut sunucuları içeren kümeler oluşturmayı kolaylaştıran AWS Deep Learning AMI’leri sağlar. AWS, istediğiniz modelleri getirmenize ve geliştirmenize olanak sağlamak için TensorFlow, Caffe2 ve Apache MXNet dahil olmak üzere önde gelen tüm makine öğrenimi altyapılarını destekler. Bu özellikler, derin öğrenim ve makine öğrenimi iş yüklerinin gerektirdiği eşsiz gücü, hızı ve verimliliği sağlar.
Platform Hizmetleri
Amazon SageMaker, ML teknolojisini derinlikli olarak öğrenmek isteyen geliştiricilere yönelik olarak eğitim verilerinize bağlanmak, en iyi algoritmayı ve framework’ü seçip optimize etmek ve modelinizi Amazon EC2’nin otomatik ölçeklendirilen kümelerine dağıtmak için gereksinim duyduğunuz her şeyi sağlayarak ML modelleri oluşturma, eğitme ve dağıtma sürecinin tamamını kolaylaştıran bir platform hizmetidir. SageMaker, Amazon S3'te depolanan eğitim verilerinizi keşfetmeyi ve görselleştirmeyi kolaylaştırmaya yönelik barındırılan Jupyter Notebook'ları da içerir.
Uygulama Hizmetleri
Uygulamalarına eklenti olarak önceden oluşturulmuş AI işlevleri kazandırmak isteyen geliştiriciler için AWS tarafından görüntü işleme ve doğal dil işleme teknolojilerine yönelik çözüm odaklı API’ler sağlanır. Bu uygulama hizmetleri, geliştiricilerin kendi modellerini geliştirip eğitmek zorunda kalmadan uygulamalarına zeka eklemesine olanak tanır.
Data lake’ler ve analitik için neden AWS tercih edilmeli?
Esneklik ve seçenek çokluğu
AWS, verileri açık biçimler ve açık standartlar kullanarak analiz eden analitik araçları ve altyapılar için en geniş seçenek yelpazesini sunar. Verilerinizi CSV, ORC, Grok, Avro ve Parquet gibi standart tabanlı veri biçimlerinden dilediğinizde depolayabilir ve veri ambarı, etkileşimli SQL sorguları, gerçek zamanlı analitik ve büyük veri işleme gibi çeşitli yollarla günün analizini gerçekleştirme esnekliğine sahip olursunuz. AWS’de verilerinizle kullanabileceğiniz analitik hizmetleri konusundaki seçenek çokluğu, hem mevcut hem de gelecekteki kullanım örnekleriniz için gereksinimlerinizin karşılanmasını sağlar.
Eşsiz ölçeklenebilirlik ve erişilebilirlik
Amazon S3, her miktarda verinin eşsiz bir erişilebilirlik düzeyinde depolanıp alınabilmesini sağlayacak ve en başından itibaren %99,999999999 (11 dokuz) dayanıklılık sağlayacak şekilde tasarlanmıştır. Tek veri merkezi kullanmanın yol açabileceği sorunlara karşı eşsiz dayanıklılık için verilerinizi tek bir AWS bölgesindeki üç erişilebilirlik alanında bulunan birden çok veri merkezinde depolayan tek depolama çözümü olmasının yanı sıra verileri tüm bölgeler arasında sorunsuzca çoğaltan tek depolama çözümüdür.
Yüksek oranda güvenli
S3, hesap ve nesne düzeyinde erişim, günlük kaydı ve denetim politikaları uygulamanıza olanak tanıyan tek bulut depolama platformudur. S3 tarafından otomatik sunucu tarafı şifreleme, AWS Key Management Service (KMS) ile yönetilen anahtarlarla şifreleme ve kendi yönettiğiniz anahtarlarla şifreleme olanakları sağlanır. S3, bölgeler arası replikasyon sırasında aktarılan verileri şifreler ve kurum içinden kötü amaçlı kişilerin silmesine karşı korumak amacıyla kaynak ve hedef bölgeler için ayrı hesaplar kullanmanıza olanak tanır. ML destekli bir güvenlik hizmeti olan Amazon Macie, bir saldırının ilk aşamalarını proaktif olarak algılamak için veri erişimi etkinliğinde anormallik olup olmadığını izler ve yetkisiz erişim ya da yanlışlıkla veri sızdırma durumu algıladığında ayrıntılı uyarılar oluşturur.
Uygun maliyetli
En uygun maliyetli data lake’ler AWS’de oluşturulanlardır. Seyrek kullanılan veriler, çok düşük maliyetlerle uzun vadeli yedekleme ve arşivleme olanağı sağlayan Amazon Glacier’a taşınabilir. Amazon S3 yönetim özellikleri, nesne erişim düzenlerini analiz ederek seyrek kullanılan verileri isteğe bağlı olarak ya da yaşam döngüsü politikaları temelinde otomatik olarak Glacier’a taşıyabilir. Amazon Athena ile sorgulanan GB başına yalnızca 0,005 USD’den başlayan fiyatlarla verilerinizi sorgulamaya başlayabilirsiniz. Diğer analitik ve makine öğrenimi hizmetleri, tükettiğiniz kaynaklar için kullandıkça öde yaklaşımıyla fiyatlandırılır.
Hızlı performans
Amazon Redshift ve Amazon Athena gibi AWS analitik hizmetleri, çok sayıda eş zamanlı ve etkileşimli sorgunun desteklenmesi için hızlı etkileşimli sorgu performansı sağlayacak şekilde tasarlanmıştır. Amazon S3 Select ile AWS'nin geniş analitik ve makine öğrenimi hizmetleri portföyü çalıştırılırken, nesnelerdeki verilerin yalnızca gerekli olan alt kümeleri döndürülür ve sorgular çok daha düşük bir maliyet karşılığında %400’e kadar daha hızlı olur. Benzer bir özellik sağlayan Glacier Select, arşivlenmiş verileri daha hızlı almanıza ve data lake’inizde analitik altyapınızı arşiv depolama alanı içerecek şekilde genişletmenize olanak tanır.
En geniş çözüm ortağı ağı
Dünyanın dört bir yanından danışmanlık hizmetleri ve bağımsız yazılım satıcıları dahil olmak üzere on binlerce çözüm ortağının yer aldığı AWS Çözüm Ortağı Ağı (APN), en yakın rakibimizin iki katı çözüm ortağı entegrasyonu içerir. Bu olanak, bugün severek kullandığınız birçok araçla çalışmayı ve bunları entegre etmeyi kolaylaştırır. AWS çözüm mimarları ve çözüm ortakları tarafından geliştirilen Data Lake Quick Starts, birkaç basit adımda güvenlik ve yüksek erişilebilirlik için en iyi AWS uygulamalarını temel alan data lake çözümleri oluşturup bunları test etmenize ve dağıtmanıza yardımcı olur.
AWS'yi kullanmaya başlayın
AWS hesabı için kaydolun
AWS’deki data lake’ler hakkında daha fazla bilgi edinin
AWS ile oluşturmaya başlayın
AWS’de data lake’leri kullanmaya başlayın



















