AWS Glue, ayıklama, dönüştürme ve yükleme (ETL) işleri yapan tam olarak yönetilen bir hizmettir. Müşterilerin verilerini analitik için hazırlamalarını ve yüklemelerini kolaylaştırır. AWS Management Console’da birkaç tıklama ile ETL işleri oluşturup bunları çalıştırabilirsiniz. AWS Glue'yu AWS'de depoladığınız verilerinize yönlendirmeniz yeterlidir. AWS Glue verilerinizi bulur ve ilişkili meta verileri (tablo tanımı ve şema gibi) AWS Glue Veri Kataloğunda depolar. Veriliniz kataloğa eklenir eklenmez aranabilir, sorgulanabilir ve ETL için kullanılabilir hale gelir. AWS Glue, veri dönüştürme ve veri yükleme işlemlerinizi yürütmek için gerekli kodu oluşturur.
AWS Glue özelleştirilebilir, yeniden kullanılabilir ve taşınabilir kod oluşturur. ETL işiniz hazır olduğunda işi AWS Glue'nun tam olarak yönetilen, ölçeği genişletilebilen Apache Spark ortamında çalıştırılmak üzere zamanlayabilirsiniz. AWS Glue tarafından bağımlılık çözümleme, iş izleme ve uyarı oluşturma özelliklerine sahip esnek bir zamanlayıcı sunulur.
AWS Glue sunucusuz olduğundan satın almanız, kurmanız veya yönetmeniz gereken bir altyapı yoktur. İşin tamamlanması için gerekli ortamı otomatik olarak tedarik eder ve müşteriler yalnızca ETL işleri çalıştırıldığı sırada tüketilen işlem kaynakları için ödeme yapar. AWS Glue ile veriler dakikalar içinde analitiğe hazır hale gelebilir.
Avantajlar
Kolay
AWS Glue, ETL işlerinin oluşturulması, bakımının yapılması ve çalıştırılmasıyla ilgili çoğu işi otomatikleştirir. AWS Glue veri kaynaklarınızda gezinir, veri biçimlerini tespit eder, şemalar ve dönüştürme işlemleri önerir. AWS Glue, veri dönüştürme ve yükleme işlemlerinizi yürütmek için gerekli kodu otomatik olarak oluşturur.
Entegre
AWS Glue birçok farklı AWS hizmetiyle entegre olduğundan, altyapınıza eklerken daha az çaba harcamanız gerekir. AWS Glue tarafından Amazon Aurora ve diğer tüm Amazon RDS altyapıları, Amazon DynamoDB, Amazon Redshift ve Amazon S3'te depolanan verilerin yanı sıra Amazon EC2'de çalışan Sanal Özel Bulutunuzdaki (Amazon VPC) MySQL, Oracle, Microsoft SQL Server ve PostgreSQL veritabanlarında depolanan veriler yerel olarak desteklenir. AWS Glue; Amazon Athena, Amazon EMR ve Amazon Redshift Spectrum'un yanı sıra Apache Hive Metastore ile uyumlu tüm uygulamalar ile entegrasyona hazır halde sunulur.
Sunucusuz
AWS Glue sunucusuzdur. Tedarik etmeniz veya yönetmeniz gereken bir altyapı yoktur. AWS Glue, ETL işlerinizin tam olarak yönetilen, ölçeği genişletilebilen bir Apache Spark ortamında çalıştırılması için gerekli kaynakları tedarik etme, yapılandırma ve ölçeklendirme işlemlerini gerçekleştirir. Yalnızca işleriniz çalıştırıldığı sırada kullanılan kaynaklar için ödeme yaparsınız.
Yazılım geliştirici dostu
AWS Glue tarafından Scala, Python ve Apache Spark gibi tanıdık teknolojiler kullanılarak özelleştirilebilir, yeniden kullanılabilir ve taşınabilir ETL kodu oluşturulur. Ayrıca, istediğiniz özel okuyucuları, yazıcıları ve dönüşümleri AWS Glue ETL kodunuza aktarabilirsiniz. AWS Glue tarafından oluşturulan kod açık framework'leri temel aldığından tek bir platforma mecbur kalmazsınız. Kodu dilediğiniz yerde kullanabilirsiniz.
Nasıl çalışır?
Bir veri kaynağı ve veri hedefi seçin. AWS Glue, verilerin kaynaktan ayıklanması, hedef şemayla eşleşecek şekilde dönüştürülmesi ve hedefe yüklenmesi için gerekli ETL kodunu Scala veya Python dilinde oluşturur. Bu kodu Console aracılığıyla, sık kullandığınız IDE'yi ya da dilediğiniz dizüstü bilgisayarı kullanarak düzenleyebilir, test edebilir ve koddaki hataları ayıklayabilirsiniz.
İlk olarak AWS Management Console'u kullanarak veri kaynaklarınızı kaydettirin. Veri kaynaklarınızda gezinen AWS Glue, JSON, CSV ve Parquet gibi birçok popüler kaynak biçimine ve veri türüne yönelik olarak önceden oluşturulmuş sınıflandırıcıları kullanarak Veri Kataloğunuzu oluşturur.
Sonra bir veri kaynağı ve veri hedefi seçin. AWS Glue, verilerin kaynaktan ayıklanması, hedef şemayla eşleşecek şekilde dönüştürülmesi ve hedefe yüklenmesi için gerekli ETL kodunu Scala veya Python dilinde oluşturur. Bu kodu Console aracılığıyla, sık kullandığınız IDE'yi ya da dilediğiniz dizüstü bilgisayarı kullanarak düzenleyebilir, test edebilir ve koddaki hataları ayıklayabilirsiniz.
AWS Glue, yinelenen ETL işlerini zamanlamayı, birden çok işi bir zincir halinde birleştirmeyi veya AWS Lambda gibi diğer hizmetlerden isteğe bağlı olarak iş çağırmayı kolaylaştırır. AWS Glue, işleriniz arasındaki bağımlılıkları yönetir, temel kaynakları otomatik olarak ölçeklendirir ve başarısız olan işleri yeniden çalıştırır.
Daha fazla bilgi edinmek için AWS Glue özellikleri sayfasını ziyaret edin veya ürün belgelerimize başvurun.
Kullanım örnekleri
Bir Amazon S3 Data Lake'e Yönelik Sorgular
Data lake'ler hem yapılandırılmış hem de yapılandırılmamış verilerin depolanması için popülerliği gittikçe artan bir yöntemdir. Amazon S3 data lake kullanıyorsanız, AWS Glue veri taşımanıza gerek kalmadan tüm verilerinizin analitik için anında erişilebilir hale gelmesini sağlayabilir.
Veri Ambarınızda Günlük Verilerini Analiz Etme
Veri kümelerinizi AWS Glue ile temizleyerek, normalleştirerek ve zenginleştirerek tıklama akışı veya işleme günlük verilerinizi analitik için hazırlayın. AWS Glue, yarı yapılandırılmış verilerinize yönelik şemayı oluşturur; verilerinizin dönüştürülmesi, düzleştirilmesi ve zenginleştirilmesi için gerekli kodu oluşturur ve veri ambarınızı yinelemeli olarak yükler.
Birden Çok Veri Deposundaki Verilerinizin Birleşik Görünümü
AWS Glue Veri Kataloğu ile verileri taşımanıza gerek kalmaksızın birden çok AWS veri kümesini hızla keşfedebilir ve bunlarda arama yapabilirsiniz. Veriler kataloğa eklenir eklenmez Amazon Athena, Amazon EMR ve Amazon Redshift Spectrum ile aranabilir ve sorgulanabilir hale gelir.
Olay Odaklı ETL İşlem Hatları
AWS Glue, ETL işlerinizi yeni veri kümesi alınması gibi bir olayı temel alarak çalıştırabilir. Örneğin, bir AWS Lambda işlevini kullanarak ETL işlerinizi Amazon S3'te yeni veriler erişilebilir olduğu anda çalıştırılacak şekilde tetikleyebilirsiniz. Ayrıca, bu yeni veri kümesini ETL işlerinizin bir parçası olarak AWS Glue Veri Kataloğuna kaydedebilirsiniz.
AWS'yi kullanmaya başlayın
AWS ile oluşturmaya başlayın
AWS Glue hakkında daha fazla bilgi edinin