Azure 'da anabilgisayar toplu uygulamalarını yeniden mühendisin

Data Factory
Databricks
Kubernetes Hizmeti
SQL Veritabanı
Depolama

Ana bilgisayarlar birincil olarak büyük miktarlarda veriyi işlemek için kullanılır. Toplu işlem, birlikte gruplanmış ve veritabanına yönelik toplu güncelleştirmeler yapan yüksek hacimli işlemleri işlemenin bir yoludur. Tetiklendikten sonra, Kullanıcı etkileşimi gerektirmeyen minimal olması gerekir. Örneğin, ana bilgisayar sistemleri, bankaların ve diğer finansal kuruluşların üç aylık stok veya emeklilik deyimleri gibi son üç aylık işleme ve rapor üretmesine olanak tanır.

Bu başvuru mimarisi, Azure kullanarak bulutta güvenli, ölçeklenebilir ve yüksek oranda kullanılabilir bir sistem sunmak üzere bir z/OS ana bilgisayar toplu iş uygulamasını yeniden mühendisetmek için Azure 'u nasıl kullanabileceğinizi gösterir. Her zaman gelişmekte olan iş ihtiyaçları nedeniyle, veri ve uygulamaların altyapınızı etkilemeden sunmaları ve ölçeklendirilmesi gerekir. Buluta yeniden mühendisler, finans, sağlık, sigorta ve perakende işletmelerin ürün veya özellik teslim sürelerini en aza indirmesine yardımcı olabilir ve maliyetleri azaltır.

Olası kullanım örnekleri

Azure 'da ana bilgisayar uygulamalarını yeniden mühendisetmek için bu mimariyi kullanın. Mimari en iyi şekilde geçerlidir:

  • Kaynak yoğunluklu anabilgisayar toplu uygulamaları.
  • Belirli bir süre boyunca, ay, çeyrek veya yıl sonu gibi yüksek işlem gerektiren toplu uygulamalar.
  • Yinelenen ve kaynak kullanımı yoğun olmayan, ancak dış sistemler tarafından kullanıma gerekebilecek ana bilgisayar toplu işlemi.

Mimari

İlk diyagramda, z/OS ana bilgisayarında çalışan tipik bir Batch uygulamasının mimarisi gösterilmektedir.

Z/OS ana bilgisayarında çalışan tipik bir Batch uygulamasının diyagramı.

Bu mimarinin bir vsdx dosyasını indirin.

  1. Anabilgisayar toplu işlemleri, bir Işlem, planlama ve denetim (OPC) Zamanlayıcısı kullanılarak zamanlanan bir zamanda tetiklenebilir. Ayrıca, bir dosyanın oluşturulduğunu duyurduğunu belirten ileti gibi ileti kuyruğuna yerleştirilmiş bir ileti tarafından tetiklenebilir.

  2. Giriş ve çıkış dosyalarını depolamak için bir anabilgisayar doğrudan erişimli depolama cihazı (dadsd) kullanılır; Örneğin, uygulama için gereken düz dosyalar. Bu işlem, bir dosya oluşturarak, bir depolama işlemini ZINCIRLEME şekilde tetikleyebilirsiniz.

  3. Toplu işlem, belirli bir görevi yapmak için bir kullanıcı veya sistem programı çalıştıran bir iş gibi bir dizi işin yürütülmesinden oluşur. Genellikle, toplu işler Kullanıcı etkileşimi olmadan çalıştırılır. Bir ana bilgisayardaki tüm Batch işleri, Iş yürütme sistemi (JES) denetimi altında yürütülür.

  4. Toplu işlemlerdeki programlar, verileri okuyabilir/yazabilir:

    • sanal Depolama erişim yöntemi (vsam) gibi dosya tabanlı bir veritabanı.
    • DB2 veya Informix gibi ilişkisel bir veritabanı.
    • Bilgi yönetimi sistemi (ıMS) gibi ilişkisel olmayan bir veritabanı.
    • İleti kuyruğu.
  5. İş yürütmesinin çıktısı OPC Zamanlayıcı veya Tivoli Iş yükü Zamanlayıcı (TWS) aracılığıyla izlenebilir. JES 'deki bir sistem görüntüleme ve arama tesisi (SDSF), ana bilgisayar üzerinde iş yürütme durumunu denetlemek için de kullanılır.

  6. Yönetim Katmanı aşağıdaki hizmetleri sağlar:

    • Endevor veya Changeman gibi kaynak denetimi.
    • Kaynak Access Control tesis (RACF) gibi güvenlik. Bu güvenlik toplu işleri çalıştırmak, dosyalara erişmek ve veritabanına erişmek için kimlik doğrulaması sağlar.
    • İş yürütme günlüklerinin depolanmasını ve aranmasını destekleyen çıkış yönetimi.

İkinci diyagramda, daha fazla yetenek ve esnekliğe sahip benzer bir uygulamayı yeniden mühendisler için Azure hizmetlerini nasıl kullanabileceğiniz gösterilmektedir.

Azure Hizmetleri kullanılarak yeniden uygulanan bir Batch uygulamasının diyagramı. Birden çok örnek hizmet dahildir.

Bu mimarinin bir vsdx dosyasını indirin.

  1. Azure Batch işlemini başlatmak için aşağıdaki tetikleyicilerden birini kullanın.

    • Azure Databricks iş zamanlayıcısını veya Azure işlev zamanlayıcısını kullanın.
    • Azure Logic Appsile yinelenen bir toplu işlem görevi oluşturun.
    • Azure Blob veya dosya depolamaalanında bir dosyanın oluşturulması veya silinmesi gibi bir depolama olayı kullanın.
    • Azure Service Busileti varışı gibi ileti tabanlı bir tetikleyici kullanın.
    • Azure Data Factory tetikleyicisi oluşturun.
  2. azure Blob Depolama veya azure dosyalarını kullanarak ana bilgisayardan geçirilen dosyaları depolayın. Azure üzerinde yeniden uygulanan toplu süreçler, bu depolama alanından verileri okuyabilir/yazabilir.

  3. Azure, bir anabilgisayar toplu iş yükünü uygulamak için çeşitli hizmetler sağlar. İş gereksinimlerinize göre belirli hizmetleri seçin. Örneğin, işlem gücü gerekli, toplam yürütme süresi, ana bilgisayar toplu işlemini daha küçük birimlere bölme özelliği ve maliyet duyarlılığı.

    1. Azure Databricks, Apache Spark tabanlı bir analiz platformudur. işler R, Python, Java, scala ve Spark SQL dillerinde yazılabilir. Hızlı küme başlangıç zamanları, otomatik sonlandırma ve otomatik ölçeklendirmeyle bir işlem ortamı sağlar. azure Blob Depolama ve Azure Data Lake depolama gibi azure depolama ile yerleşik tümleştirmeye sahiptir. Büyük miktarlarda veriyi kısa bir süre içinde işlemek gerekirse Azure Databricks kullanın. Ayrıca, ayıklama, dönüştürme ve yükleme (ETL) iş yüklerini çalıştırmanız gerektiğinde iyi bir seçenektir.
    2. aks ve Service Fabric hizmet tabanlı bir uygulama mimarisi uygulamak için bir altyapı sağlar. Tek bir uygulama için uygun maliyetli olmayabilir. Ana bilgisayar uygulamanızı Java Spring Boot kullanarak yeniden düzenleyebilirsiniz. Azure 'da Spring Boot uygulamalarını çalıştırmanın en iyi yolu, tam olarak yönetilen bir yay bulut hizmeti olan Azure Spring Cloud kullanmaktır. Java geliştiricileri, Azure 'da Spring Boot mikro hizmetlerini kolayca derlemek ve çalıştırmak için kullanabilir.
    3. .NET veya Java kullanarak anabilgisayar toplu uygulamanıza yeniden mühendislik uygulayabilirsiniz. Batch, bu uygulamayı ölçekli olarak çalıştırmak için altyapıyı sağlar. Bir sanal makine (VM) havuzu oluşturup yönetir, uygulamaları kurar ve ardından VM 'lerde çalışacak işleri zamanlar. Yüklemek, yönetmek veya ölçeklendirmek için küme veya iş Zamanlayıcı yazılımı yoktur. uygulamaları Windows veya Linux tarafından desteklenen herhangi bir programlama dilinde yazın.
    4. Kısa süre çalışan COBOL veya PL/1 Batch programlarını yeniden Mühendisinize alabilirsiniz. Bu programlar için Işlevler, Web Işleri veya Logic Apps gibi Azure hizmetlerini kullanın.
  4. Azure, verileri depolamak ve almak için çeşitli veri hizmetleri sağlar.

    • Azure ilişkisel veritabanı tekliflerinin görünürlüğünde en az değişiklikle DB2 ve Informix gibi ana bilgisayar ilişkisel veritabanlarını geçirebilirsiniz. örneğin, azure SQL VM, azure SQL DB veya azure SQL mı gibi ilişkisel veritabanı hizmetleri. Ayrıca, Azure PostgreSQL gibi açık kaynaklı Ilişkisel veritabanı yönetim sistemi (RDBMS) kullanabilirsiniz. Azure veritabanı seçimi, iş yükü türüne, çapraz veritabanı sorgularına, iki aşamalı tamamlama gereksinimlerine ve diğer birçok etkene bağlıdır.
    • ıms, tümleşik Veri Yönetimi sistemi (ıdms) veya vsam gibi ana bilgisayar ilişkisel olmayan veritabanlarını Azure Cosmos DB olarak geçirebilirsiniz. Azure Cosmos DB, her ölçekte hızlı yanıt süreleri, otomatik ve anında ölçeklenebilirlik ve garantili hız sağlar. Bu, herhangi bir boyutta veya ölçeklendirmeye yönelik öngörülemeyen veya sporlı iş yükleri için uygun maliyetli bir seçenektir. Geliştiriciler, kapasiteyi planlamak veya yönetmek zorunda kalmadan kolayca başlatılabilir.
    • Yeniden uygulanan bir uygulamayı hızlandırmak için Redsıs için Azure önbelleğini kullanabilirsiniz.
  5. Uygulamalar, işletim sistemi ve Azure kaynakları, Azure Izleyici günlüklerineGünlükler ve ölçümler göndermek için aracıları kullanabilir.

    • Uygulama öngörüleri , geçirilen uygulamanızı izler. Performans sorunlarını otomatik olarak algılar ve sorunları tanılamanıza yardımcı olacak güçlü analiz araçları içerir.
    • Azure Log Analytics , toplanan günlük verilerinden depolama, dizin, sorgulama ve analiz türetmenize yardımcı olur.

    uyarı ve panolar oluşturmak veya dış hizmetlere aktarmak için Log Analytics ve Application Insights çıktısını kullanabilirsiniz. Ayrıca, bir VM 'nin ölçeklendirilmesi gibi bir eylem yapmak için çıktıyı da kullanabilirsiniz.

  6. Bu katman, kaynak denetimi, güvenlik ve çıkış yönetimi için Azure hizmetleri sağlar. bu hizmetler Azure DevOps ve Azure Active Directory (Azure AD) içerebilir.

Bileşenler

Ağ ve kimlik

  • Azure ExpressRoute: ExpressRoute, şirket içi ağlarınızı bir bağlantı sağlayıcısından özel bir bağlantı üzerinden Microsoft bulutuna genişletmenizi sağlar. expressroute ile Microsoft Azure ve Office 365 gibi Microsoft bulut hizmetleriyle bağlantı kurabilirsiniz.
  • Azure VPN Gateway: VPN Gateway, genel Internet üzerinden bir Azure sanal ağı ve şirket içi konum arasında şifrelenmiş trafik göndermek için kullanılan belirli bir sanal ağ geçidi türüdür.
  • Azure AD: Azure AD, şirket içi bir dizinle eşitleyebileceğiniz bir kimlik ve erişim yönetimi hizmetidir.

Uygulama

  • Logic Apps: Logic Apps otomatik yinelenen görevleri ve işlemleri bir zamanlamaya göre oluşturmanıza ve çalıştırmanıza yardımcı olur. HTTP veya HTTPS uç noktaları gibi Azure 'un içindeki ve dışındaki hizmetleri çağırabilirsiniz. azure Service Bus gibi azure hizmetlerine iletiler de gönderebilir veya dosya paylaşımında karşıya yüklenen dosyaları alabilirsiniz.
  • Service Bus: bir kullanıcı arabirimi ve arka uç hizmetleri arasındaki mesajlaşma için Service Bus kullanabilirsiniz. Bu sistem uygulamaları ve Hizmetleri ayırarak, güvenilirliği ve kullanımı artırabilir.
  • Azure Databricks: Azure Databricks, büyük miktarlarda veriyi işlemek ve dönüştürmek için kullanılan bulut tabanlı bir veri Mühendisliği aracıdır. Daha sonra bu verileri makine öğrenimi modelleri aracılığıyla inceleyebilirsiniz.
  • Azure yay bulutu: Azureyay bulutu, Spring mikro hizmetlerini Azure 'a dağıtmayı, yönetmeyi ve çalıştırmayı kolaylaştırır. Java ve .NET Core ' u destekler.
  • Aks: aks, Azure 'da işlem yükünü boşaltarak Azure 'da yönetilen bir Kubernetes kümesinin dağıtılmasını basitleştirir.
  • Batch: Batch, yürütülen iş yüküne göre ölçeklenebilen birçok VM 'de bulutta genel amaçlı toplu işlem bilgi işlem çalıştırmak için tasarlanmıştır. Birden çok görevin birbirinden bağımsız olarak paralel şekilde yürütüldüğü ETL veya AI kullanım durumları için mükemmel bir uyum vardır.
  • İşlevler: uygulama altyapısı hakkında endişelenmeden küçük kod parçalarını çalıştırmak için işlevleri kullanın. Işlevleri ile, bulut altyapısı, uygulamanızı ölçeklendirerek çalışır durumda tutmanız için ihtiyacınız olan tüm güncel sunucuları sağlar.
  • Azure App Service: App Service bir özelliği olan WebJobsile, yeniden kullanılabilir arka plan iş mantığını Web işleri olarak kodleyebilirsiniz.
  • Redsıs Için Azure önbelleği: yüksek hacimli bir arka uç verisi kullanan uygulamalar, redin gibi bellek içi veri deposuyla tümleştirerek yüksek oranda iyileştirilmiş bir performansı ölçeklendirmek ve sunmak için geliştirilebilir. redsıs için Azure Cache, hem redsıs açık kaynaklı (OSS redin) hem de redsıs Labs, redsıs Enterprise, yönetilen bir hizmet olarak bir ticari ürün sunmaktadır.

Depolama

Azure depolama, sık erişimli, seyrek erişimli ve arşiv verileri için birden çok katman sağlar. Bu depolama katmanlarının etkili kullanımı, size bir fiyat performansı avantajı sağlayabilir.

  • Blob Depolama: bulutta yerel iş yükleri, arşivler, veri lakes, yüksek performanslı bilgi işlem ve makine öğrenimi için ölçeklenebilir ve güvenli nesne depolama.
  • Azure dosyaları: basit, güvenli ve sunucusuz kurumsal sınıf bulut dosya paylaşımları. Azure dosyaları, özellikle yeniden tasarlanan ana bilgisayar çözümleri için kullanışlı bir şekilde gelebilir. yönetilen SQL depolaması için etkin bir eklenti sağlar.
  • tablo Depolama: büyük yarı yapılandırılmış veri kümelerini kullanarak hızlı geliştirme için bir nosql anahtar-değer deposu.
  • Azure kuyruğu Depolama: büyük iş yükleri için basit, ekonomik ve dayanıklı ileti kuyruğu.
  • azure SQL: azure 'un SQL Server tam olarak yönetilen hizmet ailesi. azure SQL yönetilen örneği, azure sanal makinelerinde SQL Server ve mariadb için azure veritabanı gibi diğer azure hizmetleriyle ilişkisel verileri verimli bir şekilde geçirebilir ve kullanabilirsiniz.
  • Azure Cosmos DB: ana bilgisayarlardan tablosal olmayan verileri geçirmek için kullanabileceğiniz, SQL olmayan bir teklif.

İzleme

  • Azureİzleyici: Azure izleyici, bulut ve şirket içi ortamlarından Telemetriyi toplamaya, çözümlemeye ve bu cihazlardan işlem yapmaya yönelik kapsamlı bir çözüm sunar. Application Insights, azure izleyici günlüklerini ve azure Log Analytics özelliklerini içerir.

Yönetim

  • Azure DevOps: yazılım geliştirme ve ekip işbirliğinin her aşamasında Azure 'da ana bilgisayar uygulamalarına yeniden mühendislik yapın. DevOps aşağıdaki hizmetleri sağlar:

    • Azure Boards: çevik planlama, çalışma öğesi izleme, görselleştirme ve raporlama aracı.
    • Azure Pipelines: kapsayıcılar veya kubernetes desteğiyle bir dil, platform ve bulut agtik cı/CD platformu.
    • Azure Repos: bulutta barındırılan özel git depoları sağlar.
    • Azure Artifacts: ortak veya özel kaynaklardan maven, npm, Python ve NuGet paket akışları desteğiyle tümleşik paket yönetimi sağlar.
    • Azure Test Plans: tümleşik, planlı ve araştırmacı bir test çözümü sağlar.

Dikkat edilmesi gerekenler

Kullanılabilirlik

  • Bu makaledeki toplu işlem mimarisi, yüksek kullanılabilirlik sağlayan çok düğümlü bilgi işlem veya PaaS hizmetlerini kullanır.
  • Azure veritabanı Hizmetleri, bölge yedekliliği destekler ve bir kesinti varsa veya bakım penceresi sırasında bunları ikincil bir düğüme devretmek için tasarlayabilirsiniz.

Ölçeklenebilirlik

  • Bu mimarideki aşağıdaki Azure hizmetleri otomatik ölçeklendirme yeteneklerine sahiptir:

    • Azure Databricks
    • AKS
    • Spring Cloud
    • Batch
    • Azure İşlevleri
    • Logic Apps
  • Azure 'da otomatik ölçeklendirme hakkında daha fazla bilgi için bkz. Otomatik ölçeklendirme Kılavuzu.

Güvenlik

  • Bu başvuru mimarisi, şirket içi ortamdan özel ve etkin bir Azure bağlantısı için ExpressRoute kullanır. Bununla birlikte, site VPN 'ye bir siteda oluşturabilirsiniz.
  • Azure AD 'yi kullanarak Azure kaynaklarında kimlik doğrulaması yapabilirsiniz. Rol tabanlı erişim denetimi (RBAC) ile izinleri yönetebilirsiniz.
  • Azure 'daki veritabanı Hizmetleri, bekleyen veri şifrelemesi gibi çeşitli güvenlik seçeneklerini destekler.
  • Güvenli çözümler tasarlama hakkında daha fazla bilgi için bkz. Azure Güvenlik belgeleri.

Dayanıklılık

  • bir azure kaynağının sistem durumunu izlemek için Log Analytics ek olarak azure izleyici 'yi ve Application Insights kullanabilirsiniz. Kaynak sistem durumunu proaktif olarak yönetmek için Uyarılar ayarlayın.
  • Azure 'da dayanıklılık hakkında daha fazla bilgi için bkz. güvenilir Azure uygulamaları tasarlama.

Fiyatlandırma

Azure kaynaklarının maliyetlerini tahmin etmek için Azure Fiyatlandırma hesaplayıcısı ' nı kullanın.

Hizmetin örnek maliyet tahmini için bkz. Azure ana bilgisayarları toplu uygulaması .

Sonraki adımlar