Azure Bilişsel Hizmetler Veri için önemli bilgiler

  • Makale
  • Okumak için 4 dakika

Azure Bilişsel Hizmetler Veri için önemli bilgiler

Big Data Azure Bilişsel Hizmetler özelliği, kullanıcıların bilişsel hizmetler aracılığıyla terabaytlarca veri için kanal Apache Spark. ™ Büyük Veri için Bilişsel Hizmetler sayesinde, herhangi bir veri deposu ile büyük ölçekli akıllı uygulamalar oluşturmak kolaydır.

Büyük Veri için Bilişsel Hizmetler sayesinde sürekli olarak geliştiren, akıllı modelleri doğrudan Apache Spark ™ ve SQL ebilirsiniz. Bu araçlar, geliştiricileri akıllı, dağıtılmış uygulamalar oluşturmaya odaklanılmalarını sağlar ve alt düzey ağ ayrıntılarından yardım sağlar.

Özellikler ve avantajlar

Büyük Veri için Bilişsel Hizmetler, kapsayıcılı Bilişsel Hizmetler'in yanı sıra dünyanın herhangi bir bölgesinden gelen hizmetleri kullanabilir. Kapsayıcılar, çok düşük gecikmeli yanıtlarla düşük veya hiç bağlantı dağıtımı desteklemez. Kapsayıcılı Bilişsel Hizmetler yerel olarak, doğrudan Spark kümenizin çalışan düğümleri üzerinde veya Kubernetes gibi bir dış orchestrator üzerinde çalıştırılabilir.

Desteklenen hizmetler

API'lerve API'ler aracılığıyla erişilen Bilişsel Hizmetler, geliştiricilerin AI veya veri bilimi becerilerine sahip olmadan akıllı uygulamalar oluşturmalarına yardımcı olur. Bilişsel Hizmetler ile uygulamalarınızı görme, duyma, konuşma, anlama ve neden yapma. Bilişsel Hizmetler'i kullanmak için, uygulamanın ağ üzerinden hizmete veri göndermesi gerekir. Hizmet alındıktan sonra, karşılığında akıllı bir yanıt gönderir. Aşağıdaki hizmetler büyük veri iş yükleri için kullanılabilir:

Görsel

Hizmet Adı Hizmet Açıklaması
Görüntü İşleme Görüntü İşleme hizmeti, görüntüleri işlemeye ve bilgi döndüren gelişmiş algoritmalara erişmeyi sağlar.
Yüz Tanıma Yüz Tanıma hizmeti, yüz özniteliği algılama ve tanımayı etkinleştirerek gelişmiş yüz algoritmalarına erişim sağlar.

Konuşma

Hizmet Adı Hizmet Açıklaması
Konuşma hizmeti Konuşma tanıma hizmeti, konuşma tanıma, konuşma sentezi, konuşma çevirisi ve konuşmacı doğrulama ve belirleme gibi özelliklere erişim sağlar.

Karar

Hizmet Adı Hizmet Açıklaması
Anomali Algılayıcısı Anomali Algılayıcısı (Önizleme) hizmeti, zaman serisi verilerinizde anormallikleri izlemenizi ve algılamanızı sağlar.

Dil

Hizmet Adı Hizmet Açıklaması
Dil hizmeti Dil hizmeti yaklaşım analizi, anahtar ifade ayıklama ve dil algılama için ham metin üzerinde doğal dil işleme sağlar.
Hizmet Adı Hizmet Açıklaması
Bing Resim Arama Bing Resim Arama hizmeti, kullanıcının sorgusuyla ilgili olduğu belirlenen görüntülerin bir ekran döndürür.

Büyük Veri için Bilişsel Hizmetler için desteklenen programlama dilleri

Büyük Veri için Bilişsel Hizmetler, Apache Spark. Apache Spark Java, Scala, Python, R ve diğer birçok dili destekleyen bir dağıtılmış bilgi işlem kitaplığıdır. Bu diller şu anda de desteklene.

Python

Microsoft ML ad alanına bir PySpark API mmlspark.cognitive Apache Spark. Daha fazla bilgi için bkz. Python Geliştirici API'si. Kullanım örnekleri için bkz. Python Örnekleri.

Scala ve Java

Microsoft ML ad alanına Scala ve Java tabanlı Spark API com.microsoft.ml.spark.cognitive Apache Spark. Daha fazla bilgi için bkz. Scala Geliştirici API'si. Kullanım örnekleri için bkz. Scala Örnekleri.

Desteklenen platformlar ve bağlayıcılar

Büyük Veri için Bilişsel Hizmetler için Apache Spark. Büyük Veri Apache Spark Bilişsel Hizmetler'i destekleyen birçok farklı platform vardır.

Azure Databricks

Azure Databricks, Microsoft Azure bulut hizmetleri platformu için iyileştirilen Apache Spark tabanlı bir analiz platformudur. Tek tıklamayla kurulum, kolaylaştırılmış iş akışları ve veri bilimcileri, veri mühendisleri ve iş analistleri arasında işbirliğini destekleyen etkileşimli bir çalışma alanı sağlar.

Azure Synapse Analytics

Azure Synapse Analytics, çok büyük paralel işleme kullanan kurumsal veri ambarı olarak kullanılır. Bu Synapse Analytics petabaytlarca veri üzerinde karmaşık sorguları hızla çalıştırabilirsiniz. Azure Synapse Analytics, Spark İşlerini sezgisel bir Jupyter Notebook Arabirimi ile çalıştırmak için yönetilen Spark Havuzları sağlar.

Azure Kubernetes Service

Azure Kubernetes Service (AKS), Docker Kapsayıcılarını ve dağıtılmış uygulamaları büyük ölçeklerde organize ediyor. AKS, Azure'da Kubernetes'i kullanmayı basitleştiren, yönetilen bir Kubernetes teklifidir. Kubernetes Bilişsel Hizmet ölçeği, gecikme süresi ve ağ üzerinde daha fazla denetime olanak sağlar. Bununla birlikte, Azure Databricks Azure Synapse Analytics veya kullanma hakkında daha fazla Apache Spark.

Veri Bağlayıcıları

Bir Spark Kümesine sahip olduktan sonra, sonraki adım verilerinize bağlanmaktır. Apache Spark veritabanı bağlayıcılarının geniş bir koleksiyonu vardır. Bu bağlayıcılar, uygulamaların nerede depolandığı fark etmez büyük veri kümeleriyle çalışmasına olanak sağlar. Desteklenen veritabanları ve bağlayıcılar hakkında daha fazla bilgi için, veritabanı için desteklenen veri kaynaklarının listesine Azure Databricks.

Kavramlar

Spark

Apache Spark ™ , büyük ölçekli veri işleme için birleşik bir analiz altyapısıdır. Paralel işleme çerçevesi, büyük veri ve analiz uygulamalarının performansını artırır. Spark, çekirdek uygulama kodunu değiştirmeden hem toplu hem de akış işleme sistemi olarak çalışır.

Spark'ın temeli DataFrame'tir: veri kümesinde çalışan düğümleri arasında dağıtılmış Apache Spark koleksiyonudur. Spark DataFrame, ilişkisel veritabanındaki tablo veya R/Python'daki bir veri çerçevesine benzer ancak sınırsız ölçek içerir. DataFrame'ler, yapılandırılmış veri dosyaları, Hive'daki tablolar veya dış veritabanları gibi birçok kaynaktan oluşturulur. Verileriniz bir Spark DataFrame'e olduktan sonra şunları sebilirsiniz:

  • Birleştirme SQL ve filtre tabloları gibi çok stilli hesaplamalar yapma.
  • İşlev stili paralelliği kullanarak büyük veri küme MapReduce işlevleri uygulama.
  • Microsoft Machine Learning microsoft Machine Learning kullanarak Dağıtılmış Apache Spark.
  • Verilerinizi kullanıma hazır akıllı hizmetlerle zenginleştirmek için Büyük Veri için Bilişsel Hizmetler'i kullanın.

Apache Spark için Microsoft Machine Learning (MMLSpark)

Apache Spark için Microsoft Machine Learning (MMLSpark), Apache Spark üzerinde yerleşik bir açık kaynak, dağıtılmış makine öğrenmesi ML Apache Spark. Büyük Veri için Bilişsel Hizmetler bu pakete dahildir. MmLSpark ayrıca LightGBM, Vowpal Wabbit, OpenCV, APACHE SPARK gibi daha birçok farklı ML aracı içerir. MMLSpark ile herhangi bir Spark veri kaynağından güçlü tahmine dayalı ve analiz modelleri kurabilirsiniz.

Spark üzerinde HTTP

Büyük Veri için Bilişsel Hizmetler, akıllı web hizmetlerini büyük verilerle nasıl tümleştirebilirsiniz? Web hizmetleri dünyanın farklı yerlerinden birçok uygulama için kullanılabilir ve çoğu hizmet Köprü Metni Aktarım Protokolü (HTTP) üzerinden iletişim kurar. Büyük ölçeklerde rastgele web hizmetleriyle çalışmak için Spark üzerinde HTTP sağlarız. Spark üzerinde HTTP ile herhangi bir Web hizmeti aracılığıyla terabayt veri geçirebilirsiniz. Bu teknolojiyi kullanırken, büyük verilere yönelik hizmetleri Power bilişsel hizmetler için kullanırız.

Geliştirici örnekleri

Blog yazıları

Web seminerleri ve videoları

Sonraki adımlar