Omówienie zasobu przechwytywania zmian danych

  • Artykuł

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Dostosowanie się do świata danych big data w chmurze może być niezwykle trudne dla inżynierów danych, którzy są odpowiedzialni za tworzenie złożonych potoków integracji danych i ETL.

Usługa Azure Data Factory wprowadza nowy mechanizm ułatwiający życie inżyniera danych.

Dzięki automatycznemu wykrywaniu zmian danych w źródle bez konieczności złożonego projektowania lub kodowania usługa ADF ułatwia skalowanie tych procesów. Funkcja przechwytywania zmian danych będzie teraz istnieć jako nowy natywny zasób najwyższego poziomu w studio usługi Azure Data Factory, w którym inżynierowie danych mogą szybko konfigurować zadania ciągłego uruchamiania w celu przetwarzania danych big data na dużą skalę z ekstremalną wydajnością.

Nowy zasób przechwytywania zmian danych w usłudze ADF umożliwia przechwytywanie danych o pełnej wierności, które stale działa niemal w czasie rzeczywistym za pośrednictwem środowiska konfiguracji z przewodnikiem.

Screenshot of new top-level resource in Factory Resources panel.

Obsługiwane źródła danych

  • Avro
  • Azure Cosmos DB (interfejs API SQL)
  • Azure SQL Database
  • Wystąpienie zarządzane Azure SQL
  • Rozdzielany tekst
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • Kod XML
  • Snowflake

Obsługiwane obiekty docelowe

  • Avro
  • Azure SQL Database
  • Wystąpienie zarządzane SQL
  • Rozdzielany tekst
  • Delta
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

Znane ograniczenia

  • Obecnie podczas tworzenia mapowań źródłowych/docelowych każde źródło i element docelowy mogą być używane tylko raz.
  • Typy złożone są obecnie nieobsługiwane.
  • Własne środowisko Integration Runtime (SHIR) jest obecnie nieobsługiwane.

Aby uzyskać więcej informacji na temat znanych ograniczeń i pomocy w rozwiązywaniu problemów, zapoznaj się z tym przewodnikiem rozwiązywania problemów.

Usługa Azure Synapse Analytics jako element docelowy

W przypadku korzystania z usługi Azure Synapse Analytics jako docelowej Ustawienia przemieszczania jest dostępna na głównej kanwie tabeli. Włączenie przemieszczania jest obowiązkowe podczas wybierania usługi Azure Synapse Analytics jako elementu docelowego. Znacznie zwiększa to wydajność zapisu, wykorzystując wydajną funkcję ładowania zbiorczego, taką jak POLECENIE COPY INTO. Ustawienia przejściowe można skonfigurować na dwa sposoby: przy użyciu ustawień fabrycznych lub wybraniu ustawień niestandardowych. Ustawienia fabryczne mają zastosowanie na poziomie fabryki. Jeśli te ustawienia nie zostaną skonfigurowane po raz pierwszy, nastąpi przekierowanie do sekcji globalnego ustawienia przejściowego dla konfiguracji. Po ustawieniu wszystkie zasoby najwyższego poziomu usługi CDC zostaną zastosowane w tej konfiguracji. Ustawienia niestandardowe są ograniczone tylko dla zasobu CDC, dla którego jest skonfigurowany i zastępuje ustawienia fabryki.

Uwaga

Ponieważ używamy polecenia COPY INTO do przesyłania danych z lokalizacji przejściowej do usługi Azure Synapse Analytics, zaleca się, aby upewnić się, że wszystkie wymagane uprawnienia są wstępnie skonfigurowane w usłudze Azure Synapse Analytics.

Uwaga

Zawsze używamy ostatniej opublikowanej konfiguracji podczas uruchamiania usługi CDC. W przypadku uruchamiania kontrolerów CDC podczas przetwarzania danych będą naliczane 4 rdzenie wirtualne Przepływ danych ogólnego przeznaczenia.

Powiązana zawartość