Ten artykuł zawiera odpowiedzi na często zadawane pytania dotyczące usługi Data Factory w usłudze Microsoft Fabric.
Jaka jest przyszłość usług Azure Data Factory (ADF) i Synapse Pipelines?
Potoki usługi Azure Data Factory (ADF) i Azure Synapse utrzymują oddzielne plany dotyczące platformy jako usługi (PaaS). Te dwa rozwiązania nadal współistnieją wraz z usługą Fabric Data Factory, która służy jako oferta oprogramowania jako usługi (SaaS). Potoki usług ADF i Synapse pozostają w pełni obsługiwane i nie ma planów amortyzacji. Ważne jest, aby podkreślić, że w przypadku wszelkich nadchodzących projektów nasza sugestia polega na zainicjowaniu ich przy użyciu usługi Fabric Data Factory. Ponadto mamy strategie ułatwiające przejście potoków usług ADF i Synapse do usługi Fabric Data Factory, co umożliwia im korzystanie z nowych funkcji sieci szkieletowej.
Biorąc pod uwagę luki w funkcjonalności usługi Data Factory dla sieci szkieletowej, jakie są przyczyny wybrania jej w potokach usługi ADF/Synapse?
Ponieważ staramy się wypełnić luki w funkcjach i uwzględnić niezawodne funkcje orkiestracji i przepływu pracy potoków danych znajdujące się w potokach usługi ADF/Azure Synapse w usłudze Fabric Data Factory, potwierdzamy, że niektóre funkcje obecne w potokach usługi ADF/Synapse mogą być niezbędne dla Twoich potrzeb. Zachęcamy do kontynuowania korzystania z potoków usługi ADF/Synapse, jeśli te funkcje są niezbędne, zachęcamy cię do zapoznania się z nowymi możliwościami integracji danych w usłudze Fabric. Twoja opinia na temat tego, które funkcje są kluczowe dla twojego sukcesu, są bezcenne. Aby to ułatwić, aktywnie pracujemy nad wprowadzeniem nowej funkcji, umożliwiając również migrację istniejących fabryk danych z platformy Azure do obszarów roboczych usługi Fabric.
Czy nowe funkcje w usłudze Fabric Data Factory są również dostępne w usłudze ADF/Synapse?
Nie przywracamy nowych funkcji z potoków sieci szkieletowej do potoków usługi ADF /Synapse. Utrzymujemy dwa oddzielne plany dla usługi Fabric Data Factory i ADF/ Synapse. Oceniamy żądania backportu w odpowiedzi na przychodzące opinie.
Czy potok sieci szkieletowej jest taki sam jak potok usługi Azure Synapse?
Główna funkcja potoku sieci szkieletowej jest podobna do potoku usługi Azure Synapse, ale przy użyciu potoku sieci szkieletowej użytkownicy mogą zastosować wszystkie możliwości analizy danych na platformie Fabric. Istotne różnice i mapowania funkcji między potokiem sieci szkieletowej i potokiem usługi Azure Synapse można znaleźć tutaj: Różnice między usługą Data Factory w sieci szkieletowej i na platformie Azure.
Jaka jest różnica między fabryką danych a kartą inżynierii danych w sieci szkieletowej?
Usługa Data Factory ułatwia rozwiązywanie złożonych scenariuszy integracji danych i etL z usługami przenoszenia i przekształcania danych w skali chmury, podczas gdy inżynieria danych pomaga tworzyć magazyn typu lake, używać platformy Apache Spark do przekształcania i przygotowywania danych. Różnice między poszczególnymi terminologiami/środowiskami sieci szkieletowej są dostępne w terminologii usługi Microsoft Fabric.
Gdzie można znaleźć comiesięczne aktualizacje dostępne w usłudze Fabric?
Comiesięczne aktualizacje sieci szkieletowej są dostępne na blogu usługi Microsoft Fabric.
Jak mogę przeprowadzić migrację istniejących potoków z obszaru roboczego usługi Azure Synapse (lub) usługi Azure Synapse do usługi Fabric Data Factory?
Obecnie jedyną dostępną metodą jest ponowne utworzenie potoków w usłudze Fabric Data Factory. Pilnie opracowujemy nową funkcję, która umożliwia użytkownikom efektywne nadzorowanie potoków sieci szkieletowej i usługi ADF oraz zarządzanie nimi na platformie sieci szkieletowej. Ta innowacyjna nowa funkcja nie tylko gwarantuje bezproblemowe zachowanie ciągłości produktu, ale także daje użytkownikom możliwość zanurzenia się w rozszerzonych funkcjach oferowanych przez funkcje integracji danych sieci Szkieletowej.
Jak mogę śledzić i monitorować pojemność sieci szkieletowej używanej z potokami?
Administratorzy pojemności usługi Microsoft Fabric mogą używać aplikacji Metryki pojemności usługi Microsoft Fabric, znanej również jako aplikacja metryk , aby uzyskać wgląd w zasoby pojemności. Ta aplikacja umożliwia administratorom sprawdzenie, ile wykorzystania procesora CPU, czasu przetwarzania i pamięci są używane przez potoki danych, przepływy danych i inne elementy w obszarach roboczych z obsługą pojemności usługi Fabric. Uzyskaj wgląd w przyczyny przeciążenia, szczytowe czasy zapotrzebowania, zużycie zasobów i łatwiejsze identyfikowanie najbardziej wymagających lub najbardziej popularnych elementów.
Czy przepływ danych sieci szkieletowej Gen2 jest podobny do dodatku Power Query osadzonego w usłudze Azure Data Factory?
Działanie Dodatku Power Query w usłudze ADF współdzieli podobieństwa z usługą Dataflow Gen2, ale ma dodatkowe funkcje, które umożliwiają wykonywanie akcji, takich jak zapisywanie w określonych miejscach docelowych danych itp. To porównanie jest bardziej zgodne z przepływem danych Gen1 (przepływami danych usługi Power BI lub przepływami danych usługi Power Apps). Zobacz tutaj więcej szczegółów: Różnice między przepływem danych Gen1 i przepływem danych Gen2.
Jak połączyć się z lokalnymi źródłami danych w usłudze Fabric Data Factory?
Naszym bieżącym celem jest aktywne opracowywanie obsługi potoku sieci szkieletowej w ramach lokalnej bramy danych. Ta nadchodząca funkcja umożliwia bezproblemowe wykorzystanie potoków sieci szkieletowej w celu bezpośredniego dostępu do danych lokalnych. Dopóki ta funkcja nie będzie dostępna, możliwe jest obejście problemu: możesz użyć przepływu danych sieci szkieletowej do transferu danych do magazynu w chmurze, a następnie użyć potoku sieci szkieletowej, aby ułatwić przenoszenie danych do żądanego miejsca docelowego. Zapewnia to bezproblemowe przejście do momentu udostępnienia integracji lokalnej bramy danych.
Czy można nawiązać połączenie z istniejącymi zasobami z włączonym prywatnym punktem końcowym (PE) w usłudze Fabric Data Factory?
Obecnie brama sieci wirtualnej oferuje metodę iniekcyjną, która bezproblemowo integruje się z siecią wirtualną, zapewniając niezawodną drogę do korzystania z prywatnych punktów końcowych w celu nawiązywania bezpiecznych połączeń z magazynami danych. Należy pamiętać, że w tej chwili brama sieci wirtualnej obsługuje tylko przepływy danych sieci szkieletowej. Jednak nasze nadchodzące inicjatywy obejmują rozszerzenie swoich możliwości, aby obejmować potoki sieci szkieletowej.
Jak szybko mogę pozyskiwać dane w potokach danych sieci szkieletowej?
Usługa Fabric Data Factory umożliwia opracowywanie potoków, które maksymalizują przepływność przenoszenia danych dla środowiska. Te potoki w pełni wykorzystują następujące zasoby:
- Przepustowość sieci między źródłowymi i docelowymi magazynami danych
- Źródłowe lub docelowe operacje wejścia/wyjścia magazynu danych na sekundę i przepustowość Ta pełna przepustowość oznacza, że można oszacować ogólną przepływność, mierząc minimalną przepływność dostępną przy użyciu następujących zasobów:
- Źródłowy magazyn danych
- Docelowy magazyn danych
- Przepustowość sieci między źródłowymi i docelowymi magazynami danych tymczasem stale pracujemy nad innowacjami, aby zwiększyć najlepszą możliwą przepływność, którą można osiągnąć. Obecnie usługa może przenieść zestaw danych TPC-DI (pliki parquet) 1 TB do tabeli Fabric Lakehouse i magazynu danych w ciągu 5 minut — przeniesienie 1B wierszy poniżej 1 minuty; Należy pamiętać, że ta wydajność jest tylko odwołaniem, uruchamiając powyższy zestaw danych testowych. Rzeczywista przepływność nadal zależy od czynników wymienionych wcześniej. Ponadto możesz zawsze pomnożyć przepływność, uruchamiając równolegle wiele działań kopiowania. Na przykład przy użyciu pętli ForEach.
Jakie podejście jest zalecane do przypisywania ról w usłudze Fabric Data Factory?
Możesz oddzielić różne obciążenia między obszarami roboczymi i użyć ról, takich jak członek i osoba przeglądająca, aby mieć obszar roboczy do inżynierii danych, który prepsuje dane dla obszaru roboczego używanego do trenowania raportów lub sztucznej inteligencji. Za pomocą roli osoby przeglądanej możesz następnie korzystać z danych z obszaru roboczego inżynierii danych.