Edytuj

Tworzenie systemu rekomendacji opartych na zawartości

Azure Databricks
Azure Machine Learning

Pomysły dotyczące rozwiązań

Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.

Rekomendacje są kluczowym czynnikiem przychodów dla wielu firm i są używane w różnych branżach, w tym handlu detalicznego, wiadomości i mediów. Dzięki dostępności dużych ilości danych dotyczących aktywności klientów można udostępnić bardzo istotne rekomendacje przy użyciu uczenia maszynowego.

Architektura

Architectural diagram that shows training, evaluation, and development of a machine learning model for content-based personalization that uses Azure Databricks.

Pobierz plik programu PowerPoint tej architektury.

Przepływ danych

  1. Sklepie. Usługa Azure Data Lake Storage przechowuje duże ilości danych dotyczących zachowania użytkowników i konsumentów.

  2. Odczyt. Usługa Azure Databricks nawiązuje połączenie z usługą Azure Data Lake Storage i odczytuje je z usługi Azure Data Lake Storage. Pozyskiwanie danych do usługi Databricks umożliwia wstępne przetwarzanie i trenowanie w celu zarejestrowania modelu.

  3. Przetwarzanie wstępne. Przetwarzanie wstępne danych oczyszcza, przekształca i przygotowuje dane, które mają być przekazywane do modelu systemu zaleceń.

  4. Pociąg. Trenowanie obejmuje dwa kroki: inżynierię cech i trenowanie modeli. Podczas trenowania modelu usługa Azure Databricks używa wstępnie przetworzonego zestawu danych do trenowania i wyjaśniania zachowania najlepszego modelu rekomendacji.

  5. Przetwarzanie po przetworzeniu. Przetwarzanie po przetworzeniu obejmuje ocenę modelu i wybór na podstawie tego, który model działa najlepiej.

  6. Wdrożenie. Usługa Azure Databricks utrzymuje model. Punkty końcowe zarządzane przez usługę Batch wdrażają model na potrzeby wyświetlania frontonu. Podczas wdrażania modelu nowe dane są dostępne za pośrednictwem nowych punktów końcowych. Obsługiwane są zalecenia dotyczące usługi Batch i niemal w czasie rzeczywistym.

  7. Napisz. Interfejsy użytkownika, takie jak aplikacje internetowe, mogą korzystać z przechowywanych wyników modelu. Wyniki są zapisywane i przechwytywane w usłudze Azure Synapse. Model działa jako wnioskowanie wsadowe i przechowuje wyniki w odpowiednim magazynie danych.

Elementy

Ta architektura korzysta z następujących składników:

  • Usługa Azure Data Lake Storage to zestaw funkcji magazynu przeznaczonych do analizy danych big data i zapewniający semantyka systemu plików, zabezpieczenia na poziomie plików i skalowanie.

  • Usługa Azure Databricks to zarządzany klaster Apache Spark na potrzeby trenowania i oceny modelu.

  • Usługa Azure Synapse Analytics to szybki, elastyczny i zaufany magazyn danych w chmurze, który pozwala skalować, obliczać i przechowywać elastycznie i niezależnie przy użyciu architektury masowego przetwarzania równoległego.

Szczegóły scenariusza

Podejście opisane w tym artykule koncentruje się na tworzeniu systemu rekomendacji opartych na zawartości. Aby uzyskać więcej informacji na temat najlepszych rozwiązań dotyczących tworzenia systemów rekomendacji, zobacz dokumentację i przykłady dla osób polecających w witrynie GitHub.

W tym przykładowym scenariuszu pokazano, jak za pomocą uczenia maszynowego zautomatyzować personalizację opartą na zawartości dla klientów. Rozwiązanie używa usługi Azure Databricks do trenowania modelu, który przewiduje prawdopodobieństwo, że użytkownik będzie zainteresowany elementem. wsadowe zarządzane punkty końcowe wdraża ten model jako usługę przewidywania. Za pomocą tej usługi można tworzyć spersonalizowane rekomendacje, klasyfikowanie elementów na podstawie zawartości, którą użytkownik najprawdopodobniej interesuje.

Potencjalne przypadki użycia

To rozwiązanie jest idealne dla branży detalicznej. Dotyczy to następujących przypadków użycia:

  • Zalecenia dotyczące zawartości witryn internetowych i aplikacji mobilnych
  • Zalecenia dotyczące produktów dla witryn handlu elektronicznego
  • Wyświetlane zalecenia dotyczące reklam dla witryn internetowych

Typy systemów rekomendacji

Istnieją trzy główne typy systemów rekomendacji:

  • Filtrowanie współpracy. Filtrowanie współpracy identyfikuje podobne wzorce w zachowaniu klienta i zaleca elementy, z którymi korzystali inni podobni klienci. Zaletą wspólnego filtrowania jest łatwość generowania danych — użytkownicy tworzą dane podczas interakcji z listami elementów i produktów. Ponadto klienci mogą odnajdywać nowe elementy i produkty inne niż te, które są wyselekcjonowane z ich historycznych interakcji. Jednak wadą wspólnego filtrowania jest problem z zimnym startem : ponieważ występuje niedobór interakcji między użytkownikami i nowymi ofertami, nowo dodane elementy nie są zalecane przez algorytm, który jest całkowicie zależny od interakcji z klientami.

  • Oparte na zawartości. Rekomendacja oparta na zawartości używa informacji o elementach do nauki preferencji klientów i zaleca elementy, które udostępniają właściwości elementom, z którymi wcześniej korzystał klient. Systemy rekomendacji oparte na zawartości nie są utrudnione przez problem z zimnym startem i mogą dostosować się do wprowadzenia nowych elementów. Jednak zalecenia są ograniczone do funkcji oryginalnego elementu, z którymi klient wchodził w interakcję.

  • Metoda hybrydowa. Innym podejściem do tworzenia systemów rekomendacji jest połączenie filtrowania opartego na zawartości i współpracy. Ten system zaleca elementy oparte na ocenach użytkowników i informacjach o elementach. Podejście hybrydowe ma zalety zarówno wspólnego filtrowania, jak i rekomendacji opartych na zawartości.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

Inny współautor:

  • Andrew Ajaluwa | Menedżer programu
  • Gary Moore | Programista/pisarz

Aby wyświetlić niepubalne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki