Ideias de soluções
Este artigo é uma ideia de solução. Se você quiser que expandamos o conteúdo com mais informações, como possíveis casos de uso, serviços alternativos, considerações de implementação ou orientação de preços, informe-nos fornecendo feedback do GitHub.
As recomendações são um importante impulsionador de receita para muitas empresas e são usadas em diferentes tipos de setores, incluindo varejo, notícias e mídia. Com a disponibilidade de grandes quantidades de dados sobre a atividade do cliente, você pode fornecer recomendações altamente relevantes usando o aprendizado de máquina.
Arquitetura
Transfira um ficheiro PowerPoint desta arquitetura.
Fluxo de dados
Loja. O Armazenamento Azure Data Lake armazena grandes quantidades de dados sobre o comportamento do usuário e do consumidor.
Ler. O Azure Databricks se conecta e lê do Armazenamento do Azure Data Lake. A ingestão no Databricks permite o pré-processamento e o treinamento para registrar o modelo.
Pré-processamento. O pré-processamento de dados limpa, transforma e prepara os dados a serem alimentados para o modelo de sistema de recomendações.
Comboio. O treinamento tem duas etapas: engenharia de recursos e treinamento de modelos. Durante o treinamento do modelo, o Azure Databricks usa o conjunto de dados pré-processado para treinar e explicar o comportamento do melhor modelo de recomendação.
Pós-processo. O pós-processamento envolve a avaliação e seleção do modelo com base no modelo com melhor desempenho.
Implementar. O Azure Databricks mantém o modelo. Os endpoints gerenciados em lote implantam o modelo para exposição à exibição front-end. À medida que o modelo é implantado, os novos dados são acessíveis por meio de novos pontos de extremidade. Recomendações em lote e quase em tempo real são suportadas.
Escreva. As interfaces de usuário, como aplicativos Web, podem consumir os resultados do modelo armazenado. Os resultados são gravados e capturados no Azure Synapse. O modelo é executado como inferência em lote e armazena os resultados no respetivo armazenamento de dados.
Componentes
Esta arquitetura utiliza os seguintes componentes:
O Armazenamento Azure Data Lake é um conjunto de recursos de armazenamento dedicados à análise de big data e que fornecem semântica do sistema de arquivos, segurança em nível de arquivo e dimensionamento.
O Azure Databricks é um cluster Apache Spark gerenciado para treinamento e avaliação de modelos.
O Azure Synapse Analytics é o armazém de dados na nuvem rápido, flexível e fiável que lhe permite dimensionar, calcular e armazenar de forma elástica e independente, com uma arquitetura de processamento paralelo massivo.
Detalhes do cenário
A abordagem descrita neste artigo se concentra na criação de um sistema de recomendação baseado em conteúdo. Para obter mais informações sobre as práticas recomendadas de criação de sistemas de recomendação, consulte a documentação e os exemplos de recomendações no GitHub.
Este cenário de exemplo mostra como você pode usar o aprendizado de máquina para automatizar a personalização baseada em conteúdo para seus clientes. A solução usa o Azure Databricks para treinar um modelo que prevê a probabilidade de um usuário estar interessado em um item. Pontos de extremidade gerenciados em lote implantam esse modelo como um serviço de previsão. Você pode usar esse serviço para criar recomendações personalizadas classificando os itens com base no conteúdo em que um usuário provavelmente estará interessado.
Potenciais casos de utilização
Esta solução é ideal para a indústria de retalho. É relevante para os seguintes casos de uso:
- Recomendações de conteúdo para sites e aplicativos móveis
- Recomendações de produtos para sites de comércio eletrônico
- Recomendações de anúncios exibidos para sites
Tipos de sistemas de recomendação
Existem três tipos principais de sistemas de recomendação:
Filtragem colaborativa. A filtragem colaborativa identifica padrões semelhantes no comportamento do cliente e recomenda itens com os quais outros clientes semelhantes interagiram. Uma vantagem da filtragem colaborativa é a facilidade de gerar dados — os usuários criam dados enquanto interagem com listagens de itens e produtos. Além disso, os clientes podem descobrir novos itens e produtos além daqueles que são selecionados a partir de suas interações históricas. No entanto, a desvantagem da filtragem colaborativa é o problema do arranque a frio: uma vez que há uma escassez de interações entre os utilizadores e novas ofertas, os itens recém-adicionados não são recomendados por um algoritmo que depende inteiramente das interações do cliente.
Baseado em conteúdo. A recomendação baseada em conteúdo usa informações sobre os itens para conhecer as preferências do cliente e recomenda itens que compartilham propriedades com itens com os quais um cliente interagiu anteriormente. Os sistemas de recomendação baseados em conteúdo não são prejudicados pelo problema do arranque a frio e podem adaptar-se à introdução de novos itens. No entanto, as recomendações são limitadas às características do item original com as quais um cliente interagiu.
Método híbrido. Outra abordagem para criar sistemas de recomendação é misturar filtragem baseada em conteúdo e colaborativa. Este sistema recomenda itens com base nas classificações dos utilizadores e nas informações sobre os itens. A abordagem híbrida tem as vantagens da filtragem colaborativa e da recomendação baseada em conteúdo.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Scott Graham - Brasil | Cientista de Dados Principal
Outros contribuidores:
- Andrew Ajaluwa - Brasil | Gestor de Programas
- Gary Moore - Brasil | Programador/Redator
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.
Próximos passos
Para ver mais exemplos, tutoriais e ferramentas para ajudá-lo a criar seu próprio sistema de recomendação, consulte Microsoft Recommenders, um repositório GitHub.
Consulte Criando sistemas de recomendação com o serviço Azure Machine Learning, uma postagem no blog do Microsoft Azure.