Compartilhar via

Análise de IoT com o Azure Data Explorer e o Hub IoT do Azure

Azure Cosmos DB
Azure Data Explorer
Gêmeos Digitais do Azure
Hub IoT do Azure

Ideias de soluções

Este artigo descreve uma ideia de solução. Seu arquiteto de nuvem pode usar essa orientação para ajudar a visualizar os principais componentes para uma implementação típica dessa arquitetura. Use este artigo como ponto de partida para projetar uma solução bem arquitetada que se alinhe aos requisitos específicos de sua carga de trabalho.

Esta ideia de solução descreve como o Azure Data Explorer fornece análises quase em tempo real para dados de streaming de fluxo rápido e alto volume de dispositivos e sensores da Internet das Coisas (IoT). Esse fluxo de trabalho de análise faz parte de uma solução geral de IoT que integra cargas de trabalho operacionais e analíticas com o Azure Cosmos DB e o Azure Data Explorer.

Jupyter é uma marca registrada da sua respectiva empresa. Nenhum endosso é implícito pelo uso dessa marca. Apache® e Apache Kafka® são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation.

Arquitetura

Diagrama mostrando a análise de telemetria de IoT com o Azure Data Explorer.

Baixe um Arquivo Visio dessa arquitetura.

Fluxo de dados

  1. Os Hubs de Eventos do Azure, o Hub IoT do Azure ou o Kafka ingerem uma ampla gama de dados de streaming de fluxo rápido, como logs, eventos de negócios e atividades do usuário.

  2. O Azure Functions ou o Azure Stream Analytics processam os dados quase em tempo real.

  3. O Azure Cosmos DB armazena mensagens transmitidas no formato JSON para servir um aplicativo operacional em tempo real.

  4. O Azure Data Explorer ingere dados para análise, usando seus conectores para Hubs de Eventos do Azure, Hub IoT do Azure ou Kafka para baixa latência e alta taxa de transferência.

    Como alternativa, você pode ingerir blobs de sua conta do Azure Blob Storage ou Azure Data Lake Storage no Azure Data Explorer usando uma conexão de dados da Grade de Eventos.

    Você também pode exportar dados continuamente para o Azure Storage no formato Apache Parquet compactado e particionado e consultar perfeitamente os dados com o Azure Data Explorer. Para obter mais informações, consulte a visão geral da exportação contínua de dados.

  5. Para atender aos casos de uso operacionais e analíticos, os dados podem rotear para o Azure Data Explorer e o Azure Cosmos DB em paralelo ou do Azure Cosmos DB para o Azure Data Explorer.

    • As transações do Azure Cosmos DB podem acionar o Azure Functions por meio do feed de alterações. As funções transmitirão dados para Hubs de Eventos para ingestão no Azure Data Explorer.

      -ou-

    • O Azure Functions pode invocar os Gêmeos Digitais do Azure por meio de sua API, que transmite dados para Hubs de Eventos para ingestão no Azure Data Explorer.

  6. As interfaces a seguir obtêm insights de dados armazenados no Azure Data Explorer:

  7. O Azure Data Explorer integra-se com o Azure Databricks e o Azure Machine Learning para fornecer serviços de machine learning (ML). Você também pode criar modelos de ML usando outras ferramentas e serviços e exportá-los para o Azure Data Explorer para pontuação de dados.

Componentes

Essa ideia de solução usa os seguintes componentes do Azure.

Azure Data Explorer

  • A detecção e a previsão de anomalias são um recurso de análise interno no Azure Data Explorer. Ele detecta exceções e prevê valores futuros para dar suporte ao monitoramento proativo e à tomada de decisões. Nessa arquitetura, ela identifica padrões incomuns na telemetria de IoT e prevê o comportamento esperado ao longo do tempo.

  • O diagnóstico de anomalias para análise raiz é uma funcionalidade KQL (Linguagem de Consulta Kusto) que ajuda a identificar as causas raiz de anomalias. Ele analisa dimensões e métricas que contribuem para simplificar a solução de problemas. Nessa arquitetura, ela isola a fonte de anomalias detectadas nos dados do dispositivo.

  • O Azure Data Explorer é um serviço de análise de alto desempenho totalmente gerenciado. Ele processa grandes volumes de dados de streaming de aplicativos, sites e dispositivos IoT quase em tempo real. Nessa arquitetura, ela serve como o mecanismo de análise central para ingerir, consultar e visualizar dados de IoT.

  • Os painéis do Azure Data Explorer são um recurso de visualização dentro da interface do usuário da Web. Eles permitem que os usuários exportem consultas Kusto para painéis interativos para exploração de dados em tempo real. Nessa arquitetura, eles exibem insights de fluxos de dados IoT e resultados de detecção de anomalias.

  • A interface do usuário da Web do Azure Data Explorer é uma interface baseada em navegador para trabalhar com clusters do Azure Data Explorer. Ele dá suporte à gravação, execução e compartilhamento de comandos e consultas KQL. Nessa arquitetura, ele fornece um workspace para analistas consultarem e explorarem a telemetria de IoT.

  • A análise de série temporal é uma funcionalidade interna no Azure Data Explorer. Ele permite que os usuários explorem padrões temporais, tendências e sazonalidade em dados baseados em tempo. Nessa arquitetura, ela revela tendências de longo prazo e comportamento cíclico em leituras de sensor de IoT.

Outros componentes do Azure

  • Azure Cosmos DB: serviço de banco de dados NoSQL rápido e totalmente gerenciado para desenvolvimento de aplicativos modernos com APIs abertas para qualquer escala. Nessa arquitetura, ela armazena dados operacionais de dispositivos IoT para acesso escalonável e de baixa latência.

  • Os Gêmeos Digitais do Azure são uma plataforma para modelar ambientes físicos como representações digitais. Nessa arquitetura, ele mantém modelos digitais de ativos conectados à IoT para dar suporte à análise espacial e insights contextuais.

  • Hub IoT do Azure: habilita a comunicação bidirecional entre dispositivos IoT e a nuvem do Azure. Nessa arquitetura, ele serve como o hub central de mensagens para operações de telemetria e comando e controle de dispositivos.

  • Os Hubs de Eventos são um serviço de ingestão de dados em tempo real totalmente gerenciado. Nessa arquitetura, ela ingere telemetria de dispositivos IoT e a transmite para o pipeline de análise.

  • O Kafka no HDInsight é um serviço econômico e de nível empresarial para executar o Apache Kafka no Azure. Nessa arquitetura, ele fornece um backbone de streaming alternativo para ingerir e distribuir dados de IoT.

Detalhes do cenário

Essa solução utiliza o Azure Data Explorer para realizar análises de telemetria de IoT quase em tempo real em dados de streaming de alto volume e fluxo rápido provenientes de uma ampla variedade de dispositivos IoT.

Possíveis casos de uso

  • Gestão de frota, para manutenção preditiva de peças de veículos. Essa solução é ideal para os setores automotivo e de transporte.
  • Gestão de instalações, para otimização energética e ambiental.
  • Combinando condições de estrada em tempo real com dados meteorológicos para uma condução autônoma mais segura.

Colaboradores

Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.

Autor principal:

Próximas etapas