Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Importante
O Azure Synapse Analytics Data Explorer (Visualização) será desativado em 7 de outubro de 2025. Após essa data, as cargas de trabalho em execução no Synapse Data Explorer serão excluídas e os dados do aplicativo associados serão perdidos. É altamente recomendável migrar para o Eventhouse no Microsoft Fabric.
O programa Microsoft Cloud Migration Factory (CMF) foi projetado para ajudar os clientes na migração para o Fabric. O programa oferece recursos práticos de teclado sem nenhum custo para o cliente. Estes recursos são atribuídos por um período de 6-8 semanas, com um âmbito pré-definido e acordado. As nomeações de clientes são aceites pela equipa da conta Microsoft ou diretamente através do envio de um pedido de ajuda à equipa CMF.
O Azure Synapse Data Explorer oferece aos clientes uma experiência interativa de consulta para desbloquear insights a partir de dados de registo e telemetria. Para complementar os motores de execução de análise SQL e Apache Spark existentes, o tempo de execução analítico do Data Explorer é otimizado para análises de logs eficientes, utilizando tecnologia de indexação poderosa para indexar automaticamente dados de texto livre e semi-estruturados comumente encontrados em dados de telemetria.
Para saber mais, veja o seguinte vídeo:
O que torna o Azure Synapse Data Explorer único?
Ingestão fácil - O Data Explorer oferece integrações integradas para ingestão de dados sem código/low-code, alta taxa de processamento e cache de dados provenientes de fontes em tempo real. Os dados podem ser ingeridos de fontes como Azure Event Hubs, Kafka, Azure Data Lake, agentes open source como Fluentd/Fluent Bit, e uma grande variedade de fontes de dados na cloud e on-premises.
Sem modelação complexa de dados - Com o Data Explorer, não é necessário construir modelos de dados complexos nem é necessário scripting complexo para transformar os dados antes de serem consumidos.
Sem manutenção de índice - Não há necessidade de tarefas de manutenção para otimizar dados para o desempenho das consultas nem de manutenção de índice. Com o Data Explorer, todos os dados brutos estão disponíveis imediatamente, permitindo-lhe executar consultas de elevado desempenho e alta simultaneidade nos seus dados de streaming e persistentes. Pode usar estas consultas para construir dashboards e alertas quase em tempo real e ligar dados de análise operacional com o resto da plataforma de análise de dados.
Democratização da análise de dados - O Data Explorer democratiza a análise de big data em modo self-service com a intuitiva Linguagem de Consultas Kusto (KQL), que proporciona a expressividade e o poder do SQL aliados à simplicidade do Excel. O KQL está altamente otimizado para explorar dados brutos de telemetria e séries temporais, aproveitando a tecnologia de indexação de texto de topo do Data Explorer para uma pesquisa eficiente em texto livre e regex, bem como capacidades abrangentes de análise para consultar trilhos\dados de texto e dados semi-estruturados JSON, incluindo arrays e estruturas aninhadas. O KQL oferece suporte avançado de séries temporais para criar, manipular e analisar múltiplas séries temporais com suporte de execução Python integrado no motor para pontuação de modelos.
Tecnologia comprovada à escala petabyte - O Data Explorer é um sistema distribuído com recursos computacionais e armazenamento que pode escalar de forma independente, permitindo análises em gigabytes ou petabytes de dados.
Integrado - O Azure Synapse Analytics proporciona interoperabilidade entre dados entre o Data Explorer, Apache Spark e motores SQL, permitindo que engenheiros de dados, cientistas de dados e analistas de dados acedam e colaborem fácil e seguro com os mesmos dados no data lake.
Quando usar o Azure Synapse Data Explorer?
Use o Data Explorer como plataforma de dados para construir soluções de análise de logs e IoT quase em tempo real para:
Consolide e correlacione os seus registos e dados de eventos entre fontes de dados on-premises, cloud e de terceiros.
Acelere a sua jornada de IA Ops (reconhecimento de padrões, deteção de anomalias, previsão e mais).
Substituir as soluções de pesquisa de registos baseadas em infraestrutura para poupar custos e aumentar a produtividade.
Construa soluções de análise IoT para os seus dados IoT.
Construa soluções SaaS analíticas para oferecer serviços aos seus clientes internos e externos.
Arquitetura de Agrupamento do Data Explorer
Os pools do Data Explorer implementam uma arquitetura de scale-out separando os recursos de computação e armazenamento. Isto permite-lhe escalar cada recurso de forma independente e, por exemplo, executar múltiplos cálculos apenas de leitura nos mesmos dados. Os pools do Data Explorer consistem num conjunto de recursos computacionais que executam o motor e que são responsáveis pela indexação automática, compressão, cache e serviço de consultas distribuídas. Têm também um segundo conjunto de recursos de computação a executar o serviço de gestão de dados responsável por trabalhos de sistema em segundo plano, bem como pela ingestão de dados gerida e em fila. Todos os dados são preservados em contas de armazenamento de blob geridas usando um formato colunar comprimido.
Os pools do Data Explorer suportam um ecossistema rico para a ingestão de dados através de conectores, SDKs, APIs REST e outras capacidades geridas. Oferece várias formas de consumir dados para consultas ad hoc, relatórios, dashboards, alertas, APIs REST e SDKs.
Existem muitas capacidades únicas que tornam o Data Explore o melhor motor analítico para análise de logs e séries temporais no Azure.
As secções seguintes destacam os principais diferenciadores.
A indexação de dados em texto livre e semi-estruturado permite consultas de alto desempenho e altamente concorrentes, praticamente em tempo real.
O Data Explorer indexa dados semi-estruturados (JSON) e dados não estruturados (texto livre), o que faz com que as consultas em execução tenham bom desempenho neste tipo de dados. Por defeito, todos os campos são indexados durante a ingestão de dados, com a opção de usar uma política de codificação de baixo nível para afinar ou desativar o índice para campos específicos. O âmbito do índice é um único fragmento de dados.
A implementação do índice depende do tipo do campo, da seguinte forma:
| Tipo de campo | Implementação de indexação |
|---|---|
| String | O motor constrói um índice de termos invertidos para os valores das colunas de texto. Cada valor de cadeia é analisado e dividido em termos normalizados, e uma lista ordenada de posições lógicas, contendo ordinais de registo, é registada para cada termo. A lista ordenada resultante de termos e as suas posições associadas é armazenada como uma árvore B imutável. |
|
Numérico DateTime TimeSpan |
O motor constrói um índice frontal simples baseado em alcance. O índice regista os valores mínimos/máximos para cada bloco, para um grupo de blocos e para toda a coluna dentro do fragmento de dados. |
| dinâmico | O processo de ingestão enumera todos os elementos "atómicos" dentro do valor dinâmico, como nomes de propriedades, valores e elementos de array, e encaminha-os para o construtor de índices. Os campos dinâmicos têm o mesmo índice de termos invertidos que os campos de cordas. |
Estas capacidades eficientes de indexação permitem ao Data Explore disponibilizar os dados quase em tempo real para consultas de alto desempenho e alta concorrência. O sistema otimiza automaticamente fragmentos de dados para aumentar ainda mais o desempenho.
Linguagem de Pesquisa Kusto
A KQL tem uma comunidade grande e em crescimento, com a rápida adoção do Azure Monitor Log Analytics e Application Insights, Microsoft Sentinel, Azure Data Explorer e outras ofertas da Microsoft. A linguagem é bem desenhada, com uma sintaxe fácil de ler e proporciona uma transição suave de simples linhas para consultas complexas de processamento de dados. Isto permite que o Data Explorer ofereça um suporte rico ao Intellisense e um conjunto completo de construções linguísticas e capacidades incorporadas para agregações, séries temporais e análises de utilizadores que não estão disponíveis em SQL para uma exploração rápida de dados de telemetria.