Partilhar via

Pool SQL sem servidor no Azure Synapse Analytics

Cada espaço de trabalho do Azure Synapse Analytics vem com endpoints de pool SQL sem servidor, que pode usar para consultar dados no Azure Data Lake nos formatos Parquet, Delta Lake, texto delimitado, Azure Cosmos DB ou Dataverse.

Serverless SQL pool is a query service over the data in your data lake. Permite-lhe aceder aos seus dados através das seguintes funcionalidades:

O pool SQL sem servidor é um sistema de processamento de dados distribuído, construído para dados em grande escala e funções computacionais. O pool SQL sem servidor permite que você analise seu Big Data em segundos ou minutos, dependendo da carga de trabalho. Graças à tolerância a falhas de execução de consultas integrada, o sistema oferece alta confiabilidade e taxas de sucesso, mesmo para consultas de longa execução envolvendo grandes conjuntos de dados.

O pool SQL é sem servidor, portanto, não há infraestrutura para configurar nem clusters para manter. É fornecido um ponto final predefinido para este serviço em cada área de trabalho do Azure Synapse, para que possa começar a consultar dados assim que a área de trabalho for criada.

Não há cobrança para os recursos reservados. Você está sendo cobrado apenas pelos dados processados pelas consultas que você executa, portanto, este modelo é um verdadeiro modelo de pagamento por uso.

Se você usar o Apache Spark for Azure Synapse em seu pipeline de dados, para preparação, limpeza ou enriquecimento de dados, poderá consultar tabelas externas do Spark criadas no processo, diretamente do pool SQL sem servidor. Use Private Link to bring your serverless SQL pool endpoint into your managed workspace virtual network.

Benefícios do pool SQL sem servidor

Se você precisar explorar dados no data lake, obter insights deles ou otimizar seu pipeline de transformação de dados existente, poderá se beneficiar do uso do pool SQL sem servidor. É adequado para os seguintes cenários:

  • Descoberta e exploração básicas - Raciocine rapidamente sobre os dados em vários formatos (Parquet, CSV, JSON) em seu data lake, para que você possa planejar como extrair insights deles.
  • Data warehouse lógico – Fornece uma abstração relacional sobre os dados brutos ou díspares, sem necessidade de realocar ou transformar os dados, permitindo assim uma visão sempre atualizada dos dados. Saiba mais sobre como criar um armazém de dados lógico.
  • Transformação de dados - Maneira simples, escalável e eficiente de transformar dados no lago usando T-SQL, para que possam ser alimentados para BI e outras ferramentas ou carregados em um armazenamento de dados relacional (bancos de dados Synapse SQL, Banco de Dados SQL do Azure, etc.).

Diferentes funções profissionais podem se beneficiar do pool SQL sem servidor:

  • Os engenheiros de dados podem explorar o lago, transformar e preparar dados usando esse serviço e simplificar seus pipelines de transformação de dados. Para obter mais informações, consulte este tutorial.
  • Os cientistas de dados podem raciocinar rapidamente sobre o conteúdo e a estrutura dos dados no lago, graças a recursos como OPENROWSET e inferência automática de esquema.
  • Os Analistas de Dados podem explorar dados e tabelas externas do Spark criadas por Cientistas de Dados ou Engenheiros de Dados usando a linguagem T-SQL familiar ou suas ferramentas favoritas, que podem se conectar ao pool SQL sem servidor.
  • Os profissionais de BI podem criar rapidamente relatórios do Power BI sobre os dados nas tabelas lake e Spark.

Como começar a usar o pool SQL sem servidor

Serverless SQL pool endpoint is provided within every Azure Synapse workspace. Você pode criar um espaço de trabalho e começar a consultar dados instantaneamente usando ferramentas com as quais está familiarizado.

Certifique-se de que está a aplicar as melhores práticas para obter o melhor desempenho.

Ferramentas do cliente

O pool SQL sem servidor permite que as ferramentas de consulta ad-hoc SQL existentes e de business intelligence aproveitem o data lake. Como fornece uma sintaxe T-SQL familiar, qualquer ferramenta capaz de estabelecer uma conexão TDS com ofertas SQL pode ligar-se e consultar o Synapse SQL. Você pode se conectar ao Azure Data Studio e executar consultas ad-hoc ou conectar-se ao Power BI para obter informações em questão de minutos.

Suporte de T-SQL

O pool SQL sem servidor oferece área de superfície de consulta T-SQL, que é ligeiramente aprimorada/estendida em alguns aspetos para acomodar experiências em torno da consulta de dados semiestruturados e não estruturados. Além disso, alguns aspetos da linguagem T-SQL não são suportados devido ao design do pool SQL sem servidor, como exemplo, a funcionalidade DML não é suportada no momento.

  • A carga de trabalho pode ser organizada usando conceitos familiares:
  • Os bancos de dados - um endpoint de pool SQL sem servidor pode conter vários bancos de dados.
  • Esquemas - Dentro de um banco de dados, pode haver um ou vários grupos de propriedade de objetos chamados esquemas.
  • Views, stored procedures, inline table value functions
  • Recursos externos – fontes de dados, formatos de arquivo e tabelas

A segurança pode ser imposta usando:

  • Inícios de sessão e utilizadores
  • Credenciais para controlar o acesso a contas de armazenamento
  • Conceder, negar e revogar permissões por nível de objeto
  • Microsoft Entra integration

T-SQL suportado:

  • A superfície completa de SELECT é suportada, incluindo a maioria das funções SQL.
  • CETAS - CREATE EXTERNAL TABLE AS SELECT
  • DDL statements related to views and security only

O pool SQL sem servidor não tem armazenamento local, apenas objetos de metadados são armazenados em bancos de dados. Portanto, o T-SQL relacionado aos seguintes conceitos não é suportado:

  • Tabelas
  • Acionadores
  • Materialized views
  • DDL statements other than ones related to views and security
  • Declarações DML

Nota

As consultas de pool SQL sem servidor têm um tempo limite. Para obter mais informações sobre o tempo limite de consulta que pode afetar sua carga de trabalho, consulte Restrições do sistema do pool SQL sem servidor. No momento, não é possível alterar o tempo limite.

Extensões

Para permitir uma experiência fluida para consultas diretamente de dados que residem em arquivos no data lake, o pool SQL sem servidor estende a função OPENROWSET existente, adicionando os seguintes recursos:

Consultar vários arquivos ou pastas

Consultar formato de ficheiro PARQUET

Formato DELTA de consulta

Vários formatos de texto delimitados (com terminador de campo personalizado, terminador de linha, caracteres de escape)

Repositório analítico do Azure Cosmos DB

Ler um subconjunto de colunas escolhido

Inferência de esquema

função de nome de arquivo

função filepath

Trabalhar com tipos complexos e estruturas de dados aninhadas ou repetidas

Segurança

O pool SQL sem servidor oferece mecanismos para proteger o acesso aos seus dados.

Integração com o Microsoft Entra e autenticação multifator

O pool SQL sem servidor permite gerenciar centralmente identidades de usuários de banco de dados e outros serviços da Microsoft com a integração do Microsoft Entra. Esta capacidade simplifica a gestão de permissões e melhora a segurança. O Microsoft Entra ID suporta autenticação multifator (MFA) para aumentar a segurança de dados e aplicativos e, ao mesmo tempo, oferecer suporte a um processo de logon único.

Autenticação

Serverless SQL pool authentication refers to how users prove their identity when connecting to the endpoint. Há suporte para dois tipos de autenticação:

  • Autenticação do SQL

    Este método de autenticação utiliza um nome de utilizador e uma palavra-passe.

  • Autenticação do Microsoft Entra:

    Esse método de autenticação usa identidades gerenciadas pelo Microsoft Entra ID. Para usuários do Microsoft Entra, a autenticação multifator pode ser habilitada. Utilize a autenticação do Active Directory (segurança integrada) sempre que possível.

Autorização

A autorização refere-se ao que um usuário pode fazer em um banco de dados de pool SQL sem servidor e é controlada pelas associações de função de banco de dados e permissões de nível de objeto da sua conta de usuário.

Se a Autenticação SQL for usada, o usuário SQL existirá somente no pool SQL sem servidor e as permissões terão como escopo os objetos no pool SQL sem servidor. O acesso a objetos protegíveis em outros serviços (como o Armazenamento do Azure) não pode ser concedido diretamente ao usuário SQL, pois ele só existe no escopo do pool SQL sem servidor. O usuário SQL precisa usar um dos tipos de autorização com suporte para acessar os arquivos.

Se a autenticação do Microsoft Entra for usada, um usuário poderá entrar no pool SQL sem servidor e em outros serviços, como o Armazenamento do Azure, e conceder permissões ao usuário do Microsoft Entra.

Acesso a contas de armazenamento

Um usuário conectado ao serviço de pool SQL sem servidor deve ser autorizado a acessar e consultar os arquivos no Armazenamento do Azure. O pool SQL sem servidor oferece suporte aos seguintes tipos de autorização:

  • A assinatura de acesso compartilhado (SAS) fornece acesso delegado a recursos na conta de armazenamento. Com uma SAS, você pode conceder aos clientes acesso a recursos na conta de armazenamento, sem compartilhar chaves de conta. Uma SAS oferece controle granular sobre o tipo de acesso concedido aos clientes que têm a SAS: intervalo de validade, permissões concedidas, intervalo de endereços IP aceitável, protocolo aceitável (https/http).

  • A Identidade do Usuário (também conhecida como "passagem") é um tipo de autorização em que a identidade do usuário do Microsoft Entra que fez login no pool SQL sem servidor é usada para autorizar o acesso aos dados. Antes de acessar os dados, o administrador do Armazenamento do Azure deve conceder permissões ao usuário do Microsoft Entra para acessar os dados. This authorization type uses the Microsoft Entra user that logged into serverless SQL pool, therefore it's not supported for SQL user types.

  • Identidade do espaço de trabalho é um tipo de autorização em que a identidade do espaço de trabalho Synapse é usada para autorizar o acesso aos dados. Antes de acessar os dados, o administrador do Armazenamento do Azure deve conceder permissões à identidade do espaço de trabalho para acessar os dados.

Acesso ao Azure Cosmos DB

Você precisa criar uma credencial ao nível do servidor ou com abrangência no banco de dados com a chave de leitura única da conta do Azure Cosmos DB para aceder ao repositório analítico do Azure Cosmos DB.

Próximos passos

Informações adicionais sobre a ligação ao endpoint e a consulta de arquivos podem ser encontradas nos seguintes artigos:

  • Last updated on