Sincronizar definições de tabela externa do Apache Spark para Azure Synapse no pool SQL sem servidor

O pool SQL sem servidor pode sincronizar automaticamente metadados do Apache Spark. Um banco de dados SQL pool sem servidor será criado para cada banco de dados existente em pools Apache Spark sem servidor.

Para cada tabela externa do Spark baseada em Parquet ou CSV e localizada no Armazenamento do Azure, uma tabela externa é criada em um banco de dados de pool SQL sem servidor. Como tal, você pode desligar seus pools do Spark e ainda consultar tabelas externas do Spark do pool SQL sem servidor.

Quando uma tabela é particionada no Spark, os arquivos armazenados são organizados por pastas. O pool SQL sem servidor usará metadados de partição e direcionará apenas pastas e arquivos relevantes para sua consulta.

A sincronização de metadados é configurada automaticamente para cada pool Apache Spark sem servidor provisionado no espaço de trabalho do Azure Synapse. Você pode começar a consultar tabelas externas do Spark instantaneamente.

Cada tabela Spark Parquet ou CSV externa localizada no armazenamento do Azure é representada com uma tabela externa em um esquema dbo que corresponde a uma base de dados de pool SQL sem servidor.

Para consultas de tabela externa do Spark, execute uma consulta direcionada a um [spark_table] externo. Antes de executar o exemplo a seguir, verifique se você tem acesso correto à conta de armazenamento onde os arquivos estão localizados.

SELECT * FROM [db].dbo.[spark_table]

Mapeamento de tipos de dados de Apache Spark para tipos de dados SQL

Para obter mais informações sobre como mapear tipos de dados do Apache Spark para tipos de dados SQL, consulte Tabelas de metadados compartilhados do Azure Synapse Analytics.

Próximos passos

Avance para o artigo Controle de acesso ao armazenamento para saber mais sobre o controle de acesso ao armazenamento.