Renomear e remover colunas com mapeamento de colunas Delta Lake

O Azure Databricks dá suporte ao mapeamento de colunas para tabelas Delta Lake, o que permite alterações somente de metadados para marcar colunas como excluídas ou renomeadas sem reescrever arquivos de dados. Ele também permite que os usuários nomeiem colunas de tabela Delta usando caracteres que não são permitidos pelo Parquet, como espaços, para que os usuários possam ingerir diretamente dados CSV ou JSON em Delta sem a necessidade de renomear colunas devido a restrições de caracteres anteriores.

Ativar mapeamento de colunas

Use o seguinte comando para habilitar o mapeamento de coluna:

  ALTER TABLE <table-name> SET TBLPROPERTIES (
    'delta.columnMapping.mode' = 'name'
  )

O mapeamento de colunas requer os seguintes protocolos Delta:

• Leitor versão 2 ou superior.
• Writer versão 5 ou superior.

Consulte Compatibilidade de recursos e protocolos do Delta Lake.

Desativar mapeamento de colunas

No Databricks Runtime 15.3 e versões superiores, pode usar o comando DROP FEATURE para remover o mapeamento de colunas de uma tabela e fazer downgrade do protocolo da tabela.

Consulte Eliminar uma tabela Delta Lake e reduzir o protocolo da tabela.

Renomear uma coluna

Quando o mapeamento de colunas está habilitado para uma tabela Delta, você pode renomear uma coluna:

ALTER TABLE <table-name> RENAME COLUMN old_col_name TO new_col_name

Para obter mais exemplos, consulte Atualizar esquema de tabela Delta Lake.

Eliminar colunas

Quando o mapeamento de colunas está habilitado para uma tabela Delta, você pode soltar uma ou mais colunas:

ALTER TABLE table_name DROP COLUMN col_name
ALTER TABLE table_name DROP COLUMNS (col_name_1, col_name_2, ...)

Para obter mais detalhes, consulte Atualizar esquema de tabela Delta Lake.

Caracteres suportados em nomes de colunas

Quando o mapeamento de colunas está habilitado para uma tabela Delta, você pode incluir espaços e qualquer um desses caracteres nos nomes de coluna da tabela: ,;{}()\n\t=.

Streaming com mapeamento de colunas e alterações de esquema

Você pode fornecer um local de rastreamento de esquema para ativar o streaming a partir de tabelas Delta com mapeamento de colunas ativado. Isso supera um problema no qual alterações de esquema não aditivas podem resultar em fluxos quebrados.

Cada fluxo lido em relação a uma fonte de dados deve ter sua própria schemaTrackingLocation especificação. Para gravação de streaming, o especificado schemaTrackingLocation deve estar contido no diretório especificado para a checkpointLocation tabela de destino. Para cargas de trabalho de streaming que combinam dados de várias tabelas Delta de origem, você deve especificar diretórios exclusivos dentro da checkpointLocation para cada tabela de origem.

A opção schemaTrackingLocation é usada para especificar o caminho para o rastreamento de esquema, conforme mostrado no exemplo de código a seguir:

checkpoint_path = "/path/to/checkpointLocation"

(spark.readStream
  .option("schemaTrackingLocation", checkpoint_path)
  .table("delta_source_table")
  .writeStream
  .option("checkpointLocation", checkpoint_path)
  .toTable("output_table")
)