CF_CLEAN_SOURCE_UNAUTHORIZED_WRITE_PERMISSION como condição de erro

SQLSTATE: 42501

O Auto Loader não pode arquivar arquivos processados porque não tem permissões de gravação no diretório de origem ou no destino de movimentação.

NECESSITA_PERMISSÕES

<reason>

Para corrigir, você pode:

1. Conceder permissões de gravação para o diretório de origem e mover o destino OU

2. Definir cleanSource como 'OFF'

Também pode desbloquear o seu fluxo definindo o SQLConf spark.databricks.cloudFiles.cleanSource.disabledDueToAuthorizationErrors para 'true'.

UTILIZAR_VOLUMES_PARA_MOVIMENTAR

Não é possível criar tokens de acesso na cloud com abrangência tanto para a origem como para o destino de transferência. Por favor, defina um Volume sobre o diretório principal dos seus dados de origem e mova os ficheiros dentro do volume para um diretório separado.

Também pode desbloquear o seu fluxo configurando o SQLConf spark.databricks.cloudFiles.cleanSource.disabledDueToAuthorizationErrors para 'true'.