Partilhar via

Conectar-se a um local externo raiz do DBFS (legado)

Esta página descreve como se conectar a um local externo de armazenamento raiz do Sistema de Arquivos Databricks (DBFS). Depois de se conectar, você pode controlar o acesso a objetos no armazenamento raiz DBFS usando o Unity Catalog.

Embora o Databricks recomende não armazenar dados no armazenamento raiz DBFS, seu espaço de trabalho pode fazê-lo devido a práticas herdadas. Por exemplo, seu metastore do Azure Databricks Hive herdado e local do espaço de trabalho pode ter armazenado dados na raiz do DBFS. Siga este guia para se conectar à raiz DBFS criando primeiro um objeto de credencial de armazenamento que permita acesso à raiz DBFS e, em seguida, um objeto de local externo que defina o caminho para a raiz DBFS. Esses objetos permitem que você se conecte ao metastore herdado do Hive para que sua equipe possa trabalhar com suas tabelas de metastore do Hive usando o Unity Catalog. Consulte a federação de metastore do Hive: habilite o Unity Catalog para governar tabelas registradas em um metastore do Hive e habilite a federação de metastore do Hive para um metastore do Hive de um espaço de trabalho legado.

Antes de começar

Para criar um local externo para a raiz DBFS, você deve ter uma credencial de armazenamento definida no Unity Catalog que dê acesso ao local de armazenamento em nuvem da raiz DBFS. Se você ainda não tiver um, o sistema pode criar um para você durante o processo de criação do local externo.

Requisitos de permissões:

  • Você deve ter os privilégios de CREATE STORAGE CREDENTIAL e CREATE EXTERNAL LOCATION no metastore. Os administradores da Metastore têm esses privilégios por padrão.

    Note

    Se já existir uma credencial de armazenamento para o local de armazenamento da raiz do DBFS, o utilizador que cria o local externo não precisará de CREATE STORAGE CREDENTIAL, mas precisará de CREATE EXTERNAL LOCATION tanto para a credencial de armazenamento como para o metastore.

  • Você deve ser um administrador de espaço de trabalho para que o sistema crie a credencial de armazenamento para você durante a criação de local externo.

    Você não precisa ser um administrador de espaço de trabalho se já existir uma credencial de armazenamento que dá acesso ao local de armazenamento raiz do DBFS e você tiver CREATE EXTERNAL LOCATION na credencial de armazenamento e no metastore.

Criar o local externo

Você pode usar o Catalog Explorer para criar um local externo para a raiz DBFS.

  1. Na barra lateral, clique no ícone Dados.Catálogo.

  2. Clique em Dados externos > e Criar local externo.

  3. Insira um Nome do local externo.

  4. Para Tipo de armazenamento, selecione DBFS Root.

    Os campos URL e subcaminho são preenchidos com o caminho de armazenamento em nuvem para a raiz do DBFS.

    Important

    Ao criar um local externo para a raiz do DBFS, deve-se usar o subcaminho para o local da raiz do DBFS, e não o caminho para o bucket inteiro. A URL e o subcaminho são pré-preenchidos com user/hive/warehouse, que é o local de armazenamento padrão para tabelas de metastore do Hive. Se quiser um controle de acesso mais refinado aos dados na raiz DBFS, você pode criar locais externos separados para subcaminhos na raiz DBFS.

    Warning

    A sua raiz do DBFS pode ser armazenada no Armazenamento de Blobs do Azure, em vez de no Armazenamento de Dados no Lago do Azure. Esses locais são acessados usando o driver wasb, que não permite controles de diretório ou nível de arquivo. Portanto, o Unity Catalog pode impor o controle de acesso somente no nível do contêiner, o que significa que os usuários com acesso a esse local externo podem potencialmente acessar outros dados no mesmo contêiner se estiverem usando recursos de computação com modo de acesso dedicado (anteriormente modo de acesso de usuário único). Para evitar isso, imponha o uso de recursos de computação do modo de acesso padrão (anteriormente modo de acesso compartilhado), armazéns SQL ou computação sem servidor.

  5. Selecione uma credencial de armazenamento que conceda acesso ao local de armazenamento em nuvem raiz do DBFS ou, se nenhuma tiver sido definida, clique em + Criar nova credencial de armazenamento.

    Uma credencial de armazenamento é criada automaticamente quando você salva o local externo.

  6. (Opcional) Adicione um comentário.

  7. (Opcional) Clique Opções Avançadas e ative Modo de Fallback.

    O modo de fallback destina-se a cenários de migração de carga de trabalho herdada. Consulte Ativar o modo de fallback em locais externos.

  8. Clique em Criar.

  9. Vá para o separador Permissões para conceder permissão para usar o local externo.

    1. Clique em Conceder.
    2. Selecione utilizadores, grupos ou entidades de serviço no campo de Entidades e selecione o privilégio que deseja conceder.
    3. Clique em Conceder.

  10. (Opcional) Defina os espaços de trabalho que podem acessar esse local externo.

    Por padrão, os usuários em qualquer espaço de trabalho que use esse metastore do Unity Catalog podem ter acesso aos dados nesse local. Você pode limitar esse acesso a espaços de trabalho específicos. O Databricks recomenda limitar o acesso ao espaço de trabalho em que a raiz DBFS está.

    Consulte Vincular um local externo a um ou mais espaços de trabalho.

  • Last updated on