Gerenciamento de biblioteca em ambientes do Fabric

Os ambientes do Microsoft Fabric fornecem configurações flexíveis para executar seus trabalhos do Spark. As bibliotecas fornecem código reutilizável que os desenvolvedores desejam incluir em seu trabalho. Com exceção das bibliotecas internas que vêm com cada runtime do Spark, você pode instalar bibliotecas públicas e personalizadas em seus ambientes do Fabric. Você pode anexar facilmente ambientes aos seus notebooks e definições de trabalho do Spark.

Bibliotecas internas

No Fabric, cada versão de runtime vem pré-carregada com um conjunto de bibliotecas internas que são otimizadas para desempenho, compatibilidade e segurança em Python, R, Java e Scala. A seção Bibliotecas Internas dentro do ambiente permite que você navegue e pesquise essas bibliotecas pré-instaladas com base no runtime selecionado.

Para exibir a lista de pacotes pré-instalados e suas versões para cada runtime, consulte os runtimes do Apache Spark no Fabric.

Repositórios externos

Na seção Repositórios externos, você pode adicionar bibliotecas de bibliotecas públicas, como PyPI e Conda, e também de seus repositórios privados, como o Feed de Artefatos do Azure.

Adicionar uma nova biblioteca de repositórios públicos

Para adicionar uma nova biblioteca do repositório público, ou seja, PyPI ou conda, selecione Adicionar biblioteca no repositório público. Insira o nome da biblioteca na caixa de pesquisa. Conforme você digita, a caixa de pesquisa sugere bibliotecas populares, mas a lista é limitada. Se você não vir sua biblioteca, insira o nome completo da biblioteca.

• Se o nome da biblioteca for válido, você verá as versões disponíveis.
• Se o nome da biblioteca não for válido, você receberá um aviso de que a biblioteca não existe.

Adicionar uma nova biblioteca de repositórios privados

Configurar a conexão para o feed de artefatos do Azure

No Fabric, é proibido armazenar diretamente a credencial. As conexões precisam ser configuradas por meio do Conector do Data Factory. Veja a seguir uma orientação passo a passo para configurar a conexão para o Azure Artifact Feed. Saiba mais sobre o Feed de Artefatos do Azure.

1. Etapa 1: em suas configurações de workspace, vá para Gerenciar conexões e gateways.

   

2. Etapa 2: criar uma nova conexão. Selecione Cloud como o tipo e escolha o Feed de Artefatos do Azure (versão prévia) como o tipo de conexão. Insira a URL e o token de usuário nos respectivos campos e verifique Permitir Code-First Artifact... para acessar essa conexão (versão prévia).

   

3. Etapa 3: registrar a ID da conexão após a criação, isso é necessário para usar a conexão em ambientes do Fabric.

Adicionar bibliotecas do Feed de Artefatos do Azure

Para instalar bibliotecas do feed de artefatos do Azure, prepare um arquivo YML que inclua os detalhes corretos da biblioteca e as informações de conexão do repositório privado. Um arquivo YML típico contém a URL do Feed de Artefatos do Azure e os detalhes de autenticação. No entanto, para que o Fabric reconheça a conexão corretamente, você deve substituir a URL e as credenciais pela ID de Conexão criada no Conector do Data Factory.

Veja um exemplo:

# Regular YAML
dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

# Replace the Azure Artifact Feed URL with connection ID
dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID> 

Com o arquivo YML preparado, você pode carregá-lo diretamente ou alternar para o modo de exibição do editor YML para colar o conteúdo no editor em ambientes do Fabric. Quando você publica o ambiente, o sistema lê os pacotes do repositório privado e os mantém no Fabric. Se você atualizar pacotes no Feed de Artefatos do Azure, certifique-se de republicar o ambiente para aplicar as alterações mais recentes.

Filtrar bibliotecas externas

Você pode usar o nome do pacote como a palavra-chave para filtrar a lista de bibliotecas externas.

Atualizar bibliotecas externas

Você pode atualizar o nome da biblioteca, a versão e o tipo de origem no modo de exibição lista. No modo de exibição do editor YML, você também pode atualizar esses detalhes junto com a ID de conexão do Azure Artifact Feed.

Excluir bibliotecas externas

A opção Excluir para cada biblioteca é exibida quando você passa o mouse sobre sua linha. Para excluir várias bibliotecas externas, selecione-as e clique em Excluir. Você também pode remover bibliotecas usando a exibição do editor YML.

Exibir dependência

Cada biblioteca externa de repositórios públicos pode ter dependências. A opção Exibir Dependências é exibida quando você passa o mouse sobre a linha correspondente. Ao clicar neste botão, recuperará a árvore de dependências de repositórios públicos. Se a biblioteca não puder ser encontrada em repositórios públicos, por exemplo, ela é uma biblioteca privada no Feed de Artefatos do Azure, suas informações de dependência não estarão disponíveis.

Exportar para .yml

O Fabric fornece a opção de exportar a lista de biblioteca externa completa para um .yml arquivo e baixá-la para o diretório local.

Bibliotecas personalizadas

Bibliotecas personalizadas referem-se ao código criado por você ou sua organização. O Fabric dá suporte a arquivos de biblioteca personalizados em .whl, .pye .jar.tar.gz formatos.

Carregar a biblioteca personalizada

Você pode carregar bibliotecas personalizadas do diretório local para o ambiente do Fabric.

Excluir a biblioteca personalizada

A opção de lixo para cada biblioteca é exibida quando você passa o mouse sobre a linha correspondente. Para excluir várias bibliotecas personalizadas, selecione-as e selecione Excluir.

Baixar todas as bibliotecas personalizadas

Selecione bibliotecas personalizadas para baixá-las uma a uma no diretório de download padrão local.

Conteúdo relacionado

• Criar, configurar e usar um ambiente no Fabric
• Gerenciar bibliotecas do Apache Spark no Fabric