Configurar o ambiente sem servidor

Este artigo explica como usar o painel lateral ambiente de um notebook sem servidor para configurar dependências, políticas de orçamento sem servidor, memória e versão do ambiente. Este painel fornece um único local para gerenciar as configurações sem servidor do notebook. As configurações configuradas neste painel só se aplicam quando o notebook está conectado à computação sem servidor.

Para expandir o painel lateral ambiente, clique no botão à direita do notebook.

Usar a computação de GPU sem servidor

Use as seguintes etapas para usar a computação de GPU serverless no notebook do Databricks:

1. Em um notebook, clique no menu suspenso Conectar na parte superior e selecione Serverless GPU.
2. Clique no Para abrir o painel lateral ambiente .
3. Selecione A10 no campo Acelerador .
4. Selecione Nenhum para o ambiente padrão ou IA v4 para o ambiente de IA no campo Ambiente base .
5. Se você escolheu Nenhum no campo Ambiente base , selecione a versão ambiente.
6. Clique em Aplicar e confirme se deseja aplicar a computação de GPU sem servidor ao seu ambiente de notebook.

Para obter mais detalhes, consulte a computação de GPU sem servidor.

Usar computação sem servidor de memória alta

Se você se deparar com erros de memória insuficiente no notebook, é possível configurar o notebook para usar um tamanho de memória mais alto. Essa configuração aumenta o tamanho da memória REPL usada ao executar o código no notebook. Ele não afeta o tamanho da memória da sessão do Spark. O uso sem servidor com memória alta tem uma taxa de emissão de DBU maior do que a memória padrão.

1. Na interface do usuário do notebook, clique no painel lateral Ambiente.
2. Em Memória, selecione Memória alta.
3. Clique em Aplicar.

Essa configuração também se aplica às tarefas de trabalho do notebook, que são executadas usando as preferências de memória do notebook. Atualizar a preferência de memória no notebook afeta a próxima execução do trabalho.

Selecionar uma política de orçamento sem servidor

As políticas de orçamento sem servidor permitem que a sua organização aplique marcas personalizadas no uso sem servidor para atribuição de cobrança granular.

Se o espaço de trabalho usar políticas de orçamento sem servidor para atribuir o uso sem servidor, você poderá selecionar a política de orçamento sem servidor que deseja aplicar ao notebook. Se um usuário for atribuído a apenas uma política de orçamento sem servidor, essa política será selecionada por padrão.

Você pode selecionar a política de orçamento sem servidor depois que o notebook estiver conectado à computação sem servidor usando o painel lateral Ambiente:

1. Na interface do usuário do notebook, clique no painel lateral Ambiente.
2. Na política de orçamento , selecione a política de orçamento sem servidor que você deseja aplicar ao bloco de anotações.
3. Clique em Aplicar.

Quando essa configuração é concluída, todo o uso do notebook herda as marcas personalizadas da política de orçamento sem servidor.

Selecionar uma versão do ambiente

As versões de ambiente permitem que cargas de trabalho sem servidor recebam atualizações independentes do mecanismo sem afetar a compatibilidade do aplicativo. Para ver detalhes sobre cada versão do ambiente, consulte versões de ambiente sem servidor. O Databricks recomenda escolher a versão mais recente para obter os recursos de notebook mais atualizados.

Para selecionar uma versão do ambiente:

1. Na interface do usuário do notebook, clique no painel lateral Ambiente.
2. Na versão ambiente, selecione uma versão.
3. Clique em Aplicar.

Adicionar dependências ao notebook

Como o serverless não oferece suporte a políticas de computação ou scripts de inicialização, você deve adicionar dependências personalizadas usando o painel lateral Environment. Você pode adicionar dependências individualmente ou usar um ambiente base compartilhável para instalar várias dependências.

Para adicionar individualmente uma dependência:

1. Na interface do usuário do notebook, clique no painel lateral Ambiente.

2. Na seção Dependências , clique em Adicionar Dependência e insira o caminho da dependência no campo. Você pode especificar uma dependência em qualquer formato que seja válido em um arquivo requirements.txt. Arquivos de roda do Python ou projetos do Python (por exemplo, o diretório que contém um pyproject.toml ou um setup.py) podem estar localizados em arquivos de workspace ou volumes do Catálogo do Unity.

   • Se estiver usando um arquivo de workspace, o caminho deverá ser absoluto e começar com /Workspace/.
   • Se estiver usando um arquivo em um volume do Catálogo do Unity, o caminho deverá estar no seguinte formato: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Clique em Aplicar. Isso instala as dependências no ambiente virtual do notebook e reinicia o processo do Python.

Para exibir dependências instaladas, clique na guia Instalado no painel lateral Ambientes . Os logs de instalação pip para o ambiente do notebook também estão disponíveis clicando em logs de pip na parte inferior do painel.

Adicionar dependências a um ambiente base

Um ambiente de base é um arquivo YAML armazenado como um arquivo de espaço de trabalho ou em um volume do Catálogo do Unity que especifica dependências de ambiente adicionais. Você pode selecionar um dos ambientes base do workspace no menu suspenso ambiente base ou selecionar Personalizado para usar uma especificação de ambiente personalizada.

Você pode instalar dependências adicionais individualmente em cima de um ambiente base. As dependências instaladas individualmente substituem ou estendem o ambiente base desse notebook.

Para obter instruções de administrador do workspace, consulte Gerenciar ambientes base sem servidor.

Criar uma especificação de ambiente personalizado

Você pode criar e reutilizar especificações de ambiente personalizadas.

1. Em um notebook sem servidor, selecione uma versão de ambiente e adicione as dependências que você deseja instalar.
2. Clique no ícone de menu kebab Ícone do Na parte inferior do painel de ambiente, clique em Exportar ambiente.
3. Salve a especificação como um arquivo de workspace ou em um volume do Catálogo do Unity.

Para usar sua especificação de ambiente personalizada em um bloco de anotações, selecione Personalizado no menu suspenso ambiente base e, em seguida, use o ícone de pasta re:[Ícone de pasta] para selecionar o arquivo YAML.

Criar utilitários comuns para compartilhar em seu workspace

O exemplo a seguir mostra como armazenar um utilitário comum em um arquivo de workspace e adicioná-lo como uma dependência em seu notebook sem servidor:

1. Crie uma pasta com a estrutura a seguir. Verifique se os consumidores do seu projeto têm acesso apropriado ao caminho do arquivo:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Preencha o pyproject.toml assim:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Adicione uma função ao init.py arquivo. Por exemplo:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Na interface do usuário do notebook, clique no ícone Ambiente do painel lateral

5. Na seção Dependências , clique em Adicionar Dependência e, em seguida, insira o caminho do arquivo util. Por exemplo: /Workspace/helper_utils.

6. Clique em Aplicar.

Agora você pode usar a função em seu notebook:

from helpers import greet
print(greet('world'))

A saída é:

Hello, world!

Redefinir as dependências do ambiente

Se o notebook estiver conectado à computação sem servidor, o Databricks armazenará automaticamente em cache o conteúdo do ambiente virtual do notebook. Isso significa que você geralmente não precisa reinstalar as dependências do Python especificadas no painel lateral Ambiente ao abrir um notebook existente, mesmo que ele tenha sido desconectado devido à inatividade.

O cache de ambiente virtual do Python também se aplica a trabalhos. Quando um trabalho é executado, qualquer tarefa do trabalho que compartilha o mesmo conjunto de dependências que uma tarefa concluída nessa execução é mais rápida, pois as dependências necessárias já estão disponíveis.

Para limpar o cache do ambiente e realizar uma nova instalação das dependências especificadas no painel lateral Ambiente de um notebook conectado à computação sem servidor, clique na seta ao lado de Aplicar e, em seguida, clique em Redefinir para os padrões.

Se você instalar pacotes que quebram ou alteram o notebook principal ou o ambiente do Apache Spark, remova os pacotes ofensivos e redefina o ambiente. Iniciar uma nova sessão não limpa todo o cache do ambiente.

Configurar repositórios de pacotes do Python padrão

Os administradores do espaço de trabalho podem configurar repositórios de pacotes privados ou autenticados em espaço de trabalhos como a configuração do Pip padrão para notebooks sem servidor e trabalhos sem servidor. Isso permite que os usuários instalem pacotes de repositórios internos do Python sem definir explicitamente index-url ou extra-index-url.

Para obter instruções, os administradores do workspace podem consultar o artigo sobre a configuração de repositórios de pacotes Python padrão.

Configurar o ambiente para tarefas de trabalho

Para tipos de tarefa de trabalho, como notebook, script Python, roda python, JAR ou tarefas dbt, as dependências da biblioteca são herdadas da versão do ambiente sem servidor. Para exibir a lista de bibliotecas instaladas, consulte a seção Bibliotecas do Python instaladas ou bibliotecas Java e Scala instaladas da versão do ambiente que você está usando. Se uma tarefa exigir uma biblioteca que não esteja instalada, você poderá instalar a biblioteca dos arquivos do workspace, volumes do Catálogo Unity ou de repositórios de pacotes públicos.

Para notebooks com um ambiente de notebook existente, você pode executar a tarefa usando o ambiente do notebook ou substituí-la selecionando um ambiente de nível de trabalho.

Para adicionar uma biblioteca ao criar ou editar uma tarefa de trabalho:

1. No menu suspenso Ambiente e Bibliotecas, clique em ao lado do ambiente Padrão ou clique em + Adicionar novo ambiente.

   

2. Selecione a versão do ambiente no menu suspenso Versão do ambiente. Veja Versões do ambiente sem servidor. O Databricks recomenda escolher a versão mais recente para obter os recursos mais atualizados.

3. Na caixa de diálogo Configurar ambiente, clique em + Adicionar biblioteca.

4. Selecione o tipo de dependência no menu suspenso em Bibliotecas.

5. Na caixa de texto Caminho do arquivo, insira o caminho para a biblioteca.

• Para um wheel do Python em um arquivo de espaço de trabalho, o caminho deve ser absoluto e começar com /Workspace/.

• Para um wheel do Python em um volume do Catálogo do Unity, o caminho deve ser /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• Para um arquivo requirements.txt, selecione PyPi e digite -r /path/to/requirements.txt.

  

1. Clique em Confirmar ou +Adicionar biblioteca para adicionar outra biblioteca.
2. Se você estiver adicionando uma tarefa, clique em Criar tarefa. Se você estiver editando uma tarefa, clique em Salvar tarefa.