Configurar o ambiente sem servidor

Este artigo explica como usar o painel lateral Ambiente de um notebook sem servidor para configurar dependências, políticas de orçamento sem servidor, memória e versão do ambiente. Este painel fornece um único local para gerenciar as configurações sem servidor do notebook. As definições configuradas neste painel só se aplicam quando o notebook está ligado a computação serverless.

Para expandir o painel lateral Ambiente , clique no botão à direita do bloco de anotações.

Utilizar computação sem servidor com GPU

Use os seguintes passos para usar computação com GPU serverless no seu portátil Databricks:

1. No computador portátil, clique no menu suspenso Conectar na parte superior e selecione GPU sem servidor.
2. Clique no para abrir o painel lateral Ambiente .
3. Selecione A10 no campo Acelerador .
4. Selecione Nenhum para o ambiente padrão ou IA v4 para o ambiente de IA a partir do campo Ambiente Base .
5. Se você escolher Nenhum no campo Ambiente base , selecione a Versão do ambiente.
6. Clique em Aplicar e, em seguida, em Confirmar que pretende aplicar a computação GPU sem servidor ao seu ambiente de bloco de notas.

Para mais detalhes, veja Computação com GPU Serverless.

Use computação sem servidor de alta capacidade de memória

Se encontrar erros de falta de memória no seu notebook, pode configurá-lo para utilizar uma capacidade de memória superior. Essa configuração aumenta o tamanho da memória REPL usada ao executar o código no notebook. Isso não afeta o tamanho da memória da sessão do Spark. O uso sem servidor com alta memória tem uma taxa de emissão de DBU mais alta do que a memória padrão.

1. Na interface do usuário do bloco de anotações, clique no painel lateral Ambiente.
2. Em Memória, selecione Memória alta.
3. Clique em Aplicar.

Essa configuração também se aplica a tarefas de trabalho do bloco de anotações, que são executadas usando as preferências de memória do bloco de anotações. A atualização da preferência de memória no caderno afeta a próxima execução do trabalho.

Selecione uma política de orçamento sem servidor

As políticas de orçamento sem servidor permitem que sua organização aplique tags personalizadas no uso sem servidor para atribuição de faturamento granular.

Se seu espaço de trabalho usa políticas de orçamento sem servidor para atribuir o uso sem servidor, você pode selecionar a política de orçamento sem servidor que deseja aplicar ao bloco de anotações. Se um usuário for atribuído a apenas uma política de orçamento sem servidor, essa política será selecionada por padrão.

Você pode selecionar a política de orçamento sem servidor depois que seu notebook estiver conectado ao serverless compute, usando o painel lateral Ambiente :

1. Na interface do usuário do bloco de anotações, clique no painel lateral Ambiente.
2. Em Política de orçamento , selecione a política de orçamento sem servidor que pretende aplicar ao seu bloco de notas.
3. Clique em Aplicar.

Quando essa configuração estiver concluída, todo o uso do bloco de anotações herdará as tags personalizadas da política de orçamento sem servidor.

Selecione uma versão do ambiente

As versões de ambiente permitem que cargas de trabalho sem servidor recebam atualizações independentes do mecanismo sem afetar a compatibilidade do aplicativo. Para ver detalhes sobre cada versão de ambiente, consulte Versões de ambiente sem servidor. A Databricks recomenda escolher a versão mais recente para obter as funcionalidades mais atualizadas do notebook.

Para selecionar uma versão do ambiente:

1. Na interface do usuário do bloco de anotações, clique no painel lateral Ambiente.
2. Em Versão do ambiente, selecione uma versão.
3. Clique em Aplicar.

Adicionar dependências ao bloco de notas

Como o serverless não oferece suporte a políticas de computação ou scripts de inicialização, deve-se adicionar dependências personalizadas usando o painel lateral Ambiente. Você pode adicionar dependências individualmente ou usar um ambiente base compartilhável para instalar várias dependências.

Para adicionar individualmente uma dependência:

1. Na interface do usuário do bloco de anotações, clique no painel lateral Ambiente.

2. Na seção Dependências , clique em Adicionar Dependência e insira o caminho da dependência no campo. Você pode especificar uma dependência em qualquer formato que seja válido em um arquivo requirements.txt . Arquivos de roda Python ou projetos Python (por exemplo, o diretório que contém um pyproject.toml ou um setup.py) podem estar localizados em arquivos de espaço de trabalho ou volumes do Catálogo Unity.

   • Se estiver usando um arquivo de espaço de trabalho, o caminho deve ser absoluto e começar com /Workspace/.
   • Se estiver usando um arquivo em um volume do Catálogo Unity, o caminho deverá estar no seguinte formato: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Clique em Aplicar. Isso instala as dependências no ambiente virtual do notebook e reinicia o processo do Python.

Para visualizar as dependências instaladas, clique na guia Instalado no painel lateral Ambientes . Os logs de instalação do pip para o ambiente de notebook também estão disponíveis clicando em logs do pip na parte inferior do painel.

Adicionar dependências a um ambiente base

Um ambiente base é um arquivo YAML armazenado como um arquivo de espaço de trabalho ou em um volume do Catálogo Unity que especifica dependências de ambiente adicionais. Você pode selecionar um dos ambientes base do seu espaço de trabalho no menu suspenso Ambiente base ou selecionar Personalizado para usar uma especificação de ambiente personalizada.

Você pode instalar dependências adicionais individualmente sobre um ambiente base. As dependências instaladas individualmente substituem ou estendem o ambiente base desse notebook.

Para obter instruções de administração do espaço de trabalho, consulte Gerenciar ambientes básicos sem servidor.

Criar uma especificação de ambiente personalizada

Você pode criar e reutilizar especificações de ambiente personalizadas.

1. Em um bloco de anotações sem servidor, selecione uma versão do ambiente e adicione as dependências que deseja instalar.
2. Clique no ícone do menu na parte inferior do painel do ambiente e, em seguida, clique em Exportar ambiente.
3. Salve a especificação como um arquivo de espaço de trabalho ou em um volume de catálogo Unity.

Para usar sua especificação de ambiente personalizada em um bloco de anotações, selecione Personalizar no menu suspenso Ambiente base e, em seguida, use o ícone de pasta re:[ícone de pasta] para selecionar seu arquivo YAML.

Crie utilitários comuns para compartilhar em seu espaço de trabalho

O exemplo a seguir mostra como armazenar um utilitário comum em um arquivo de espaço de trabalho e adicioná-lo como uma dependência em seu bloco de anotações sem servidor:

1. Crie uma pasta com a seguinte estrutura. Verifique se os consumidores do seu projeto têm acesso apropriado ao caminho do arquivo:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Preencha pyproject.toml assim:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Adicione uma função ao init.py arquivo. Por exemplo:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Na interface do usuário do bloco de anotações, clique no ícone Ambiente do painel lateral .

5. Na seção Dependências , clique em Adicionar Dependência e insira o caminho do arquivo util. Por exemplo: /Workspace/helper_utils.

6. Clique em Aplicar.

Agora você pode usar a função em seu notebook:

from helpers import greet
print(greet('world'))

Isto resulta como:

Hello, world!

Redefinir as dependências do ambiente

Se o seu notebook estiver ligado a computação serverless, Databricks armazenará automaticamente em cache o conteúdo do ambiente virtual do notebook. Isso significa que você geralmente não precisa reinstalar as dependências Python especificadas no painel lateral do Ambiente quando abre um bloco de anotações existente, mesmo que ele tenha sido desconectado devido à inatividade.

O cache do ambiente virtual Python também se aplica a trabalhos. Quando um trabalho é executado, qualquer tarefa do trabalho que compartilha o mesmo conjunto de dependências que uma tarefa concluída nessa execução é mais rápida, pois as dependências necessárias já estão disponíveis.

Para limpar o cache de ambiente e executar uma nova instalação das dependências especificadas no Ambiente no painel lateral de um notebook ligado a computação sem servidor, clique na seta ao lado de Aplicar e depois clique em Redefinir para padrões.

Se você instalar pacotes que quebram ou alteram o notebook principal ou o ambiente Apache Spark, remova os pacotes ofensivos e redefina o ambiente. Iniciar uma nova sessão não limpa todo o cache do ambiente.

Configurar repositórios de pacotes Python padrão

Os administradores de espaços de trabalho podem configurar repositórios de pacotes privados ou autenticados como a configuração pip padrão para blocos de notas sem servidor e os trabalhos sem servidor. Isso permite que os usuários instalem pacotes de repositórios Python internos sem definir explicitamente index-url ou extra-index-url.

Para obter instruções, os administradores do espaço de trabalho podem fazer referência a Configurar repositórios de pacotes Python padrão.

Configurar ambiente para tarefas de trabalho

Para tipos de tarefas de trabalho, como tarefas de notebook, script Python, roda Python, JAR ou dbt, as dependências da biblioteca são herdadas da versão do ambiente sem servidor. Para visualizar a lista de bibliotecas instaladas, consulte a seção Bibliotecas Python instaladas ou Bibliotecas Java e Scala instaladas da versão do ambiente que você está usando. Se uma tarefa exigir uma biblioteca que não esteja instalada, você poderá instalá-la a partir de arquivos de espaço de trabalho, volumes do Catálogo Unity ou repositórios de pacotes públicos.

Para cadernos com um ambiente de caderno existente, pode executar a tarefa usando o ambiente do caderno ou sobrepô-lo, selecionando um ambiente a nível de tarefa.

Para adicionar uma biblioteca ao criar ou editar uma tarefa de trabalho:

1. No menu suspenso Ambiente e Bibliotecas, clique aolado do Ambiente padrão ou clique em + Adicionar novo ambiente.

   

2. Selecione a versão do ambiente na lista suspensa Versão do ambiente. Consulte as versões do ambiente sem servidor . Databricks recomenda escolher a versão mais recente para obter os recursos mais atualizados.

3. Na caixa de diálogo Configurar ambiente, clique em + Adicionar biblioteca.

4. Selecione o tipo de dependência no menu pendente em Bibliotecas.

5. Na caixa de texto Caminho do Ficheiro, insira o caminho para a biblioteca.

• Para um Python Wheel num ficheiro de espaço de trabalho, o caminho deve ser absoluto e começar com /Workspace/.

• Para um Wheel Python num volume do Unity Catalog, o caminho deve ser /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• Para um arquivo requirements.txt, selecione PyPi e digite -r /path/to/requirements.txt.

  

1. Clique em Confirmar ou + Adicionar biblioteca para adicionar outra biblioteca.
2. Se estiver a adicionar uma tarefa, clique em Criar tarefa. Se estiver editando uma tarefa, clique em Salvar tarefa.