Databricks Runtime 15.4 LTS para Machine Learning

O Databricks Runtime 15.4 LTS para Machine Learning fornece um ambiente pronto para uso em aprendizado de máquina e ciência de dados com base no Databricks Runtime 15.4 LTS. O Databricks Runtime ML contém muitas bibliotecas de aprendizado de máquina populares, inclusive TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizado profundo distribuído com o uso do TorchDistributor.

Novos recursos e melhorias

O Databricks Runtime 15.4 LTS para ML tem como base o Databricks Runtime 15.4 LTS. Para obter informações sobre as novidades no Databricks Runtime 15.4 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.4 LTS .

Pesos de exemplo de AutoML para classificação

O AutoML agora funciona com pesos de amostra para classificação, permitindo que você ajuste a importância de cada classe durante o treinamento do modelo de classificação. Para obter mais informações, consulte os parâmetros de classificação da API do Python AutoML.

Alterações no cliente de Engenharia de Recursos do Databricks

A versão do databricks-feature-engineering que foi enviada com o Databricks Runtime 15.4 LTS ML é 0.6.0.

• Para computação criada em ou após 31 de março de 2025 que não está habilitada para o Photon, a versão databricks-feature-engineering instalada é 0.8.0.
• Para a computação criada a partir de 21 de julho de 2025, habilitada para Photon ou usando CPU baseada em Arm64, a versão do databricks-feature-engineering é 0.8.0.

Para obter informações sobre as novidades na API Python de Engenharia de Recursos do Databricks, consulte as notas de versão do cliente de engenharia de recursos.

Outras alterações

O Petastorm agora está obsoleto

O pacote Petastorm agora está obsoleto. As versões posteriores à versão 15.4 LTS ML não terão este pacote pré-instalado. Mosaic Streaming é o substituto recomendado para carregar grandes conjuntos de dados do armazenamento em nuvem.

O distribuidor do Spark Tensorflow agora está preterido

O pacote spark-tensorflow-distributor agora está obsoleto. As versões posteriores à versão 15.4 LTS ML não terão este pacote pré-instalado. Ray no Databricks é a substituição recomendada para o treinamento distribuído de um modelo Tensorflow ou Keras.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.4 LTS para ML difere do Databricks Runtime 15.4 LTS nestes pontos:

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12.1
  • cusolver 11.4.5.107-1
  • cupti 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 15.4 LTS para ML que diferem daquelas incluídas no Databricks Runtime 15.4 LTS.

Nesta seção:

• Bibliotecas de camada superior
• Bibliotecas do Python
• Bibliotecas do R
• Bibliotecas do Java e do Scala (cluster do Scala 2.12)

Bibliotecas de camada superior

O Databricks Runtime 15.4 LTS para ML inclui as seguintes bibliotecas de camada superior:

• Conjuntos de dados
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• TensorFlow
• TensorBoard
• transformers

Bibliotecas do Python

O Databricks Runtime 15.4 ML usa o virtualenv para o gerenciamento de pacotes Python e inclui vários pacotes populares de ML.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.4 LTS para ML também inclui os seguintes pacotes:

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.28.0

Para reproduzir o ambiente Python do Databricks Runtime ML no ambiente virtual Python local:

1. Baixe o arquivo apropriado requirements.txt . Consulte requirements.txt as versões de arquivo do Databricks Runtime 15.4 LTS ML.

2. Em sistemas Ubuntu, execute sudo apt-get install libpq-dev libcairo2-dev libdbus-1-dev libgirepository1.0-dev libsnappy-dev para instalar as bibliotecas do sistema.

3. Execute a pip install -r requirements-<version>.txt> --extra-index-url https://download.pytorch.org/whl/cpu. Por exemplo, pip install -r requirements-15.4-v3.txt --extra-index-url https://download.pytorch.org/whl/cpu.

   Esse comando instala todas as bibliotecas código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, ou o fork do Databricks de hyperopt ou de horovod.

requirements.txt versões de arquivo do Databricks Runtime 15.4 LTS ML

Alguns pacotes foram atualizados após a versão inicial do Databricks Runtime 15.4 LTS ML. Use a tabela a seguir para determinar e baixar o arquivo correto requirements.txt .

Bibliotecas do Python em clusters de CPU

* Para computação criada em ou após 12 de fevereiro de 2025, e que não está habilitada para Photon, mlflow-skinny será atualizada para 2.19.0. Para a computação criada em ou após 21 de julho de 2025 habilitada para o Photon ou que usa a CPU baseada em Arm64, mlflow-skinny é atualizada para 2.19.0, ray é atualizada para 2.37.0 e databricks-feature-engineering é atualizada para 0.8.0.

Bibliotecas do Python em clusters de GPU

* Para computação criada em ou após 12 de fevereiro de 2025, e que não está habilitada para Photon, mlflow-skinny será atualizada para 2.19.0. Para a computação criada em ou após 21 de julho de 2025 habilitada para o Photon ou que usa a CPU baseada em Arm64, mlflow-skinny é atualizada para 2.19.0, ray é atualizada para 2.37.0 e databricks-feature-engineering é atualizada para 0.8.0.

Bibliotecas do R

As bibliotecas do R são idênticas às Bibliotecas do R existentes no Databricks Runtime 15.4 LTS.

Bibliotecas do Java e do Scala (cluster do Scala 2.12)

Além das bibliotecas do Java e do Scala no Databricks Runtime 15.4 LTS, o Databricks Runtime 15.4 LTS para ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU