Databricks Runtime 15.4 LTS para Aprendizado de Máquina

O Databricks Runtime 15.4 LTS for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 15.4 LTS. O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando TorchDistributor.

Novos recursos e melhorias

O Databricks Runtime 15.4 LTS ML é construído sobre o Databricks Runtime 15.4 LTS. Para obter informações sobre o que há de novo no Databricks Runtime 15.4 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.4 LTS .

Pesos de amostra AutoML para classificação

O AutoML agora suporta pesos de amostra para classificação, permitindo que você ajuste a importância de cada classe durante o treinamento do modelo de classificação. Para obter mais informações, consulte os parâmetros de classificação para o AutoML Python API.

Alterações no cliente Databricks Feature Engineering

A versão databricks-feature-engineering que foi fornecida com o Databricks Runtime 15.4 LTS ML é 0.6.0.

• Para computação criada em ou após 31 de março de 2025 que não está habilitada para Photon, a versão instalada do databricks-feature-engineering é 0.8.0.
• Para computação criada em ou após 21 de julho de 2025 habilitada para Photon ou usando CPU baseada em Arm64, a versão instalada do databricks-feature-engineering é 0.8.0.

Para obter informações sobre o que há de novo na API Python do Databricks Feature Engineering, consulte as notas de versão do cliente de engenharia de recursos.

Outras alterações

Petastorm está agora obsoleta

O pacote Petastorm foi agora preterido. As versões posteriores ao 15.4 LTS ML não terão este pacote pré-instalado. O Mosaic Streaming é o substituto recomendado para carregar grandes conjuntos de dados a partir do armazenamento em nuvem.

O distribuidor Spark Tensorflow foi preterido

O spark-tensorflow-distributor pacote foi preterido. As versões posteriores ao 15.4 LTS ML não terão este pacote pré-instalado. O Ray on Databricks é o substituto recomendado para o treinamento distribuído de um modelo Tensorflow ou Keras.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.4 LTS ML difere do Databricks Runtime 15.4 LTS da seguinte forma:

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12,1
  • Cusolver 11.4.5.107-1
  • Cupti 12,1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 15.4 LTS ML que diferem daquelas incluídas no Databricks Runtime 15.4 LTS.

Nesta secção:

• Bibliotecas de nível superior
• Bibliotecas Python
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 15.4 LTS ML inclui as seguintes bibliotecas de camada superior:

• conjuntos de dados
• GraphFrames
• MLflow
• PyTorch
• conector Spark-TensorFlow
• Scikit-aprender
• TensorFlow
• TensorBoard
• transformadores

Bibliotecas Python

O Databricks Runtime 15.4 LTS ML usa virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.4 LTS ML também inclui os seguintes pacotes:

• hiperopt 0.2.7+db3
• Sparkdl 3.0.0_db1
• AutoML 1.28.0 |

Para reproduzir o ambiente Python do Databricks Runtime ML em seu ambiente virtual Python local:

1. Faça o download do arquivo apropriado requirements.txt . Consulte requirements.txt as versões de arquivo para Databricks Runtime 15.4 LTS ML.

2. Nos sistemas Ubuntu, execute sudo apt-get install libpq-dev libcairo2-dev libdbus-1-dev libgirepository1.0-dev libsnappy-dev para instalar bibliotecas do sistema.

3. Executar pip install -r requirements-<version>.txt> --extra-index-url https://download.pytorch.org/whl/cpu. Por exemplo, pip install -r requirements-15.4-v3.txt --extra-index-url https://download.pytorch.org/whl/cpu.

   Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, ou a bifurcação Databricks de hyperopt ou horovod.

requirements.txt versões de arquivo para Databricks Runtime 15.4 LTS ML

Alguns pacotes foram atualizados após o lançamento inicial do Databricks Runtime 15.4 LTS ML. Use a tabela a seguir para determinar e baixar o arquivo correto requirements.txt .

Bibliotecas Python em clusters de CPU

* Para computação que foi criada em ou após 12 de fevereiro de 2025 e que não está habilitada para Photon, mlflow-skinny é atualizado para 2.19.0. Para computação que foi criada em ou após 21 de julho de 2025 que está habilitada para Photon ou usa CPU baseada em Arm64, mlflow-skinny é atualizada para 2.19.0, ray é atualizada para 2.37.0 e databricks-feature-engineering é atualizada para 0.8.0.

Bibliotecas Python em clusters GPU

* Para computação que foi criada em ou após 12 de fevereiro de 2025 e que não está habilitada para Photon, mlflow-skinny é atualizado para 2.19.0. Para computação que foi criada em ou após 21 de julho de 2025 que está habilitada para Photon ou usa CPU baseada em Arm64, mlflow-skinny é atualizada para 2.19.0, ray é atualizada para 2.37.0 e databricks-feature-engineering é atualizada para 0.8.0.

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 15.4 LTS.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 15.4 LTS, o Databricks Runtime 15.4 LTS ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU