Databricks Runtime 16.0 para Machine Learning (EoS)

O Databricks Runtime 16.0 para Machine Learning fornece um ambiente prontoto-go para aprendizado de máquina e ciência de dados com base no EoS (Databricks Runtime 16.0). O Databricks Runtime ML contém muitas bibliotecas de machine learning populares, incluindo o TensorFlow, o PyTorch e o XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também dá suporte ao treinamento de aprendizado profundo distribuído usando TorchDistributor, DeepSpeed e Ray.

Novos recursos e melhorias

O Databricks Runtime 16.0 ML é criado com base no Databricks Runtime 16.0. Para obter informações sobre as novidades no Databricks Runtime 16.0, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 16.0 (EoS ).

Novos pacotes Python

Os seguintes pacotes do Python foram adicionados ao Databricks Runtime ML:

• compositor 0.24.1
• optuna 3.6.1

Pesos de exemplo de AutoML para previsão

O AutoML agora oferece suporte a pesos de amostra para previsão, permitindo que você ajuste a importância de cada série temporal para treinar modelos de previsão de várias séries temporais. Para obter mais informações, consulte os parâmetros de previsão da API do AutoML Python.

Usar uma exibição no Catálogo do Unity como uma tabela de recursos

Agora você pode usar uma exibição no Catálogo do Unity como uma tabela de recursos. Consulte Usar uma exibição existente no Catálogo do Unity como uma tabela de recursos.

Outras alterações

Horovod, HorovodRunner, Petastorm, spark-tensorflow-distributor removido

Os seguintes pacotes que foram incluídos em versões anteriores do Databricks Runtime ML não estão incluídos no Databricks Runtime 16.0 ML:

• Horovod
• HorovodRunner
• Petastorm
• spark-tensorflow-distributor

O Databricks recomenda as seguintes substituições:

• Para aprendizado profundo distribuído, o Databricks recomenda usar TorchDistributor para treinamento distribuído com PyTorch ou a API tf.distribute.Strategy para treinamento distribuído com TensorFlow.
• Para carregar grandes conjuntos de dados do armazenamento em nuvem, o Databricks recomenda usar o Mosaic Streaming.
• Para treinamento distribuído para um modelo TensorFlow ou Keras, o Databricks recomenda o uso do Ray. Consulte Ray no Databricks e a documentação do Ray.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 16.0 ML difere do Databricks Runtime 16.0 da seguinte maneira:

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12.6
  • cublas 12.6.0.22-1
  • cusolver 11.6.4.38-1
  • cupti 12.6.37-1
  • cusparse 12.5.2.23-1
  • cuDNN 9.3.0.75-1
  • NCCL 2.22.3
  • TensorRT 10.2.0.19-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 16.0 ML que diferem daquelas incluídas no Databricks Runtime 16.0.

Nesta seção:

• Bibliotecas de camada superior
• Bibliotecas do Python
• Bibliotecas do R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de camada superior

O Databricks Runtime 16.0 ML inclui as seguintes bibliotecas de camada superior:

• Conjuntos de dados
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• streaming
• TensorFlow
• TensorBoard
• Transformadores

Bibliotecas do Python

Databricks Runtime 16.0 ML usa virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 16.0 ML também inclui os seguintes pacotes:

• hyperopt 0.2.7+db5
• automl 1.29.0

Para reproduzir o ambiente Python do Databricks Runtime ML em seu ambiente virtual local do Python, baixe o arquivo requirements-16.0.txt e execute o comando pip install -r requirements-16.0.txt. Esse comando instala todas as bibliotecas código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-engineering, ou o fork do Databricks de hyperopt.

Bibliotecas do Python em clusters de CPU

Bibliotecas do Python em clusters de GPU

Bibliotecas de R

As bibliotecas do R são idênticas às Bibliotecas R no Databricks Runtime 16.0.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 16.0, o Databricks Runtime 16.0 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU