Databricks Runtime 17.0 para Aprendizado de Máquina

O Databricks Runtime 17.0 for Machine Learning fornece um ambiente pronto parato-go para aprendizado de máquina e ciência de dados com base no Databricks Runtime 17.0. O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando TorchDistributor, DeepSpeed e Ray.

Novos recursos e melhorias

O Databricks Runtime 17.0 ML é construído sobre o Databricks Runtime 17.0. Para obter informações sobre o que há de novo no Databricks Runtime 17.0, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 17.0 .

O SparkML agora é suportado em clusters padrão

O Databricks Runtime 17.0 ML suporta SparkML em clusters padrão (anteriormente conhecidos como compartilhados). Para obter informações sobre clusters padrão, consulte Modos de acesso.

As seguintes limitações se aplicam ao executar o SparkML em clusters padrão:

• O tamanho máximo do modelo é de 1GB.
• O tamanho máximo do cache do modelo por sessão é de 10 GB.
• O treinamento do modelo de árvore é interrompido antecipadamente se o tamanho do modelo estiver prestes a exceder 1 GB.
• Os seguintes modelos SparkML não são suportados:
  • DistribuídoLDAModel
  • FPGrowthModel

Outras alterações

XGBoost4J-Spark removido

XGBoost4J-Spark, que foi incluído em versões anteriores do Databricks Runtime ML, não está incluído no Databricks Runtime 17.0 ML. O Databricks recomenda o uso da API Python para xgboost.spark. Consulte Treino distribuído de modelos XGBoost usando xgboost.spark

O provedor de loja online do Cosmos DB não é mais suportado

O provedor de loja online do Cosmos DB não é compatível com o Databricks Runtime 17.0 ML ou superior.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 17.0 ML difere do Databricks Runtime 17.0 da seguinte maneira.

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12,6
  • Cublas 12.6.4.1-1
  • Cusolver 11.7.1.2-1
  • Cupti 12.6.80-1
  • cusparse 12.5.4.2-1
  • cuDNN 9.5.1.17-1
  • NCCL 2.26.2
  • TensorRT 10.2.0.19-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 17.0 ML que diferem daquelas incluídas no Databricks Runtime 17.0.

Nesta secção:

• Bibliotecas de nível superior
• Bibliotecas Python
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 17.0 ML inclui as seguintes bibliotecas de camada superior:

• conjuntos de dados
• GraphFrames
• MLflow
• PyTorch
• Spark-TensorFlow Connector
• Scikit-learn
• Streaming
• TensorFlow
• TensorBoard
• transformadores

Bibliotecas Python

O Databricks Runtime 17.0 ML é usado virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 17.0 ML também inclui os seguintes pacotes:

• AutoML 1.30.0 |

Para reproduzir o ambiente Databricks Runtime ML Python em seu ambiente virtual Python local, baixe o arquivo requirements-17.0.txt e execute pip install -r requirements-17.0.txt. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl ou a bifurcação Databricks do hyperopt.

Bibliotecas Python em clusters de CPU

Bibliotecas Python em clusters GPU

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 17.0.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 17.0, o Databricks Runtime 17.0 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU