Databricks Runtime 13.3 LTS para Aprendizado de Máquina

O Databricks Runtime 13.3 LTS for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 13.3 LTS. O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.

Novos recursos e melhorias

O Databricks Runtime 13.3 LTS ML é construído sobre o Databricks Runtime 13.3 LTS. Para obter informações sobre o que há de novo no Databricks Runtime 13.3 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 13.3 LTS .

Alterações no Databricks Feature Store

• O Databricks Runtime 13.3 LTS ML contém o cliente Feature Store v0.14.0. Com a versão do cliente 0.14.0 e superior, deve-se especificar as colunas de chave de carimbo de data/hora no argumento primary_keys. As chaves de timestamp fazem parte das "chaves primárias" que identificam exclusivamente cada linha na tabela de recursos.
• Agora pode-se excluir valores de características com marcas temporais anteriores a um horário especificado no conjunto de treino. Para obter detalhes, consulte Definir um limite de tempo para valores de recursos históricos.
• Os recursos de aprendizado de máquina agora podem ser computados sob demanda no momento da inferência. A lógica de cálculo de funcionalidades, os modelos e os dados são todos regidos pelo Unity Catalog. Isso permite que os modelos computem recursos usando entradas que só estão disponíveis no momento da inferência, como a localização atual de um usuário. Para obter mais informações, consulte Computação de recursos sob demanda.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 13.3 LTS ML difere do Databricks Runtime 13.3 LTS da seguinte forma:

• DBUtils: O Databricks Runtime ML não inclui o utilitário de biblioteca (dbutils.library) (legado). Use comandos %pip em vez disso. Veja Bibliotecas em Python com âmbito de bloco de notas.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11,7
  • cuDNN 8.5.0.96-1
  • NCCL 2.15.1
  • TensorRT 7.2.2

O Databricks Runtime 13.3 LTS ML inclui o XGBoost 1.7.3, que não suporta clusters de GPU com capacidade de computação 5.2 e inferior.

O pacote miniconda foi removido do Databricks Runtime 13.0 ML e superior.

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 13.3 LTS ML que diferem daquelas incluídas no Databricks Runtime 13.3 LTS.

Nesta secção:

• Bibliotecas de nível superior
• Bibliotecas Python
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 13.3 LTS ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• conector spark-tensorflow
• TensorFlow
• TensorBoard
• Scikit-aprender

Bibliotecas Python

O Databricks Runtime 13.3 LTS ML usa o Virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 13.3 LTS ML também inclui os seguintes pacotes:

• hiperopt 0.2.7+db3
• Sparkdl 3.0.0_db1
• AutoML 1.20.0 |

Para reproduzir o ambiente Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-13.3.txt e execute pip install -r requirements-13.3.txt. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-storeou a bifurcação Databricks do hyperopt.

Bibliotecas Python em clusters de CPU

Bibliotecas Python em clusters GPU

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 13.3 LTS.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 13.3 LTS, o Databricks Runtime 13.3 LTS ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU