Compartilhar via

Databricks Runtime 16.4 LTS para Machine Learning

O Databricks Runtime 16.4 LTS para Aprendizado de Máquina oferece um ambiente prontoto-go para aprendizado de máquina e ciência de dados, baseado no Databricks Runtime 16.4 LTS. O Databricks Runtime ML contém muitas bibliotecas de machine learning populares, incluindo o TensorFlow, o PyTorch e o XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de machine learning. O Databricks Runtime ML também dá suporte ao treinamento de aprendizado profundo distribuído usando TorchDistributor, DeepSpeed e Ray.

Dica

Para ver as notas de versão para versões do Databricks Runtime que atingiram o EoS (fim do suporte), consulte as notas de versão do Databricks Runtime de fim de suporte. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

Novos recursos e melhorias

O Databricks Runtime 16.4 LTS ML é criado com base no Databricks Runtime 16.4 LTS. Para obter informações sobre as novidades no Databricks Runtime 16.4 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 16.4 LTS .

Outras alterações

XGBoost4J-Spark preterido

O XGBoost4J-Spark foi preterido e não será pré-instalado na próxima versão principal do Databricks Runtime ML. O Databricks recomenda o uso da API do Python para xgboost.spark. Consulte Treinamento distribuído de modelos XGBoost usando xgboost.spark.

O TensorFlow 2.17.x não pode carregar a biblioteca cuDNN

É um problema conhecido no Databricks Runtime 16.4 LTS ML que o TensorFlow 2.17.x (versão padrão) não pode acessar dispositivos GPU devido a um erro de carregamento de biblioteca cuDNN. Para corrigir esse problema, atualize o TensorFlow para a versão 2.18.x ou superior.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 16.4 LTS ML difere do Databricks Runtime 16.4 LTS da seguinte maneira.

  • Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 16.4 LTS ML que diferem daquelas incluídas no Databricks Runtime 16.4 LTS.

Nesta seção:

Bibliotecas de camada superior

O Databricks Runtime 16.4 LTS ML inclui as seguintes bibliotecas de camada superior:

Bibliotecas do Python

O Databricks Runtime 16.4 LTS ML usa o gerenciamento de pacotes virtualenv do Python e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 16.4 LTS ML também inclui os seguintes pacotes:

  • hyperopt 0.2.8+db1
  • automl 1.30.0

Para reproduzir o ambiente do Databricks Runtime ML Python em seu ambiente virtual do Python local, baixe o arquivo requirements-16.4.txt e execute pip install -r requirements-16.4.txt. Esse comando instala todas as bibliotecas de software livre que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl ou o fork do Databricks de hyperopt.

Bibliotecas do Python em clusters de CPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
absl-py 1.0.0 acelerar 1.5.2 aiohttp 3.9.5
aiohttp-cors 0.8.1 aiosignal 1.2.0 alambique 1.14.1
annotated-types 0.7.0 anyio 4.2.0 argcomplete 3.6.2
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 flecha 1.2.3
astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
async-lru 2.0.4 attrs 23.1.0 audioread 3.0.1
comando automático 2.2.2 azure-core 1.33.0 azure-cosmos 4.3.1
azure-identity 1.21.0 azure-storage-blob 12.23.0 azure-storage-file-datalake 12.17.0
Babel 2.11.0 retirada 2.2.1 backports.tarfile 1.2.0
bcrypt 3.2.0 beautifulsoup4 4.12.3 preto 24.4.2
bleach 4.1.0 blinker 1.7.0 blis 0.7.11
boto3 1.34.69 botocore 1.34.69 Brotl 1.0.9
ferramentas de cache 5.3.3 catálogo 2.0.10 codificadores de categoria 2.6.3
certifi 2024.6.2 cffi 1.16.0 chardet 4.0.0
normalizador de conjunto de caracteres 2.0.4 circuitbreaker 2.1.3 click 8.1.7
cloudpathlib 0.21.0 cloudpickle 2.2.1 cmdstanpy 1.2.5
colorido 0.5.6 colorlog 6.9.0 comm 0.2.1
compositor 0.29.0 confecção 0.1.5 configparser 5.2.0
contourpy 1.2.0 coolname 2.2.0 criptografia 42.0.5
ciclista 0.11.0 cymem 2.0.11 Cython 3.0.11
dacite 1.9.2 databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.10.2
databricks-sdk 0.30.0 conjuntos de dados 3.5.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 decorador 5.1.1
deepspeed 0.16.5 defusedxml 0.7.1 Deprecado 1.2.18
dill 0.3.8 distlib 0.3.8 dm-tree 0.1.9
docstring-to-markdown 0.11 einops 0.8.1 pontos de entrada 0,4
avaliar 0.4.3 em execução 0.8.3 Visão geral de facetas 1.1.1
Farama-Notificações 0.0.4 fastapi 0.115.12 fastjsonschema 2.21.1
fasttext-wheel 0.9.2 bloqueio de arquivo 3.13.1 Flask 2.2.5
flatbuffers 25.2.10 fonttools 4.51.0 fqdn 1.5.1
frozenlist 1.4.0 fsspec 2023.5.0 futuro 0.18.3
gast 0.4.0 gitdb 4.0.11 GitPython 3.1.37
google-api-core 2.20.0 google-auth (autenticação do Google) 2.21.0 google-auth-oauthlib 1.2.1
google-cloud-core 2.4.3 armazenamento na nuvem do Google 2.10.0 google-crc32c 1.7.1
google-pasta 0.2.0 google-resumable-media 2.7.2 googleapis-common-protos 1.70.0
gql 3.5.2 graphql-core 3.2.4 greenlet 3.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 ginásio 0.28.1 h11 0.14.0
h5py 3.11.0 hjson 3.1.0 Férias 0,54
htmlmin 0.1.12 httpcore 1.0.8 httplib2 0.20.4
httpx 0.28.1 huggingface-hub 0.29.3 idna 3.7
ImageHash 4.3.1 imageio 2.33.1 imbalanced-learn 0.12.3
importlib-metadata 6.0.0 importlib_resources 6.5.2 inflect 7.3.1
ipyflow-core 0.0.201 ipykernel 6.28.0 ipython 8.25.0
ipython-genutils 0.2.0 ipywidgets (biblioteca Python para widgets interativos) 7.7.2 isodate 0.6.1
isoduration 20.11.0 itsdangerous 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 jax-jumpy 1.0.0
Jedi 0.19.1 Jinja2 3.1.4 jiter 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.3
json5 0.9.6 jsonpatch 1.33 jsonpointer 3.0.0
jsonschema 4.19.2 Especificações do JSON Schema 2023.7.1 eventos Jupyter 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.0 jupyter_core 5.7.2
Servidor Jupyter 2.14.1 Terminais do servidor Jupyter 0.4.4 jupyterlab 4.0.11
jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1 keras 3.9.0
kiwisolver 1.4.4 langchain 0.3.21 langchain-core 0.3.51
langchain-text-splitters 0.3.8 códigos de idioma 3.5.0 langsmith 0.1.133
dados_de_linguagem 1.3.0 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 lazy_loader 0,4 libclang 15.0.6.1
librosa 0.10.2 lightgbm 4.5.0 lightning-utilities 0.14.3
linkify-it-py 2.0.0 llvmlite 0.42.0 lz4 4.3.2
Mako 1.2.0 marisa-trie 1.2.0 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.3 matplotlib 3.8.4
matplotlib-inline 0.1.6 mccabe 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.17.1 mistune 2.0.4
ml-dtypes 0.4.1 mlflow-skinny 2.21.3 more-itertools 10.3.0
mosaicml-cli 0.6.41 mosaicml-streaming 0.11.0 mpmath 1.3.0
msal 1.32.0 msal-extensions 1.3.1 msgpack 1.1.0
multidict 6.0.4 multimethod 1.12 multiprocess 0.70.16
murmurhash 1.0.12 mypy 1.10.0 mypy-extensions 1.0.0
namex 0.0.8 nbclient 0.8.0 nbconvert 7.10.0
nbformat 5.9.2 nest-asyncio 1.6.0 networkx 3.2.1
ninja 1.11.1.1 nltk 3.8.1 nodeenv 1.9.1
notebook 7.0.8 notebook_shim 0.2.3 numba 0.59.1
numpy 1.26.4 oauthlib 3.2.0 oci 2.150.0
openai 1.69.0 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.32.0 opentelemetry-sdk 1.32.0 Convenções Semânticas do OpenTelemetry 0.53b0
opt_einsum 3.4.0 optree 0.15.0 optuna 3.6.1
optuna-integration 3.6.0 orjson 3.10.16 substituições 7.4.0
empacotamento 24.1 Pandas 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.6 pexpect 4.8.0 phik 0.12.4
almofada 10.3.0 pip 24,2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 pmdarima 2.0.4
Cachorrinho 1.8.2 preshed 3.0.9 prometheus-client 0.14.1
prompt-toolkit 3.0.43 profeta 1.1.6 proto-plus 1.26.1
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-spy 0.4.0 pyarrow 15.0.2 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.6 pyccolo 0.0.65
pycparser 2.21 pydantic 2.8.2 pydantic_core 2.20.1
pyflakes 3.2.0 Pygments 2.15.1 PyGObject 3.48.2
PyJWT 2.7.0 PyNaCl 1.5.0 pyodbc 5.0.1
pyOpenSSL 24.0.0 pyparsing 3.0.9 pyright 1.1.294
pytesseract 0.3.10 python-dateutil 2.9.0.post0 editor de Python 1.0.4
python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2 python-lsp-server (servidor LSP para Python) 1.10.0
python-snappy 0.6.1 pytoolconfig 1.2.6 pytorch-ranger 0.1.1
pytz 2024.1 PyWavelets 1.5.0 PyYAML 6.0.1
pyzmq 25.1.2 questionário 2.1.0 ray 2.37.0
referência 0.30.2 regex 3 de outubro de 2023 Solicitações 2.32.2
requests-oauthlib 1.3.1 requests-toolbelt 1.0.0 rfc3339-validator 0.1.4
rfc3986-validator (validador de RFC 3986) 0.1.1 rico 13.3.5 rope 1.12.0
rpds-py 0.10.6 rsa 4.9 ruamel.yaml 0.18.10
ruamel.yaml.clib 0.2.12 s3transfer 0.10.2 safetensors 0.4.4
scikit-image 0.23.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 Send2Trash 1.8.2 transformadores de frase 3.4.1
sentencepiece 0.2.0 setuptools 74.0.0 shap 0.46.0
shellingham 1.5.4 simplejson 3.17.6 seis 1.16.0
segmentação 0.0.8 smart-open 5.2.1 smmap 5.0.0
sniffio 1.3.0 arquivo de som 0.12.1 soupsieve 2,5
soxr 0.5.0.post1 spacy 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
srsly 2.5.1 ssh-import-id 5.11 stack-data 0.2.0
estanho 0.5.1 starlette 0.46.2 statsmodels (biblioteca para modelos estatísticos em Python) 0.14.2
sympy 1.13.1 tabulate 0.9.0 tangled-up-in-unicode 0.2.0
tenacidade 8.2.2 tensorboard 2.17.0 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.17.0 tensorboardX 2.6.2.2 tensorflow 2.17.0
tensorflow-estimator 2.15.0 termcolor 3.0.1 terminado 0.17.1
textual 3.1.0 tf_keras 2.17.0 thinc 8.2.5
threadpoolctl 2.2.0 tifffile 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 criadores de token 0.21.0
tomli 2.0.1 lanterna 2.6.0+cpu torch-optimizer 0.3.0
torcheval 0.0.7 torchmetrics=0.5.1 1.6.0 torchvision 0.21.0+cpu
tornado 6.4.1 tqdm 4.66.4 traitlets 5.14.3
Transformadores 4.50.2 typeguard 4.4.2 typer 0.15.2
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 tipos de solicitações 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
uc-micro-py 1.0.1 ujson 5.10.0 atualizações não supervisionadas 0,1
uri-template 1.3.0 urllib3 1.26.16 uvicorn 0.34.1
validadores 0.34.0 virtualenv 20.26.2 visões 0.7.5
wadllib 1.3.6 wasabi 1.1.3 wcwidth 0.2.5
weasel 0.4.1 webcolors 24.11.1 codificações web 0.5.1
websocket-client (cliente WebSocket) 1.8.0 WebSockets 11.0.3 Ferramentas 3.0.3
whatthepatch 1.0.2 wheel 0.43.0 nuvem de palavras 1.9.4
wrapt 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf 0.33.0 yarl 1.9.3
ydata-profiling 4.9.0 zipp 3.17.0 zstd 1.5.5.1

Bibliotecas do Python em clusters de GPU

Observação

O PyTorch usa as dependências do CUDA PyPI para fornecer suporte ao CUDA em vez das versões da biblioteca CUDA que são incorporadas ao Databricks Runtime 16.4 LTS ML.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
absl-py 1.0.0 acelerar 1.5.2 aiohttp 3.9.5
aiohttp-cors 0.8.1 aiosignal 1.2.0 annotated-types 0.7.0
anyio 4.2.0 argcomplete 3.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 flecha 1.2.3 astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-lru 2.0.4
attrs 23.1.0 audioread 3.0.1 comando automático 2.2.2
azure-core 1.33.0 azure-cosmos 4.3.1 azure-identity 1.21.0
azure-storage-blob 12.23.0 azure-storage-file-datalake 12.17.0 Babel 2.11.0
retirada 2.2.1 backports.tarfile 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.3 preto 24.4.2 bleach 4.1.0
blinker 1.7.0 blis 0.7.11 boto3 1.34.69
botocore 1.34.69 Brotl 1.0.9 ferramentas de cache 5.3.3
catálogo 2.0.10 codificadores de categoria 2.6.3 certifi 2024.6.2
cffi 1.16.0 chardet 4.0.0 normalizador de conjunto de caracteres 2.0.4
circuitbreaker 2.1.3 click 8.1.7 cloudpathlib 0.21.0
cloudpickle 2.2.1 cmdstanpy 1.2.5 colorido 0.5.6
colorlog 6.9.0 comm 0.2.1 compositor 0.29.0
confecção 0.1.5 configparser 5.2.0 contourpy 1.2.0
coolname 2.2.0 criptografia 42.0.5 ciclista 0.11.0
cymem 2.0.11 Cython 3.0.11 dacite 1.9.2
databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.10.2 databricks-sdk 0.30.0
conjuntos de dados 3.5.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 decorador 5.1.1 deepspeed 0.16.5
defusedxml 0.7.1 Deprecado 1.2.18 dill 0.3.8
distlib 0.3.8 dm-tree 0.1.9 docstring-to-markdown 0.11
einops 0.8.1 pontos de entrada 0,4 avaliar 0.4.3
em execução 0.8.3 Visão geral de facetas 1.1.1 Farama-Notificações 0.0.4
fastapi 0.115.12 fastjsonschema 2.21.1 fasttext-wheel 0.9.2
bloqueio de arquivo 3.13.1 flash_attn 2.7.4.post1 Flask 2.2.5
flatbuffers 25.2.10 fonttools 4.51.0 fqdn 1.5.1
frozenlist 1.4.0 fsspec 2023.5.0 futuro 0.18.3
gast 0.4.0 gitdb 4.0.11 GitPython 3.1.37
google-api-core 2.20.0 google-auth (autenticação do Google) 2.21.0 google-auth-oauthlib 1.2.1
google-cloud-core 2.4.3 armazenamento na nuvem do Google 2.10.0 google-crc32c 1.7.1
google-pasta 0.2.0 google-resumable-media 2.7.2 googleapis-common-protos 1.70.0
gql 3.5.2 graphql-core 3.2.4 greenlet 3.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 ginásio 0.28.1 h11 0.14.0
h5py 3.11.0 hjson 3.1.0 Férias 0,54
htmlmin 0.1.12 httpcore 1.0.8 httplib2 0.20.4
httpx 0.28.1 huggingface-hub 0.29.3 idna 3.7
ImageHash 4.3.1 imageio 2.33.1 imbalanced-learn 0.12.3
importlib-metadata 6.0.0 importlib_resources 6.5.2 inflect 7.3.1
ipyflow-core 0.0.201 ipykernel 6.28.0 ipython 8.25.0
ipython-genutils 0.2.0 ipywidgets (biblioteca Python para widgets interativos) 7.7.2 isodate 0.6.1
isoduration 20.11.0 itsdangerous 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 jax-jumpy 1.0.0
Jedi 0.19.1 Jinja2 3.1.4 jiter 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.3
json5 0.9.6 jsonpatch 1.33 jsonpointer 3.0.0
jsonschema 4.19.2 Especificações do JSON Schema 2023.7.1 eventos Jupyter 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.0 jupyter_core 5.7.2
Servidor Jupyter 2.14.1 Terminais do servidor Jupyter 0.4.4 jupyterlab 4.0.11
jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1 keras 3.9.0
kiwisolver 1.4.4 langchain 0.3.21 langchain-core 0.3.51
langchain-text-splitters 0.3.8 códigos de idioma 3.5.0 langsmith 0.1.133
dados_de_linguagem 1.3.0 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 lazy_loader 0,4 libclang 15.0.6.1
librosa 0.10.2 lightgbm 4.5.0 lightning-utilities 0.14.3
linkify-it-py 2.0.0 llvmlite 0.42.0 lz4 4.3.2
Mako 1.2.0 marisa-trie 1.2.0 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.3 matplotlib 3.8.4
matplotlib-inline 0.1.6 mccabe 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.17.1 mistune 2.0.4
ml-dtypes 0.4.1 mlflow-skinny 2.21.3 more-itertools 10.3.0
mosaicml-cli 0.6.41 mosaicml-streaming 0.11.0 mpmath 1.3.0
msal 1.32.0 msal-extensions 1.3.1 msgpack 1.1.0
multidict 6.0.4 multimethod 1.12 multiprocess 0.70.16
murmurhash 1.0.12 mypy 1.10.0 mypy-extensions 1.0.0
namex 0.0.8 nbclient 0.8.0 nbconvert 7.10.0
nbformat 5.9.2 nest-asyncio 1.6.0 networkx 3.2.1
ninja 1.11.1.1 nltk 3.8.1 nodeenv 1.9.1
notebook 7.0.8 notebook_shim 0.2.3 numba 0.59.1
numpy 1.26.4 nvidia-cublas-cu12 12.4.5.8 nvidia-cuda-cupti-cu12 12.4.127
nvidia-cuda-nvrtc-cu12 12.4.127 nvidia-cuda-runtime-cu12 12.4.127 nvidia-cudnn-cu12 9.1.0.70
nvidia-cufft-cu12 11.2.1.3 nvidia-curand-cu12 10.3.5.147 nvidia-cusolver-cu12 11.6.1.9
nvidia-cusparse-cu12 12.3.1.170 nvidia-cusparselt-cu12 0.6.2 nvidia-nccl-cu12 2.21.5
nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.4.127 oauthlib 3.2.0
oci 2.150.0 openai 1.69.0 opencensus 0.11.4
opencensus-context 0.1.3 opentelemetry-api 1.32.0 opentelemetry-sdk 1.32.0
Convenções Semânticas do OpenTelemetry 0.53b0 opt_einsum 3.4.0 optree 0.15.0
optuna 3.6.1 optuna-integration 3.6.0 orjson 3.10.16
substituições 7.4.0 empacotamento 24.1 Pandas 1.5.3
pandocfilters 1.5.0 paramiko 3.4.0 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
phik 0.12.4 almofada 10.3.0 pip 24,2
platformdirs 3.10.0 plotly 5.22.0 pluggy 1.0.0
pmdarima 2.0.4 Cachorrinho 1.8.2 preshed 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.43 profeta 1.1.6
proto-plus 1.26.1 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 py-spy 0.4.0 pyarrow 15.0.2
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.13.6
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil 2.9.0.post0
editor de Python 1.0.4 python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server (servidor LSP para Python) 1.10.0 python-snappy 0.6.1 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 questionário 2.1.0
ray 2.37.0 referência 0.30.2 regex 3 de outubro de 2023
Solicitações 2.32.2 requests-oauthlib 1.3.1 requests-toolbelt 1.0.0
rfc3339-validator 0.1.4 rfc3986-validator (validador de RFC 3986) 0.1.1 rico 13.3.5
rope 1.12.0 rpds-py 0.10.6 rsa 4.9
ruamel.yaml 0.18.10 ruamel.yaml.clib 0.2.12 s3transfer 0.10.2
safetensors 0.4.4 scikit-image 0.23.2 scikit-learn 1.4.2
scipy 1.13.1 seaborn 0.13.2 Send2Trash 1.8.2
transformadores de frase 3.4.1 sentencepiece 0.2.0 setuptools 74.0.0
shap 0.46.0 shellingham 1.5.4 simplejson 3.17.6
seis 1.16.0 segmentação 0.0.8 smart-open 5.2.1
smmap 5.0.0 sniffio 1.3.0 arquivo de som 0.12.1
soupsieve 2,5 soxr 0.5.0.post1 spacy 3.7.5
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 srsly 2.5.1 ssh-import-id 5.11
stack-data 0.2.0 estanho 0.5.1 starlette 0.46.2
statsmodels (biblioteca para modelos estatísticos em Python) 0.14.2 sympy 1.13.1 tabulate 0.9.0
tangled-up-in-unicode 0.2.0 tenacidade 8.2.2 tensorboard 2.17.0
tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.17.0 tensorboardX 2.6.2.2
tensorflow 2.17.0 tensorflow-estimator 2.15.0 termcolor 3.0.1
terminado 0.17.1 textual 3.1.0 tf_keras 2.17.0
thinc 8.2.5 threadpoolctl 2.2.0 tifffile 2023.4.12
tiktoken 0.7.0 tinycss2 1.2.1 tokenize-rt 4.2.1
criadores de token 0.21.0 tomli 2.0.1 lanterna 2.6.0+cu124
torch-optimizer 0.3.0 torcheval 0.0.7 torchmetrics=0.5.1 1.6.0
torchvision 0.21.0+cu124 tornado 6.4.1 tqdm 4.66.4
traitlets 5.14.3 Transformadores 4.50.2 Tritão 3.2.0
typeguard 4.4.2 typer 0.15.2 types-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
tipos de solicitações 2.31.0.0 types-setuptools 68.0.0.0 types-six 1.16.0
types-urllib3 1.26.25.14 typing_extensions 4.11.0 uc-micro-py 1.0.1
ujson 5.10.0 atualizações não supervisionadas 0,1 uri-template 1.3.0
urllib3 1.26.16 uvicorn 0.34.1 validadores 0.34.0
virtualenv 20.26.2 visões 0.7.5 wadllib 1.3.6
wasabi 1.1.3 wcwidth 0.2.5 weasel 0.4.1
webcolors 24.11.1 codificações web 0.5.1 websocket-client (cliente WebSocket) 1.8.0
WebSockets 11.0.3 Ferramentas 3.0.3 whatthepatch 1.0.2
wheel 0.43.0 nuvem de palavras 1.9.4 wrapt 1.14.1
xgboost 2.0.3 xgboost-ray 0.1.19 xxhash 3.4.1
yapf 0.33.0 yarl 1.9.3 ydata-profiling 4.9.0
zipp 3.17.0 zstd 1.5.5.1

Bibliotecas de R

As bibliotecas do R são idênticas às Bibliotecas do R no Databricks Runtime 16.4 LTS.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 16.4 LTS, o Databricks Runtime 16.4 LTS ML contém os seguintes JARs:

Clusters de CPU

ID do grupo ID do artefato Versão
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters de GPU

ID do grupo ID do artefato Versão
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on