Compartilhar via


Notas sobre a versão da CU20 de Clusters de Big Data do SQL Server 2019

Aplica-se a:SQL Server 2019 (15.x)

As notas sobre a versão a seguir se aplicam à CU20 (Atualização Cumulativa 20) de Clusters de Big Data do SQL Server 2019.

Alterações e novas funcionalidades da CU20

Aviso

Na Atualização Cumulativa 15, a ordem de atualização é crítica. Atualize seu cluster de Big Data para a CU15 antes de atualizar o cluster do Kubernetes para a versão 1.21. Se o cluster do Kubernetes for atualizado para a versão 1.21 antes de o BDC ser atualizado para a CU14 ou a CU15, o cluster terminará em um estado de erro e a atualização do BDC não terá sucesso. Nesse caso, a reversão para o Kubernetes versão 1.20 corrigirá o problema.
Isso não afeta as novas implantações da CU15 de Clusters de Big Data do SQL Server 2019 em clusters da API 1.21 do Kubernetes.

Para obter mais detalhes das alterações do mecanismo do SQL Server, confira o artigo oficial da base de dados de conhecimento KB 5024276, sobre a CU20 do SQL Server 2019.

Configurações testadas para a CU20

A CU20 dos clusters de Big Data do SQL Server foi testada nas seguintes combinações de ambiente:

Sistema Operacional do Contêiner API do Kubernetes Tempo de execução Armazenamento de Dados Armazenamento de log
Ubuntu 20.04 LTS 1.23.1 contêiner 1.4.6
CRI-O 1.20.4
Somente em blocos Somente em blocos

White papers de arquitetura de referência para Clusters de Big Data do SQL Server estão disponíveis nas seguintes páginas:

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.5 LTS
  • SQL Server: 15.0.4312.2
    • Java: Azul Zulu JRE 11.0.9.1
    • Python: 3.7.2 (miniconda 4.5.12)
    • R: Microsoft R 3.5.2
  • runtime para Apache Spark 2022.1
    • Spark: 3.1.2
    • Delta Lake: 1.0.0
    • Java: Azul Zulu JRE 1.8.0_275
    • Scala: 2.12
    • Python: 3.8 (miniforge 4.9)
    • R: CRAN R 4.2.1
    • Conector SQL do Spark: 1.2.0

Versões de componente de OSS inseridas

Componente Versão
collectd 5.12.0
InfluxDB 1.8.3
Elasticsearch 7.9.1
Segurança do OpenDistro para Elasticsearch 1.10.1.0
Fluent Bit 1.6.3
Grafana 7.3.6
Hadoop
HDFS DataNode
HDFS NameNode
3.1
Hive (Metastore) 2.3
Kibana 7.9.1
Knox 1.4.0
Livy 0,7
Openresty (Nginx) 1.17.8-2
Spark 3.1.2
Telegraf 1.16.1
ZooKeeper 3.5.8

Runtime para Apache Spark versão 2022.1 (BDC.3.2022.1) – Bibliotecas do Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
_libgcc_mutex 0,1 keras-applications 1.0.8 pitão 3.8.10
_openmp_mutex 4.5 processamento prévio do Keras 1.1.2 pytorch 1.8.1
_py-xgboost-mutex 2 keras2onnx 1.6.5 pyqt 5.12.3
abseil-cpp 20210324 kiwisolver 1.3.1 pyqt-impl 5.12.3
absl-py 0.13.0 Coalas 1.8.0 pyqt5-sip 4.19.18
Adal 1.2.7 krb5 1.19.1 pyqtchart 5.12
adlfs 0.7.7 lcms2 2.12 pyqtwebengine 5.12.1
aiohttp 3.7.4.post0 ld_impl_linux-64 2.36.1 pysocks 1.7.1
alsa-lib 1.2.3 lerc 2.2.1 python-dateutil 2.8.1
appdirs 1.4.4 liac-arff 2.5.0 python-flatbuffers 1.12
arrow-cpp 3.0.0 libaec 1.0.5 python_abi 3.8
Astor 0.8.1 libblas 3.9.0 Pytz 2021.1
Astunparse 1.6.3 libbrotlicommon 1.0.9 pyu2f 0.1.5
async-timeout (tempo limite para operações assíncronas) 3.0.1 libbrotlidec 1.0.9 pywavelets 1.1.1
atributos 21.2.0 libbrotlienc 1.0.9 pyyaml 5.4.1
aws-c-cal 0.5.11 libcblas 3.9.0 pyzmq 22.1.0
aws-c-common 0.6.2 libclang 11.1.0 Qt 5.12.9
aws-c-event-stream 0.2.7 libcurl 7.77.0 re2 2021.04.01
aws-c-io 0.10.5 libdeflate 1,7 readline 8.1
aws-checksums 0.1.11 libedit 3.1.20210216 regex 6 de julho de 2021
aws-sdk-cpp 1.8.186 libev 4.33 Solicitações 2.25.1
Azure Data Lake Store (armazenamento de lago de dados do Azure) 0.0.51 libevent 2.1.10 requests-oauthlib 1.3.0
azure-identity 2021.03.15b1 libffi 3.3 tentando novamente 1.3.3
Armazenamento em Blob do Azure 12.8.1 libgcc-ng 9.3.0 RSA 4.7.2
chamada de retorno 0.2.0 libgfortran-ng 9.3.0 ruamel_yaml 0.15.100
backports 1 libgfortran5 9.3.0 s2n 1.0.10
backports.functools_lru_cache 1.6.4 libglib 2.68.3 salib 1.3.11
beautifulsoup4 4.9.3 libiconv 1.16 scikit-image 0.18.1
Blas 2,109 liblapack 3.9.0 scikit-aprender 0.23.2
blas-devel 3.9.0 liblapacke 3.9.0 Scipy 1.5.3
antolho 1.4 libllvm10 10.0.1 seaborn (biblioteca de visualização em Python) 0.11.1
blosc 1.21.0 libllvm11 11.1.0 seaborn-base 0.11.1
bokeh 2.3.2 libnghttp2 1.43.0 Ferramentas de configuração 49.6.0
brotli 1.0.9 libogg 1.3.5 Shap 0.39.0
brotli-bin 1.0.9 libopus 1.3.1 seis 1.16.0
brotli-python 1.0.9 libpng 1.6.37 skl2onnx 1.8.0.1
brotlipy 0.7.0 libpq 13.3 sklearn-pandas 2.2.0
brunsli 0,1 libprotobuf 3.15.8 segmentação 0.0.7
bzip2 1.0.8 libsodium 1.0.18 smart_open 5.1.0
c-ares 1.17.1 libssh2 1.9.0 smmap 3.0.5
certificados CA 5 de julho de 2021 libstdcxx-ng 9.3.0 Rápido 1.1.8
ferramentas de cache 4.2.2 libthrift 0.14.1 Soupsieve 2.2.1
Cairo 1.16.0 libtiff 4.2.0 sqlite 3.36.0
certifi 2021.5.30 libutf8proc 2.6.1 statsmodels (biblioteca para modelos estatísticos em Python) 0.12.2
cffi 1.14.5 libuuid 2.32.1 Tabulate 0.8.9
chardet 4.0.0 libuv 1.41.1 tenacidade 7.0.0
Carlos 2.2.0 libvorbis 1.3.7 tensorboard 2.4.1
clique 8.0.1 libwebp-base 1.2.0 tensorboard-plugin-wit 1.8.0
cloudpickle 1.6.0 libxcb 1,14 tensorflow 2.6.3
conda 4.9.2 libxgboost 1.4.0 tensorflow-base 2.6.3
conda-package-handling 1.7.3 libxkbcommon 1.0.3 tensorflow-estimator 2.6.3
configparser 5.0.2 libxml2 2.9.12 termcolor 1.1.0
criptografia 3.4.7 libzopfli 1.0.3 textblob 0.15.3
cudatoolkit 11.1.1 lightgbm 3.2.1 threadpoolctl 2.1.0
ciclista 0.10.0 lima 0.2.0.1 tifffile 2021.4.8
cython 0.29.23 llvm-openmp 11.1.0 Tk 8.6.10
citoolz 0.11.0 llvmlite 0.36.0 toolz 0.11.1
traço 1.20.0 medalha 0.2.1 tornado 6.1
componentes principais do Dash 1.16.0 lz4-c 1.9.3 tqdm 4.61.2
dash-html-components 1.1.3 redução de preço 3.3.4 traitlets 5.0.5
dash-renderer 1.9.1 markupsafe 2.0.1 extensões de digitação 3.10.0.0
tabela de painel 4.11.3 matplotlib 3.4.2 typing_extensions 3.10.0.0
dash_cytoscape 0.2.0 matplotlib-base 3.4.2 unixodbc 2.3.9
dask-core 2021.6.2 matplotlib-inline 0.1.2 urllib3 1.26.7
databricks-cli 0.12.1 mkl 2021.2.0 wcwidth 0.2.5
classes de dados 0,8 mkl-devel 2021.2.0 codificações web 0.5.1
dbus 1.13.18 mkl-include 2021.2.0 werkzeug 2.0.1
debugpy 1.3.0 mleap 0.17.0 roda 0.36.2
decorador 4.4.2 mlflow-magro 1.18.0 embrulhado 1.12.1
endro 0.3.4 msal 2021.06.08 xgboost 1.4.0
pontos de entrada 0,3 msal-extensions 2021.06.08 xorg-kbproto 1.0.7
et_xmlfile 1.1.0 msrest 2021.06.01 xorg-libice 1.0.10
expatriado 2.4.1 _multidict_ 5.1.0 xorg-libsm 1.2.3
Fogo 0.4.0 mysql-common 8.0.25 xorg-libx11 1.7.2
frasco 2.0.1 mysql-libs 8.0.25 xorg-libxext 1.3.4
flask-compress 1.10.1 ncurses 6.2 xorg-libxrender 0.9.10
fontconfig 2.13.1 networkx 2.5.1 xorg-renderproto 0.11.1
FreeType 2.10.4 ninja 1.10.2 xorg-xextproto 7.3.0
fsspec 2021.6.1 nltk 3.6.5 xorg-xproto 7.0.31
futuro 0.18.2 nspr 4.3 xz 5.2.5
Gast 0.3.3 nss 3.67 YAML 0.2.5
gensim 3.8.3 numba 0.53.1 Atualmente, não tendo contexto adicional e considerando "yarl" como um nome próprio ou termo técnico, mantemos "yarl" como está. 1.6.3
geographiclib 1,52 numpy 1.19.4 zeromq 4.3.4
geopy 2.1.0 oauthlib 3.1.1 zfp 0.5.5
gettext 0.21.0 olefile 0.46 zipp 3.5.0
gevent 21.1.2 onnx 1.9.0 zlib 1.2.11
gflags 2.2.2 onnxconverter-common 1.7.0 zope.event 4.5.0
giflib 5.2.1 onnxmltools 1.7.0 zope.interface 5.4.0
gitdb 4.0.7 onnxruntime 1.7.2 zstd 1.4.9
gitpython 3.1.18 openjpeg 2.4.0 azure-common 1.1.27
superficial 2.68.3 openpyxl 3.0.7 azure-core 1.16.0
glib-tools 2.68.3 openssl 1.1.1k azure-graphrbac 0.61.1
glog 0.5.0 opt_einsum 3.3.0 gerenciamento de autorização no Azure 0.61.0
gobject-introspection 1.68.0 Orco 1.6.7 azure-mgmt-containerregistry 8.0.0
google-auth 1.32.1 empacotamento 21 azure-mgmt-core 1.3.0
google-auth-oauthlib 0.4.1 Pandas 1.2.3 azure-mgmt-keyvault 2.2.0
google-pasta 0.2.0 parquet-cpp 1.5.1 azure-mgmt-resource (Gerenciamento de Recursos do Azure) 13.0.0
greenlet 1.1.0 parso 0.8.2 azure-mgmt-storage 11.2.0
grpc-cpp 1.37.1 parte D 1.2.0 azureml-core 1.29.0.post1
grpcio 1.37.1 Patsy 0.5.1 azureml-mlflow 1.29.0
gst-plugins-base 1.18.4 pcre 8,45 backports-tempfile 1
gstreamer 1.18.4 pexpect 4.8.0 backports-weakref 1.0.post1
h5py 2.10.0 pickleshare 0.7.5 contextlib2 0.6.0.post1
hdf5 1.10.6 almofada 8.3.2 estivador 4.4.4
html5lib 1.1 caroço 21.1.1 Jeepney 0.6.0
hummingbird-ml 0.4.0 pixman 0.40.0 jmespath 0.10.0
UTI 68.1 enredo 4.14.3 jsonpickle 2.0.0
idna 2.1 pmdarima 1.8.2 msrestazure 0.6.4
imagecodecs 2021.3.31 Cachorrinho 1.4.0 mypy 0,78
imageio 2.9.0 portalocker 1.7.1 mypy-extensions 0.4.3
importlib-metadata 4.6.1 kit de ferramentas de prompt 3.0.19 ndg-httpsclient 0.5.1
Intel-openmp 2021.2.0 protobuf 3.15.8 pandasql 0.7.3
interpretar 0.2.4 psutil 5.8.0 pathspec 0.8.1
núcleo de interpretação 0.2.4 ptyprocess 0.7.0 ruamel-yaml 0.17.4
ipykernel 6.0.1 py-xgboost 1.4.0 ruamel-yaml-clib 0.2.6
ipython 7.23.1 py4j 0.10.9 secretstorage 3.3.1
ipython_genutils 0.2.0 Pyarrow 3.0.0 sqlalchemy 1.4.20
isodate 0.6.0 pyasn1 0.4.8 biblioteca Python typed-ast 1.4.3
itsdangerous 2.0.1 pyasn1-modules 0.2.8 torchvision 0.9.1
jdcal 1.4.1 pycairo 1.20.1 websocket-client (cliente WebSocket) 1.1.0
Jedi 0.18.0 pycosat 0.6.3
jinja2 3.0.1 pycparser 2,2
joblib 1.0.1 pygments 2.9.0
JPEG 9 dias pygobject 3.40.1
jupyter_client 6.1.12 pyjwt 2.1.0
jupyter_core 4.7.1 pyodbc 4.0.30
jxrlib 1.1 pyopenssl 20.0.1
pyspark 3.1.2 pyparsing 2.4.7

Runtime para Apache Spark versão 2022.1 (BDC.3.2022.1) – Bibliotecas do R instaladas

Pacotes do Arquivo CRAN

A tabela a seguir lista os pacotes disponíveis nesta versão.

pacote pacote pacote pacote pacote pacote
sparklyr terra ciclo de vida bit redução de preço remodelar2
devtools previsão reticências bit64 paralelamente rmarkdown
tidyverse registrador fútil coluna Matriz pROC RSQLite
igraph código hash Interface de Linha de Comando (CLI) sobrevivência P.S. rvest
plotrix Identificadores tibble mgcv Readr informações de sessão
mnormt jsonlite cola treliça jogo de revanche sourcetools
Hts kernlab magrittr emmeans roxygen2 stringi
Rlabkey lubrificado Rcpp agrupamento Rserve sys
gtools mgcv cpp11 nnet sqldf xml2
svMisc minpack.lm giz de cera ciar data e hora YAML
identificador único universal (UUID) nlme tidyr capacidade de estimação Waldo backports
plotmo Por favor tidyselect classe Fabricação de cerveja data.table
mgsub profeta fansi KernSmooth encurvar dbplyr
Hmisc purrr utf8 espacial DBI para gatos
MISSA reticular R6 rpart ggplot2 globais
MSwM rstan pkgconfig flecha glmnet httr
Rmpfr rstatix genéricos codetools Gower Iteradores
anomalizar liso lme4 estrangeiro gtable modelador
braço Sn RcppEigen vassoura Hms pkgbuild
bsts stringr plyr Cellranger ModelMetrics Prodlim
acento circunflexo (^) strucchange nloptr para cada pkgload Receitas
ponto de alteração Vars minqa fs processx Controles remotos
dlm xts mvtnorm gsubfn randomForest Rex
dplyr jardim zoológico assertthat hwriter RColorBrewer RODBC
dtwclust rlang numDeriv ipred readxl escamas
e1071 vctrs xtable rotulagem revanche2 forma

Serviços de Machine Learning do SQL Server – Bibliotecas do Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
revoscalepy 9.4.7 pycurl 7.43.0.2 jupyter-client 5.2.4
microsoftml (plataforma de Machine Learning da Microsoft) 9.4.7 pycrypto 2.6.1 jsonschema 2.6.0
zipp 0.5.2 pycparser 2.19 Jinja2 2.10.1
zict 1.0.0 pycosat 0.6.3 Jedi 0.15.1
xlwt 1.3.0 Py 1.8.0 jdcal 1.4
XlsxWriter 1.1.2 ptyprocess 0.6.0 itsdangerous 1.1.0
xlrd 1.2.0 psutil 5.4.8 ipywidgets (biblioteca Python para widgets interativos) 7.4.2
embrulhado 1.11.2 kit de ferramentas de prompt 2.0.7 ipython 7.2.0
widgetsnbextension 3.4.2 prometheus-client 0.7.1 ipython-genutils 0.2.0
roda 0.33.4 Pluggy 0.12.0 ipykernel 4.9.0
Ferramentas 0.15.5 enredo 4.0.0 importlib-metadata 0,19
codificações web 0.5.1 pkginfo 1.5.0.1 imagesize 1.1.0
wcwidth 0.1.7 caroço 18.1 imageio 2.5.0
urllib3 1.24.2 Almofada 6.1.0 idna 2.8
unicodecsv 0.14.1 pickleshare 0.7.5 heapdict 1.0.0
traitlets 4.3.2 pexpect 4.7.0 hdijupyterutils 0.12.9
tornado 6.0.3 Patsy 0.5.1 h5py 2.9.0
toolz 0.9.0 pathlib2 2.3.3 gmpy2 2.0.8
caminho de teste 0.4.2 path.py 11.5.0 Flask 1.1.1
terminado 0.8.2 parte D 0.3.9 Flask-Cors 3.0.8
tblib 1.4.0 parso 0.5.1 fastcache (cache rápido) 1.1.0
tabelas 3.5.2 pandocfilters 1.4.2 et-xmlfile 1.0.1
sympy 1.3 pandasql 0.7.3 pontos de entrada 0,3
statsmodels (biblioteca para modelos estatísticos em Python) 0.9.0 Pandas 0.23.4 docutils 0.15.2
sqlparse 0.2.4 pandas-datareader 0.7.0 Distribuído 1.28.1
SQLAlchemy 1.2.15 empacotamento 19.1 endro 0.2.8.2
sphinxcontrib-websupport 1.1.2 openpyxl 2.5.12 defusedxml 0.6.0
Esfinge 1.8.2 olefile 0.46 decorador 4.4.0
sparkmagic 0.12.6 Odo 0.5.1 formato de dados 0.5.4
sortedcontainers 2.1.0 numpydoc 0.8.0 dask 1.2.2
SnowballStemmer 1.9.0 numpy 1.15.4 citoolz 0.9.0.1
seis 1.12.0 numexpr 2.6.9 Cython 0.29.2
Ferramentas de configuração 41.0.1 numba 0.42.0 ciclista 0.10.0
Send2Trash 1.5.0 caderno 5.7.8 criptografia 2,5
seaborn (biblioteca de visualização em Python) 0.9.0 nltk 3.4 configobj 5.0.6
Scipy 1.1.0 networkx 2,2 conda 4.5.12
scikit-aprender 0.20.2 nbformat 4.4.0 cloudpickle 0.6.1
scikit-image 0.14.1 nbconvert 5.5.0 Clique 7,0
ruamel-yaml 0.15.46 despacho múltiplo 0.6.0 peito 0.2.3
tentando novamente 1.3.3 msgpack 0.6.1 chardet 3.0.4
Solicitações 2.21.0 mpmath 1.1.0 cffi 1.12.3
requests-kerberos 0.12.0 more-itertools 7.2.0 certifi 2019.6.16
qtconsole 4.5.3 zombar 3.0.5 Gargalo 1.2.1
pyzmq 18.1.0 mkl-random 1.0.2 bokeh 1.0.3
PyYAML 5.1.2 mkl-fft 1.0.10 alvejante 3.1.0
PyWavelets 1.0.3 mistune 0.8.4 brilhar 0.11.3
Pytz 2019.2 matplotlib 3.0.2 backports.os 0.1.1
python-dateutil 2.8.0 MarkupSafe 1.1.0 chamada de retorno 0.1.0
pytest 4.0.2 lxml 4.3.0 Babel 2.7.0
PySocks 1.7.0 medalha 0.2.0 azureml-model-management-sdk 1.0.1b10
pyparsing 2.4.2 llvmlite 0.27.0 autovizwidget 0.12.9
pyOpenSSL 19.0.0 liac-arff 2.4.0 atributos 19.1.0
pyodbc 4.0.25 kiwisolver 1.1.0 atomicwrites 1.3.0
pykerberos 1.2.1 jupyter 1.0.0 asn1crypto 0.24.0
PyJWT 1.7.1 jupyter-core 4.5.0 alabastro 0.7.12
Pygments 2.4.2 jupyter-console 6.0.0 Adal 1.2.2

Serviços de Machine Learning do SQL Server – Bibliotecas do R instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
API de Compatibilidade 1.1.0 giz de cera 1.3.4 plogr 0.2.0
MicrosoftML 9.4.7 encurvar 3.3 plyr 1.8.4
RevoPemaR 10.0.0 conjuntos de dados 3.5.2 PNG 0.1-7
RevoScaleR 9.4.7 dbplyr 1.2.2 Promessas 1.0.1
RevoTreeView 10.0.0 deployrRserve 9.0.0 Psicologia 1.8.10
doRSR 10.0.0 digerir 0.6.18 purrr 0.2.5
mrsdeploy 1.1.3 doParallel 1.0.14 r2d3 0.2.3
sqlrutils 1.0.0 dplyr 0.7.8 rappdirs 0.3.1
BH 1.69.0-1 fansi 0.4.0 Readr 1.3.1
DBI 1.0.0 para cada 1.5.1 remodelar2 1.4.3
KernSmooth 2.23-15 estrangeiro 0.8-71 rlang 0.3.1
MISSA 7.3-51.1 forja 0.1.0 rpart 4.1-13
Matriz 1.2-15 genéricos 0.0.2 rprojroot 1.3-2
MicrosoftR 3.5.2 cola 1.3.0 rstudioapi 0.9.0
R6 2.3.0 grDevices 3.5.2 brilhante 1.2.0
RUnit 0.4.26 Gráficos 3.5.2 sourcetools 0.1.7
Rcpp 1.0.0 grade 3.5.2 sparklyr 0.9.4
RevoIOQ 10.0.1 Hms 0.4.2 espacial 7.3-11
RevoMods 11.0.1 ferramentas HTML 0.3.6 Splines 3.5.2
RevoUtils 11.0.2 htmlwidgets 1.3 estatísticas 3.5.2
RevoUtilsMath 11.0.0 httpuv 1.4.5.1 estatísticas4 3.5.2
AskPass 1.1 httr 1.4.0 stringi 1.2.4
assertthat 0.2.0 Iteradores 1.0.11 stringr 1.3.1
backports 1.1.3 jsonlite 1.5 sobrevivência 2.43-3
base 3.5.2 posterior 0.7.5 sys 2.1
base64enc 0.1-3 treliça 0.20-38 tcltk 3.5.2
bindr (aplicativo Bindr) 0.1.1 lazyeval 0.2.1 tibble 2.0.1
bindrcpp 0.2.2 magrittr 1.5 tidyr 0.8.2
ciar 1.3-20 Métodos 3.5.2 tidyselect 0.2.5
vassoura 0.5.1 mgcv 1.8-26 Ferramentas 3.5.2
ponto de controle 0.4.4 mímica 0,6 utf8 1.1.4
classe 7.3-14 mnormt 1.5-5 utilitários 3.5.2
Interface de Linha de Comando (CLI) 1.0.1 nlme 3.1-137 murchar 2.1.2
clipr 0.5.0 nnet 7.3-12 xml2 1.2.0
agrupamento 2.0.7-1 openssl 1.2.1 xtable 1.8-3
codetools 0.2-15 paralelo 3.5.2 YAML 2.2.0
compilador 3.5.2 coluna 1.3.1
configuração 0,3 pkgconfig 2.0.2

Próximas etapas

Para obter mais informações sobre Clusters de Big Data do SQL Server, confira O que são Clusters de Big Data do SQL Server