Partilhar via

Tempo de execução do Databricks 8.3 (EoS)

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.3 e o Databricks Runtime 8.3 Photon, com tecnologia Apache Spark 3.1.1. A Databricks lançou esta versão em junho de 2021. Photon está em Visualização Pública.

Novos recursos e melhorias

Colunas geradas em tabelas Delta (Visualização pública)

Delta Lake agora suporta colunas geradas, que são um tipo especial de coluna cujos valores são gerados automaticamente com base em uma função especificada pelo usuário sobre outras colunas na tabela Delta. Você pode usar a maioria das funções SQL internas para gerar os valores dessas colunas geradas. Por exemplo, você pode gerar automaticamente uma coluna de data (para particionar a tabela por data) a partir da coluna de carimbo de data/hora; Todas as gravações na tabela precisam apenas especificar os dados para a coluna de carimbo de data/hora. Você pode criar tabelas Delta com colunas geradas usando APIs SQL, Scala, Java ou Python.

Para obter mais informações, consulte Colunas geradas pelo Delta Lake.

Recursos e melhorias do Auto Loader

Inferência de esquema para arquivos CSV no Auto Loader

O Auto Loader agora suporta inferência de esquema e evolução em arquivos CSV. O Auto Loader fornece os seguintes recursos sobre o analisador CSV existente no Apache Spark:

  • Mesclagem de esquemas: o Auto Loader pode ingerir arquivos CSV com esquema diferente (número diferente de colunas, ordenação diferente de colunas) entre arquivos.
  • Coluna de dados resgatados: você pode usar a coluna de dados resgatados para resgatar dados inesperados que podem aparecer em seus arquivos CSV. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas que têm um invólucro diferente ou valores nulos no cabeçalho ou colunas adicionais que não faziam parte do esquema esperado.

Para obter detalhes, consulte Configurar inferência e evolução de esquema no Auto Loader.

Tempo de arranque melhorado para fluxos do Auto Loader

Os fluxos do Auto Loader agora executam o backfill inicial para o fluxo de forma assíncrona ao iniciar pela primeira vez, levando a um tempo de inicialização muito mais rápido para o fluxo. Isso pode permitir que você itere rapidamente em seu código com dados de produção, especialmente quando você precisa ingerir dados de diretórios que contêm milhões ou bilhões de arquivos.

Além disso, o tempo de inicialização dos fluxos que estão reiniciando também são melhorados, porque paralelizamos o download e upload dos arquivos RocksDB que o Auto Loader aproveita para fornecer semântica exata uma vez.

Listagem de diretórios mais rápida no Auto Loader

Nós melhoramos muito a eficiência da listagem de diretórios no Auto Loader. Um efeito colateral dessa melhoria de desempenho é que o fluxo pode emitir mais solicitações de lista para o sistema de armazenamento quando não há novos dados para processar, o que pode levar a um aumento nas cobranças de solicitação de lista. Como prática recomendada geral, o Databricks recomenda que você defina um intervalo de gatilho razoável para pipelines de streaming de produção. Consulte Considerações sobre produção para Streaming estruturado.

Sobrecarga de armazenamento reduzida para pontos de verificação do carregador automático

Os fluxos do Auto Loader agora limpam automaticamente os arquivos obsoletos no diretório do ponto de verificação de forma assíncrona para evitar que o tamanho do diretório do ponto de verificação cresça indefinidamente e reduza os custos de armazenamento.

O Auto Loader inclui o caminho do arquivo na coluna de dados resgatados, quando disponível

A coluna de dados resgatados fornece automaticamente o caminho do arquivo dos dados resgatados quando aplicável em uma coluna chamada _file_ path. Isso pode ajudá-lo a rastrear a causa raiz dos problemas de qualidade de dados. A coluna não será incluída se o esquema de dados contiver uma coluna chamada _file_path. Você pode usar a configuração spark.databricks.sql.rescuedDataColumn.filePath.name SQL para renomear a coluna, se necessário.

O Auto Loader suporta renomeações de ficheiros no Armazenamento Azure Data Lake no modo de notificação de ficheiros

O Auto Loader agora oferece suporte a eventos BlobRenamed para o Armazenamento do Azure Data Lake quando executado no modo de notificação de arquivo. Para processar arquivos carregados em um contêiner do Armazenamento do Azure Data Lake por meio de uma operação de renomeação com notificações de arquivo, inicie um novo fluxo com o Carregador Automático usando o Databricks Runtime 8.3. Para garantir que um arquivo seja processado exatamente uma vez, certifique-se de que o diretório de origem do qual o arquivo está sendo renomeado não seja observado pelo Auto Loader.

Criar tabelas Delta com novas APIs programáticas (Visualização pública)

Agora você pode criar novas tabelas Delta programaticamente (usando Scala, Java e Python) sem usar APIs DataFrame. As APIs New DeltaTableBuilder e DeltaColumnBuilder permitem especificar todos os detalhes da tabela que você pode especificar usando o SQL CREATE TABLE.

Para obter mais informações, consulte Criar uma tabela.

Cálculo correto de tamanhos de tabela Delta em SQL ANALYZE

A lógica de análise existente calcula incorretamente o tamanho da tabela para tabelas Delta e atualiza o catálogo com tamanho incorreto. A correção é obter o tamanho de uma tabela Delta do log Delta.

Métricas detalhadas do desempenho do RocksDB ao usar o RocksDBStateStore

Se você configurou sua consulta de Streaming Estruturado para usar o RocksDB como o armazenamento de estado, agora você pode obter melhor visibilidade do desempenho do RocksDB, com métricas detalhadas sobre latências de obtenção/colocação, latências de compactação, acertos de cache e assim por diante. Essas métricas estão disponíveis por meio das StreamingQueryProgress APIs e StreamingQueryListener para monitorar uma consulta de streaming.

Para obter mais informações, consulte Configurar o armazenamento de estado do RocksDB no Azure Databricks.

Gravações otimizadas automáticas

Gravações otimizadas em tabelas Delta particionadas agora são ativadas automaticamente para atualizar e excluir consultas que contenham subconsultas.

Habilite junções em bucket se apenas um lado de junção for bucketed

Uma nova configuração spark.databricks.sql.minBucketsForBucketedJoin habilita uma junção bucketed se apenas um lado de junção for bucketed e o número de buckets não for menor que esse valor de configuração. Por padrão, esse valor de configuração é o mesmo que o número de partições aleatórias padrão (200).

Segurança melhorada ao definir UDFs do Spark (Pré-visualização Pública)

Funções current_user de informações do usuário e is_member não podem mais ser substituídas por funções temporárias, incluindo Python spark.udf.register ou SQL create or replace temp function.

Número reduzido de solicitações ao registro de esquema para consultas com from_avro

As consultas com from_avro suporte ao registro de esquema não geram mais tantas solicitações para o serviço de registro de esquema, economizando custos operacionais.

Vários resultados em R com ListResults (Visualização pública)

Os notebooks Databricks R agora suportam vários resultados em cada célula. Anteriormente, apenas um único resultado era renderizado para cada célula do notebook. Atualmente, os resultados de uma única célula em blocos de anotações R são exibidos na seguinte ordem:

  1. RShiny URL
  2. Desenho
  3. displaySaídas HTML
  4. Tabelas
  5. stdout

Atualizações da biblioteca

  • Biblioteca Python atualizada:
    • Koalas atualizado de 1.7.0 para 1.8.0.
    • Pandas atualizado de 1.1.3 para 1.1.5.
    • S3Transfer atualizado de 0.3.4 para 0.3.6.
  • Biblioteca R atualizada:
    • SparkR atualizado de 3.1.1 para 3.1.2.
  • Biblioteca Java atualizada:
    • mariadb-java-client de 2.1.2 a 2.2.5.
    • parquet-coluna de 1.10.1-databricks6 a 1.10.1-databricks9
    • parquet-comum de 1.10.1-databricks6 a 1.10.1-databricks9
    • Parquet-codificação de 1.10.1-databricks6 a 1.10.1-databricks9
    • Parquet-Hadoop de 1.10.1-databricks6 a 1.10.1-databricks9
    • Parquet-Jackson de 1.10.1-databricks6 a 1.10.1-databricks9

Faísca Apache

O Databricks Runtime 8.3 inclui o Apache Spark 3.1.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-34614] [SQL] Modo ANSI: Casting String to Boolean deve lançar exceção no erro de análise
  • [FAÍSCA-34246] [ACOMPANHAMENTO] Altere a definição de 'findTightestCommonT...
  • [FAÍSCA-35213] [SQL] Mantenha a ordem correta das estruturas aninhadas em operações encadeadas withField
  • [FAÍSCA-35096] [SQL] O SchemaPruning deve aderir à configuração spark.sql.caseSensitive
  • [FAÍSCA-35227] [CONSTRUIR] Atualizar o resolvedor para spark-packages no SparkSubmit
  • [FAÍSCA-35224] [SQL] Corrigir estouro de buffer em MutableProjectionSuite
  • [FAÍSCA-34245] [CORE] Certifique-se de que o Mestre remove os executores que não conseguiram enviar o estado concluído
  • [FAÍSCA-34856] [SQL] Modo ANSI: permite a transmissão de tipos complexos como tipo de cadeia de caracteres
  • [FAÍSCA-34946] [SQL] Bloquear subconsulta escalar correlacionada não suportada no Aggregate
  • [FAÍSCA-35014] Corrigir o padrão PhysicalAggregation para não reescrever expressões dobráveis
  • [FAÍSCA-34769] [SQL] AnsiTypeCoercion: retorno mais próximo con...

Ambiente do sistema

  • Sistema Operacional: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (compilação 1.8.0_282-b08)
  • Escala: 2.12.10
  • Píton: 3.8.8
  • R: R versão 4.0.4 (2021-02-15)
  • Lago Delta 1.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Appdirs 1.4.4 asn1crypto 1.4.0 Backcall 0.2.0
Boto3 1.16.7 Botocore 1.19.7 Brotlipia 0.7.0
certifi 2020.12.5 CFFI 1.14.3 Chardet 3.0.4
criptografia 3.1.1 ciclista 0.10.0 Quisto 0.29.21
decorador 4.4.2 Distlib 0.3.1 Docutils 0.15.2
pontos de entrada 0,3 facetas-visão geral 1.0.0 bloqueio de arquivo 3.0.12
IDNA 2.10 Ipykernel 5.3.4 IPython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
Joblib 0.17.0 jupyter-cliente 6.1.7 Jupyter-core 4.6.3
Kiwisolver 1.3.0 coalas 1.8.0 Matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 Parso 0.7.0
vítima 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip (o gestor de pacotes do Python) 20.2.4 enredo 4.14.3 kit de ferramentas de prompt 3.0.8
Protobuf 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
Pyarrow 1.0.1 Pycparser 2,20 Pigmentos 2.7.2
pyOpenSSL 19.1.0 Pyparsing 2.4.7 Meias PySocks 1.7.1
python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.8.1 Pytz 2020.5 Pyzmq 19.0.2
pedidos 2.24.0 A tentar... 1.3.3 s3transferir 0.3.6
scikit-learn (biblioteca de aprendizado de máquina em Python) 0.23.2 SciPy 1.5.2 nascido no mar 0.10.0
Ferramentas de configuração 50.3.1 seis 1.15.0 statsmodels (uma biblioteca de Python para modelos estatísticos) 0.12.0
ThreadPoolCtl 2.1.0 tornado 6.0.4 traços 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 largura de wc 0.2.5
wheel 0.35.1

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserçãoat 0.2.1 Retroportagens 1.2.1
base 4.0.4 base64enc 0.1-3 Belo Horizonte 1.72.0-3
pouco 4.0.4 bit64 4.0.5 blob 1.2.1
arranque 1.3-27 fabricação de cerveja 1.0-6 Brio 1.1.0
vassoura 0.7.2 Chamador 3.5.1 acento circunflexo 6.0-86
Cellranger 1.1.0 crono 2.3-56 classe 7.3-18
CLI 2.2.0 Clipr 0.7.1 cluster 2.1.1
CodeTools 0.2-18 espaço em cores 2.0-0 marca comum 1.7
compilador 4.0.4 configuração 0,3 CoVR 3.5.1
CPP11 0.2.4 lápis de cor 1.3.4 credenciais 1.3.0
conversa cruzada 1.1.0.1 encaracolar 4.3 tabela de dados 1.13.4
conjuntos de dados 4.0.4 DBI 1.1.0 DBPlyr 2.0.0
descrição 1.2.0 DevTools 2.3.2 diffobj 0.3.2
resumo 0.6.27 DPLYR 1.0.2 DT 0,16
reticências 0.3.1 avaliar 0.14 Fãsi 0.4.1
Farver 2.0.3 mapa rápido 1.0.1 FORCATS 0.5.0
para cada 1.5.1 externa 0.8-81 forjar 0.2.0
FS 1.5.0 Futuro 1.21.0 genérico 0.1.0
Gert 1.0.2 ggplot2 3.3.2 GH 1.2.0
gitcreds 0.1.1 GLMNET 4.0-2 Globais 0.14.0
colar 1.4.2 Gower 0.2.2 gráficos 4.0.4
grDispositivos 4.0.4 grelha 4.0.4 gridExtra 2.3
GSUBFN 0,7 tabela g 0.3.0 Refúgio 2.3.1
mais alto 0.8 HMS 0.5.3 htmltools 0.5.0
htmlwidgets (componentes HTML interativos) 1.5.3 httpuv 1.5.4 HTTR 1.4.2
Hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 Isoband 0.2.3 iteradores 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 Knitr 1,30
etiquetagem 0.4.2 mais tarde 1.1.0.1 treliça 0.20-41
lave 1.6.8.1 lazyeval 0.2.2 ciclo de vida 0.2.0
ouvirv 0.8.0 lubridato 1.7.9.2 Magrittr 2.0.1
Marcação 1.1 MASSA 7.3-53.1 Matriz 1.3-2
memorização 1.1.0 métodos 4.0.4 MGCV 1.8-33
mímica 0,9 ModelMetrics 1.2.2.2 Modelador 0.1.8
Munsell 0.5.0 NLME 3.1-152 NNET 7.3-15
numDeriv 2016.8 a 1.1 openssl (conjunto de ferramentas para criptografia) 1.4.3 paralelo 4.0.4
Paralelamente 1.22.0 pilar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
Plyr 1.8.6 elogiar 1.0.0 unidades bonitas 1.1.1
pROC 1.16.2 processx 3.4.5 Prodlim 2019.11.13
Progresso 1.2.2 promessas 1.1.1 prototipo 1.0.0
PS 1.5.0 ronronar 0.3.4 r2d3 0.2.3
R6 2.5.0 Floresta Aleatória 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
Leitor 1.4.0 ReadXL 1.3.1 receitas 0.1.15
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.2.0
Reprex 0.3.0 remodelar2 1.4.4 Rex 1.2.0
Rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
oxigénio2 7.1.1 rpart (função de partição recursiva em R) 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversões 2.0.2 Rvest 0.3.6 escalas 1.1.1
seletor 0.4-2 Informação da sessão 1.1.1 forma 1.4.5
brilhante 1.5.0 ferramentas de origem 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 espacial 7.3-11 estrias 4.0.4
sqldf 0.4-11 QUADRADO 2020.5 estatísticas 4.0.4
estatísticas4 4.0.4 string 1.5.3 stringr 1.4.0
sobrevivência 3.2-7 Sistema 3.4 tcltk (uma linguagem de programação) 4.0.4
Demonstrações de Ensino 2.10 testeatat 3.0.0 Tibble 3.0.4
Tidyr 1.1.2 tidyselect 1.1.0 Tidyverse 1.3.0
data e hora 3043.102 Tinytex 0.28 ferramentas 4.0.4
usethis 2.0.0 UTF8 1.1.4 utilitários 4.0.4
Identificador Único Universal (UUID) 0.1-4 VCTRS 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 vibrissas 0.4 murchar 2.3.0
xfun 0.19 XML2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 ZIP 2.1.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
Antlr Antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) 1.11.655
com.amazonaws AWS-Java-SDK-CloudFormation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws AWS Java SDK para CloudSearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (configuração do AWS Java SDK) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-aprendizado de máquina 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws AWS Java SDK para SES 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) 1.11.655
com.amazonaws AWS-Java-SDK-STS 1.11.655
com.amazonaws aws-java-sdk-suporte 1.11.655
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.10.0
com.fasterxml.jackson.core Jackson-Core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.10.0
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil Jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-Java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib sistema_nativo-Java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-nativos 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-nativos 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben ZSTD-JNI 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs JSR305 3.0.0
com.google.code.gson Gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2banco de dados h2 1.4.195
com.helger gerador de perfis 1.1.1
com.jcraft JSCH 0.1.50
com.jolbox BoneCP 0.8.0.LANÇAMENTO
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK para Azure Data Lake Store) 2.3.9
com.microsoft.sqlserver MSSQL-JDBC 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter Chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.univocity analisadores de univocidade 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
codec commons codec commons 1.10
Commons Collections Commons Collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload (upload de ficheiros comuns) commons-fileupload (upload de ficheiros comuns) 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
colmeia-2.3__hadoop-2,7 JETS3T-0,7 liball_deps_2.12
colmeia-2.3__hadoop-2,7 Zookeeper-3,4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.10
io.dropwizard.metrics métricas-base 4.1.1
io.dropwizard.metrics métricas-grafite 4.1.1
io.dropwizard.metrics métricas e verificações de saúde 4.1.1
io.dropwizard.metrics métricas-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics métricas-json 4.1.1
io.dropwizard.metrics métricas do JVM 4.1.1
io.dropwizard.metrics Métricas-Servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometeu cliente simples 0.7.0
io.prometeu simpleclient_comum 0.7.0
io.prometeu simpleclient_dropwizard 0.7.0
io.prometeu simpleclient_pushgateway 0.7.0
io.prometeu simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.ativação ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo JDO-API 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp JSP-API 2.1
javax.transaction JTA 1.1
javax.transaction API de transação 1.1
javax.xml.bind JAXB-API 2.2.2
javax.xml.stream Stax-API 1.0-2
Javolution Javolution 5.5.1
Jline Jline 2.14.6
Joda-Time Joda-Time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-árvores colmeia-2.3__hadoop-2,7 liball_deps_2.12
net.razorvine pirolite 04:30
net.sf.jpam JPAM 1.1
net.sf.opencsv OpenCSV 2.3
net.sf.supercsv Super-CSV 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.3
net.floco de neve faísca-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combinado_tudo 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR Runtime 3.5.2
org.antlr antlr4-tempo de execução 4.8-1
org.antlr StringTemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ANT-JSCH 1.9.2
org.apache.ant lançador de formigas 1.9.2
org.apache.arrow formato de seta 2.0.0
org.apache.arrow seta-memória-núcleo 2.0.0
org.apache.arrow seta-memória-netty 2.0.0
org.apache.arrow vetor de seta 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro AVRO-IPC 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-cripto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-texto 1.6
org.apache.curador curador-cliente 2.7.1
org.apache.curador curador-framework 2.7.1
org.apache.curador curador-receitas 2.7.1
org.apache.derby Dérbi 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api API-Util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations (anotações do hadoop) 2.7.4
org.apache.hadoop autenticação do Hadoop 2.7.4
org.apache.hadoop Cliente Hadoop 2.7.4
org.apache.hadoop hadoop-comum 2.7.4
org.apache.hadoop Hadoop-HDFS 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app (aplicação cliente do hadoop-mapreduce) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common (Cliente comum do Hadoop MapReduce) 2.7.4
org.apache.hadoop hadoop-mapreduce-cliente-core 2.7.4
org.apache.hadoop Cliente de Trabalho Hadoop MapReduce 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-cliente 2.7.4
org.apache.hadoop hadoop-yarn-comum 2.7.4
org.apache.hadoop hadoop-yarn-server-common (componente do servidor comum do Hadoop YARN) 2.7.4
org.apache.hive colmeia-abelha 2.3.7
org.apache.hive Hive-CLI 2.3.7
org.apache.hive colmeia-comum 2.3.7
org.apache.hive colmeia-exec-core 2.3.7
org.apache.hive Hive-JDBC 2.3.7
org.apache.hive hive-llap-cliente 2.3.7
org.apache.hive colmeia-lamp-comum 2.3.7
org.apache.hive sistema de metadados do Hive 2.3.7
org.apache.hive Colmeia-Serde 2.3.7
org.apache.hive colmeias-calços 2.3.7
org.apache.hive API de armazenamento Hive 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims colmeia-calços-0,23 2.3.7
org.apache.hive.shims colmeia-calços-comum 2.3.7
org.apache.hive.shims colmeia-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.4.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-núcleo 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc Orc-calços 1.5.12
org.apache.parquet coluna de parquet 1.10.1-DATABRICKS9
org.apache.parquet parquet-comum 1.10.1-DATABRICKS9
org.apache.parquet codificação-parquet 1.10.1-DATABRICKS9
org.apache.parquet formato parquet 2.4.0
org.apache.parquet Parquet-Hadoop 1.10.1-DATABRICKS9
org.apache.parquet Parquet-Jackson 1.10.1-DATABRICKS9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocidade 1.5
org.apache.xbean xbean-asm7-sombreado 4.15
org.apache.yetus anotações de audiência 0.5.0
org.apache.zookeeper cuidador de zoológico 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson Jackson-Jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.jackson Jackson-XC 1.9.13
org.codehaus.janino compilador comum 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus DataNucleus Core 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty Jetty-Cliente 9.4.36.v20210114
org.eclipse.jetty jetty-continuation (componente de software do Jetty) 9.4.36.v20210114
org.eclipse.jetty Jetty-HTTP 9.4.36.v20210114
org.eclipse.jetty Jetty IO 9.4.36.v20210114
org.eclipse.jetty ** jetty-jndi 9.4.36.v20210114
org.eclipse.jetty Cais-Plus 9.4.36.v20210114
org.eclipse.jetty Jetty-Proxy 9.4.36.v20210114
org.eclipse.jetty Segurança do Jetty 9.4.36.v20210114
org.eclipse.jetty servidor jetty 9.4.36.v20210114
org.eclipse.jetty Jetty-servlet 9.4.36.v20210114
org.eclipse.jetty Jetty-servlets 9.4.36.v20210114
org.eclipse.jetty Jetty-util 9.4.36.v20210114
org.eclipse.jetty cais-util-ajax 9.4.36.v20210114
org.eclipse.jetty Aplicação web Jetty 9.4.36.v20210114
org.eclipse.jetty Jetty-XML 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 HK2-API 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 HK2-Utils 2.6.1
org.glassfish.hk2 localizador de recursos OSGi 1.0.3
org.glassfish.hk2.external aopalliance-reembalado 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (serviço de contêiner Jersey) 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-cliente 2.30
org.glassfish.jersey.core Jersey comum 2.30
org.glassfish.jersey.core servidor de jersey 2.30
org.glassfish.jersey.inject Jersey-HK2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator (ferramenta de validação de dados de Java) 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi JDBI 2.63.1
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M5
org.json4s JSON4S-core_2.12 3.7.0-M5
org.json4s JSON4S-jackson_2,12 3.7.0-M5
org.json4s JSON4S-scalap_2.12 3.7.0-M5
org.lz4 LZ4-Java 1.7.1
org.mariadb.jdbc mariadb-java-cliente 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql PostgreSQL 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap calços 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.10
org.scala-lang Escala-library_2.12 2.12.10
org.scala-lang Escala-reflect_2,12 2.12.10
org.scala-lang.modules scala-coleção-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-compatível-com-slf4j 1.7.30
org.slf4j jul-para-slf4j 1.7.30
org.slf4j SLF4J-API 1.7.30
org.slf4j SLF4J-Log4J12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core (núcleo do Spring) 4.1.4.VERSÃO
org.springframework teste de primavera 4.1.4.VERSÃO
org.threeten trêsdez-extra 1.5.0
org.tukaani XZ 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel gatos-kernel_2.12 2.0.0-M4
org.typelevel maquinista_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0,17,0-m1
org.typelevel torre-platform_2.12 0,17,0-m1
org.typelevel torre-util_2.12 0,17,0-m1
org.typelevel spire_2.12 0,17,0-m1
org.wildfly.openssl mosca-selvagem-openssl 1.0.7.Final
org.xerial SQLITE-JDBC 3.8.11.2
org.xerial.snappy Snappy-java 1.1.8.2
org.yaml Snakeyaml 1,24
ouro ouro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion íon-java 1.0.2
Stax Stax-API 1.0.1
XMLENC XMLENC 0.52
  • Last updated on