Validación cruzada (complementos de minería de datos de SQL Server)

La validación cruzada es una herramienta estándar en el análisis y es una característica importante para ayudarle a desarrollar y ajustar modelos de minería de datos. Después de crear un modelo de minería de datos, use la validación cruzada para determinar la validez del modelo y comparar sus resultados con otros modelos de minería de datos relacionados.

La validación cruzada consta de dos fases: entrenamiento y generación de informes. Completará los pasos siguientes:

• Seleccione una estructura de minería de datos de destino o un modelo de minería de datos.

• Especifique el valor objetivo si procede.

• Especifique el número de secciones cruzadas, o plegamientos, en los que se particionarán los datos de la estructura.

A continuación, el Asistente para validación cruzada crea un nuevo modelo en cada uno de los plegamientos, prueba el modelo en los demás plegamientos y, a continuación, informa de la precisión del modelo. Al finalizar, el asistente para Cross-Validation crea un informe que muestra las métricas de cada pliegue y proporciona un resumen agregado del modelo. Esta información se puede usar para determinar la calidad de los datos subyacentes para un modelo o para comparar modelos diferentes que se basan en los mismos datos.

Uso del Asistente para validación cruzada

Puede usar la validación cruzada en modelos temporales y modelos que se almacenan en una instancia de Analysis Services.

Para crear un informe de validación cruzada

1. En el grupo Precisión y validación de la cinta de opciones Minería de datos, haga clic en Validación cruzada.

2. En el cuadro de diálogo Seleccionar estructura o modelo, seleccione una estructura de minería de datos existente o un modelo de minería de datos. Si selecciona una estructura, el asistente utilizará la validación cruzada en todos los modelos basados en esa estructura que tienen el mismo atributo predecible. Si selecciona un modelo, el asistente usará la validación cruzada solo con ese modelo.

3. En la ventana Especificar parámetros de validación cruzada, en el cuadro Número de particiones, elija la cantidad de divisiones para repartir el conjunto de datos. Un plegado es una sección transversal seleccionada aleatoriamente de los datos.

4. Opcionalmente, establezca el número máximo de filas que se usarán en la validación cruzada escribiendo un número en el cuadro de texto Número máximo de filas .

   Nota:

   Cuantos más filas use, más precisas serán los resultados. Sin embargo, el tiempo de procesamiento también puede aumentar significativamente. El número que elija depende de los datos, pero en general, debe elegir el número más alto que puede sin sacrificar el rendimiento. Para mejorar el rendimiento, también puede especificar menos pliegues.

5. Seleccione una columna en la lista desplegable Atributo de destino. En la lista solo se muestran las columnas configuradas como atributos predecibles al crear originalmente el modelo. El modelo puede contener varios atributos de predicción, pero solo puede elegir uno.

6. Seleccione un valor de la lista desplegable Estado de destino.

   Si la columna de predicción contiene datos numéricos continuos, esta opción no está disponible.

7. Opcionalmente, especifique un valor que se usará como umbral de destino en el recuento de predicciones como precisas. Este valor se expresa como una probabilidad, que es un número entre 0 y 1, donde 1 significa que se garantiza que la predicción es precisa, 0 significa que no hay ninguna posibilidad de que la predicción sea correcta y .5 es la misma que una estimación aleatoria.

   Si la columna de predicción contiene datos numéricos continuos, esta opción no está disponible.

8. Haga clic en Finalizar Se crea una nueva hoja de cálculo, denominada Validación cruzada.

   Nota:

   Microsoft Excel puede dejar de responder temporalmente mientras el modelo se divide en pliegues y se prueba cada plegamiento.

Requisitos

Para crear un informe de validación cruzada, debe haber creado ya una estructura de minería de datos y modelos relacionados. El asistente proporciona un cuadro de diálogo para ayudarle a elegir entre los modelos y la estructura existentes.

Si elige una estructura de minería de datos que admita varios modelos de minería de datos y los modelos usan atributos de predicción diferentes, el Asistente para validación cruzada solo probará los modelos que comparten el mismo atributo de predicción.

Si elige una estructura que admita modelos de agrupación en clústeres y otros tipos de modelos, los modelos de agrupación en clústeres no se probarán.

Descripción de los resultados de la validación cruzada

Los resultados de la validación cruzada se muestran en una hoja de cálculo nueva, titulada Informe de validación cruzada para el <nombre> del atributo. La nueva hoja de cálculo contiene varias secciones: la primera sección es un resumen que proporciona metadatos importantes sobre el modelo que se ha probado, de modo que pueda saber para qué modelo o estructura son los resultados.

La segunda sección del informe proporciona un resumen estadístico que indica lo bueno que es el modelo original. En este resumen, se analizan las diferencias entre los modelos creados para cada pliegue en tres medidas clave: el error cuadrático medio raíz, el error absoluto medio y el log score. Se trata de medidas estadísticas estándar que se usan no solo en la minería de datos, sino también en la mayoría de los tipos de análisis estadísticos.

Para cada una de estas medidas, el Asistente para validación cruzada calcula la media y la desviación estándar en todo el modelo en su conjunto. Esto indica la coherencia del modelo al predecir en diferentes subconjuntos de datos. Por ejemplo, si la desviación estándar es muy grande, indica que los modelos creados para cada plegamiento tienen resultados muy diferentes y, por tanto, el modelo puede haber entrenado demasiado estrechamente en un grupo determinado de datos y no ser aplicable a otros conjuntos de datos.

En la sección siguiente se explican las medidas que se usan para evaluar los modelos.

Pruebas y medidas

Además de información básica sobre el número de plegamientos en los datos y la cantidad de datos de cada plegado, la hoja de cálculo muestra un conjunto de métricas sobre cada modelo, clasificados por tipo de prueba. Por ejemplo, la precisión de un modelo de agrupación en clústeres se evalúa mediante pruebas diferentes de las que usaría para un modelo de previsión.

En la tabla siguiente se enumeran las pruebas y las métricas, con una explicación de lo que significa la métrica.

Agregados y medidas estadísticas generales

Las medidas agregadas proporcionadas en el informe indican cómo los plegamientos que ha creado en los datos difieren entre sí.

• Desviación media y estándar.

• Promedio de la desviación de la media para una medida específica, en todas las particiones de un modelo.

Clasificación: Aprobar/Suspenso

Esta medida se usa en los modelos de clasificación cuando no se especifica un valor de destino para el atributo de predicción. Por ejemplo, si crea un modelo que predice varias posibilidades, esta medida indica lo bien que hizo el modelo al predecir todos los valores posibles.

El paso o error se calcula contando los casos que cumplen las condiciones siguientes: pasar si el estado previsto con la mayor probabilidad es el mismo que el estado de entrada y la probabilidad es mayor que el valor especificado para umbral de estado; De lo contrario, se produce un error.

Clasificación: verdaderos o falsos positivos y negativos

Esta prueba se usa para todos los modelos de clasificación que tienen un destino especificado. La medida indica cómo se clasifica cada caso en respuesta a estas preguntas: qué ha previsión el modelo y cuál fue el resultado real.

Levantar

Lift es una medida asociada a la probabilidad. Si un resultado es más probable cuando se usa el modelo que cuando se realiza una estimación aleatoria, se dice que el modelo proporciona elevación positiva. Sin embargo, si el modelo realiza predicciones menos probables que la probabilidad aleatoria, la puntuación de elevación es negativa. Por lo tanto, esta métrica indica la cantidad de mejora que se puede lograr mediante el modelo, donde una puntuación más alta es mejor.

Lift se calcula como la relación de la probabilidad de predicción real con la probabilidad marginal en los casos de prueba.

Puntuación del logaritmo

La puntuación de logaritmo, también denominada puntuación de verosimilitud logarítmica para la predicción, representa la relación entre dos probabilidades, convertida a una escala logarítmica. Dado que las probabilidades se representan como una fracción decimal, la puntuación logarítmica siempre es un número negativo. Una puntuación más cercana a 0 es una mejor puntuación.

Mientras que las puntuaciones sin procesar pueden tener distribuciones muy irregulares o sesgadas, una puntuación de registro es similar a un porcentaje.

Error cuadrático medio raíz

El error cuadrático medio raíz (RMSE) es un método estándar en las estadísticas para ver cómo se comparan los distintos conjuntos de datos y suavizar las diferencias que puede introducir la escala de las entradas.

RMSE representa el error medio del valor previsto en comparación con el valor real. Se calcula como la raíz cuadrada del error medio para todos los casos de partición, divididos por el número de casos de la partición, excepto las filas que tienen valores que faltan para los atributos de destino.

Error absoluto medio

El error absoluto medio es el error medio del valor previsto para el valor real. Se calcula mediante la obtención de la suma absoluta de errores y la búsqueda de la media de esos errores.

Este valor le ayuda a comprender cuánto varían las puntuaciones de la media.

Probabilidad de casos

Esta medida solo se usa para los modelos de agrupación en clústeres e indica la probabilidad de que un nuevo caso pertenezca a un clúster determinado.

En los modelos de agrupación en clústeres, hay dos tipos de pertenencia a clústeres, en función del método que usó para crear el modelo. En algunos modelos, según el algoritmo K-means, se espera que un nuevo caso pertenezca solo a un clúster. Sin embargo, de forma predeterminada, el algoritmo de agrupación en clústeres de Microsoft usa el método Expectation Maximization, que supone que un nuevo caso puede pertenecer a cualquier clúster. Por lo tanto, en estos modelos, un caso puede tener varios CaseLikelihood valores, pero el notificado de forma predeterminada es la probabilidad de que el caso pertenezca al clúster que sea la mejor coincidencia para el nuevo caso.

Véase también

Validar modelos y usar modelos para la predicción (complementos de minería de datos para Excel)