Tema 3 · Aprendizaje Computacional
Test de Evaluación y comparación de algoritmos de clasificación y regresión.
3 preguntas tipo test de exámenes reales de Aprendizaje Computacional.
Qué entra en este tema
- Evaluar un modelo (o comparar modelos) no es,simplemente, obtener métricas básicas de rendimiento Se necesitan planificar experimentos de manera científica, y obtener métricas y otras evidencias que sean estadísticamente sólidas
- En este tema se tratarán los procedimientos para poder evaluar, comparar y analizar el rendimiento de los algoritmos de clasificación y de regresión, así como las formas de distribuir los datos en conjuntos de entrenamiento, validación y test
Según la guía docente oficial.
Preguntas falladas
Aquí irán las que falles, dejes en blanco o marques para revisar, para repasarlas después.
Configura tu test
3 preguntas de Evaluación y comparación de algoritmos de clasificación y regresión.
Ejemplos de preguntas de Evaluación y comparación de algoritmos de clasificación y regresión.
3 de 3 preguntas. La respuesta correcta se ve al practicar.
- 1.
los resultados de un calificador serán mejores si:
- a)en las celdas de su matriz de confusión, todos los valores distintos mayores que cero están en las celdas de diagonal principal.
- b)en su matriz de confusión, todas las celdas de la diagonal principal tiene valor 0.
- c)su matriz de confusión contiene mas celdas con valor 0 que con valor distinto de 0.
- 2.
la matriz de confusión de un modelo de clasificación
- a)es de aplicar exclusiva en problemas de clasificación binaria, para detectar los falsos positivos y negativos del clasificador.
- b)se aplica en todo tipo de problemas de aprendizaje computacional, ya sea de regresión o clasificación, para estimar el error de la hipótesis generado por el algoritmo de aprendizaje a partir de los datos de aprendizaje
- c)es un mecanismo de representación de errores de un clasificador en un problema de clasificación de n clase.
- 3.
Para comparar de métodos (o un mismo método con distintos parámetros) se ha de ejecutar cada uno varia veces, sobre los mismos datos, y con distintas semillas aleatorias (constituyendo esas ejecuciones un experimento).
- a)Es imprescindible aplicar algún test estadístico para distinguir con propiedad entre la hipótesis nula (ambos experimentos son indistinguibles) o la hipótesis alternativa (ambos experimentos son diferentes) con cierto nivel de confianza (normalmente 95% o 99%).
- b)Es suficiente con comprobar que mejor ejecución de un método es peor que la peor ejecución del otro método.
- c)Es suficiente con comprobar que la media la validación cruzada de un método y la del otro difieren en 1,96 (al 96% de confianza) o 2,57% (al 99%) desviación típicas.