Modelos de Ensamble | AI Planet (formerly DPhi)

Analogía de la vida real

Andrew quiere decidir adónde ir durante unas vacaciones de un año, por lo que pide sugerencias a las personas que mejor lo conocen. El primer amigo que busca le pregunta sobre lo que le gusta y lo que no le gusta de sus viajes pasados. Según las respuestas, le dará algunos consejos a Andrew.
Este es un enfoque de algoritmo de árbol de decisión típico. El amigo de Andrew creó reglas para guiar su decisión sobre lo que debería recomendar usando las respuestas de Andrew.
Luego, Andrew comienza a pedirle a más y más amigos que lo aconsejen, y nuevamente le hacen diferentes preguntas que pueden usar para derivar algunas recomendaciones para él. Finalmente, Andrew elige los lugares que más le recomiendan, que es el típico enfoque de algoritmo de bosque aleatorio.

Hagamos una pausa y pensemos en lo que hizo Andrew. Tomó múltiples opiniones de un grupo lo suficientemente grande de personas y luego tomó una decisión informada basada en ellas. Esto es lo que también hacen los métodos Ensemble.
Es posible que tenga dos modelos, cada uno de los cuales es bueno para predecir una parte determinada (diferente) de su conjunto de datos. Combinar los dos modelos parece una buena idea para aumentar el rendimiento
“conjunto” = Combinación de modelos
Modelos de conjunto en aprendizaje automático combina las decisiones de varios modelos para mejorar el rendimiento general.
Entonces, básicamente, ensamblar/combinar dos o más algoritmos podría mejorar o aumentar su rendimiento. Pero hay una lógica detrás del ensamblaje: no se pueden combinar aleatoriamente dos modelos y exigir un aumento en el rendimiento. Hay matemáticas detrás de todo.
Entonces, profundicemos en los varios métodos de ensamblaje que puede probar.

En esta sección, veremos algunas técnicas simples pero poderosas, a saber:
- Max Votación/Modo
- Promedio
- Promedio ponderado

El método de votación máxima se usa generalmente para problemas de clasificación. Esta técnica utiliza múltiples modelos para hacer predicciones para cada punto de datos. Las predicciones de cada modelo se consideran un 'voto'. Las predicciones que obtenemos de la mayoría de los modelos se utilizan como predicción final.
Por ejemplo, cuando le pediste a 5 de tus colegas que calificaran tu película (de 5), asumiremos que tres calificaron con 4 y dos con 5. Como la mayoría calificó con 4, la calificación final será 4. Puedes considerar esto como tomar la moda de todas las predicciones.

En esta técnica, tomamos un promedio de las predicciones de todos los modelos y lo usamos para hacer la predicción final.
El promedio se puede usar para hacer predicciones en problemas de regresión o calcular probabilidades para problemas de clasificación.
Por ejemplo, en el caso siguiente, el método de promedio tomaría el promedio de todos los valores. es decir, (5+4+5+4+4)/5 = 4,4

Esta es una extensión del método de promediación. A todos los modelos se les asignan diferentes pesos, definiendo la importancia de cada modelo para la predicción.
Por ejemplo, si dos de sus colegas son críticos, mientras que otros no tienen experiencia previa en este campo, entonces las respuestas de estos dos amigos tienen más importancia que las de otras personas.
El resultado se calcula como [(5*0.23) + (4*0.23) + (5*0.18) + (4*0.18) + (4*0.18)] = 4.41.

Ahora que hemos cubierto las técnicas básicas de conjunto, podemos pasar a comprender las técnicas avanzadas, a saber:
- Apilamiento
- Mezcla
- Embolsado, por ejemplo: bosque aleatorio
- Impulso, por ejemplo: Adaboost, Gradient Boost, Extreme Gradient Boost
Aprenderemos sobre técnicas de Embolsado y Boosting. No hay nada de qué preocuparse; son como cualquier otro algoritmo, como árboles lineales, logísticos y de decisión.

La idea detrás del embolsado es combinar los resultados de varios modelos (por ejemplo, todos los árboles de decisión) para obtener un resultado generalizado.
Aquí hay una pregunta: si crea todos los modelos en los mismos datos de entrenamiento y los combina, ¿será útil? Existe una alta probabilidad de que estos modelos den el mismo resultado ya que obtienen la misma entrada. Entonces, ¿cómo podemos resolver este problema? Una técnica llamada bootstrapping nos ayuda con eso.
Agregando = Sumar o Combinar
Bagging combina los diferentes modelos creados mediante el arranque en diferentes conjuntos de datos de entrenamiento, de ahí el nombre Bootstrap Aggregating.
Random forest es un famoso modelo de embolsado que utiliza variaciones de varios árboles. Si se usan los mismos árboles, es un árbol de decisión empaquetado.

Aquí hay otra pregunta: si el primer modelo predice incorrectamente un punto de datos y luego el siguiente (probablemente todos los modelos), ¿la combinación de las predicciones proporcionará mejores resultados? Estas situaciones se resuelven mediante impulso.
Intuitivamente, cada nuevo modelo centra sus esfuerzos en las observaciones más difíciles de ajustar hasta el momento e intenta corregir los errores del modelo anterior. Entonces, al final del proceso, obtenemos un alumno fuerte.
El refuerzo, como el embolsado, se puede usar para problemas de regresión y clasificación.
Hay varios tipos de algoritmos de refuerzo que estudiaremos pronto.

Puede descargar las diapositivas de este tema desde aquí.