Una tutela para principiantes para el enseñanza automotriz supervisado

El enseñanza automotriz (ML) permite a las computadoras ilustrarse patrones de los datos y tomar decisiones por sí mismas. Piense en ello como máquinas de enseñanza cómo «ilustrarse de la experiencia». Permitimos que la máquina aprenda las reglas de ejemplos en empleo de codificar cada una. Es el concepto en el centro de la Revolución AI. En este artículo, repasaremos lo que es el enseñanza supervisado, sus diferentes tipos y algunos de los algoritmos comunes que caen bajo el paraguas de enseñanza supervisado.

¿Qué es el enseñanza automotriz?

Fundamentalmente, el enseñanza automotriz es el proceso de identificación de patrones en los datos. El concepto principal es crear modelos que funcionen acertadamente cuando se aplican a datos frescos y no probados. ML puede clasificarse ampliamente en tres áreas:

1. Formación supervisado
2. Formación no supervisado
3. Formación de refuerzo

Ejemplo simple: estudiantes en un cátedra

• En enseñanza supervisadoun perito ofrece a los estudiantes preguntas y respuestas (por ejemplo, «2 + 2 = 4») y luego las cuestiona más tarde para compulsar si recuerdan el patrón.
• En enseñanza no supervisadolos estudiantes reciben una pila de datos o artículos y los agrupan por tema; Aprenden sin etiquetas identificando similitudes.

Ahora, intentemos entender supervisado Formación automotriz técnicamente.

¿Qué es el enseñanza automotriz supervisado?

En el enseñanza supervisado, el maniquí aprende de los datos etiquetados utilizando pares de entrada-salida de un conjunto de datos. El maniquí aprende el mapeo entre las entradas (igualmente denominadas características o variables independientes) y futuro (igualmente denominadas etiquetas o variables dependientes). El objetivo es hacer predicciones sobre datos desconocidos utilizando esta relación aprendida. El objetivo es hacer predicciones sobre datos invisibles basados ​​en esta relación aprendida. Las tareas de enseñanza supervisadas se dividen en dos categorías principales:

1. Clasificación

La variable de salida en la clasificación es categórica, lo que significa que cae en un montón específico de clases.

Ejemplos:

• Detección de spam por correo electrónico
  • Aporte: Correo electrónico de correo electrónico
  • Producción: Spam o no spam
• Examen de dígitos escrito a mano (MNIST)
  • Aporte: Imagen de un dígito
  • Producción: Dígito de 0 a 9

2. Regresión

La variable de salida en la regresión es continua, lo que significa que puede tener cualquier número de títulos que caen internamente de un rango específico.

Ejemplos:

• Predicción del precio de la vivienda
  • Aporte: Tamaño, ubicación, número de habitaciones
  • Producción: Precio de la vivienda (en dólares)
• Previsión del precio de las acciones
  • Aporte: Precios anteriores, masa sección
  • Producción: Precio de suspensión del día próximo

Flujo de trabajo de enseñanza supervisado

Un cálculo característico de enseñanza automotriz supervisado sigue el flujo de trabajo a continuación:

1. Resumen de datos: La sumario de datos etiquetados es el primer paso, que implica resumir tanto las futuro correctas (etiquetas) como las entradas (variables o características independientes).
2. Preprocesamiento de datos: Antaño del entrenamiento, nuestros datos deben limpiarse y prepararse, ya que los datos del mundo verdadero a menudo están desorganizados y no estructurados. Esto implica tratar con títulos faltantes, homogeneizar escalas, codificar texto a números y formatear datos de forma adecuada.
3. División de prueba de tren: Para probar qué tan acertadamente se generaliza su maniquí a los nuevos datos, debe dividir el conjunto de datos en dos partes: una para capacitar al maniquí y otro para probarlo. Por lo militar, los científicos de datos usan más o menos del 70-80% de los datos para capacitación y reservan el resto para pruebas o fuerza. La mayoría de las personas usan divisiones 80-20 o 70-30.
4. Selección de maniquí: Dependiendo del tipo de problema (clasificación o regresión) y la naturaleza de sus datos, elige un cálculo de enseñanza automotriz apropiado, como la regresión directo para predecir números o árboles de audacia para tareas de clasificación.
5. Capacitación: Los datos de entrenamiento se utilizan para entrenar el maniquí predilecto. El maniquí obtiene conocimiento de las tendencias y conexiones fundamentales entre las características de entrada y las etiquetas de salida en este paso.
6. Evaluación: Los datos de prueba invisibles se utilizan para evaluar el maniquí posteriormente de acaecer sido entrenado. Dependiendo de si se manejo de una tarea de clasificación o regresión, evalúa su desempeño utilizando métricas como precisión, precisión, recuperación, RMSE o puntaje F1.
7. Predicción: Por zaguero, el maniquí entrenado predice futuro para datos nuevos del mundo verdadero con resultados desconocidos. Si funciona acertadamente, los equipos pueden usarlo para aplicaciones como el pronóstico de precios, la detección de fraude y los sistemas de recomendación.

Algoritmos de enseñanza automotriz supervisado global

Veamos ahora algunos de los algoritmos ML supervisados ​​más utilizados. Aquí, mantendremos las cosas simples y le daremos una visión militar de lo que hace cada cálculo.

1. Regresión directo

Fundamentalmente, regresión directo Determina la relación óptima de ringlera recta (y = ax + b) entre un objetivo continuo (y) y características de entrada (x). Al minimizar la suma de los errores al cuadrado entre los títulos esperados y reales, determina los coeficientes óptimos (A, B). Es computacionalmente capaz para modelar tendencias lineales, como pronosticar los precios de las viviendas en función de la ubicación o los pies cuadrados, gracias a esta posibilidad matemática de forma cerrada. Cuando las relaciones son más o menos lineales y la interpretabilidad es importante, su simplicidad brilla.

2. Regresión abastecimiento

A pesar de su nombre, regresión abastecimiento Convierte futuro lineales en probabilidades para encarar la clasificación binaria. Exprime los títulos entre 0 y 1, que representan la probabilidad de clase, utilizando la función sigmoidea (1 / (1 + E⁻ᶻ)) (por ejemplo, «Peligro de cáncer: 87%»). A umbrales de probabilidad (generalmente 0.5), aparecen límites de audacia. Oportuno a su colchoneta probabilística, es valentísimo para el dictamen médico, donde la comprensión de la incertidumbre es tan importante como hacer predicciones precisas.

3. Árboles de audacia

Los árboles de audacia son una aparejo de enseñanza automotriz simple utilizada para tareas de clasificación y regresión. Estos diagramas de flujo «IF-Else» fáciles de usar utilizan umbrales de características (como «Ingresos> $ 50k?») Para dividir los datos jerárquicamente. Algoritmos como el CART optimizan la lucro de información (disminución de la entropía/varianza) en cada nodo para distinguir clases o títulos de pronóstico. Las predicciones finales se producen por hojas terminales. Aunque corren el peligro de sobreajustar datos ruidosos, sus banqueros de la naturaleza de la caja blanca ayudan a explicar las negaciones de préstamos («denegado correcto a la puntuación de crédito <600 y la relación deuda> 40%»).

4. Bosque imprevisible

Un método de conjunto que utiliza muestras de características aleatorias y subconjuntos de datos para construir múltiples decorrelacionales árboles de audacia. Utiliza la votación mayoritaria para anexar predicciones para la clasificación y promedios para la regresión. Para el modelado de riesgos de crédito, donde los árboles individuales podrían confundir el ruido para el patrón, es robusto porque reduce la varianza y el sobreajuste al combinar una variedad de «alumnos débiles».

5. Máquinas de vectores de soporte (SVM)

En un espacio de reincorporación dimensión, los SVM determinan el mejor hiperplano para dividir al mayor las clases. Para torear con los límites no lineales, asignan implícitamente los datos a dimensiones más altas utilizando trucos del núcleo (como RBF). En el texto/datos genómicos, donde la clasificación se define sólo por características esencia, el energía en los «vectores de soporte» (casos de límites críticos) proporciona eficiencia.

6. K-Nears más vecinos (KNN)

Un cálculo perezoso basado en instancias que utiliza el voto mayoritario de sus K vecinos más cercanos internamente del espacio de funciones para clasificar los puntos. La similitud se mide por métricas de distancia (euclidea/Manhattan), y el suavizado se controla con k. No tiene período de entrenamiento y se ajusta instantáneamente a los nuevos datos, lo que lo hace ideal para sistemas de recomendación que hacen recomendaciones de películas basadas en preferencias similares del legatario.

7. Bayes ingenuos

Este clasificador probabilístico hace que la suposición audaz de que las características son condicionalmente independientes dada la clase para aplicar el teorema de Bayes. Utiliza recuentos de frecuencia para calcular rápidamente las probabilidades posteriores a pesar de esta «ingenuidad». Millones de correos electrónicos son escaneados por filtros de correo no deseado en tiempo verdadero correcto a su complejidad O (N) y tolerancia a los datos escasos.

8. Boosting de gradiente (xgboost, lightgbm)

Un conjunto secuencial en el que cada nuevo pupilo débil (árbol) corona los errores de su predecesor. Al usar descenso de gradiente para optimizar las funciones de pérdida (como el error al cuadrado), se ajusta a los residuos. Al anexar regularización y procesamiento paralelo, las implementaciones avanzadas como XGBOost dominan las competiciones de Kaggle al conseguir la precisión en los datos tabulares con interacciones intrincadas.

Aplicaciones del mundo verdadero

Algunas de las aplicaciones del enseñanza supervisado son:

• Cuidado de la sanidad: El enseñanza supervisado Revoluciones de dictamen. Las redes neuronales convolucionales (CNN) clasifican los tumores en escaneos de resonancia magnética con precisión superior al 95%, mientras que los modelos de regresión predicen la vida útil del paciente o la competencia del fármaco. Por ejemplo, Lyna de Google detecta metástasis de cáncer de mama más rápido que los patólogos humanos, lo que permite intervenciones anteriores.
• Finanzas: Los bancos utilizan clasificadores para la calificación crediticia y la detección de fraude, analizando los patrones de transacción para identificar irregularidades. Los modelos de regresión utilizan datos históricos del mercado para predecir los incumplimientos de préstamos o las tendencias de acciones. Al automatizar el exploración de documentos, la plataforma de monedas de JPMorgan ahorra 360,000 horas laborales al año.
• Minorista y marketing: Los motores de recomendación de Amazon utilizan una combinación de técnicas llamadas filtrado colaborativo para hacer recomendaciones de productos, aumentando las ventas en un 35%. Los pronósticos de regresión de la demanda de la optimización de inventario, mientras que los clasificadores utilizan el historial de compras para predecir la pérdida de clientes.
• Sistemas autónomos: Los autos autónomos dependen de clasificadores de objetos en tiempo verdadero como Yolo («solo miras una vez») para identificar peatones y señales de tráfico. Los modelos de regresión calculan los riesgos de colisión y los ángulos de dirección, lo que permite la navegación segura en entornos dinámicos.

Desafíos y mitigaciones críticas

Desafío 1: sobreajuste contra poco auxiliar

El sobreajuste ocurre cuando los modelos memorizan el ruido de entrenamiento, fallando en nuevos datos. Las soluciones incluyen regularización (complejidad penalización), fuerza cruzada y métodos de conjunto. Subiendo poco acorralado de la simplificación excesiva; Las correcciones implican ingeniería de características o algoritmos avanzados. El invariabilidad de uno y otro optimiza la divulgación.

Desafío 2: Calidad de datos y sesgo

Los datos sesgados producen modelos discriminatorios, especialmente en el proceso de muestreo (p. Ej., Herramientas de contratación sesgadas por naturaleza). Las mitigaciones incluyen la procreación de datos sintéticos (SMOTE), algoritmos de la equidad y diversos suministro de datos. Las auditorías rigurosas y las «tarjetas maniquí» que documentan las limitaciones mejoran la transparencia y la responsabilidad.

Desafío 3: La «maldición de la dimensionalidad»

Los datos de reincorporación dimensión (características de 10k) requieren un número exponencialmente decano de muestras para evitar la escasez. Las técnicas de reducción de dimensionalidad como PCA (exploración de componentes principales), LDA (exploración discriminante directo) toman estas características dispersas y las reducen al tiempo que conserva la información informativa, lo que permite a los analistas tomar mejores decisiones desalojadas basadas en grupos más pequeños, lo que progreso la eficiencia y la precisión.

Conclusión

El enseñanza automotriz supervisado (SML) une la brecha entre los datos sin procesar y la bono inteligente. Al ilustrarse de los ejemplos etiquetados, los sistemas permiten hacer predicciones precisas y decisiones informadas, desde filtrar el spam y detectar fraude hasta pronosticar mercados y ayudar a la atención médica. En esta tutela, cubrimos el flujo de trabajo fundamental, los tipos esencia (clasificación y regresión) y los algoritmos esenciales que alimentan las aplicaciones del mundo verdadero. SML continúa dando forma a la columna vertebral de muchas tecnologías en las que confiamos todos los días, a menudo sin siquiera darnos cuenta.