El deep learning es un subconjunto de machine learning impulsado por redes neuronales cuyo diseño se inspira en la estructura del cerebro humano. Los modelos de deep learning están detrás de la mayor parte de la inteligencia artificial (IA) más avanzada en la actualidad, desde la visión artificial y la IA generativa hasta los coches autónomos y la robótica. A diferencia de la lógica matemática explícitamente definida de los algoritmos tradicionales de machine learning, las redes neuronales de los modelos de deep learning comprenden muchas capas interconectadas de "neuronas" que realizan cada una una operación matemática. Mediante el uso del machine learning para ajustar la fuerza de las conexiones entre las neuronas individuales de las capas adyacentes (es decir, los pesos y sesgos variables del modelo), la red puede optimizarse para obtener outputs más precisos. Aunque las redes neuronales y el deep learning se han asociado indisolublemente entre sí, no son estrictamente sinónimos: "deep learning" se refiere al entrenamiento de modelos con al menos 4 capas (aunque las arquitecturas de redes neuronales modernas suelen ser mucho más "profundas" que eso) . Es esta estructura distribuida, altamente flexible y ajustable lo que explica la increíble potencia y versatilidad de deep learning. Imagine el entrenamiento de datos como puntos de datos dispersos en un gráfico bidimensional, y el objetivo del entrenamiento de modelos es encontrar una línea que pase por cada uno de esos puntos de datos. Esencialmente, el machine learning tradicional tiene como objetivo lograr esto utilizando una sola función matemática que produce una sola línea (o curva); el deep learning, por otro lado, puede juntar un número arbitrario de líneas más pequeñas y ajustables individualmente para formar la forma deseada. Las redes neuronales profundas son aproximadores universales: se ha demostrado teóricamente que para cualquier función, existe una disposición de red neuronal que puede reproducirla.1 Los modelos de deep learning suelen entrenarse mediante el aprendizaje supervisado en datos etiquetados para realizar tareas de regresión y clasificación. Pero como las redes neuronales suelen requerir una enorme cantidad de datos de entrenamiento para alcanzar un rendimiento óptimo, el coste y el trabajo de adquirir conjuntos de datos de ejemplos de entrenamiento anotados pueden ser prohibitivos. Esto ha llevado al desarrollo de técnicas para replicar tareas de aprendizaje supervisado utilizando datos no etiquetados. El término aprendizaje autosupervisado fue acuñado por Yann LeCun a finales de la década de 2010 para desambiguar estos métodos del aprendizaje no supervisado tradicional. Desde entonces, el aprendizaje autosupervisado se ha convertido en un modo destacado de entrenar redes neuronales, en particular para los modelos fundacionales que sustentan la IA generativa. Aunque los científicos de datos introdujeron las redes neuronales (o conceptos análogos) al principio de la historia del machine learning, su avance no comenzó en serio hasta finales de la década de 2000 y principios de la de 2010. La llegada de las redes de deep learning en la mayoría de los subconjuntos del machine learning fue posible en parte por los avances en las unidades de procesamiento gráfico (GPU) de alto rendimiento que permitieron el procesamiento paralelo de cantidades masivas de pasos computacionales. Dado que el deep learning requiere una enorme cantidad de potencia informática tanto para el entrenamiento como para la inferencia, estos avances de hardware aumentaron considerablemente la velocidad y la practicidad de la implementación de modelos de deep learning a escala.