Los extractos de las conferencias de Stanford y los comentarios de Yann LeCun ofrecen una visión general del campo del aprendizaje auto-supervisado (SSL), un paradigma emergente en la inteligencia artificial. Las fuentes explican que el SSL permite entrenar modelos de deep learning a gran escala utilizando datos no etiquetados, lo que aborda la limitación de la necesidad de grandes conjuntos de datos etiquetados en el aprendizaje supervisado tradicional. Discuten cómo el SSL funciona a través de la definición de una tarea pretexto donde la supervisión se genera automáticamente a partir de los datos de entrada, como predecir partes faltantes de una imagen (como en Masked Autoencoders) o reordenar parches (el rompecabezas de Jigsaw). Además, se presenta el concepto de aprendizaje contrastivo, que entrena modelos para generar representaciones similares para las diferentes vistas del mismo objeto (pares positivos) y representaciones disímiles para diferentes objetos (pares negativos). Una vez que el modelo ha sido preentrenado con estas tareas, sus representaciones pueden transferirse a una tarea posterior más específica (como clasificación o detección) con muchos menos datos etiquetados, utilizando técnicas como el ajuste fino o el sondaje lineal.