El aprendizaje por transferencia NLP

  Es el proceso de entrenar un modelo en un conjunto de datos a gran escala y luego usar ese modelo previamente entrenado para llevar a cabo el aprendizaje para otra tarea posterior (es decir, la tarea objetivo). El aprendizaje por transferencia se popularizó en el campo de la visión por computadora gracias al conjunto de datos ImageNet. En este articulo nos centraremos en cómo se aplican estos conceptos al campo del procesamiento del lenguaje natural.

   Nos hemos vuelto muy buenos para predecir un resultado muy preciso con muy buenos modelos de entrenamiento. Pero debemos considerar que la mayoría de las tareas que realizamos con estos modelos no son nada generalistas, si no al contrario, son especificas de un solo objetivo o dominio. El mundo real no esta encerrado en el conjunto de datos que entrenamos, si no que es algo mucho más extenso y desordenado, por lo tanto ese modelo que hemos entrenado anteriormente si lo usamos para un objetivo mas general con toda seguridad su eficacia descenderá notablemente.

   El aprendizaje transferido es la aplicación que se obtiene de un contexto a otro contexto. Aplicar el conocimiento de un modelo podría ayudar a reducir el tiempo de capacitación y los problemas de aprendizaje profundo al tomar los parámetros existentes para resolver problemas de datos “pequeños”.

Cuales son esas ventajas

• Requisitos de formación más simples utilizando datos previamente entrenados
• Requisitos de memoria mucho más pequeños
• Entrenamiento del modelo de destino considerablemente más corto: segundos en lugar de días
• Estos modelos permiten un mayor rendimiento con menos datos.
• Son más fáciles de usar que los modelos tradicionales de aprendizaje profundo, por lo que no requieren un científico de datos con especialización en NLP

Fuentes:https://www.europeanvalley.es/noticias/aprendizaje-por-transferencia-nlp/