Aplicaciones del procesamiento del Lenguaje Natural II
Analisis automático de claridad de los textos
La claridad de un texto se puede medir en base a los elementos lingüísticos que se utilizan en el mismo, como el uso de la voz pasiva, de los conectores, las siglas o los acrónimos, entre otros. Y este proceso se puede automatizar con distintas técnicas de Procesamiento del Lenguaje Natural (PLN) y Machine Learning analizar la claridad de los textos y así poder clasificarlos de forma objetiva y cuantificable, a la vez que se dan recomendaciones para expresar las ideas de manera ordenada, sencilla y transparente.
Este análisis automático de claridad de los textos es un primer paso para mejorar el lenguaje utilizado y, por ende, la comunicación entre emisor y receptor. Algo especialmente necesario en los ámbitos en los que se utiliza el lenguaje escrito para atender a un cliente, resolver dudas o responder preguntas, sobre todo cuando no contamos con mucha información del interlocutor, salvo el propio texto de la solicitud.
¿Cómo se realiza la clasificación automática de textos?
Selección del corpus
Los lingüistas computacionales son los encargados de hacer un primer análisis manual y etiquetar como “claros” o “no claros” una selección de textos reales que tengan que ver con el sector en cuestión.
Diseño de métricas lingüísticas
En base al corpus seleccionado, se establecen distintos indicadores lingüísticos determinantes para medir la claridad de los textos. Se tendrán en cuenta el uso de tecnicismos, de signos de puntuación o de la voz pasiva, entre otros.
Los textos etiquetados y sus puntuaciones en las mediciones sirven de ejemplo al modelo, que luego será capaz de predecir el nivel de claridad de nuevos textos.
Evaluación de la claridad y clasificación de textos
Una vez entrenado, el modelo calcula la probabilidad de que un texto sea claro o no, pudiendo implementarse un software o servicio online en el que los usuarios introduzcan sus propios textos.
.jpg)
La detección de entidades o Named Entity Recognition (NER) permite localizar y clasificar automáticamente determinadas palabras de un texto en categorías predefinidas: personas, organizaciones, lugares, marcas, cantidades, entre otras. Normalmente, se establecen una serie de categorías o clases, y se utilizan distintas técnicas de Inteligencia Artificial para clasificar y ordenar los textos en cuestión.
La detección de entidades o NER se basa en técnicas de Procesamiento del Lenguaje Natural (PLN) y de Machine Learning. Estos sistemas suelen abordar dos tareas:
- Detectar una entidad nombrada
- Categorizar la entidad
Para saber cuáles son las entidades relevantes y cómo categorizarlas dentro del texto, el modelo requiere ser entrenado con un corpus anotado. Una vez definidas las entidades y sus categorías, el algoritmo etiquetará los textos de manera predictiva
La clasificación automática de textos es aplicable a todo tipo de sectores y textos: documentos, comentarios, indicencias, mensajes, facturas, currículums, etc. Con la clasificación automática de textos podemos identificar de manera rápida grupos o clusters de textos que tratan de lo mismo, aunque la información relacionada con el tema sea diferente en cada uno de ellos. Se trata de una aplicación especialmente útil en sectores que manejan mucha información, como el legal, o que necesitan una clasificación de textos ágil, como la atención al cliente o RR. HH.
0 comments