Una iniciativa de investigadores de la Universidad de Tsinghua, China; dirigidos por Yushi Bai, presentaron LongWriter, un programa compuesto por dos modelos de inteligencia artificial de lenguaje grande (LLM, por sus siglas en inglés), capaces de generar textos coherentes de más de 10 mil palabras. Un ejemplo de ello, es la novela La Metamorfosis, de Franz Kafka, que ostenta 11 mil palabras.
Asimismo, los técnicos indican que la limitación de salida de los LLM, la cual suele posicionarse en las mil palabras; se relaciona directamente a la longitud de los textos utilizados durante el ajuste fino supervisado. Por consiguiente, desarrollaron un sistema denominado AgentWrite para descomponer tareas de generación, y permitir que los LLM generaran salidas coherentes extensas.
El equipo se basó en un modelo de código abierto desarrollado por su propia universidad, identificado como GLM-4 9B, y entrenado con 10 billones de tokens en 26 idiomas para crear LongWriter-glm4-9b. También utilizó la versión 8B de los modelos de código abierto “Llama 3.1” para crear LongWriter-llama3.1-8b.
Inicialmente, los investigadores solicitaron a un chatbot basado en GLM-4 9B, para que creara una historia de cinco mil palabras, lo que resultó en un texto con un máximo de un mil 896 palabras. LongWriter-glm4-9b, en cambio, responde a la misma petición con un total de siete mil 872 palabras.
