Según Shen et al. (2023), la serie Nous-Hermes, que fue desarrollada por Nous Research y respaldada por Redmond AI, representa una de las generaciones más avanzadas de modelos de lenguaje. Esta serie, compuesta por modelos con más de 300,000 instrucciones, se basa en Llama y Llama-2. Ofrecen un rendimiento sólido en diversas tareas y destacan por sus respuestas extensas, baja tasa de alucinaciones y la ausencia de censura, lo que los convierte en una opción competitiva en el campo de la inteligencia artificial.
Entrenamiento y Optimización de los Modelos Nous-Hermes
Los modelos Nous-Hermes se han perfeccionado mediante entrenamientos rigurosos en máquinas DGX 8x A100 de 80 GB durante largos períodos. El objetivo ha sido mantener la coherencia con el modelo original Hermes y mejorar sus capacidades. Se han utilizado datos sintéticos de GPT-4 junto con diversas fuentes como GPTeacher, versiones de juegos de rol 1 y 2.2, instrucciones de código, y conjuntos exclusivos como Nous Instruct & PDACTL, así como conjuntos específicos como Camel-AI y Airoboros (González-Santamarta et al., 2023).
Optimización para Juegos de Rol y Recomendaciones de Hardware
La versión Llama2-13b se diseñó para usuarios que prefieren mantener la coherencia con el modelo Hermes anterior. Además, un subconjunto de los modelos Nous-Hermes se ha adaptado para juegos de rol usando LIMARP LoRA, con un conjunto de datos más pequeño pero de alta calidad. Este enfoque difiere de las estrategias convencionales que utilizan grandes cantidades de ejemplos de diversa calidad (González-Santamarta et al., 2023).
Shen et al. (2023) destacan que el rendimiento de Nous-Hermes depende del hardware utilizado. Proporcionan recomendaciones específicas para las versiones GPTQ y GGML/GGUF, teniendo en cuenta los requisitos de VRAM y RAM según el tamaño del modelo. También subrayan la importancia del ancho de banda de RAM y el tamaño del modelo para optimizar la velocidad de inferencia.
