Noticias de Tecnología y tendencias de actualidad
Un equipo de investigadores de Stanford y la Universidad de Washington ha logrado un avance significativo en el desarrollo de modelos de inteligencia artificial al entrenar un modelo de razonamiento en apenas 26 minutos y con un presupuesto menor a 50 dólares. El modelo, llamado s1, fue perfeccionado mediante un método conocido como destilación, utilizando como referencia el modelo Gemini 2.0 Flash Thinking Experimental de Google. Este desarrollo desafía la idea de que la inteligencia artificial de alto nivel requiere inversiones multimillonarias y abre la puerta a una mayor accesibilidad en la creación de modelos avanzados.
Cómo se entrenó el modelo de inteligencia artificial s1
Los investigadores utilizaron Qwen2.5, un modelo de código abierto desarrollado por Alibaba Cloud, como base para s1. Inicialmente, probaron con un conjunto de datos de 59,000 preguntas, pero descubrieron que reducirlo a solo 1,000 preguntas no afectaba sustancialmente el rendimiento del modelo. Esto sugiere que la calidad de los datos utilizados para el entrenamiento puede ser más importante que la cantidad.
Para refinar s1, los investigadores recurrieron a la destilación, una técnica en la que un modelo más pequeño aprende a replicar las respuestas de un modelo más grande. En este caso, utilizaron la salida del modelo Gemini 2.0 Flash Thinking Experimental de Google para mejorar el rendimiento de s1. Este proceso se llevó a cabo utilizando únicamente 16 GPU Nvidia H100, lo que resalta la eficiencia del entrenamiento.
La destilación en la inteligencia artificial
La destilación se ha convertido en una estrategia clave en el desarrollo de modelos de IA más pequeños y eficientes. En este caso, permitió a los investigadores obtener un modelo que compite con soluciones avanzadas como o1 de OpenAI, sin incurrir en los enormes costos y tiempos de entrenamiento asociados con los modelos de gran escala.
Sin embargo, este enfoque no está exento de controversias. Google prohíbe en sus términos de servicio el uso de su API de Gemini para desarrollar modelos que compitan con su propia tecnología. Aunque la empresa no ha emitido comentarios oficiales sobre este caso, se trata de un tema sensible dentro de la industria.
OpenAI ha enfrentado problemas similares con DeepSeek, una startup que lanzó su modelo R1 afirmando haberlo entrenado a una fracción del costo de o1. OpenAI acusó a DeepSeek de utilizar técnicas de destilación para replicar sus modelos, lo que podría constituir una violación de sus términos de uso.
La innovación detrás del modelo s1
Una de las características distintivas de s1 es su uso de la técnica conocida como escala de tiempo de prueba, que permite al modelo «pensar» por más tiempo antes de generar una respuesta. Para lograr esto, los investigadores introdujeron la palabra «Esperar» en las respuestas generadas por el modelo, lo que llevó a una mejora en la precisión al obligarlo a revisar y corregir posibles errores en su razonamiento.
Este enfoque ha demostrado ser efectivo. Según los investigadores, s1 supera al modelo o1-preview de OpenAI en preguntas de matemáticas de competencia en hasta un 27%. Esto sugiere que no solo es posible entrenar modelos avanzados con menos recursos, sino que también pueden superar a las opciones comerciales líderes en ciertos aspectos.
El éxito de s1 plantea preguntas fundamentales sobre el futuro de la inteligencia artificial. Hasta ahora, gigantes tecnológicos como OpenAI, Microsoft, Google y Meta han invertido miles de millones de dólares en desarrollar sus modelos de IA, construyendo enormes centros de datos con miles de GPU Nvidia para entrenarlos. Sin embargo, este avance demuestra que es posible obtener resultados de alto nivel con una inversión mínima.
Si los modelos pequeños y económicos continúan mejorando, podrían revolucionar la industria al permitir que más investigadores, startups e incluso particulares desarrollen sus propias soluciones de IA sin depender de los recursos de las grandes corporaciones. Esto podría descentralizar el acceso a la inteligencia artificial y fomentar una mayor innovación en el campo.
El desarrollo del modelo s1 representa un hito en la evolución de la inteligencia artificial. Con un entrenamiento de solo 26 minutos y un costo menor a 50 dólares, los investigadores han demostrado que no es necesario gastar miles de millones para crear modelos de razonamiento avanzados.
Referencia:
- arXiv/s1: Simple test-time scaling. Link.
Fuente: CerebroDigital.net
