¡Las capacidades de programación de IA evolucionan! La calidad del código se puede mejorar mediante PUA continua de modelos grandes: artículo de AI

En los últimos años, las capacidades de programación de inteligencia artificial (IA) han seguido desarrollándose, pero aún no han alcanzado la perfección. Recientemente, Max Woolf, científico de datos senior de BuzzFeed, descubrió a través de experimentos que si un modelo de lenguaje grande (LLM) recibe constantemente indicaciones para "escribir mejor código", la IA puede generar mejor código. Este descubrimiento ha atraído una atención generalizada y científicos de IA reconocidos en la industria también han expresado gran interés en él, enfatizando la importancia de la iteración y el diseño rápido de palabras.

En el experimento de Woolf, utilizó la versión Claude3.5Sonnet del modelo de IA para realizar una serie de tareas de programación. Al principio, le planteó al modelo un problema de programación simple: cómo encontrar la diferencia entre los valores mínimo y máximo entre un millón de números enteros aleatorios cuyos dígitos suman 30. Después de recibir esta tarea, Claude generó un código que cumplía con los requisitos, pero Woolf creía que el código aún tenía margen de optimización.

Luego, Woolf decidió pedirle a Claude que realizara una optimización iterativa a través del mensaje "Escribir mejor código" cada vez que generaba el código. Después de la primera iteración, Claude refactorizó el código en una clase Python orientada a objetos e implementó dos optimizaciones significativas, aumentando la velocidad de ejecución 2,7 veces. En la segunda iteración, Claude agregó procesamiento de subprocesos múltiples y cálculos vectorizados, lo que finalmente hizo que el código se ejecutara 5,1 veces más rápido que la versión básica.

Sin embargo, a medida que aumenta el número de iteraciones, la mejora en la calidad del código comienza a disminuir. Después de varias rondas de optimización, aunque el modelo intentó utilizar algunas técnicas más sofisticadas, como la compilación JIT y la programación asincrónica, algunas iteraciones dieron como resultado una degradación del rendimiento. En última instancia, el experimento de Woolf reveló el potencial y las limitaciones de las indicaciones iterativas, brindando a las personas nuevas ideas sobre el futuro de la programación de IA.

Esta investigación no solo demuestra el potencial de aplicación de la IA en el campo de la programación, sino que también nos recuerda que, aunque la IA puede mejorar la calidad del código a través de la iteración continua, en aplicaciones reales, todavía vale la pena diseñar correctamente las palabras clave y equilibrar el rendimiento y la complejidad. Temas discutidos en profundidad.