As capacidades de programação de IA evoluem! A qualidade do código pode ser melhorada por meio de PUA contínuo de modelos grandes – artigo AI

Nos últimos anos, as capacidades de programação de inteligência artificial (IA) continuaram a desenvolver-se, mas ainda não atingiram a perfeição. Recentemente, Max Woolf, cientista de dados sênior do BuzzFeed, descobriu por meio de experimentos que, se um modelo de linguagem grande (LLM) receber constantemente instruções para "escrever código melhor", a IA pode de fato gerar código melhor. Esta descoberta atraiu ampla atenção, e cientistas de IA bem conhecidos na indústria também expressaram grande interesse nela, enfatizando a importância da iteração e do design rápido de palavras.

No experimento de Woolf, ele usou a versão Claude3.5Sonnet do modelo de IA para realizar uma série de tarefas de programação. A princípio, ele apresentou ao modelo um problema de programação simples: como encontrar a diferença entre os valores mínimo e máximo entre um milhão de inteiros aleatórios cujos dígitos somam 30. Após receber esta tarefa, Claude gerou um código que atendia aos requisitos, mas Woolf acreditava que o código ainda tinha espaço para otimização.

Então, Woolf decidiu pedir a Claude que realizasse a otimização iterativa por meio do prompt “Escreva um código melhor” sempre após gerar o código. Após a primeira iteração, Claude refatorou o código em uma classe Python orientada a objetos e implementou duas otimizações significativas, aumentando a velocidade de execução em 2,7 vezes. Na segunda iteração, Claude adicionou processamento multithreading e cálculos vetorizados, o que fez com que o código fosse executado 5,1 vezes mais rápido que a versão básica.

No entanto, à medida que o número de iterações aumenta, a melhoria na qualidade do código começa a diminuir. Após diversas rodadas de otimização, embora o modelo tenha tentado utilizar algumas técnicas mais sofisticadas, como compilação JIT e programação assíncrona, algumas iterações resultaram em degradação de desempenho. Em última análise, a experiência de Woolf revelou o potencial e as limitações dos prompts iterativos, dando às pessoas novas ideias sobre o futuro da programação de IA.

Esta pesquisa não apenas demonstra o potencial de aplicação da IA ​​no campo da programação, mas também nos lembra que, embora a IA possa melhorar a qualidade do código por meio de iteração contínua, em aplicações reais, como projetar adequadamente palavras de alerta e equilibrar desempenho e complexidade ainda é uma questão que vale a pena. assunto discutido em profundidade.