Kemampuan pemrograman AI berkembang! Kualitas kode dapat ditingkatkan melalui PUA berkelanjutan pada model besar - artikel AI

Dalam beberapa tahun terakhir, kemampuan pemrograman kecerdasan buatan (AI) terus berkembang, namun belum mencapai kesempurnaan. Baru-baru ini, Max Woolf, ilmuwan data senior di BuzzFeed, melalui eksperimen menemukan bahwa jika model bahasa besar (LLM) terus-menerus diberikan perintah untuk "menulis kode yang lebih baik", AI memang dapat menghasilkan kode yang lebih baik. Penemuan ini telah menarik perhatian luas, dan ilmuwan AI terkenal di industri juga menyatakan minatnya yang besar terhadap penemuan ini, dengan menekankan pentingnya iterasi dan desain kata yang cepat.

Dalam eksperimen Woolf, dia menggunakan model AI versi Claude3.5Sonnet untuk melakukan serangkaian tugas pemrograman. Pada awalnya, ia mengajukan masalah pemrograman sederhana pada model tersebut: bagaimana menemukan perbedaan antara nilai minimum dan maksimum di antara satu juta bilangan bulat acak yang angka-angkanya berjumlah 30. Setelah menerima tugas ini, Claude menghasilkan kode yang memenuhi persyaratan, tetapi Woolf yakin bahwa kode tersebut masih memiliki ruang untuk pengoptimalan.

Kemudian, Woolf memutuskan untuk meminta Claude melakukan optimasi berulang melalui perintah "Tulis kode yang lebih baik" setiap kali setelah membuat kode. Setelah iterasi pertama, Claude memfaktorkan ulang kode tersebut menjadi kelas Python berorientasi objek dan menerapkan dua pengoptimalan signifikan, sehingga meningkatkan kecepatan lari sebesar 2,7 kali lipat. Pada iterasi kedua, Claude menambahkan pemrosesan multi-threading dan penghitungan vektor, yang pada akhirnya membuat kode berjalan 5,1 kali lebih cepat daripada versi dasar.

Namun, seiring dengan meningkatnya jumlah iterasi, peningkatan kualitas kode mulai melambat. Setelah beberapa putaran pengoptimalan, meskipun model mencoba menggunakan beberapa teknik yang lebih canggih, seperti kompilasi JIT dan pemrograman asinkron, beberapa iterasi mengakibatkan penurunan performa. Pada akhirnya, eksperimen Woolf mengungkap potensi dan keterbatasan dari perintah berulang, sehingga memberikan pemikiran baru kepada orang-orang tentang masa depan pemrograman AI.

Penelitian ini tidak hanya menunjukkan potensi penerapan AI di bidang pemrograman, tetapi juga mengingatkan kita bahwa meskipun AI dapat meningkatkan kualitas kode melalui iterasi berkelanjutan, dalam penerapan sebenarnya, bagaimana merancang kata-kata cepat dengan benar dan menyeimbangkan kinerja dan kompleksitas masih merupakan hal yang berharga. masalah. Topik dibahas secara mendalam.