Blog

Software engineer AI pertama di dunia dari Cognition Labs ini mampu menulis, men-debug, dan menggunakan kode untuk membuat situs web dan video hanya melalui single prompt.

Devin menjadi asisten pengembangan perangkat lunak yang mirip dengan Copilot, yang dibangun oleh GitHub, Microsoft, dan OpenAI, tetapi dirancang seperti software development assistant tingkat berikutnya.

Software engineer AI pertama di dunia ini memiliki kemampuan untuk menggunakan satu prompt, dan mengubahnya menjadi situs web atau program perangkat lunak yang berfungsi.

Performa

Devin di SWE-bench, sebuah tolok ukur menantang yang meminta agen untuk menyelesaikan masalah GitHub dunia nyata yang ditemukan dalam proyek sumber terbuka seperti Django dan scikit-learn. Devin menyelesaikan 13,86%* masalah secara menyeluruh, jauh melebihi penyelesaian mutakhir sebelumnya sebesar 1,96%. Bahkan ketika diberikan file yang tepat untuk diedit, model terbaik sebelumnya hanya dapat menyelesaikan 4,80% masalah.

Keywords: Sustainable Development Goals (SDG) 9, Industry, Innovation

Dalam segi kinerja, AI Devin  meningkatkan efisiensi dan kecepatan  proses pengembangan perangkat lunak dengan mengotomatiskan tugas yang berulang, menghasilkan kode secara instan, mempercepat jadwal proyek, dan mengurangi biaya pengembangan secara signifikan.

Salah satu aspek paling mencolok dari AI Devin adalah ketahanannya terhadap kesalahan manusia dan inkonsistensi. AI ini memastikan keakuratan dan konsistensi pemrograman, sehingga dapat menghasilkan produk perangkat lunak berkualitas tinggi.

Perlu dicatat bahwa perusahaan belum mengungkapkan informasi apa pun tentang model AI yang mendukung AI Devin, atau spesifikasi teknis terperinci.

Namun timbul pertanyaan apakah Devin benar-benar dapat menggantikan peran seorang pengembang perangkat lunak. Meskipun memiliki kemampuan yang sangat mengesankan, terdapat beberapa hal yang perlu diingat.

Pertama, keberadaan Devin dapat memicu diskusi mengenai masa depan pekerjaan teknis. Jika AI semakin mampu menggantikan  manusia dalam pekerjaan yang membutuhkan kreativitas dan pengambilan keputusan yang kompleks, hal ini dapat mengubah paradigma di berbagai industri. Namun di sisi lain, hal ini juga dapat menimbulkan kekhawatiran akan hilangnya  pekerjaan bagi seorang pengembang perangkat lunak.

Kedua,  meskipun Devin dapat melakukan tugas teknis dengan tingkat kecanggihan yang tinggi, penting untuk diingat bahwa AI ini masih memiliki batasan dan keterbatasan. Klaim bahwa Devin dapat bekerja  secara otonom dan mengatasi masalah tanpa bantuan dari luar, hal itu masih memerlukan validasi lebih lanjut, terutama dengan adanya klaim bahwa model AI lainnya masih membutuhkan bantuan dan arahan manusia.

Selain itu, transparansi dan keamanan juga menjadi perhatian utama ketika mengembangkan teknologi AI seperti Devin. Laporan teknis terperinci dan platform yang dapat diakses publik diperlukan untuk membantu komunitas teknis memvalidasi dan lebih memahami klaim dan kemampuan AI ini.

Sebagai perusahaan pengembang AI, Cognition Labs juga harus mempertimbangkan implikasi sosial dan etika dari penggunaan teknologi tersebut. Perdebatan mengenai keamanan data, perlindungan data, dan penggunaan AI dalam situasi yang tepat perlu terus diadakan dan didiskusikan.