«Пер­вый ИИ-​программист» бес­по­ле­зен, он справ­ля­ет­ся толь­ко с 15% по­став­лен­ных задач

Сер­вис Devin, за­яв­лен­ный ав­то­ра­ми в ка­че­стве «пер­во­го ИИ-​программиста», ока­зал­ся не в силах за­ме­нить ре­аль­но­го раз­ра­бот­чи­ка. Гран­ди­оз­ный раз­ре­кла­ми­ро­ван­ный про­ект ре­ша­ет лишь малую часть по­став­лен­ных перед ним задач. Про­цент успе­ха на­хо­дит­ся на уровне 15% – это крайне низ­кий по­ка­за­тель, тем более, что Devin был за­пу­щен срав­ни­тель­но давно.

Ре­аль­ный ум лучше вир­ту­аль­но­го

Сер­вис Devin, яв­ля­ю­щий­ся, по сло­вам ав­то­ров, «пер­вым ИИ-​программистом» в мире (the first AI software engineer), ока­зал­ся на­ред­кость пло­хим раз­ра­бот­чи­ком ПО. Тесты по­ка­за­ли, что он едва справ­ля­ет­ся с ра­бо­той – он ока­зал­ся спо­со­бен вы­пол­нить лишь 15% по­став­лен­ных перед ними задач, пишет The Register.

За про­ек­том Devin стоит ком­па­ния Cognition AI. Как со­об­щал CNews, пре­мье­ра Devin со­сто­я­лась в марте 2024 г., и до этого вре­ме­ни ве­лась его раз­ра­бот­ка. С марта по де­кабрь 2024 г. ве­лось его сво­е­го рода за­кры­тое бета-​тестирование, в ходе ко­то­ро­го про­ект до­ра­ба­ты­вал­ся, и в де­каб­ре 2024 г. Devin стал фак­ти­че­ски об­ще­до­ступ­ным.

Од­на­ко вос­поль­зо­вать­ся им смо­гут лишь те, кто рас­по­ла­га­ет сво­бод­ны­ми $500 (49,1 тыс. руб. по курсу ЦБ на 24 ян­ва­ря 2025 г.). Это сто­и­мость еже­ме­сяч­ной под­пис­ки на сер­вис.

Слиш­ком много обе­ща­ний

Если об­ра­тить­ся к офи­ци­аль­ной до­ку­мен­та­ции к Devin, под­го­тов­лен­ной Cognition AI, то в ней ска­за­но: «Devin – это ав­то­ном­ный инженер-​программист ИИ, ко­то­рый может пи­сать, за­пус­кать и те­сти­ро­вать код, по­мо­гая инженерам-​программистам ра­бо­тать над лич­ны­ми за­да­ча­ми или ко­манд­ны­ми про­ек­та­ми». По за­ве­ре­ни­ям раз­ра­бот­чи­ков, Devin в со­сто­я­нии са­мо­сто­я­тель­но «про­смат­ри­вать пулл рек­ве­сты (за­про­сы на вне­се­ние из­ме­не­ний – прим. CNews) под­дер­жи­вать ми­гра­цию кода, ре­а­ги­ро­вать на про­бле­мы по вы­зо­ву, со­зда­вать веб-​приложения и даже вы­пол­нять за­да­чи пер­со­наль­но­го по­мощ­ни­ка, на­при­мер, за­ка­зы­вать обед в DoorDash», уве­ря­ют ав­то­ры про­ек­та.

Сер­вис ис­поль­зу­ет кор­по­ра­тив­ный мес­сен­джер Slack в ка­че­стве ос­нов­но­го ин­тер­фей­са для вза­и­мо­дей­ствия с поль­зо­ва­те­лем, а также кон­тей­нер Docker (про­грамм­ная плат­фор­ма для раз­ра­бот­ки, до­став­ки и за­пус­ка кон­тей­нер­ных при­ло­же­ний), в ко­то­ром раз­ме­ще­ны тер­ми­нал, бра­у­зер, ре­дак­тор кода и пла­ни­ров­щик.

Devin под­дер­жи­ва­ет ин­те­гра­цию API с внеш­ни­ми сер­ви­са­ми. Это поз­во­ля­ет ему, на­при­мер, от­прав­лять со­об­ще­ния элек­трон­ной почты от имени поль­зо­ва­те­ля через сер­вис для тран­зак­ци­он­ной и мар­ке­тин­го­вой элек­трон­ной почты SendGrid.

У семи ней­ро­се­тей про­грам­мист без зна­ний

Как пишет The Register, Devin пред­став­ля­ет собой «слож­ную си­сте­му ис­кус­ствен­но­го ин­тел­лек­та» (compound AI system). В своей ра­бо­те этот сер­вис на опи­ра­ет­ся сразу на несколь­ко обу­чен­ных мо­де­лей ис­кус­ствен­но­го ин­тел­лек­та, в число ко­то­рых вхо­дит GPT-4o ком­па­нии OpenAI. Дру­ги­ми сло­ва­ми, от недо­че­тов одной кон­крет­ной ИИ-​модели он из­бав­лен и может брать луч­шее от раз­ных.

В тео­рии, Devin можно ад­ре­со­вать самые раз­ные за­да­чи, вклю­чая ми­гра­цию кода. А с уче­том того, что за ним стоят про­дви­ну­тые ней­ро­се­ти с за­слу­жен­но хо­ро­шей ре­пу­та­ци­ей, можно ожи­дать, что Devin легко спра­вит­ся с их вы­пол­не­ни­ем. Но на деле этого не про­ис­хо­дит.

Ре­аль­ные раз­ра­бот­чи­ки ПО вы­яви­ли у Devin мно­же­ство недо­че­тов. Ранее Cognition AI опуб­ли­ко­ва­ла промо-​ролик, в ко­то­ром по­ка­за­но, как ИИ-​программист ав­то­ном­но вы­пол­ня­ет про­ек­ты на плат­фор­ме фри­лан­се­ров Upwork. Раз­ра­бот­чик про­грамм­но­го обес­пе­че­ния Карл Браун (Carl Brown) про­ана­ли­зи­ро­вал этот ролик и пол­но­стью раз­вен­чал его.

Дру­гой экс­перт в про­грам­ми­ро­ва­нии и по сов­ме­сти­тель­ству YouTube-​блогер тоже рас­кри­ти­ко­вал Devin. По его сло­вам тот со­дер­жит кри­ти­че­ские про­бле­мы без­опас­но­сти.

Позже три спе­ци­а­ли­ста по об­ра­бот­ке дан­ных, свя­зан­ных с ла­бо­ра­то­ри­ей ис­сле­до­ва­ний и раз­ра­бо­ток в об­ла­сти ис­кус­ствен­но­го ин­тел­лек­та Answer.AI, про­те­сти­ро­ва­ли Devin и об­на­ру­жи­ли, что он успеш­но вы­пол­нил толь­ко 3 из 20 задач. Свои тесты они про­во­ди­ли в ян­ва­ре 2025 г., то есть спу­стя почти год с мо­мен­та офи­ци­аль­но пре­мье­ры Devin.

Те­сти­ро­ва­ни­ем за­ни­ма­лись Ха­мель Ху­сейн (Hamel Husain), Айзек Флат (Isaac Flath) и Джоно Уи­та­кер (Johno Whitaker). Со­глас­но их от­че­ту, на на­чаль­ном этапе Devin справ­лял­ся очень непло­хо – на­при­мер, он успеш­но пе­ре­нес дан­ные из базы дан­ных Notion в «Google Таб­ли­цы». ИИ-​программисту также уда­лось со­здать тре­кер пла­нет для про­вер­ки за­яв­ле­ний об ис­то­ри­че­ских по­ло­же­ни­ях Юпи­те­ра и Са­тур­на.

Од­на­ко по мере про­дол­же­ния ис­пы­та­ний трое ис­сле­до­ва­те­лей столк­ну­лись с про­бле­ма­ми.

«За­да­чи, ко­то­рые ка­за­лись про­сты­ми, часто за­ни­ма­ли дни, а не часы, и Devin за­стре­вал в тех­ни­че­ских ту­пи­ках или вы­да­вал слиш­ком слож­ные, непри­год­ные ре­ше­ния, – объ­яс­ня­ют ис­сле­до­ва­те­ли в своем от­че­те. – Еще более тре­вож­ной была тен­ден­ция Devin про­дви­гать­ся впе­ред с за­да­ча­ми, ре­шить ко­то­рые на самом деле было невоз­мож­но».

В ка­че­стве при­ме­ра они при­ве­ли слу­чай, когда Devin, когда его по­про­си­ли раз­вер­нуть несколь­ко при­ло­же­ний на плат­фор­ме раз­вер­ты­ва­ния ин­фра­струк­ту­ры Railway, не понял, что это невоз­мож­но, и по­тра­тил боль­ше дня, про­буя под­хо­ды, ко­то­рые не ра­бо­та­ли, и при­ду­мы­вая несу­ще­ству­ю­щие функ­ции.

Неуте­ши­тель­ный итог

Из 20 задач, пред­став­лен­ных Devin, вир­ту­аль­ный про­грам­мист за­вер­шил удо­вле­тво­ри­тель­но толь­ко три – две при­ве­ден­ных выше и за­да­ние по со­зда­нию бота для за­бло­ки­ро­ван­но­го в Рос­сии мес­сен­дже­ра Discord на языке про­грам­ми­ро­ва­ния Python. Три дру­гих за­да­чи дали неопре­де­лен­ные ре­зуль­та­ты, а 14 про­ек­тов ока­за­лись от­кро­вен­но про­ва­лен­ны­ми.

Ис­сле­до­ва­те­ли за­яви­ли, что Devin обес­пе­чил от­то­чен­ный поль­зо­ва­тель­ский ин­тер­фейс, ко­то­рый был впе­чат­ля­ю­щим, когда сам сер­вис ра­бо­тал кор­рект­но.

«Но в этом-​то и про­бле­ма – это про­ис­хо­ди­ло редко», – под­черк­ну­ли они.

«Боль­ше всего бес­по­ко­и­ла наша неспо­соб­ность пред­ска­зать, какие за­да­чи будут успеш­ны­ми. Даже за­да­чи, по­хо­жие на наши ран­ние по­бе­ды, тер­пе­ли неуда­чу слож­ны­ми, от­ни­ма­ю­щи­ми много вре­ме­ни спо­со­ба­ми. Ав­то­ном­ная при­ро­да, ко­то­рая ка­за­лась мно­го­обе­ща­ю­щей, стала обу­зой – Devin про­во­дил дни, пы­та­ясь найти невоз­мож­ные ре­ше­ния, вме­сто того чтобы рас­по­зна­вать фун­да­мен­таль­ные пре­пят­ствия», – поды­то­жи­ли экс­пер­ты.