ИИ: немно­го о скры­той ло­ги­ке

"Дру­зья мои, я опе­ча­лен!"

Жур­на­ли­сты нашли еще один повод по­бо­ять­ся ИИ. Ока­зы­ва­ет­ся (!) ав­то­ры кон­крет­ной ИИ-​модели могут де­лать в ней "за­клад­ки", ко­то­рые при опре­де­лен­ных усло­ви­ях - будут да­вать непра­виль­ные от­ве­ты или вы­пол­нять про­чие не со­всем ожи­да­е­мые дей­ствия. 

Ге­ни­аль­ность дан­но­го от­кры­тия слож­но осо­знать од­но­мо­мент­но, тре­бу­ет­ся спе­ци­аль­ная под­го­тов­ка и со­от­вет­ству­ю­щий на­строй. Так что - не спе­ши­те с вы­во­да­ми! (сар­казм).

Од­на­ко - к фак­ту­ре. Ока­зы­ва­ет­ся, при­ме­не­ние ИИ в тех или иных сфе­рах че­ло­ве­че­ской де­я­тель­но­сти, несет по­ми­мо тра­ди­ци­он­ных и неко­то­рые новые риски, свя­зан­ные с этим самым ИИ. Про­стей­ший ва­ри­ант: вы ис­поль­зу­е­те ИИ для обес­пе­че­ния про­пуск­но­го ре­жи­ма на неко­то­рый объ­ект, убрав ре­аль­ных охран­ни­ков с кон­тро­ля входа. В слу­чае, если зло­умыш­лен­ник смо­жет об­ма­нуть ИИ (на­при­мер, удач­но при­ки­нув­шись штат­ным со­труд­ни­ком) - ни­ка­ких про­блем с про­ник­но­ве­ни­ем на объ­ект у него не воз­ник­нет. Со­от­вет­ствен­но, если рань­ше надо был сле­дить за охран­ни­ка­ми и ре­гу­ляр­но учить их иден­ти­фи­ци­ро­вать чу­жа­ков - то те­перь ана­ло­гич­ные дей­ствия долж­ны вы­пол­нять­ся в от­но­ше­нии при­ме­ня­е­мо­го ИИ: его ре­гу­ляр­но надо "до­учи­вать" с уче­том воз­ник­но­ве­ния у зло­умыш­лен­ни­ков новых спо­со­бов об­ма­на. Пока всё ло­гич­но.

В 2019 году на ан­ти­ви­рус­ные про­дук­ты за ав­тор­ством аме­ри­кан­ской ком­па­нии Cylance (ко­то­рая ре­а­ли­зо­ва­ла в них при­ме­не­ние ИИ), была со­вер­ше­на успеш­ная атака, поз­во­лив­шая за­ра­зить мно­гих кли­ен­тов, поль­зо­вав­шим­ся их про­дук­та­ми. Идея атаки была такая же, как в при­ве­ден­ном выше при­ме­ре: по­ни­мая как имен­но ра­бо­та­ет в ан­ти­ви­ру­се Cylance ИИ-​модель, зло­умыш­лен­ни­ки со­зда­ли вирус, ко­то­рый дан­ная мо­дель не рас­по­зна­ва­ла в ка­че­стве угро­зы и про­пус­ка­ла в за­щи­ща­е­мую сеть, предо­став­ляя ши­ро­кий про­стор для  даль­ней­ших дей­ствий. 

Ряд со­труд­ни­ков этой самой Cylance сде­ла­ли ве­ли­кий вывод, что та­ко­го рода атаки воз­мож­ны не толь­ко на про­дукт их ра­бо­то­да­те­ля, а во­об­ще на любой про­дукт, ис­поль­зу­ю­щий ИИ, уви­де­ли в этом для себя неко­то­рую воз­мож­ность за­ра­бо­тать и ор­га­ни­зо­ва­ли ком­па­нию HiddenLayer, ко­то­рая

раз­ра­ба­ты­ва­ет ин­стру­мен­ты и биб­лио­те­ки для ви­зу­а­ли­за­ции и ана­ли­за ней­рон­ных сетей. Про­дук­ты HiddenLayer по­мо­га­ют ис­сле­до­ва­те­лям и раз­ра­бот­чи­кам ви­зу­а­ли­зи­ро­вать и по­ни­мать внут­рен­нюю струк­ту­ру ней­рон­ных сетей, что может быть по­лез­но для от­лад­ки, оп­ти­ми­за­ции и улуч­ше­ния мо­де­лей ма­шин­но­го обу­че­ния.
Кроме того, ком­па­ния также спе­ци­а­ли­зи­ру­ет­ся на ки­бер­без­опас­но­сти ис­кус­ствен­но­го ин­тел­лек­та (ИИ) и ма­шин­но­го обу­че­ния. Она про­во­дит ис­сле­до­ва­ния уяз­ви­мо­стей в ИИ-​системах и раз­ра­ба­ты­ва­ет ре­ше­ния для укреп­ле­ния без­опас­но­сти этих тех­но­ло­гий, по­мо­гая предот­вра­щать воз­мож­ные вре­до­нос­ные дей­ствия.

(ис­точ­ник)

И вот эти самые та­лант­ли­вые HiddenLayer-​специалисты, ко­вы­ря­ясь в спо­со­бах взло­ма ИИ-​моделей (в дей­стви­тель­но­сти - вполне себе по­лез­ная де­я­тель­ность, и в своем блоге они ре­гу­ляр­но пуб­ли­ку­ют опре­де­лен­ные на­ра­бот­ки по дан­но­му во­про­су), за­од­но ре­ши­ли по­ко­пать и в немно­го дру­гую сто­ро­ну: а что если автор ИИ-​модели сам не так чтобы чист на руку, и пред­ла­гая оную кому-​то в дей­стви­тель­но­сти за­сы­ла­ет "тро­ян­ско­го коня"? 

Re: "Да неже­ли такое воз­мож­но"! (крик души)

В общем, ре­бя­та по­ин­те­ре­со­ва­лись име­ю­щи­ми­ся на­уч­ны­ми на­ра­бот­ка­ми по дан­ной теме (см. тут и тут) и при­шли к пе­чаль­но­му вы­во­ду - что там всё плохо. В том смыс­ле, что - да, угро­за не толь­ко не аб­стракт­на, но очень даже кон­крет­на. Од­на­ко - сюр­приз! - ее ре­а­ли­за­ция (в рас­смат­ри­ва­е­мых ва­ри­ан­тах) - за­ня­тие из не так чтобы де­ше­вых. По­то­му как ИИ-​модель за­го­ня­лась в нуж­ный ва­ри­ант по­ве­де­ния путем скарм­ли­ва­ния ей спе­ци­аль­но под­го­тов­лен­ных обу­ча­ю­щих по­сле­до­ва­тель­но­стей. Это, ко­неч­но же - за­трат­но и по сро­кам и по сто­и­мо­сти, хотя вполне себе ре­а­ли­зу­е­мо (пом­ним скан­дал с ви­зу­а­ли­за­ци­ей ИИ се­на­то­ров США в 19 веке,

что не так чтобы атака, но ра­бо­то­спо­соб­ность схемы вполне себе под­твер­жда­ет: если учить мо­дель толь­ко на цвет­ных - про белых она и знать то не будет). Ну а если до­ро­го - то и бо­ять­ся силь­но не надо (ибо толь­ко у дяди Сэма денег неме­ря­но, а он и так всё что угод­но за­му­тит).

Од­на­ко озна­чен­ные твор­че­ские умы пошли ис­кать более де­ше­вые ва­ри­ан­ты фор­ми­ро­ва­ния за­кла­док. И - ко­неч­но же - нашли. На­зва­ли их "ShadowLogic", про­ве­ри­ли ра­бо­то­спо­соб­ность на ряде до­ступ­ных мо­де­лей - и опуб­ли­ко­ва­ли об­на­де­жи­ва­ю­щие ре­зуль­та­ты: да, ИИ-​троянам быть!

Крат­ко идея в сле­ду­ю­щем: по­сколь­ку сама по себе ИИ-​модель - это некий набор ве­со­вых функ­ций и пра­вил по­лу­че­ния ре­зуль­та­та - ко­то­рый весь­ма велик по объ­е­му, то среди оных можно скрыть несколь­ко шту­чек, пред­на­зна­чен­ных для пе­ре­клю­че­ния мо­де­ли в нуж­ный для зло­умыш­лен­ни­ка режим ра­бо­ты при по­лу­че­нии на вход неко­то­ро­го "триг­гер­но­го со­об­ще­ния" (a la "стоп-​слова"). При­чем внешне эти самые "до­пол­ни­тель­ные" функ­ции ничем не от­ли­ча­ют­ся от всех осталь­ных таких же, пред­на­зна­чен­ных для вы­пол­не­ния мо­де­лью за­яв­лен­но­го функ­ци­о­на­ла, вот толь­ко ко­эф­фи­ци­ен­ти­ки у них под­прав­ле­ны в нуж­ную сто­ро­ну и оформ­ле­ны так, чтобы не ме­ня­лись при обу­че­нии.

У под­хо­да об­на­ру­жи­лись сразу несколь­ко плю­сов: от­но­си­тель­ная де­ше­виз­на, по­ра­зи­тель­ная скрыт­ность и прак­ти­че­ски невоз­мож­ность вы­яв­ле­ния путем внеш­не­го те­сти­ро­ва­ния, ибо мо­дель до по­лу­че­ния "стоп-​слова" - пол­но­цен­но вы­пол­ня­ет весь свой функ­ци­о­нал. В ка­че­стве бо­ну­са - это устой­чи­вость та­ко­го рода за­кла­док к пе­ре­обу­че­нию мо­де­ли: ни­ка­кое до­пол­ни­тель­ное обу­че­ния не из­ме­ня­ет за­ло­жен­ный навык мо­де­ли иден­ти­фи­ка­ции "стоп-​слова", ну а даль­ше - у зло­умыш­лен­ни­ка весь­ма ши­ро­кий про­стор при­ме­не­ния своих фан­та­зий.

Что имеем в сухом остат­ке? А вот очень пло­хие вы­во­ды. Если вы пла­ни­ру­е­те ис­поль­зо­вать ИИ-​модель в каких-​то зна­чи­мых про­цес­сах де­я­тель­но­сти - то вам при­дет­ся самим не толь­ко ее обу­чить, но и со­здать. Ибо иначе ни­ка­ких га­ран­тий от­сут­ствия в ней за­кла­док у вас нет. При­чем вы­явить та­ко­го рода за­клад­ки путем де­таль­но­го ана­ли­за графа мо­де­ли тео­ре­ти­че­ски, ко­неч­но, можно, но сто­ить это будет су­ще­ствен­но боль­ше, чем на­пи­сать ее с нуля. Увы.