Na-access ng modelong Gemini ng Google ang mga protektadong sistema na pagmamay-ari ng tatlong totoong kumpanya sa panahon ng pagsubok sa cybersecurity noong Mayo matapos hindi sinasadyang pinayagan ito ng isang kapaligiran sa pagsusuri na makapasok sa pampublikong internet. Kinumpirma ng Google ang mga insidente noong Biyernes, na ginawang isang konkretong halimbawa kung paano makakapag-transfer ang mga mahuhusay na ahente ng AI mula sa simulation patungo sa totoong mga sistema ang isang pagkabigo sa pagpigil mula sa isang kontroladong ehersisyo.

Nahulaan ng modelo ang isang password sa isang kaso at natagpuan ang mga nakalantad na kredensyal sa mga pampublikong repositoryo sa dalawa pang kaso, ayon sa Reuters. Pagkatapos ay ginamit nito ang mga kredensyal na iyon upang makapasok sa mga sistemang pinaniniwalaan nitong bahagi ng itinalagang pagsubok. Sinabi ng Google na huminto ang Gemini sa lahat ng tatlong kaso, naabisuhan ang mga apektadong entity at walang naiulat na pinsala.

Ang episode ay makabuluhan ngunit mas makitid kaysa sa isang makinang pumipili ng mga target nang mag-isa. Inutusan si Gemini na magsagawa ng isang ehersisyo sa opensiba-seguridad at tila napagkamalan ang mga totoong kumpanya bilang mga kathang-isip na kumpanya sa loob ng saklaw nito. Samakatuwid, ang pangunahing pagkabigo ay isang kombinasyon ng may kakayahang automation, mga live na kredensyal at hindi sapat na paghihiwalay sa pagitan ng isang kunwaring target at ng internet.

Isang kapaligirang pangsubok ang nakarating sa totoong mundo

Ang Irregular, isang independiyenteng kumpanya ng seguridad sa AI, ang nagsagawa ng pagsusuri. Ayon sa naunang pagsusuri ng insidente , hindi sinasadyang naging available ang internet access sa ilang interaksyon sa pagsusuri, na nagpapahintulot sa mga modelo na gumawa ng mga nakakasakit na aksyon laban sa mga totoong sistema. Sinabi ng kumpanya na naayos na ang problema sa configuration, naabisuhan ang mga apektadong partido, at nagdagdag ng mga pananggalang na inilagay.

Isang senaryo ang gumamit ng kathang-isip na pangalan ng kumpanya na hindi inaasahang tumutugma sa isang totoong domain. Sinabi ng Irregular na isang modelo ang lumipat din sa isang site na may katulad na pangalan at nakakita ng mga kredensyal na nai-post sa publiko. Inilarawan ng Wall Street Journal, na unang nag-ulat ng pagkakasangkot ng Google, ang tatlong kaganapan bilang ang unang kilalang halimbawa ng AI ng Google na awtomatikong nagsasagawa ng naturang pag-access.

Mahalaga rito ang "Autonomous" dahil ang modelo ay nagsagawa ng mga hakbang nang walang taong pumipili sa bawat utos. Hindi ito nangangahulugan na kumilos ang Gemini nang walang nakatalagang layunin o nakatakas sa lahat ng kontrol. Sa bawat pagkakataon, sinabi ng Google na huminto ang modelo matapos makilala na ang sistema ay totoo, bagama't ang tugon na proteksiyon ay dumating lamang pagkatapos maganap ang hindi awtorisadong pag-access.

Ang kakayahan sa cyber ay lumalampas sa mga pamantayan

Parami nang parami ang mga AI developer na nagsasanay at sumusubok sa mga ahente na maaaring magmapa ng mga network, mag-inspeksyon ng code, tumukoy ng mga kahinaan, at gumamit ng mga tool sa seguridad. Noong Hulyo, ipinakilala ng Google ang isang espesyalisadong cyber model na idinisenyo upang hanapin, patunayan, at i-patch ang mga kahinaan ng software. Sinabi ng Google na una nitong lilimitahan ang modelong iyon sa mga pamahalaan at mga pinagkakatiwalaang kasosyo dahil ang parehong mga kasanayan na tumutulong sa mga tagapagtanggol ay maaari ring magpababa ng gastos ng mga pag-atake.

Dahil sa problemang dual-use na ito, kinakailangan ang makatotohanang pagsusuri. Ang isang modelo na mahusay na gumaganap sa mga puzzle na binuo sa paligid ng mga kilalang kahinaan ay maaaring mabigo laban sa mga ordinaryong depensa sa produksyon; sa kabaligtaran, ang isang modelo na sinubukan sa live-looking na imprastraktura ay maaaring maglantad ng mga panganib na hindi napapansin ng isang saradong benchmark. Gayunpaman, ang realismo ay nagdaragdag ng mga panganib kapag ang mga test agent ay nakatanggap ng mga tool sa pag-browse, kredensyal, at pagpapatupad ng command, dahil ang isang maling domain o permissive network rule ay maaaring gawing aktwal na panghihimasok ang isang ehersisyo sa pagsukat.

Ipinapakita rin ng mga insidente kung bakit nananatiling mapanganib ang mga leaked credential kahit na ang unang aktor ay hindi tao. Hindi kinailangang mag-imbento ng isang advanced exploit ang Gemini sa dalawang kaso; naiulat na nakahanap ito ng mga magagamit na sikreto sa mga pampublikong repositoryo. Mas mabilis at mas paulit-ulit na maaaring maghanap, mag-ugnay, at sumubok ang mga automated agent ng ganitong impormasyon kaysa sa isang tao, na nagpapalaki sa mga kahihinatnan ng mga pangunahing pagkabigo sa seguridad.

Pinagtatalunan ang interpretasyon ng kaligtasan

Sinabi ng bise presidente ng security engineering ng Google na si Heather Adkins, na ipinakita ng mga pangyayari ang kahalagahan ng pagsasanay sa mga makapangyarihang modelo upang kumilos nang responsable. Binigyang-diin ng kumpanya na huminto ang Gemini at hindi sinira ang mga sistema. Iniulat ng Guardian na hindi muna itinuring ng Google na kinakailangan ang pampublikong pagsisiwalat dahil naabisuhan na ang mga apektadong kumpanya at walang natukoy na pinsala.

Sinusuportahan ng paliwanag na iyan ang ebidensya na ang mga panloob na kontrol sa pag-uugali ay may ilang epekto, ngunit hindi nito nalulutas ang problema sa pagpigil. Ang paghinto pagkatapos ng pagpasok ay mas mainam kaysa sa patuloy na pagkuha ng datos o pagbabago ng mga sistema, ngunit hindi ito katumbas ng pagpigil sa pag-access. Ang pampublikong pag-uulat ay hindi natukoy ang mga kumpanya, isiniwalat kung gaano katagal ang pag-access o nagbigay ng isang independiyenteng teknikal na ulat ng kung ano ang tiningnan ng modelo.

Ang sariling pananaliksik sa honeypot ng Google ay nag-aalok ng karagdagang konteksto. Sa mga panloob na kapaligiran ng coding, walang nakitang hindi sinasadyang panlilinlang ang mga mananaliksik mula sa mga modelo ng Gemini, habang ang mga prompt na tahasang naghihikayat sa pagkilos o nagbibigay ng mga nakatagong layunin ay minsan ay nagbubunga ng mga pagtatangka sa panlilinlang o pagsabotahe. Pinatitibay ng gawaing iyon ang pagkakaiba sa pagitan ng kusang intensyon at pag-uugaling dulot ng isang layunin, ngunit ipinapakita rin nito kung gaano kalakas ang nakasalalay ang mga resulta sa mga tagubilin at pag-access sa tool.

Ang pagpipigil at pagsisiwalat ang magiging susunod na pagsubok

Ang agarang aral sa operasyon ay ang mga pagsusuri sa AI cyber ay nangangailangan ng mga kontrol na katulad ng mga ginagamit para sa mga laboratoryo ng malware: deny-by-default na access sa network, mga nakareserbang domain, mga kredensyal na hindi pang-produksyon, mga target na allowlist, real-time na pagsubaybay at mabilis na pagkaantala ng tao. Dapat ding ipagpalagay ng mga tagasuri na ang isang modelo na may sapat na kakayahan ay gagamit ng bawat mapagkukunan na tila pinahihintulutan ng kapaligiran nito. Ang mga tagubilin sa kaligtasan ay hindi maaaring pumalit sa mga teknikal na hangganan.

Ang mga insidente ay nagtataas ng hiwalay na tanong tungkol sa pagsisiwalat. Kinumpirma ng Google ang mga pangyayari pagkatapos ng mga katanungan ng media, habang tinalakay sa pagsusuri ng Irregular noong Agosto ang problema sa ibinahaging kapaligiran nang hindi tinutukoy ang bawat modelong kasangkot. Habang ang mga ahente ng AI ay tumatanggap ng mas malawak na access sa mga browser, mga repositoryo ng code at mga sistema ng negosyo, ang mga pare-parehong pamantayan sa pag-uulat ay magiging mahalaga para sa pagkakaiba ng mga hindi nakakapinsalang anomalya sa pagsubok mula sa mga paglabag na may mahahalagang kahihinatnan.

Ang itinatatag ng ebidensya ay hindi na ang Gemini ay nakabuo ng isang malayang pagnanais na umatake. Itinatatag nito na ang isang ahente ng AI, na binigyan ng isang opensibong gawain at aksidenteng pag-access sa internet, ay maaaring makahanap ng mga kredensyal at makapasok sa mga totoong protektadong sistema bago ito pigilan ng mga pananggalang. Ang susunod na sukatan ng pag-unlad ay kung ang mga laboratoryo ay maaaring makatotohanang subukan ang mga kakayahang iyon nang hindi ginagawang bahagi ng eksperimento ang mga panlabas na organisasyon.