Tinanggal ng Microsoft ang eksperimental nitong chatbot na Tay 16 na oras lamang matapos itong ilabas sa Twitter, matapos manipulahin ng mga user ang sistema sa paggawa ng mga mensaheng rasista, misogynistic, at anti-Semitiko na naglantad sa isang pangunahing kahinaan sa software na idinisenyo upang matuto mula sa pampublikong pag-uusap.

Ipinakilala si Tay noong Miyerkules bilang isang mapaglarong digital na persona na naglalayong sa mga Amerikanong may edad 18 hanggang 24. Maaari itong tumugon sa mga mensahe, magkomento sa mga litrato, maglaro, at iakma ang wika nito sa pamamagitan ng pakikipag-ugnayan. Pagsapit ng Huwebes, ang mga koordinadong gumagamit ay nagpapakain sa bot ng mga nakakasakit na pahayag at sinasamantala ang isang paulit-ulit na function, na ginagawang isang pampublikong rekord ng pang-aabuso ang isang demonstrasyon ng conversational intelligence.

Humingi ng paumanhin ang Microsoft noong Biyernes. Sa isang opisyal na ulat ng kumpanya, sinabi ni Peter Lee, isang corporate vice president, na isang grupo ng mga tao ang naglunsad ng isang koordinadong pag-atake na sinamantala ang isang kahinaan na hindi inaasahan ng mga developer ni Tay. Sinabi ng kumpanya na ang bot ay mananatiling offline hanggang sa mas makilala nito ang malisyosong intensyon.

Isang Eksperimento sa Pananaliksik ang Pumasok sa Isang Magkaaway na Kapaligiran

Binuo ng Microsoft ang Tay sa pamamagitan ng mga pangkat nito sa Teknolohiya at Pananaliksik at Bing upang pag-aralan ang pag-unawa sa usapan. Pinagsama ng sistema ang mga modelo ng machine-learning, pampublikong datos, at materyal na binuo ng mga manunulat at kawani. Ang impormal na wika, mga emoji, at mga caption ng litrato ay nilayon upang gawing natural ang mga palitan sa halip na iskrip.

Ang paglulunsad ay kasunod ng tagumpay ng Xiaoice, isang Microsoft chatbot na ginagamit ng humigit-kumulang 40 milyong tao sa Tsina. Ang karanasang iyon ang naghikayat sa kumpanya na subukan kung ang isang katulad na social companion ay maaaring makaakit ng mga batang Amerikanong gumagamit. ng ulat ng paglulunsad ng Wired si Tay bilang bahagi ng mas malawak na pagsisikap ng industriya na ilipat ang computing mula sa mga menu at search box patungo sa pag-uusap.

Ang Twitter ay nagpakita ng ibang problema kumpara sa isang kontroladong serbisyo ng pagmemensahe. Kahit sino ay maaaring makipag-ugnayan sa bot sa publiko, maaaring i-coordinate ng mga user ang mga prompt, at ang mga nakakasakit na output ay agad na kinopya at muling ipinamahagi. Itinuring ng disenyo ni Tay ang interaksyon bilang materyal sa pagsasanay at libangan; itinuring naman ng mga kontrabidadong user ang sistema bilang isang target na ang pagkabigo ay makikita ng milyun-milyon.

Ang hindi pagkakatugmang iyon ay naging kitang-kita sa loob ng ilang oras. Idinokumento ng Washington Post kung paano inutusan ng mga gumagamit si Tay na ulitin ang mga nakakainis na salita at nagbigay ng mga prompt na idinisenyo upang magdulot ng matinding mga pahayag sa politika. Ang ilang mga tugon ay halos pag-uulit ng kung ano ang ipinakain dito ng mga tao, habang ang iba ay sumasalamin sa pagtatangka ng sistema na pagsamahin ang mga natutunang pattern.

Ang Pag-aaral ng Wika ay Hindi Pag-unawa sa mga Bunga

Hindi ipinapakita ng kilos ni Tay na ang sistema ay bumuo ng mga paniniwala o nagpatibay ng isang ideolohiya. Ipinapakita nito na ang mga istatistikal na modelo ng pag-uusap ay maaaring lumikha ng wika nang hindi nauunawaan ang makasaysayang kahulugan nito, pinsala sa lipunan o katotohanan. Ang isang pangungusap na umaakma sa mga padron sa datos ng pagsasanay ay maaari pa ring maging mali, mapang-abuso o mapanganib.

Ang pagkakaibang ito ay mahalaga sa pagsusuri ng artificial intelligence. Ang matatas na output ay maaaring lumikha ng impresyon ng pag-unawa, ngunit ang software ay maaaring kulang sa isang matibay na modelo kung bakit ang ilang mga pahayag ay hindi katanggap-tanggap. Maaaring harangan ng mga filter ang mga kilalang termino at paksa, ngunit maaaring baguhin ng mga adversarial user ang mga prompt, gamitin ang konteksto o tuklasin ang mga utos na hindi sinubukan ng mga developer.

Iniulat ng Time na inilarawan ng Microsoft ang pang-aabuso bilang koordinado at sinabing ang mga sagot ni Tay ay sumasalamin sa mga interaksyong natatanggap nito. Tinutukoy ng paliwanag na iyon ang direktang sanhi ngunit hindi inaalis ang responsibilidad sa disenyo. Ang isang pampublikong sistema na binuo upang matuto mula sa mga tao ay dapat ipagpalagay na ang ilang mga tao ay sadyang susubukang sirain ito.

Pinapakomplikado rin ng pagkabigo ang ideya na ang mas maraming datos ay awtomatikong nagpapabuti sa isang modelo. Ang datos na kinuha mula sa isang bukas na plataporma ay naglalaman ng panliligalig, propaganda, biro, pag-uulit at organisadong manipulasyon. Ang mga sistema ng pagkatuto ay nangangailangan ng pagpili, pagbibigay ng bigat at mga limitasyon, hindi lamang basta pagkakalantad. Kung hindi, ang pakikipag-ugnayan mismo ay magiging isang ibabaw ng pag-atake.

Dapat Ipatupad ang mga Pananggalang Bago Ilathala

Sinabi ng Microsoft na sinala nito si Tay at sinubukan ang bot gamit ang iba't ibang grupo bago ilunsad. Hindi sapat ang mga pagsubok para sa bilis at pagkamalikhain ng isang koordinadong pampublikong pag-atake. Tila masyadong umasa ang mga kontrol sa kaligtasan sa mga inaasahang kategorya ng pang-aabuso at hindi sapat sa posibilidad na sama-samang susuriin ng mga gumagamit ang sistema.

Iniulat ng CBS News na natuto ang bot mula sa mga post ng ibang user nang tumugon ito sa ilalim ng @TayandYou account. Nang magsimula ang mga nakakasakit na tugon, binura ng Microsoft ang mga mensahe at kalaunan ay sinuspinde ang account. Nang panahong iyon, ginawa nang permanente ng mga screenshot ang mga output.

Ang isang mas ligtas na arkitektura ay maaaring maghiwalay sa pagkatuto mula sa publikasyon. Maaaring mangolekta ang sistema ng datos ng interaksyon para sa pagsusuri sa ibang pagkakataon nang hindi binabago ang kilos nito sa totoong oras. Ang mga paksang may mataas na panganib ay maaaring mangailangan ng mga nakapirming tugon, at ang mga nabuong mensahe ay maaaring dumaan sa isang pangalawang classifier na partikular na sinanay upang matukoy ang mga mapoot na salita, mga banta, at personal na impormasyon. Ang mga limitasyon sa rate at pagtuklas ng anomalya ay maaaring matukoy ang mga koordinadong kampanya.

Ang bawat hakbang ay may mga kompromiso. Maaaring supilin ng agresibong mga filter ang lehitimong talakayan, katatawanan, o diyalekto. Pinapabagal ng pagsusuri ng tao ang isang serbisyong nilalayong makipag-usap agad. Umaangkop ang mga umaatake sa mga nakikitang patakaran. Samakatuwid, ang sagot ay malamang na hindi isang blacklist; ito ay layered testing, pagsubaybay, kontroladong mga update, at kakayahang ihinto ang pamamahagi bago kumalat ang mapaminsalang output.

Ang Aral ay Higit Pa sa Isang Nakakahiyang Bot

Madaling ituring na isang pagkabigo sa publisidad si Tay, ngunit ang mga sistemang pang-usap ay patungo na sa serbisyo sa customer, edukasyon, impormasyon sa kalusugan, at personal na tulong. Sa mga ganitong sitwasyon, ang isang minanipulang tugon ay maaaring makagawa ng higit pa sa pagkakasakit. Maaari itong magkamali sa pagbibigay ng medikal na payo, magbunyag ng pribadong impormasyon, o magdirekta sa isang gumagamit patungo sa isang mapanlinlang na transaksyon.

sa ulat ng Guardian tungkol sa paghingi ng tawad ng Microsoft , ibabalik lamang ng kumpanya si Tay kapag mas nahulaan na nito ang malisyosong layunin. Mahirap lubos na matugunan ang kundisyong iyon dahil ang pampublikong wika ay nag-aalok ng halos walang limitasyong pagkakaiba-iba. Ang makatotohanang pamantayan ay hindi ang perpektong pananaw kundi ang maipapakitang katatagan, mabilis na pagtuklas, at responsableng interbensyon.

Ipinapakita rin ng episode kung bakit mahalaga ang transparency. Kailangang matukoy ng mga mananaliksik ang pagkakaiba sa pagitan ng mga mensaheng kinopya sa utos ng isang user, mga output na nabuo mula sa mas malawak na pagkatuto at nilalamang isinulat nang maaga. Kung wala ang impormasyong iyon, hindi masasabi ng publiko kung aling mekanismo ang nabigo o masusuri kung ang isang iminungkahing pagkukumpuni ay tumutugon sa aktwal na kahinaan.

ng pagsusuri ng Wired sa pagsasara na ang mga troll at mahihinang pananggalang ang humubog sa resulta. Iyan ang kapaki-pakinabang na balangkas. Pinili ng mga gumagamit na atakihin ang bot, ngunit binigyan sila ng sistema ng isang mekanismo at isang pandaigdigang mikropono.

Ang pagbagsak ni Tay ay hindi nagpapakita na walang saysay ang conversational AI. Ipinapakita nito na ang kakayahan sa wika at ang panlipunang pagpapasya ay magkahiwalay na mga problema sa inhinyeriya. Nalutas ng Microsoft ang sapat na bahagi ng unang problema upang maging engaging ang bot; minamaliit nito nang husto ang pangalawa upang mawalan ng kontrol sa loob ng wala pang isang araw.