SAN FRANCISCO — Inilabas ng OpenAI ngayong linggo ang isang pampublikong preview ng pananaliksik ng ChatGPT, isang conversational artificial-intelligence system na idinisenyo upang sagutin ang mga follow-up na tanong, kilalanin ang mga pagkakamali, hamunin ang mga maling premisa at tanggihan ang ilang hindi naaangkop na kahilingan. Ang anunsyo ng kumpanya noong Nobyembre 30 ay nagpapakita ng sistema bilang isang kapatid na modelo ng InstructGPT at ginagawa itong available nang libre habang ang OpenAI ay nangongolekta ng feedback tungkol sa mga kalakasan, pagkabigo at pag-uugali sa kaligtasan nito.

Ang paglabas ay hindi gaanong kapansin-pansin dahil ang mga computer ay maaaring makabuo ng teksto — ang malalaking modelo ng wika ay ginagawa na iyon sa loob ng ilang taon — kundi dahil ang OpenAI ay nagbalot ng isang makapangyarihang generative model sa paligid ng diyalogo at isang proseso ng pagsasanay na pinapagana ng feedback na nilayon upang gawing mas kapaki-pakinabang ang mga tugon sa mga ordinaryong gumagamit. Binabago ng interface na iyon ang paraan ng pakikipag-ugnayan ng mga tao sa isang modelo ng wika: sa halip na bumuo ng isang prompt at makatanggap ng isang pagkumpleto, maaaring magtanong, pinuhin, itama, at i-redirect ng isang gumagamit ang sistema sa maraming turno.

Mula sa paghula ng teksto hanggang sa pagsunod sa instruksyon

Ang teknikal na linya ay tumatakbo sa gawain ng OpenAI sa lalong lumalaking mga generative model. ng papel nito noong 2020 GPT-3 na ang pag-scale ng isang language model sa 175 bilyong parameter ay maaaring makagawa ng malakas na few-shot performance sa malawak na hanay ng mga gawain nang walang task-specific fine-tuning. Ngunit ang raw next-word prediction ay naglantad din ng isang pangunahing mismatch: ang isang modelong sinanay upang ipagpatuloy ang teksto ay hindi awtomatikong sinanay upang sundin ang layunin ng isang user nang ligtas o tumpak.

Ang tugon ng OpenAI ay gawing bahagi ng training loop ang mga kagustuhan ng tao. Noong Enero, inilarawan ng kumpanya ang InstructGPT, isang pamilya ng mga modelong pinino muna batay sa mga demonstrasyong isinulat ng mga tao at pagkatapos ay in-optimize gamit ang mga ranggo ng mga output ng modelo. Iniulat ng kaugnay na papel pananaliksik na ang mga ebalwador ng tao sa pangkalahatan ay mas gusto ang mga output mula sa isang modelo ng InstructGPT na may 1.3 bilyong parameter kaysa sa mga mula sa mas malaking modelo ng GPT-3 na may 175 bilyong parameter, na nagpapakita na ang pagkakahanay sa mga tagubilin ay maaaring mahalaga tulad ng raw scale para sa nakikitang kapakinabangan.

Naglalapat ang ChatGPT ng isang kaugnay na pamamaraan sa mga pag-uusap. Sinasabi ng OpenAI na ang mga tagapagsanay ng AI na pantao ay nagbibigay ng datos ng diyalogo sa pamamagitan ng paglalaro sa magkabilang panig ng isang pag-uusap, na may access sa mga mungkahing isinulat ng modelo. Pagkatapos ay hinalo ng kumpanya ang set ng diyalogong iyon sa datos ng InstructGPT nito at ginamit ang reinforcement learning mula sa feedback ng tao, o RLHF, upang i-ranggo at mapabuti ang mga tugon. Hindi inaalis ng pamamaraan ng pagsasanay ang error sa modelo; sinusubukan nitong ilipat ang modelo patungo sa mga sagot na itinuturing ng mga tao na mas kapaki-pakinabang at naaangkop.

Ang diyalogo ay lumilikha ng mga bagong kakayahan — at mga bagong mode ng pagkabigo

Ang format na pang-usap ay nagbibigay-daan sa ChatGPT na mapanatili ang konteksto sa bawat turno at baguhin ang isang sagot kapag may itinuro na problema ang isang gumagamit. Pinapayagan din nito ang modelo na magtanong o tumugon sa paglilinaw at tanggihan ang mga kahilingan sa ilalim ng mga panuntunan sa kaligtasan. Ang mga pag-uugaling iyon ay nakabatay sa mga naunang pagsisikap ng OpenAI na gamitin ang mga paghatol ng tao sa mga sistema ng wika. Noong 2020, ipinakita ng mga mananaliksik na ang mga modelo ay maaaring sanayin para sa pagbubuod gamit ang feedback ng tao, gamit ang mga paghahambing sa pagitan ng mga kandidatong buod upang mapabuti ang kalidad ng output sa halip na umasa lamang sa isang nakapirming pinangangasiwaang target.

Sinaliksik din ng OpenAI ang mga modelong nakikipag-ugnayan sa panlabas na impormasyon. Ang proyekto nitong WebGPT ay nagbigay sa isang modelo ng wika ng isang text-based browser at sinanay ito upang sagutin ang mga mahahabang tanong na may mga sitasyon. Ang gawaing iyon ay naiiba sa ChatGPT, na inilalarawan ng kasalukuyang preview ng OpenAI bilang isang modelo ng diyalogo sa halip na isang live na serbisyo sa pananaliksik sa web, ngunit ipinapakita nito ang mas malawak na direksyon ng pananaliksik: pagsasama-sama ng malalaking modelo ng wika na may mga interface, feedback ng tao at mga tool na pumipigil o nagpapabuti sa kanilang pag-uugali.

Malinaw na ipinapahayag ng kompanya na nananatiling hindi maaasahan ang ChatGPT. Nagbabala ang abiso ng paglulunsad na ang modelo ay maaaring makagawa ng mga sagot na tila kapani-paniwala ngunit mali o walang saysay, maaaring sensitibo sa maliliit na pagbabago sa mga parirala, maaaring maging labis na madaldal, at kung minsan ay maaaring hulaan kung ano ang nais ng isang gumagamit sa halip na magtanong ng isang naglilinaw na tanong. Kinikilala rin ng OpenAI na ang mga sistema ng kaligtasan ay maaaring makagawa ng parehong mga maling positibo at pagkabigo na harangan ang mga mapaminsalang tagubilin.

Isang kontroladong preview sa halip na isang tapos na produkto

Ang desisyon ng OpenAI na ilabas ang ChatGPT bilang isang preview ng pananaliksik ay sumasalamin sa paulit-ulit na tensyon sa pag-unlad ng advanced AI: ang mga kahinaan ng isang modelo ay mahirap na lubos na makilala sa loob ng isang laboratoryo. Ang malawakang paggamit ng publiko ay maaaring magbunyag ng mga adversarial prompt, hindi inaasahang aplikasyon, sistematikong mga bias at mga karaniwang hindi pagkakaunawaan na hindi napapansin ng pormal na pagsusuri. Hinihiling ng kumpanya sa mga gumagamit na magsumite ng feedback sa mga problematikong output at nag-aalok ng isang paligsahan sa feedback para sa mga partikular na kapaki-pakinabang na ulat.

Ang pamamaraang iyan ay sumusunod sa mga aral mula sa mga naunang paglabas. Ang talakayan ng OpenAI noong 2019 tungkol sa GPT-2 ay nagbigay-diin sa potensyal na maling paggamit ng lalong magkakaugnay na pagbuo ng teksto at sa simula ay gumamit ng isang staged-release strategy sa halip na agad na ilathala ang pinakamalaking modelo. Simula noon, ang larangan ay mabilis na lumipat patungo sa mas malalaking sistema at mas malawak na pag-deploy, habang ang mga tanong tungkol sa maling impormasyon, panggagaya, bias at automated na panghihikayat ay naging mas konkreto.

Samakatuwid, ang ChatGPT ay dumarating bilang isang interface na parang produkto at isang eksperimento sa pag-deploy. Ang kapakinabangan nito ay nakasalalay sa pag-unawa ng isang gumagamit na ang matatas na prosa ay hindi katulad ng napatunayang katotohanan. Ang modelo ay bumubuo ng mga sagot mula sa mga pattern na natutunan sa panahon ng pagsasanay; wala itong paghatol ng tao, at ang OpenAI ay hindi kumakatawan sa preview bilang isang hindi nagkakamaling mapagkukunan.

Ang interface ay maaaring mahalaga gaya ng modelo

Ang agarang teknikal na kahalagahan ng paglabas ay ang kombinasyon ng isang mahusay na modelo ng wika, isang pamilyar na interface ng chat, at isang rehimen ng pagsasanay na nakasentro sa mga kagustuhan ng tao. Ang mga nakaraang modelo ng wika ay kadalasang nangangailangan ng mga user na matuto ng mga format ng prompt o makipag-ugnayan sa pamamagitan ng mga tool ng developer. Binabawasan ng ChatGPT ang hadlang na iyon sa pamamagitan ng paggawa ng ordinaryong pag-uusap bilang kontrol.

Ang simpleng paggamit na iyan ay maaaring magpalawak ng madla para sa generative AI na higit pa sa mga mananaliksik at programmer. Maaaring humingi ang mga tao ng mga paliwanag, draft, tulong sa code, mga buod o mga transpormasyon sa iisang window at pagkatapos ay pinuhin ang resulta sa pamamagitan ng pakikipag-usap. Kasabay nito, ang kadalian ng paggamit ay nagpapataas ng panganib ng mga kilalang limitasyon: ang isang makapangyarihan na tono ay maaaring magtago ng maling sagot, at ang paulit-ulit na pag-uusap ay maaaring hikayatin ang mga gumagamit na magtiwala sa sistema nang higit pa sa hinihingi ng pinagbabatayan nitong pagiging maaasahan.

Sa ngayon, itinuturing ng OpenAI ang mga tensyong iyon bilang punto ng preview. Ang ChatGPT ay hindi inihaharap bilang ang endpoint ng pagbuo ng language-model. Ito ay isang pampublikong pagsubok kung ang pagsasanay at diyalogo ng human-feedback ay maaaring gawing mas kapaki-pakinabang, mas madaling patnubayan, at mas ligtas ang malalaking generative model — at kung saan nabibigo pa rin ang mga pamamaraang iyon kapag ang sistema ay inilagay sa mga kamay ng mas malawak na grupo ng mga gumagamit.