Inilabas ng Meta noong Huwebes ang mga unang modelo sa pamilya nitong Llama 3, na nagpapakilala ng mga bersyong may 8 bilyon at 70 bilyong parameter na sinanay sa mahigit 15 trilyong token at agad na inilalagay ang mga ito sa isa sa pinakamabilis na kompetisyon sa industriya ng teknolohiya: ang karera upang gawing malawakang magagamit ng mga developer at mamimili ang lalong may kakayahang generative artificial intelligence. teknikal na anunsyo , ang dalawang unang modelo ay makukuha sa mga paunang sinanay at naka-tune na anyo, habang ang isang mas malaking modelo na may mahigit 400 bilyong parameter ay nananatili pa ring sinasanay.

Mahalaga ang paglabas na ito dahil ang Meta ay nagtataguyod ng dalawang landas ng pamamahagi nang sabay-sabay. Ginagawa nitong available ang Llama 3 sa mga developer sa ilalim ng lisensya ng komunidad ng kumpanya habang ginagamit din ito upang paganahin ang isang mas mahusay na Meta AI assistant sa Facebook, Instagram, WhatsApp, Messenger at isang standalone na karanasan sa web. sa anunsyo ng paglulunsad ng Meta noong Abril 18 , ang assistant ay lumalawak sa labas ng Estados Unidos sa mahigit isang dosenang bansa, na nagdadala ng Llama 3 sa mga produktong pangkonsumo na may bilyun-bilyong kasalukuyang gumagamit.

Dalawang laki ng modelo, isang mas malaking set ng pagsasanay

Ang unang paglabas ng Llama 3 ay binubuo ng 8B at 70B na mga modelo, na bawat isa ay inaalok sa base at instruction-tuned na mga variant. Inilalarawan ng opisyal na 8B model card ang isang autoregressive transformer na sinanay sa isang bagong halo ng pampublikong online data na magagamit, na may 8,000-token context length at mahigit 15 trilyong pretraining token. Ang 70B instruction model ay gumagamit ng parehong malawak na arkitektura, na may pinangangasiwaang fine-tuning at reinforcement learning mula sa human feedback na inilapat sa tuned na bersyon.

Ayon sa Meta, ang pretraining corpus ay mahigit pitong beses na mas malaki kaysa sa ginamit para sa Llama 2 at may kasamang apat na beses na mas maraming code. Nagpakilala rin ang kumpanya ng isang tokenizer na may 128,000-token na bokabularyo na nilayon upang mas mahusay na i-encode ang wika, at sinanay nito ang mga modelo sa dalawang custom-built na 24,000-GPU cluster. Mahalaga ang mga pagpipiliang iyon sa engineering dahil ang kalidad ng modelo ay nakasalalay hindi lamang sa bilang ng parameter kundi pati na rin sa dami at komposisyon ng data ng pagsasanay, tokenization, mga pamamaraan pagkatapos ng pagsasanay at ang imprastraktura na magagamit upang magpatakbo ng malalaking eksperimento.

Mabilis na kumilos ang mga independiyenteng kasosyo sa distribusyon. Nakasaad sa kontemporaryong tala ng paglulunsad ng Hugging Face na ang lahat ng apat na pangunahing variant — dalawang base model at dalawang instruction-tuned model — ay available na sa pamamagitan ng model hub nito noong araw ng paglabas, kasama ang Llama Guard 2. Ginawa ring available ng Amazon Web Services ang Llama 3 sa pamamagitan ng SageMaker JumpStart noong Abril 18, na may anunsyo ng AWS na naglilista ng mga unang availability sa mga rehiyon ng US, Europeo, at Asya.

Ginagawang distribution engine ng Meta ang AI assistant nito

Ang estratehiya ng mamimili ay maaaring kasinghalaga ng mismong paglabas ng modelo. Ang Meta AI ay direktang hinabi sa mga search box, chat, at feed sa pinakamalalaking aplikasyon ng kumpanya. Maaaring gamitin ng mga user ang assistant nang hindi umaalis sa WhatsApp o Messenger, magtanong habang nagba-browse sa Facebook o Instagram, at bumuo ng mga larawan sa pamamagitan ng feature na Imagine ng Meta. Naglulunsad din ang kumpanya ng web destination para sa Meta AI, na nagbibigay dito ng direktang interface na mas maihahambing sa mga standalone assistant mula sa ibang mga kumpanya ng AI.

Ang distribusyong iyon ay nagbibigay sa Meta ng kakaibang bentahe: hindi nito kailangang hikayatin ang mga user na mag-install ng bagong application bago sila ilantad sa modelo. Sa halip, ang Llama 3 ay maaaring dumating sa loob ng mga serbisyong ginagamit na ng mga tao. Sinasabi ng Meta na ang assistant ay magbibigay ng real-time na impormasyon mula sa web at magiging available sa Ingles sa mga merkado kabilang ang Australia, Canada, Ghana, Jamaica, Malawi, New Zealand, Nigeria, Pakistan, Singapore, South Africa, Uganda, Zambia at Zimbabwe.

Lumilikha rin ang pamamaraang ito ng feedback loop sa pagitan ng mga estratehiya ng developer at consumer ng Meta. Maaaring iakma ng mga developer ang mga pinagbabatayang modelo para sa kanilang sariling mga aplikasyon, habang maaaring patakbuhin ng Meta ang parehong pamilya ng modelo sa napakalaking saklaw ng consumer. Kabaligtaran ito ng isang purong proprietary na estratehiya ng modelo kung saan ang access ay pangunahing limitado sa sariling aplikasyon o API ng isang vendor.

Ang mga kagamitang pangkaligtasan ay magiging bahagi ng pakete ng paglabas

Ipinapares ng Meta ang mga bagong modelo sa mga karagdagang kagamitang pangkaligtasan. Ang deskripsyon nito tungkol sa responsableng paglabas ay nagdedetalye ng mga hakbang na ginawa bago ang paglulunsad at binibigyang-diin ang mga mapagkukunan ng developer na nilayon upang mabawasan ang mga hindi ligtas na paggamit. Ipinakikilala ng teknikal na paglabas ng Llama 3 ang Llama Guard 2, Code Shield at CyberSec Eval 2, mga kagamitang naglalayong uriin ang hindi ligtas na nilalaman, tukuyin ang mga hindi ligtas na code at suriin ang mga panganib sa cybersecurity.

Inilalarawan din ng mga model card ng kumpanya ang mga limitasyong dapat isaalang-alang ng mga developer. Ang release noong Abril ay pangunahing idinisenyo para sa tekstong nasa wikang Ingles, at ang mga modelo ay may mga takdang limitasyon sa kaalaman — Marso 2023 para sa bersyong 8B at Disyembre 2023 para sa bersyong 70B. Tulad ng ibang malalaking modelo ng wika, maaari silang makagawa ng mga mali o nakaliligaw na output, at ang mga downstream developer ay nananatiling responsable para sa pagsubok sa mga partikular na kapaligiran kung saan nila ini-deploy ang mga ito.

Malawak ngunit hindi walang limitasyon ang modelo ng paglilisensya. Pinahihintulutan ng lisensya sa komunidad ng Meta na Llama 3 ang komersyal at pananaliksik na paggamit sa ilalim ng mga tinukoy na kundisyon, habang nagpapataw ng mga karagdagang kinakailangan sa napakalaking plataporma at nagbabawal sa mga paggamit na lumalabag sa patakaran ng katanggap-tanggap na paggamit ng kumpanya. Ang istrukturang iyon ang nagpapatuloy sa pagsisikap ng Meta na iposisyon ang Llama bilang malawak na naa-access nang hindi inilalagay ang mga bigat sa pampublikong domain.

Ang tanong na mapagkumpitensya ay lumilipat mula sa pag-access patungo sa pagganap

Ang agarang pahayag ni Meta ay ang mga bersyong nakatutok sa instruksyon ay kayang makipagkumpitensya sa mga nangungunang modelong bukas sa lahat ng uri na may mga karaniwang benchmark para sa pangangatwiran, pagko-code, at pagsunod sa instruksyon. Ang mga resulta ng benchmark ay kapaki-pakinabang ngunit hindi kumpletong mga tagapagpahiwatig ng pagganap sa totoong mundo, lalo na dahil ang mga praktikal na sistema ay nakasalalay sa pagkuha, pag-udyok, pagpino, latency, mga kontrol sa gastos at kaligtasan pati na rin ang mga marka ng modelo.

Gayunpaman, binabago ng kombinasyon ng availability at distribusyon ng modelo ang kompetisyon. Maaaring i-download o i-deploy ng mga developer ang Llama 3 sa pamamagitan ng maraming provider ng imprastraktura sa halip na umasa sa iisang naka-host na API. Binabawasan ng suporta ng AWS sa SageMaker sa parehong araw at ng launch integration ng Hugging Face ang kinakailangang gawaing operasyonal upang subukan ang mga modelo. Sinasabi ng Meta na pinaplano ang karagdagang availability sa pamamagitan ng Microsoft Azure, Google Cloud, Databricks, IBM watsonx, NVIDIA NIM, Snowflake at iba pang mga kasosyo.

Ang mas malaking tanong ay kung ano ang susunod sa paglabas ng 8B at 70B. Sinasabi ng Meta na ang isang modelo na lumalagpas sa 400 bilyong parameter ay sinasanay pa rin at ang unang paglabas ng Llama 3 ay simula pa lamang ng pamilya. Simula noong Sabado, malaki na ang nasusukat na pag-unlad: Naglabas ang Meta ng dalawang bagong laki ng modelo, binuksan ang mga ito sa isang malawak na ecosystem ng developer at sabay na inilagay ang Llama 3 sa likod ng isang AI assistant na naka-embed sa mga platform ng consumer nito. Susubukan sa susunod na yugto kung ang kombinasyon ng open distribution, malawakang pag-deploy, at mabilis na pag-ulit ng modelo ay maaaring maging isang matibay na kalamangan sa generative AI.