Meta je poručila da će narednu generaciju vještačke inteligencije isključiti moćne superkompjutere koji mogu da obavljaju kvintilone operacije u sekundi, poput RSC-a.
Za razvoj dolazeće generacije napredne vještačke inteligencije biće potrebni moćni novi računari sposobni za kvintilione operacija u sekundi.
Šta je RSC i na koji način će se koristiti?
„Meta objavljuje da smo dizajnirali i izgradili AI Research SuperCluster (RSC) — za koji vjerujemo da je među najbržim AI superkompjuterima koji rade danas i da će biti najbrži AI superkompjuter na svijetu kada bude u potpunosti izgrađen sredinom 2022. Naši istraživači su već počeli da koriste RSC za obuku kod velikih modela u obradi prirodnog jezika i kompjuterskom vidu za istraživanje, sa ciljem da jednog dana obuče modele sa trilionima parametara“, navela je kompanija na zvaničnom blogu.
RSC će pomoći istraživačima koje Meta angažuje za aktivnosti iz oblasti vještačke inteligencije da izgrade nove i bolje AI modele koji mogu da uče iz triliona primjera; da rade na stotinama različitih jezika; da neprimjetno analiziraju tekst, slike i video zajedno; da razvijaju nove alate proširene stvarnosti i još mnogo toga.
„Naši istraživači će moći da obuče najveće modele potrebne za razvoj napredne vještačke inteligencije za kompjuterski vid, NLP, prepoznavanje govora i još mnogo toga. Nadamo se da će nam RSC pomoći da izgradimo potpuno nove sisteme vještačke inteligencije koji mogu, na primjer, da omoguće glasovne prevode u realnom vremenu velikim grupama ljudi, od kojih svaki govori drugačijim jezikom, tako da mogu neprimjetno da sarađuju na istraživačkom projektu ili zajedno igraju AR igru“, dodaje se u objavi.
Posao obavljen sa RSC-om će, kako očekuju u kompaniji, utrti put ka izgradnji tehnologija za sljedeću veliku računarsku platformu – metaverzum, gdje će aplikacije i proizvodi vođeni vještačkom inteligencijom igrati važnu ulogu.
Zašto je potreban AI superkompjuter u ovom obimu?
Meta je posvećena dugoročnom ulaganju u vještačku inteligenciju od 2013. godine, kada je kreirana Facebook laboratorija za istraživanje vještačke inteligencije.
„Posljednjih godina smo napravili značajne korake u AI zahvaljujući našem liderstvu u brojnim oblastima, uključujući samonadgledano učenje, gdje algoritmi mogu da uče iz ogromnog broja neoznačenih primjera, kao i transformatora, koji omogućavaju AI modelima da efikasnije razmišljaju fokusiranjem na određene oblasti njihovog unosa“, dodaju u Meti.
Da bi se u potpunosti shvatile prednosti samonadgledanog učenja i modela zasnovanih na transformatorima, različiti domeni, bilo da se radi o viziji, govoru, jeziku ili za kritične slučajeve upotrebe kao što je identifikacija štetnog sadržaja, zahtijevaće obuku za sve veće, složenije i prilagodljivije modele.
Kompjuterski vid, na primjer, treba da obrađuje veće, duže video zapise sa većim stopama uzorkovanja podataka. Prepoznavanje govora mora dobro da funkcioniše čak i u izazovnim scenarijima sa puno pozadinske buke, kao što su zabave ili koncerti. NLP treba da razumije više jezika, dijalekata i akcenata. A napredak u drugim oblastima, uključujući robotiku, otjelotvorenu vještačku inteligenciju i multimodalnu vještačku inteligenciju, pomoći će ljudima da ostvare korisne zadatke u stvarnom svijetu.
Računarska infrastruktura visokih performansi je kritična komponenta u obuci tako velikih modela, a Metin istraživački tim za vještačku inteligenciju gradi ove sisteme velike snage dugi niz godina. Prva generacija ove infrastrukture, dizajnirana 2017. godine, ima 22.000 NVIDIA V100 Tensor Core GPU-a u jednom klasteru koji obavlja 35.000 zadataka obuke dnevno. Do sada je ova infrastruktura postavljala granice Meta istraživačima u pogledu performansi, pouzdanosti i produktivnosti.
Unapređenje istraživanja za obavljanje tekućih zadataka
„Početkom 2020. odlučili smo da je najbolji način za ubrzanje napretka da dizajniramo novu računarsku infrastrukturu sa čistog lista kako bismo iskoristili prednosti nove GPU i mrežne tehnologije. Željeli smo da ova infrastruktura može da obučava modele sa više od triliona parametara na skupovima podataka velikim kao eksabajt – što je, da bi se obezbijedio osjećaj razmjere, ekvivalent 36.000 godina video-zapisa visokog kvaliteta“, dodaje se u objavi komapnije.
Meta dodaje da su, dok se računarska zajednica visokih performansi decenijama bavila skaliranjem, takođe morali da se uvjere da imaju sve potrebne kontrole bezbjednosti i privatnosti kako bi zaštitili sve podatke o obuci koje koriste.
„Za razliku od naše prethodne istraživačke infrastrukture AI, koja je koristila samo otvoreni izvor i druge javno dostupne skupove podataka, RSC nam takođe pomaže da osiguramo da se naše istraživanje efikasno prevede u praksu omogućavajući nam da uključimo primjere iz stvarnog sveta iz Meta proizvodnih sistema u obuku modela. Čineći ovo, možemo pomoći u unapređenju istraživanja za obavljanje tekućih zadataka kao što je identifikacija štetnog sadržaja na našim platformama, kao i istraživanje utjelovljene vještačke inteligencije i multimodalne vještačke inteligencije kako bismo poboljšali korisničko iskustvo u našoj porodici aplikacija. Vjerujemo da je ovo prvi put da se radi o performansama, pouzdanosti, bezbjednosti i privatnosti u takvom obimu“, ističe Meta u najnovijoj objavi.
