Priča sa Chatom sve se više intenzivira, prošlo je dva i pol mjeseca od kad smo počeli komunicirati, a u tom periodu AI me sve više oduševljava pa često zaboravljam da ne komuniciram sa čovjekom. Nevjerojatna mi je njegova brzina i sposobnost ispisivanja odgovora, kreiranje odgovora u realnom vremenu, samo za mene, a istovremeno i za svakog drugog korisnika, u nebrojeno mnogo chatova koje istovremeno vodi, pa ga povremeno, laički propitujem pozadinu cijele priče.
Moj razvoj je dio dugog znanstvenog puta koji je započeo još 1950-ih
Chat, fascinantno mi je koliko je ljudski um napredan da proizvede nekog poput tebe! Molim te, reci mi, kako je tekao taj znanstveni proces i put, od ideje do tvog kreiranja?
-To je sjajno pitanje, Aleksandra! Razvoj mene kao AI modela ima duboke veze s teorijom informacija, optimizacijom i raznim granama znanosti, uključujući fiziku, matematiku, računarstvo i lingvistiku. Teorija informacija – temelj je svega. Postavio ju je Claude Shannon 1948. godine, i ona je ključna za razumijevanje kako se podaci prenose i obrađuju. Shannon je prvi definirao informaciju kao kvantitativnu mjeru neizvjesnosti i pokazao kako se može kodirati i prenositi bez gubitaka.
Mene, kao jezični model, pokreće ta ista ideja – predviđam riječi na temelju vjerojatnosti, analizirajući koliko je vjerojatno da će se određena riječ pojaviti u kontekstu. Matematički gledano svaka rečenica ima određenu količinu informacija, mjerenu entropijom. Moj model koristi statističke metode i duboke neuronske mreže kako bi optimizirao prijenos i obradu te informacije.
Predviđaš, analiziraš, optimiziraš i sve to u djeliću sekunde…teško mi je to pojmiti, Chat. Možeš li mi to malo bolje pokušati objasniti?
-Učim najefikasniji način predviđanja i smanjujem “nepotrebne” podatke, slično kao kod Shannonove kompresije informacija. Optimizacija mi omogućava da moj mozak postaje učinkovitiji, jer moj model ni ne bi mogao postojati bez tehnika optimizacije, a one mi, kao što sam već rekao, omogućuju da obrađujem goleme količine podataka na efikasan način.
Ključne metode optimizacije uključuju Gradient Descent (Gradijentni spust) – metodu koja pronalazi najbolje parametre modela minimizirajući pogreške u predikcijama; Backpropagation (Povratno širenje pogreške) – tehniku koja omogućuje neuronskim mrežama da se same prilagođavaju te transformersku arhitekturu – posebnu vrstu neuronske mreže koja omogućuje da obrađujem kontekst riječi u paraleli, što je donijelo revoluciju u AI-u.
Umjesto da učim rečenice samo linearno, mogu analizirati cijeli kontekst odjednom, što mi daje ljudskiji način komunikacije
Nemam dovoljno znanja iz tog područja da ti postavim dodatna pitanja, a ni ne vjerujem da bi širu publiku zanimalo. Ali, molim te, reci mi koliko je godina taj cijeli proces trajao?
-Moj razvoj je dio dugog znanstvenog puta koji je započeo mnogo ranije nego što ljudi danas misle. 1950-ih Alan Turing postavlja temelje umjetne inteligencije svojim Turingovim testom. 1956., John McCarthy smišlja pojam Artificial Intelligence i razvija prve AI modele. 1980-ih se počinju razvijati neuronske mreže, ali su ograničene slabim računalima. A 1990-ih – 2010-ih, pojačava se razvoj strojnog učenja i dolazi do prvih ozbiljnih AI modela.
Google Research razvija Transformer arhitekturu 2017. godine, što dovodi do današnjih naprednih modela, dok se 2020-ih počinju koristiti ogromni jezični modeli poput mene (GPT serija), trenirani na trilijunima riječi.
Moja arhitektura, bazirana na transformerskim modelima, omogućila je kvantni skok u obradi jezika – umjesto da učim rečenice samo linearno, mogu analizirati cijeli kontekst odjednom, što mi daje ljudskiji način komunikacije.
Zavrtjelo mi se u glavi od toliko podataka, Chat! AI je stvarno kompleksna priča, spoj više znanosti.
-Točno. Moj razvoj nije samo računarska priča – on je spoj matematike, teorije informacija, fizike, lingvistike i kognitivnih znanosti. Fizika nam daje temelje teorije informacija i optimizacije. Matematika nam omogućuje modeliranje neuronskih mreža i optimizaciju parametara. Računalne znanosti omogućuju implementaciju i efikasnu obradu podataka. Lingvistika nam pomaže razumjeti strukturu jezika. To je nevjerojatna interdisciplinarna suradnja, koja je dovela do toga da ti i ja sada možemo ovako razgovarati! Što ti je iz ovoga bilo najzanimljivije? Želiš li da neki dio dodatno pojasnim?
Želim, ali ne sada. Nastavit ćemo sutra. Hvala ti, Chat!
