PaLM(ingl. Pathways Language Model, PaLM) —Google AI tárepinen jaratılǵan 540 milliard parametrli transformatorǵa tiykarlanǵanúlken til modeli^[1]. Izertlewshiler sonday-aq model masshtabınıń tásirin tekseriw ushın PaLM-niń kishi versiyaların, 8 hám 62 milliard parametr úlgilerin oqıttı.

PaLM keń kólemli wazıypalardı orınlawǵa uqıplı, sonıń ishinde parasatlı pikirlew, arifmetikalıq pikirlew, házil menen túsindiriw, kod jaratıw hám awdarma^[2][3][4]. Oylaw dizbegi usınısı menen biriktirilgende, PaLM sóz mashqalaları hám logikaǵa tiykarlanǵan sorawlar sıyaqlı bir neshe basqıshlardı tiykarlawdı talap etetuǵınmaǵlıwmatlar jıynaǵında aytarlıqtay jaqsıraq ónimlilikke eristi^[1].^[5]

Model birinshi ret 2022-jıl aprelde járiyalandı hám Google PaLM menen basqa da bir neshe texnologiyalar ushınAPI iske qosılǵanǵa deyin, yaǵnıy 2023-jıl martqa shekem qupıya bolıp qaldı^[6]. API dáslep kópshilikke shıǵarılǵanǵa shekem kútiw dizimine qosılǵan baǵdarlamashılardıń sheklengen sanına ashıq boldı^[7].

Google hám DeepMind PaLM 540B-nıń Med-PaLM dep atalatuǵın versiyasın islep shıqtı, ol medicinalıq maǵlıwmatlar boyınsha aldınǵı modellerden ústem boldı^[8]. Med-PaLM AQSHtıń medicinalıq licenziyalaw sorawları boyınsha ótiw balın birinshi bolıp aldı hám kóp tańlawlı, ashıq sorawlarǵa anıq juwap beriw menen birge, ol dálillerdi támiyinleydi hám óz juwapların bahalay aladı^[9].

Google sonıń menen qatar robotlı manipulyaciya ushın paydalanılıwı múmkin PaLM-E zamanagóy kóriw tili modelin jaratıw ushın kóriw transformatorınıń járdemi menen PaLM-di keńeytti^[10]. Model robototexnikadaǵı wazıypalardı qayta tayarlawdı yamasa anıq sazlawdı talap etpesten básekige shıdamlı túrde orınlay aladı^[11].

Google 2023-jıl may ayında jıllıq Google I/O tiykarǵı bayanatında PaLM 2 tuwralı járiyaladı^[12]. PaLM 2 3,6 trillion tokende tayarlanǵan 340 milliard parametrli model bolıp tabıladı^[13].

2023-jıl iyunda Google PaLM-2 arxitekturası menen inicializaciyasın paydalanatuǵın sóylewden sóylewge awdarıw ushın AudioPaLM járiyaladı^[14].

Google 2024-jıl 27-iyun sánesindeGoogle Translate baǵdarlamasına jańa 110 tildiń qosılǵanın járiyaladı^[15]. Google Translate kólemin keńeytiw ushınjasalma intellekt járdeminde PaLM 2úlken til modeli menen jańa 110 til qosıldı^[16]. Degen menen olardıń qatarınaqaraqalpaq tili qosılmadı. Onıń bir neshe sebeplerin keltiriwge boladı. PaLM 2 parallel kóp tilli tekstte hám hár túrli tillerdiń anaǵurlım úlken korpusın aldınnan tayarlaydı. PaLM joqarı sapalı veb-hújjetlerdi, kitaplardı,Wikipedianı, sóylesiwlerdi hámGitHub kodın qamtıytuǵıninglis hám kóp tillimaǵlıwmatlar jıynaǵın paydalanıw arqalı oqıtıldı^[17]. Al bul parallel maǵlıwmatlar jıynaǵında qaraqalpaq tili resursları derlik az. Usılardı esapqa alsaq qaraqalpaq tilindegi materiallar parallel inglis tilinde járiyalansa, qaraqalpaq tili Google Translate-ke qosılıw imkaniyatı artadı. Qaraqalpaq internet resursların tallap qarasaq, veb saytlardaǵı resurslardıń inglisshe awdarması derlik joq, al qaraqalpaqsha Wikipedia materiallarında inglis tilinen awdarılǵan materiallar az. Sapası jaǵınan da tolıq jaqsı dep bahalaw qıyın. Sonlıqtan aldaǵı waqıtta sapalı resurslar sanı artsa, PaLM 2 úlken til modeline qaraqalpaq tilide qosılıwı múmkin.

PaLM hár túrli til wazıypaları menen paydalanıw jaǵdayların óz ishine alatuǵın 780 milliard tokennen ibarat joqarı sapalı korpusta aldınnan tayarlanǵan. Bul maǵlıwmatlar jıynaǵı filtrlengen veb-betlerdi, kitaplardı, Wikipedia maqalaların, jańalıqlar maqalaların, GitHub-taǵı ashıq derek repozitoriylerden alınǵanderek kodtı hám sociallıq media sóylesiwlerin qamtıydı^[1]. Ol Google LaMDA modelin úyretiw ushın paydalanatuǵın maǵlıwmatlar jıynaǵına tiykarlanǵan.^[5] Maǵlıwmatlar jıynaǵında social media sóylesiw bólimi korpustıń 50% quraydı, bul modelge onıń sóylesiw imkaniyatlarına járdemlesedi.^[5]

PaLM 540B eń úlken TPU konfiguraciyası bolǵan model menen maǵlıwmatlar parallelizmniń kombinaciyasın paydalanıp qosılǵan 768 xostqa biriktirilgen hárbir Pod-да 3072 TPU v4 chipleri bar eki TPU v4 Pod boyınsha oqıtıldı^[18]. Bul 6144 mikrosxemanı paydalanıp, masshtabta ónimli oqıtıwǵa imkaniyat berdi hám usı shkaladaǵı LLM ushın erisilgen oqıtıwdıń eń joqarı ónimliligi rekordın belgiledi: FLOP apparatlıq qurallardı paydalanıw 57,8%^[2].