Llama (Large Language Model Meta AI, pierwotnie stylizowany jakoLLaMA) – rodzinadużych modeli językowych (LLM) wydawanych przez Meta AI od lutego 2023^[2][3]. Najnowsza wersja to Llama 4, wydana w kwietniu 2025^[4].

Modele Llama są trenowane w różnych rozmiarach, mieszczących się w zakresie od 1 do 405 miliardów parametrów^[5]. Początkowo były to jedynie modele bazowe (foundation models)^[6], jednak począwszy od Llama 2, Meta AI wydaje również wersje dostrojone do wykonywania instrukcji (instruction fine-tuned), udostępniając je równolegle z modelami bazowymi^[7].

Wagi dla pierwszej wersji modelu Llama były udostępniane wyłącznie badaczom na zasadzie indywidualnej oceny przypadku, na podstawie licencji niekomercyjnej^[8][3]. Nieautoryzowane kopie pierwszego modelu udostępniano za pośrednictwemBitTorrenta^[9]. Kolejne wersje Llamy udostępniono poza środowiskiem akademickim i wydano na podstawie licencji zezwalających na pewne zastosowania komercyjne^[10][7].

Wraz z premierą modelu Llama 3,Meta wprowadziła funkcje wirtualnego asystenta doFacebooka iWhatsAppa w wybranych regionach, a także dedykowaną stronę internetową. Obie usługi wykorzystują model Llama 3^[11].

Po publikacji dużych modeli językowych, takich jak GPT-3, badania skupiły się na skalowaniu modeli, co w niektórych przypadkach wykazało znaczny wzrost możliwości^[12]. WydanieChatGPT i jego zaskakujący sukces spowodowały wzrost zainteresowania dużymi modelami językowymi^[13].

W porównaniu z innymi odpowiedziami na ChatGPT, główny naukowiec ds.sztucznej inteligencji w Meta,Yann LeCun, stwierdził, że duże modele językowe najlepiej sprawdzają się we wspomaganiu pisania^{[14][15][16][17]}.

Badania empiryczne nad serią Llama skupiły się na analizie prawa skalowania. Zaobserwowano, że modele Llama 3 wykazały kontynuację logarytmicznie liniowego wzrostu wydajności nawet po przekroczeniu rozmiaru zbioru danych uznawanego za „optymalny według Chinchilla”. Na przykład dla modelu Llama 3 8B optymalny zbiór danych w ujęciu Chinchilla wynosi 200 mld tokenów, jednak wydajność zachowywała logarytmicznie liniową skalowalność przy 75-krotnie większym zbiorze – 15 bilionów tokenów^[18].

Modele LLaMA zostały zapowiedziane 24 lutego 2023 w poście na blogu oraz dokumencie opisującym szkolenie modelu, jego architekturę oraz możliwości^[2][3]. Kod potrzebny do uruchomienia modelu został publicznie udostępniony na licencjiotwarto źródłowej GPLv3^[19]. Dostęp do wag modelu przyznawano poprzez proces aplikacji, by ograniczyć nadużycia. Dostęp miał być przyznawany w indywidualnych przypadkach badaczom akademickim, osobom powiązanym z organizacjami rządowymi, instytucjom pozarządowym, środowiskowi akademickiemu oraz laboratoriom badawczym w sektorze przemysłowym na całym świecie^[3].

Llama została wytrenowana wyłącznie na podstawie publicznie dostępnych informacji i w różnych rozmiarach, co miało na celu uczynienie jej bardziej dostępnej dla różnego sprzętu. Model ten był wyłącznie modelem bazowym^[6]⁣, chociaż w dokumencie opisującym model zawarto przykłady wersji modelu dostrojonego pod kątem instrukcji^[2].

Firma Meta AI podała, że wydajność modelu o 13 miliardach parametrów (13B) w większości testówNLP przewyższała wydajność znacznie większego modelu GPT-3 (175 mld parametrów), a największy model o 65 mld parametrów (65B) był konkurencyjny w stosunku do najnowocześniejszych ówcześnie modeli, takich jak PaLM i Chinchilla^[2].

3 marca 2023 został utworzony torrent zawierający wagi modelu LLaMA, a link do torrenta udostępniono na4chan, a następnie rozpowszechniono go w internetowych społecznościach zajmujących się sztuczną inteligencją^[20]. Tego samego dnia zgłoszono prośbę (pull request) w głównym repozytorium LLaMA o dodanie odnośnika do torrenta (magnet link) w oficjalnej dokumentacji projektu^[21][22]. 4 marca otwarto kolejną prośbę o dodanie linków do repozytoriów HuggingFace zawierających model^[23][21]. 6 marca Meta złożyła wniosek o usunięcie wskazanych repozytoriów HuggingFace, określając je jako „nieautoryzowaną dystrybucję” modelu, platforma spełniła prośbę^[24]. 20 marca Meta zgłosiła doGitHuba wniosekDMCA o usunięcie treści z powodu naruszeniapraw autorskich w odniesieniu do repozytorium zawierającego skrypt pobierający LLaMA z serwera lustrzanego. Następnego dnia GitHub zastosował się do wniosku^[9].

Reakcje na wyciek były różne. Niektórzy spekulowali, że model może być wykorzystany w złośliwych celach, na przykład do rozsyłania bardziej zaawansowanegospamu. Niektórzy doceniali jednak dostępność modelu oraz fakt, że mniejsze wersje modelu można stosunkowo tanio uruchomić, sugerując, że będzie to sprzyjać rozwojowi nowych badań w tej dziedzinie^[20]. Liczni analitycy, w tym Simon Willison, porównali LLaMA do Stable Diffusion, modelu przekształcającego tekst w obraz, który w przeciwieństwie do porównywalnie zaawansowanych modeli poprzedzających go, był otwarcie dostępny, co doprowadziło do szybkiego rozprzestrzenienia się powiązanych z nim narzędzi, technik i oprogramowania^[20][25].

18 lipca 2023 roku firma Meta ogłosiła powstanie LLaMa 2, kolejnej generacji modelu Llama powstałej we współpracy zfirmą Microsoft. Meta wytrenowała i udostępniła Lamę 2 w trzech rozmiarach: 7, 13 i 70 mld parametrów^[7]. Architektura modelu pozostała w dużej mierze niezmieniona w stosunku do modeli LLaMA 1, ale do wytrenowania modeli bazowych wykorzystano o 40% więcej danych^[26]. W towarzyszącym wydaniu modelu dokumencie^[26] wspomniano również o modelu z 34 mld parametrów, który miał zostać udostępniony w przyszłości po spełnieniu celów bezpieczeństwa, jednak nigdy to nie nastąpiło.

LLaMa 2 obejmuje zarówno modele bazowe, jak i modele dostrojone do czatu. Modele, w odróżnieniu od oryginalnej wersji LLaMa, są dostarczane z wagami i mogą być wykorzystywane w wielu zastosowaniach komercyjnych. Jednakże licencja LLaMa wymusza politykę dozwolonego użytku, która zabrania używania Llamy do niektórych celów, dlatego użycie przez Meta terminuopen source do opisania Llamy zostało zakwestionowane przezOpen Source Initiative (odpowiadającą zadefinicję otwartego źródła) i innych^[27][28].

Code Llama to doszkolona wersja LLaMa 2 na zestawach danych specyficznych dla generowania kodu. Wersje o rozmiarach 7 mld (7B), 13 mld (13B) i 34 mld (34B) parametrów zostały wydane 24 sierpnia 2023, a wersja z 70 mld parametrów (70B) została udostępniona 29 stycznia 2024^[29] Zaczynając od modeli podstawowych z LLaMa 2, Meta AI wytrenowała je na dodatkowych 500 mld tokenów danych zawierających kod, a następnie dodatkowymi 20 mld tokenów danych długiego kontekstu, tworząc w ten sposób bazowe modele Code Llama. Ten model był dalej trenowany na 5 mld tokenów w celu dostrojenia do wykonywania instrukcji. Utworzono inny model bazowy specjalizujący się w kodzie Python, trenując go na 100 mld tokenów kodu wyłącznie w tym języku, a następnie na danych długiego kontekstu^[30].

18 kwietnia 2024 irma Meta wydała model Llama 3 w dwóch rozmiarach: 8 mld (8B) i 70 mld (70B) parametrów^[18]. Modele wstępnie wytrenowano na około 15 bilionach tokenów tekstu zebranych z „publicznie dostępnych źródeł”, a modele dostrojone do instrukcji dopracowano na podstawie „publicznie dostępnych zestawów danych z instrukcjami, a także ponad 10 milionów przykładów z adnotacjami ludzkimi”. Testy Meta AI z kwietnia 2024 wykazały, że Llama 3 70B pokonałaGemini Pro 1.5 i Claude 3 Sonnet w większości testów porównawczych. Firma Meta ogłosiła również plany uczynienia Llamy 3 wielojęzyczną imultimodalną, lepszą w pisaniu kodu, rozumowaniu oraz zwiększenia rozmiaru jej kontekstu^[31][32].

W wywiadzie z Dwarkeshem Patelem Mark Zuckerberg powiedział, że wersja z 8 mld parametrów (8B) Lamy 3 zbliża się możliwościami do największego modelu z serii Llama 2. Zuckerberg stwierdził, że w porównaniu z poprzednimi modelami zespół był zaskoczony, jak model z 70 mld parametrów (70B) uczył się nawet pod koniec treningu na zbiorze 15 bilionów tokenów. Podjęto decyzję o zakończeniu szkolenia i skoncentrowaniu mocy GPU gdzie indziej^[33].

Wersja Llama 3.1 została wydana 23 lipca 2024 w trzech rozmiarach: 8 mld (8B), 70 mld (70B) i 405 mld (405B) parametrów. Główną różnicą w stosunku do poprzedniej wersji było poszerzenie rozmiaru kontekstu modelu z 8192 do 128 000 tokenów oraz dodanie wsparcia dla dodatkowych kilku języków^[5][34].

25 września 2024 roku wprowadzona generacja Llama 3.2 (11 i 90 mld parametrów) zyskała multimodalność i mogła przetwarzać zarówno obrazy, jak i tekst. Jednocześnie udostępniono małe modele przetwarzające tylko tekst z 1 oraz 3 miliardami parametrów, przeznaczone do zastosowań mobilnych i przetwarzania lokalnego^[35][36].

6 grudnia 2024 roku została udostępniona Llama 3.3 z 70 mld parametrów (70B). Pomimo będąc znacznie mniejszym i tańszym modelem w porównaniu do największego modelu poprzedniej generacji (Llama 3.1 405B), wyprzedza go w wielu testach porównawczych^[37].

5 kwietnia 2025 wydano model Llama 4. Architektura została zmieniona namieszankę ekspertów (istnieją dwie wersje, z 16 i 128 ekspertami)^[38]. Model jest multimodalny i wspiera 12 języków^[39]. Modele są multimodalne (akceptowane wejście to tekst i obraz, wyjście tylko tekst) i wspierają 12 języków. Podobnie jak z poprzednimi wersjami modelu Llama, przedsiębiorstwa i rezydencjiUnii Europejskiej są wykluczeni z korzystania z modeli^[40][41].

Opublikowane modele^[38]:

• Scout: 17 mld aktywnych parametrów z 16 ekspertami, 10 mln oknem kontekstowym i łącznie z 109 mld parametrów
• Maverick: 17 mld aktywnych parametrów z 128 ekspertami, 1 mln oknem kontekstowym i łącznie z 400 mld parametrów

W kolumnie „Koszt treningu” podano wyłącznie koszt największego modelu z danej rodziny. Na przykład „21 000” to koszt szkolenia Lamy 2 69B w jednostkach petaFLOP-dzień. Jednostka 1 petaFLOP-dzień = 1 petaFLOP/sek × 1 dzień = 8,64E19 FLOP. W tabeli skróty „T” oznaczają bilion (ang. trillion), a „B” miliard (ang. billion).

• Strona oficjalna
• Meta Llama – Hugging Face

• Duże modele językowe
• Meta Platforms

• Artykuły z propozycjami tłumaczeń