17. septembra 2024
Meta, rovnako ako mnoho iných popredných technologických spoločností, vyvinula svoj vlastný generatívny model AI známy ako Llama. To, čo odlišuje Llamu, je jej otvorená povaha, ktorá umožňuje vývojárom sťahovať a používať ju so značnou voľnosťou, aj keď existujú určité podmienky, ktoré treba mať na pamäti. Tento prístup kontrastuje s modelmi ako Claude od Anthropic, OpenAI GPT-4o (motor stojaci za ChatGPT) a Gemini od spoločnosti Google, ktoré sú dostupné výhradne prostredníctvom rozhraní API.
S cieľom poskytnúť vývojárom väčšiu flexibilitu sa spoločnosť Meta spojila s poskytovateľmi cloudových služieb, ako sú AWS, Google Cloud a Microsoft Azure, aby ponúkli verzie Llama hostované v cloude. Meta navyše vytvorila nástroje, ktoré vývojárom zjednodušujú proces dolaďovania a prispôsobovania modelu tak, aby vyhovoval ich špecifickým požiadavkám.
Nižšie je podrobný popis Llamy vrátane toho, čo dokáže, rôznych verzií, ktoré ponúka a ako ju môžete efektívne používať.
Čo je to láma?
Lama nie je len jeden model; zahŕňa celý rad modelov, ako napríklad:
-
Lama 8B
-
Lama 70B
-
Lama 405B
Najnovšie verzie (Llama 3.1 8B, Llama 3.1 70B a Llama 3.1 405B) boli vydané v júli 2024. Tieto modely sú trénované na širokej škále zdrojov údajov, ako sú webové stránky v rôznych jazykoch, verejný kód, súbory dostupné online a syntetické údaje vytvorené inými systémami AI.
Llama 3.1 8B a 70B sú kompaktné modely, ktoré dokážu prevádzkovať rôzne zariadenia od notebookov po servery. Na druhej strane Llama 3.1 405B je rozsiahly model, ktorý zvyčajne vyžaduje hardvér dátového centra. Aj keď menšie modely nemusia byť také výkonné ako 405B, ponúkajú vyšší výkon a sú optimalizované na zníženie úložiska a latencie.
Všetky modely Llama obsahujú kontextové okno so 128 000 tokenmi, čo im umožňuje spracovať približne 100 000 slov (alebo 300 strán textu). To je zhruba dĺžka kníh ako Búrlivé výšiny alebo Harry Potter a väzeň z Azkabanu. Dlhé kontextové okno pomáha modelu uchovávať informácie z najnovších dokumentov a údajov, čím sa znižuje riziko odbočenia od témy.
Čo dokáže lama?
Rovnako ako iné generatívne modely AI, aj Llama môže pomôcť s rôznymi úlohami, ako je kódovanie, odpovedanie na jednoduché matematické otázky a sumarizácia dokumentov v ôsmich jazykoch: angličtine, nemčine, francúzštine, taliančine, portugalčine, hindčine, španielčine a thajčine. Dokáže zvládnuť väčšinu textových úloh, ako je analýza súborov, ako sú súbory PDF a tabuľky, ale v súčasnosti nemá schopnosť generovať ani spracovávať obrázky – niečo, čo by sa mohlo v budúcnosti zmeniť.
Modely Llama sa môžu integrovať s aplikáciami, nástrojmi a rozhraniami API tretích strán na vykonávanie rôznych úloh. Sú nakonfigurované tak, aby používali Brave Search na zodpovedanie otázok o aktuálnych udalostiach, API Wolfram Alpha pre matematické a vedecké otázky a tlmočníka Pythonu na overenie kódu. Podľa Meta môže Llama 3.1 dokonca používať niektoré nástroje, na ktoré nebola explicitne vyškolená, hoci spoľahlivosť tejto funkcie je stále neistá.
Kde môžete použiť lámu?
Ak sa chcete spojiť priamo s Llamou, chatbot Meta AI je podporovaný na platformách ako Facebook Messenger, WhatsApp, Instagram, Oculus a Meta.ai.
Pre vývojárov je Llama k dispozícii na stiahnutie a možno ju škálovať na niekoľko populárnych cloudových platforiem. Meta sa spojila s viac ako 25 spoločnosťami, aby hostila Llamu, vrátane Nvidia, Databricks, Groq, Dell a Snowflake. Mnohí z týchto partnerov poskytujú dodatočné nástroje, ktoré Llame umožňujú prístup k vlastným údajom alebo efektívnejšie fungovanie.
Meta navrhuje používať menšie modely Llama, konkrétne 8B a 70B, na všeobecné účely, ako je spustenie chatbotov alebo vytváranie kódu. Na druhej strane väčšia Llama 405B je vhodnejšia pre úlohy, ako je modelová destilácia, ktorá zahŕňa prenos znalostí z väčšieho modelu na menší, ako aj generovanie syntetických dát na trénovanie iných modelov.
Vývojári prevádzkujúci aplikácie s viac ako 700 miliónmi používateľov mesačne musia na prístup k Llame získať špeciálnu licenciu od spoločnosti Meta, ktorá bude udelená podľa uváženia spoločnosti Meta.
Aké nástroje ponúka Meta pre lámu?
Meta zaviedla niekoľko nástrojov na zlepšenie bezpečnosti Llama:
-
Llama Guard: Rámec moderovania, ktorý identifikuje problematický obsah, ako sú nenávistné prejavy, sebapoškodzovanie a porušovanie autorských práv.
-
Prompt Guard: Nástroj špeciálne navrhnutý na ochranu Llama pred škodlivými správami, ktoré sa snažia obísť jeho bezpečnostné opatrenia.
-
CyberSecEval: Súprava na hodnotenie rizík kybernetickej bezpečnosti, ktorá hodnotí bezpečnosť modelu so zameraním na hrozby, ako je automatizované sociálne inžinierstvo a útočné kybernetické aktivity.
Napríklad Llama Guard dokáže odhaliť škodlivý alebo nelegálny obsah, ktorý je zadaný alebo generovaný do Llama, čo umožňuje vývojárom prispôsobiť, ktoré kategórie sú blokované. Prompt Guard sa zameriava na obranu pred „útokmi vstrekovania správ“, ktoré sa pokúšajú manipulovať s modelom. CyberSecEval ponúka benchmarky na hodnotenie bezpečnostných rizík spojených s modelmi Llama.
Obmedzenia lamy
Llama, podobne ako iné generatívne modely AI, má svoje obmedzenia a potenciálne riziká. Jednou z hlavných obáv je, či Meta použila materiály chránené autorskými právami na výcvik lám. Ak je to tak, používatelia môžu niesť zodpovednosť za akýkoľvek obsah chránený autorskými právami, ktorý model generuje.
Nedávne správy naznačujú, že Meta používa e-knihy chránené autorskými právami na školenia AI, napriek tomu, že dostala právne upozornenia. Spoločnosť do svojich modelových školení začleňuje aj obsah z Instagramu a Facebooku, čo používateľom sťažuje možnosť odhlásiť sa. Meta čelí viacerým žalobám, vrátane jedného od autorov ako Sarah Silverman, ktorí tvrdia, že spoločnosť použila materiál chránený autorskými právami bez povolenia.
Dôležitým aspektom je programovanie, pretože Llama môže produkovať chybný alebo nebezpečný kód. Je dôležité, aby vývojári mali k dispozícii ľudského odborníka, ktorý skontroloval akýkoľvek kód vygenerovaný AI pred jeho implementáciou do svojich aplikácií.
Zatiaľ čo Meta's Llama model ponúka značnú flexibilitu a príležitosti pre vývojárov, je dôležité rozpoznať potenciálne riziká a obmedzenia, ktoré s tým prichádzajú.
–
Prináša vám Akadémia Code Labs – vaša vedúca Online Coding Bootcamp pre Future Tech Innovators.