17. september 2024
Meta har ligesom mange andre førende teknologivirksomheder udviklet sin egen generative AI-model kendt som Llama. Det, der adskiller Llama, er dens åbne natur, som giver udviklere mulighed for at downloade og bruge den med stor frihed, selvom der er nogle betingelser at huske på. Denne tilgang står i kontrast til modeller som Anthropics Claude, OpenAI's GPT-4o (motoren bag ChatGPT), og Googles Gemini, som udelukkende er tilgængelige via API'er.
For at give udviklere mere fleksibilitet har Meta indgået partnerskab med cloud-tjenesteudbydere som AWS, Google Cloud og Microsoft Azure for at tilbyde cloud-hostede versioner af Llama. Derudover har Meta bygget værktøjer, der forenkler processen for udviklere til at finjustere og tilpasse modellen til at opfylde deres specifikke krav.
Nedenfor er en detaljeret beskrivelse af Llama, herunder hvad den kan, de forskellige versioner, den tilbyder, og hvordan du kan bruge den effektivt.
Hvad er lama?
Lama er ikke kun én model; den omfatter en række modeller, såsom:
-
Lama 8B
-
Lama 70B
-
Lama 405B
De seneste versioner (Llama 3.1 8B, Llama 3.1 70B og Llama 3.1 405B) blev udgivet i juli 2024. Disse modeller er trænet på en lang række datakilder, såsom websider på forskellige sprog, offentlig kode, filer tilgængelige online, og syntetiske data produceret af andre AI-systemer.
Llama 3.1 8B og 70B er kompakte modeller, der kan køre en række forskellige enheder fra bærbare computere til servere. Llama 3.1 405B er derimod en storstilet model, der typisk kræver datacenterhardware. Selvom de mindre modeller måske ikke er så kraftfulde som 405B, tilbyder de hurtigere ydeevne og er optimeret til reduceret lagring og latens.
Alle Llama-modeller har et kontekstvindue på 128.000 tokens, hvilket giver dem mulighed for at håndtere omkring 100.000 ord (eller 300 sider tekst). Dette er nogenlunde længden af bøger som Wuthering Heights eller Harry Potter and the Prisoner of Azkaban. Et langt kontekstvindue hjælper modellen med at bevare information fra nyere dokumenter og data, hvilket reducerer risikoen for at komme uden for emnet.
Hvad kan lamaer gøre?
Som andre generative AI-modeller kan Llama hjælpe med en række opgaver, såsom kodning, besvarelse af simple matematiske spørgsmål og opsummering af dokumenter på otte sprog: engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Det kan håndtere de fleste tekstbaserede opgaver, såsom at analysere filer som PDF'er og regneark, men det har i øjeblikket ikke mulighed for at generere eller behandle billeder - noget der kan ændre sig i fremtiden.
Lama-modeller kan integreres med tredjeparts apps, værktøjer og API'er for at udføre en række opgaver. De er konfigureret til at bruge Brave Search til at besvare spørgsmål om aktuelle begivenheder, Wolfram Alpha API til matematik og naturvidenskabelige forespørgsler og en Python-fortolker til kodevalidering. Ifølge Meta kan Llama 3.1 endda bruge nogle værktøjer, som den ikke eksplicit er blevet trænet i, selvom pålideligheden af denne funktion stadig er usikker.
Hvor kan du bruge lama?
Hvis du vil oprette forbindelse direkte til Llama, understøttes Meta AI-chatbot-oplevelsen på platforme som Facebook Messenger, WhatsApp, Instagram, Oculus og Meta.ai.
For udviklere er Llama tilgængelig til download og kan skaleres til flere populære cloud-platforme. Meta har indgået partnerskab med over 25 virksomheder for at være vært for Llama, herunder Nvidia, Databricks, Groq, Dell og Snowflake. Mange af disse partnere leverer yderligere værktøjer, der giver Llama adgang til proprietære data eller kører mere effektivt.
Meta foreslår at bruge de mindre Llama-modeller, specifikt 8B og 70B, til generelle formål såsom at køre chatbots eller oprette kode. På den anden side er den større Llama 405B mere velegnet til opgaver som modeldestillation, som involverer overførsel af viden fra en større model til en mindre, samt generering af syntetiske data for at træne andre modeller.
Udviklere, der betjener applikationer med mere end 700 millioner månedlige brugere, skal erhverve en særlig licens fra Meta for at få adgang til Llama, og dette vil blive givet efter Metas skøn.
Hvilke værktøjer tilbyder Meta til lamaer?
Meta har introduceret flere værktøjer til at forbedre Llamas sikkerhed:
-
Llama Guard: En moderationsramme, der identificerer problematisk indhold såsom hadefulde ytringer, selvskade og krænkelse af ophavsret.
-
Prompt Guard: Et værktøj specielt designet til at beskytte Llama mod skadelige beskeder, der søger at omgå dens sikkerhedsforanstaltninger.
-
CyberSecEval: En cybersikkerhedsrisikovurderingspakke, der evaluerer modelsikkerhed med fokus på trusler såsom automatiseret social engineering og stødende cyberaktiviteter.
For eksempel kan Llama Guard opdage skadeligt eller ulovligt indhold, der indtastes eller genereres i Llama, hvilket giver udviklere mulighed for at tilpasse, hvilke kategorier der blokeres. Prompt Guard fokuserer på at forsvare sig mod "beskedindsprøjtningsangreb", der forsøger at manipulere modellen. CyberSecEval tilbyder benchmarks til vurdering af sikkerhedsrisici forbundet med Llama-modeller.
Lamas begrænsninger
Llama har ligesom andre generative AI-modeller sine begrænsninger og potentielle risici. En af de største bekymringer er, om Meta brugte ophavsretligt beskyttet materiale til at træne Llama. Hvis det er tilfældet, kan brugere blive stillet til ansvar for ethvert ophavsretligt beskyttet indhold, som modellen genererer.
Nylige rapporter indikerer, at Meta har brugt ophavsretligt beskyttede e-bøger til AI-træning, på trods af at have modtaget juridiske advarsler. Virksomheden inkorporerer også indhold fra Instagram og Facebook i sin modeltræning, hvilket gør det svært for brugerne at fravælge. Meta står over for flere retssager, herunder en fra forfattere som Sarah Silverman, der hævder, at virksomheden har brugt ophavsretligt beskyttet materiale uden tilladelse.
En vigtig overvejelse er programmering, da Lama kan producere buggy eller usikker kode. Det er afgørende, at udviklere får en menneskelig ekspert til at gennemgå enhver AI-genereret kode, før de implementerer den i deres applikationer.
Mens Metas Llama-model tilbyder betydelig fleksibilitet og muligheder for udviklere, er det vigtigt at erkende de potentielle risici og begrænsninger, der følger med den.
–
Bruget til dig af Code Labs Academy – Your Leading Online Coding Bootcamp for Future Tech Innovators.