17. september 2024
Meta, som mange andre ledende teknologiselskaper, har utviklet sin egen generative AI-modell kjent som Llama. Det som skiller Llama er dens åpne natur, som lar utviklere laste ned og bruke den med betydelig frihet, selv om det er noen forhold å huske på. Denne tilnærmingen står i kontrast til modeller som Anthropics Claude, OpenAIs GPT-4o (motoren bak ChatGPT), og Googles Gemini, som kun er tilgjengelig via APIer.
For å gi utviklere mer fleksibilitet, har Meta inngått samarbeid med skytjenesteleverandører som AWS, Google Cloud og Microsoft Azure for å tilby skybaserte versjoner av Llama. I tillegg har Meta bygget verktøy som forenkler prosessen for utviklere å finjustere og tilpasse modellen for å møte deres spesifikke krav.
Nedenfor er en detaljert beskrivelse av Llama, inkludert hva den kan gjøre, de forskjellige versjonene den tilbyr, og hvordan du kan bruke den effektivt.
Hva er lama?
Lama er ikke bare én modell; den omfatter en rekke modeller, for eksempel:
-
Lama 8B
-
Lama 70B
-
Lama 405B
De nyeste versjonene (Llama 3.1 8B, Llama 3.1 70B og Llama 3.1 405B) ble utgitt i juli 2024. Disse modellene er trent på et bredt spekter av datakilder, for eksempel nettsider på forskjellige språk, offentlig kode, filer tilgjengelig på nettet, og syntetiske data produsert av andre AI-systemer.
Llama 3.1 8B og 70B er kompakte modeller som kan kjøre en rekke enheter fra bærbare datamaskiner til servere. Llama 3.1 405B, derimot, er en storskala modell som vanligvis krever datasentermaskinvare. Selv om de mindre modellene kanskje ikke er like kraftige som 405B, tilbyr de raskere ytelse og er optimert for redusert lagring og ventetid.
Alle Llama-modeller har et kontekstvindu på 128 000 tokens, slik at de kan håndtere rundt 100 000 ord (eller 300 sider med tekst). Dette er omtrent lengden på bøker som Wuthering Heights eller Harry Potter and the Prisoner of Azkaban. Et langt kontekstvindu hjelper modellen med å beholde informasjon fra nyere dokumenter og data, noe som reduserer risikoen for å komme utenfor temaet.
Hva kan lama gjøre?
I likhet med andre generative AI-modeller kan Llama hjelpe med en rekke oppgaver, som koding, svare på enkle matematikkspørsmål og oppsummere dokumenter på åtte språk: engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Den kan håndtere de fleste tekstbaserte oppgaver, for eksempel å analysere filer som PDF-er og regneark, men den har for øyeblikket ikke muligheten til å generere eller behandle bilder - noe som kan endre seg i fremtiden.
Lama-modeller kan integreres med tredjepartsapper, verktøy og API-er for å utføre en rekke oppgaver. De er konfigurert til å bruke Brave Search for å svare på spørsmål om aktuelle hendelser, Wolfram Alpha API for matematikk- og naturfagspørringer, og en Python-tolk for kodevalidering. I følge Meta kan Llama 3.1 til og med bruke noen verktøy den ikke har blitt eksplisitt trent på, selv om påliteligheten til denne funksjonen fortsatt er usikker.
Hvor kan du bruke lama?
Hvis du vil koble deg direkte til Llama, støttes Meta AI chatbot-opplevelsen på plattformer som Facebook Messenger, WhatsApp, Instagram, Oculus og Meta.ai.
For utviklere er Llama tilgjengelig for nedlasting og kan skaleres til flere populære skyplattformer. Meta har inngått samarbeid med over 25 selskaper for å være vert for Llama, inkludert Nvidia, Databricks, Groq, Dell og Snowflake. Mange av disse partnerne tilbyr tilleggsverktøy som lar Llama få tilgang til proprietære data eller kjøre mer effektivt.
Meta foreslår å bruke de mindre Llama-modellene, spesielt 8B og 70B, til generelle formål som å kjøre chatbots eller lage kode. På den annen side er den større Llama 405B mer passende for oppgaver som modelldestillasjon, som innebærer å overføre kunnskap fra en større modell til en mindre, samt generere syntetiske data for å trene opp andre modeller.
Utviklere som driver applikasjoner med mer enn 700 millioner månedlige brukere må anskaffe en spesiell lisens fra Meta for å få tilgang til Llama, og dette vil bli gitt etter Metas skjønn.
Hvilke verktøy tilbyr Meta for lama?
Meta har introdusert flere verktøy for å forbedre Llamas sikkerhet:
-
Llama Guard: Et modereringsrammeverk som identifiserer problematisk innhold som hatytringer, selvskading og brudd på opphavsrett.
-
Prompt Guard: Et verktøy spesielt utviklet for å beskytte Llama mot skadelige meldinger som prøver å omgå sikkerhetstiltakene.
-
CyberSecEval: En pakke for vurdering av cybersikkerhetsrisiko som evaluerer modellsikkerhet, med fokus på trusler som automatisert sosial utvikling og støtende cyberaktiviteter.
For eksempel kan Llama Guard oppdage skadelig eller ulovlig innhold som legges inn eller genereres i Llama, slik at utviklere kan tilpasse hvilke kategorier som er blokkert. Prompt Guard fokuserer på å forsvare seg mot "meldingsinjeksjonsangrep" som forsøker å manipulere modellen. CyberSecEval tilbyr benchmarks for å vurdere sikkerhetsrisikoer knyttet til Llama-modeller.
Lamas begrensninger
Llama, som andre generative AI-modeller, har sine begrensninger og potensielle risikoer. En av de største bekymringene er om Meta brukte opphavsrettsbeskyttet materiale for å trene Llama. Hvis det er tilfelle, kan brukere bli ansvarlige for opphavsrettsbeskyttet innhold modellen genererer.
Nylige rapporter indikerer at Meta har brukt opphavsrettsbeskyttede e-bøker for AI-opplæring, til tross for at de har mottatt juridiske advarsler. Selskapet inkorporerer også innhold fra Instagram og Facebook i modellopplæringen, noe som gjør det vanskelig for brukere å melde seg ut. Meta står overfor flere søksmål, inkludert en fra forfattere som Sarah Silverman, som hevder at selskapet har brukt opphavsrettsbeskyttet materiale uten tillatelse.
En viktig vurdering er programmering, da Llama kan produsere buggy eller usikker kode. Det er avgjørende at utviklere får en menneskelig ekspert til å gjennomgå all AI-generert kode før de implementerer den i applikasjonene sine.
Mens Metas Llama-modell tilbyr betydelig fleksibilitet og muligheter for utviklere, er det viktig å gjenkjenne de potensielle risikoene og begrensningene som følger med den.
–
Brukt til deg av Code Labs Academy – Your Leading Online Coding Bootcamp for Future Tech Innovators.