Lakera, en schweizisk startup dedikeret til at beskytte generative AI-systemer mod svigagtige prompter og andre farer, har rejst 20 millioner dollars i en serie A-indsamlingsrunde, ledet af det europæiske venturekapitalfirma Atomico.
Selvom generativ kunstig intelligens har opnået en masse trækkraft - som demonstreret af velkendte apps som ChatGPT - er bekymringer om sikkerhed og databeskyttelse fortsat vigtige problemer for virksomheder. Generativ AI er drevet af store sprogmodeller (LLM'er), som gør det muligt for maskiner at producere og forstå tekst på en måde, der ligner menneskers. Ondsindede meddelelser har dog evnen til at narre disse modeller til at udføre uønskede opgaver, såsom at afsløre følsomme oplysninger eller tillade uautoriseret adgang til private netværk. Med Lakera skal disse stigende "prompt injektion"-risici behandles.
Efter at være etableret i 2021 i Zürich, startede Lakera sin virksomhed i oktober sidste år med 10 millioner USD i startpenge. Dets mål er at beskytte virksomheder mod LLM-sikkerhedsfejl som hurtige injektioner og datalæk. Deres teknologi arbejder med flere LLM'er, herunder som Claude fra Anthropic, Googles Bard, OpenAI's GPT-X og Meta's Llama. Som en "lav-latency AI-applikations-firewall" hævder Lakera at være i stand til at sikre kommunikation mellem og inden for generative AI-applikationer.
Databasen, der blev brugt af Lakeras første produkt, Lakera Guard, blev oprettet ved hjælp af en række forskellige kilder, herunder intern maskinlæringsforskning, open source-datasæt fra websteder som Hugging Face, og et interaktivt spil kaldet Gandalf, der tester spillernes evne til at narre systemet til at afsløre en hemmelig adgangskode. Lakera's "prompt injektion taksonomi", som klassificerer disse angreb, blev udviklet ved hjælp af disse interaktioner.
For hurtigt at identificere ondsindede prompte injektioner, udvikler virksomheden sine egne modeller. Ved løbende at lære af et stort antal generative AI-interaktioner er disse modeller i stand til at genkende farlige tendenser og tilpasse sig nye trusler.
Virksomheder kan beskytte sig mod skadelige prompter ved at integrere Lakera Guard API. Derudover har Lakera skabt modeller, der leder efter skadeligt indhold, såsom bandeord, voldeligt indhold, hadefulde ytringer og seksuelt indhold, i prompter og applikationsoutput. Selvom de også bruges i andre situationer, er disse detektorer især nyttige til apps, der interagerer med offentligheden, såsom chatbots. Med kun én linje kode kan virksomheder inkorporere Lakeras indholdsmodereringsfunktioner og indstille specifikke indholdstærskler via et centraliseret politikkontrolpanel.
Med denne friske kapital på $20 millioner har Lakera til hensigt at øge sit globale fodaftryk, især i USA. Bemærkelsesværdige kunder af virksomheden findes allerede i Nordamerika, såsom den canadiske enhjørning Cohere og den amerikanske AI-startup Respell.
Sikring af AI-applikationer er et mål, der deles af SaaS-udbydere, store virksomheder og udbydere af AI-modeller. Selvom interessen kommer fra en række forskellige brancher, er virksomheder inden for finansielle tjenesteydelser tidlige brugere og særligt opmærksomme på sikkerheden og overholdelsestruslerne. For at forblive konkurrencedygtige forstår de fleste virksomheder, at de skal integrere generativ kunstig intelligens i deres grundlæggende forretningsdrift.
Ud over Atomico deltog Redalpine, Citi Ventures og Dropbox's venturekapitalafdeling i Lakeras serie A-investering.