Lakera garante US$ 20 milhões para proteger empresas contra ameaças de IA generativa e vulnerabilidades de LLM

Lakera garante US$ 20 milhões para proteger empresas contra ameaças de IA generativa e vulnerabilidades de LLM

Lakera, uma startup suíça dedicada a proteger sistemas generativos de IA contra avisos fraudulentos e outros perigos, levantou US$ 20 milhões em uma rodada de arrecadação de fundos da Série A, liderada por uma empresa europeia de capital de risco Atômico.

Embora a IA generativa tenha adquirido muita força – como demonstrado por aplicativos conhecidos como ChatGPT – as preocupações com segurança e privacidade de dados continuam a ser problemas importantes para as empresas. A IA generativa é alimentada por grandes modelos de linguagem (LLMs), que permitem que as máquinas produzam e compreendam texto de maneira semelhante à dos humanos. Prompts maliciosos, no entanto, têm a capacidade de enganar esses modelos para que executem tarefas indesejadas, como divulgar informações confidenciais ou permitir acesso não autorizado a redes privadas. Com Lakera, estes riscos crescentes de “injeção imediata” devem ser abordados.

Tendo sido estabelecida em 2021 em Zurique, a Lakera iniciou suas operações em outubro do ano passado com US$ 10 milhões em capital inicial. Seu objetivo é proteger as empresas contra falhas de segurança do LLM, como injeções rápidas e vazamentos de dados. Sua tecnologia funciona com vários LLMs, incluindo Claude da Anthropic, Bard do Google, GPT-X da OpenAI e Llama da Meta. Como um “firewall de aplicativos de IA de baixa latência”, Lakera afirma ser capaz de proteger a comunicação entre e dentro de aplicativos de IA generativos.

O banco de dados usado pelo primeiro produto da Lakera, Lakera Guard, foi criado usando uma variedade de fontes, incluindo pesquisas internas de aprendizado de máquina, conjuntos de dados de código aberto de sites como Hugging Face, e um jogo interativo chamado Gandalf que testa a capacidade dos jogadores de enganar o sistema para que revele uma senha secreta. A “taxonomia de injeção imediata” de Lakera, que classifica esses ataques, foi desenvolvida com a ajuda dessas interações.

Para identificar rapidamente injeções maliciosas, a empresa desenvolve seus próprios modelos. Ao aprender continuamente com um grande número de interações generativas de IA, estes modelos são capazes de reconhecer tendências perigosas e adaptar-se a novas ameaças.

As empresas podem se proteger contra solicitações prejudiciais integrando a API Lakera Guard. Além disso, Lakera criou modelos que procuram conteúdo prejudicial, como palavrões, conteúdo violento, discurso de ódio e conteúdo sexual, em prompts e resultados de aplicativos. Embora também sejam usados ​​em outras situações, esses detectores são especialmente úteis para aplicativos que interagem com o público, como chatbots. Com apenas uma linha de código, as empresas podem incorporar os recursos de moderação de conteúdo da Lakera e definir limites de conteúdo específicos por meio de um painel de controle de política centralizado.

Com este novo capital de US$ 20 milhões, a Lakera pretende aumentar sua presença global, especialmente nos Estados Unidos. Já existem clientes notáveis ​​do negócio na América do Norte, como o unicórnio canadense Cohere e a startup americana de IA Respell.

Proteger aplicativos de IA é um objetivo compartilhado por provedores de SaaS, grandes corporações e fornecedores de modelos de IA. Embora o interesse venha de vários setores, as empresas de serviços financeiros são as primeiras a adotar e estão particularmente conscientes das ameaças à segurança e à conformidade. Para se manterem competitivas, a maioria das empresas entende que devem integrar a IA generativa nas suas operações comerciais fundamentais.

Além da Atomico, Redalpine, Citi Ventures e a divisão de capital de risco do Dropbox participaram do investimento Série A da Lakera.

Code Labs Academy © 2024 Todos os direitos reservados.