Lakera, une startup suisse consacrée à la protection des systèmes d'IA générative contre les invites frauduleuses et autres dangers, a levé 20 millions de dollars lors d'une levée de fonds de série A, menée par une société de capital-risque européenne Atomico.
Bien que l’IA générative ait acquis beaucoup de popularité, comme le démontrent des applications bien connues comme ChatGPT, les problèmes de sécurité et de confidentialité des données restent des problèmes majeurs pour les entreprises. L'IA générative est alimentée par de grands modèles de langage (LLM), qui permettent aux machines de produire et de comprendre du texte d'une manière similaire à celle des humains. Les invites malveillantes, cependant, ont la capacité de tromper ces modèles et de les amener à effectuer des tâches indésirables, comme divulguer des informations sensibles ou autoriser un accès non autorisé à des réseaux privés. Avec Lakera, ces risques croissants d’« injection rapide » doivent être résolus.
Créée en 2021 à Zurich, Lakera a démarré ses activités en octobre de l'année dernière avec 10 millions de dollars de capital d'amorçage. Son objectif est de protéger les entreprises contre les failles de sécurité LLM telles que les injections rapides et les fuites de données. Leur technologie fonctionne avec plusieurs LLM, notamment Claude d'Anthropic, Bard de Google, GPT-X d'OpenAI et Llama de Meta. En tant que « pare-feu d'applications d'IA à faible latence », Lakera prétend être capable de sécuriser la communication entre et au sein des applications d'IA génératives.
La base de données utilisée par le premier produit de Lakera, Lakera Guard, a été créée à l'aide de diverses sources, notamment des recherches internes sur l'apprentissage automatique, des ensembles de données open source provenant de sites Web comme Hugging. Face, et un jeu interactif appelé Gandalf qui teste la capacité des joueurs à tromper le système pour qu'il divulgue un mot de passe secret. La « taxonomie d'injection rapide » de Lakera, qui classe ces attaques, a été développée à l'aide de ces interactions.
Afin d’identifier rapidement les injections d’invites malveillantes, l’entreprise développe ses propres modèles. En apprenant continuellement d’un grand nombre d’interactions génératives d’IA, ces modèles sont capables de reconnaître les tendances dangereuses et de s’adapter aux nouvelles menaces.
Les entreprises peuvent se protéger contre les invites nuisibles en intégrant l'API Lakera Guard. En outre, Lakera a créé des modèles qui recherchent les contenus préjudiciables, tels que les grossièretés, les contenus violents, les discours de haine et les contenus à caractère sexuel, dans les invites et les sorties des applications. Bien qu’ils soient également utilisés dans d’autres situations, ces détecteurs sont particulièrement utiles pour les applications qui interagissent avec le public, comme les chatbots. Avec une seule ligne de code, les entreprises peuvent intégrer les fonctionnalités de modération de contenu de Lakera et définir des seuils de contenu spécifiques via un panneau de contrôle de politique centralisé.
Avec ce nouveau capital de 20 millions $, Lakera entend accroître sa présence mondiale, notamment aux Etats-Unis. Des clients notables de l'entreprise existent déjà en Amérique du Nord, comme la licorne canadienne Cohere et la startup américaine d'IA Respell.
La sécurisation des applications d'IA est un objectif partagé par les fournisseurs SaaS, les grandes entreprises et les fournisseurs de modèles d'IA. Bien que l’intérêt émane de divers secteurs, les entreprises de services financiers sont les premières à l’adopter et sont particulièrement conscientes des menaces en matière de sécurité et de conformité. Pour rester compétitives, la majorité des entreprises comprennent qu’elles doivent intégrer l’IA générative dans leurs opérations commerciales fondamentales.
Outre Atomico, Redalpine, Citi Ventures et la division de capital-risque de Dropbox ont participé à l'investissement de série A de Lakera.