Lakera, швейцарский стартап, занимающийся защитой генеративных систем искусственного интеллекта от мошеннических запросов и других опасностей, собрал 20 миллионов долларов в рамках раунда сбора средств серии А, возглавляемого европейской венчурной фирмой Атомико.
Хотя генеративный искусственный интеллект приобрел большую популярность, о чем свидетельствуют такие известные приложения, как ChatGPT, проблемы безопасности и конфиденциальности данных продолжают оставаться ключевыми проблемами для бизнеса. Генеративный ИИ основан на больших языковых моделях (LLM), которые позволяют машинам создавать и понимать текст так же, как это делают люди. Однако вредоносные подсказки могут обмануть эти модели и заставить их выполнять нежелательные задачи, такие как раскрытие конфиденциальной информации или предоставление несанкционированного доступа к частным сетям. С помощью Lakera необходимо устранить эти растущие риски «быстрого введения».
Компания Lakera, основанная в 2021 году в Цюрихе, начала свою деятельность в октябре прошлого года с стартовым капиталом в размере 10 миллионов долларов США. -модели-из-злонамеренных-подсказок/). Его цель — защитить предприятия от недостатков безопасности LLM, таких как быстрые инъекции и утечки данных. Их технология работает с несколькими LLM, в том числе с Claude из Anthropic, Google Bard, OpenAI GPT-X и Meta из Llama. Компания Lakera утверждает, что в качестве «брандмауэра приложений искусственного интеллекта с малой задержкой» она способна обеспечить безопасность связи между генеративными приложениями искусственного интеллекта и внутри них.
База данных, используемая в первом продукте Lakera, Lakera Guard, была создана с использованием различных источников, включая внутренние исследования машинного обучения, наборы данных с открытым исходным кодом с таких веб-сайтов, как Hugging. Face и интерактивная игра под названием Gandalf, которая проверяет способность игроков обманом заставить систему раскрыть секретный пароль. «Таксономия быстрого внедрения» Лакера, которая классифицирует эти атаки, была разработана с помощью этих взаимодействий.
Для быстрого выявления вредоносных оперативных внедрений бизнес разрабатывает собственные модели. Постоянно обучаясь на большом количестве генеративных взаимодействий ИИ, эти модели способны распознавать опасные тенденции и адаптироваться к новым угрозам.
Компании могут защитить себя от вредоносных запросов, интегрировав API Lakera Guard. Кроме того, компания Lakera создала модели, которые ищут в подсказках и результатах приложения вредоносный контент, например ненормативную лексику, жестокий контент, разжигание ненависти и сексуальный контент. Хотя они используются и в других ситуациях, эти детекторы особенно полезны для приложений, которые взаимодействуют с публикой, таких как чат-боты. С помощью всего лишь одной строки кода компании могут включить функции модерации контента Lakera и установить конкретные пороговые значения контента через централизованную панель управления политиками.
Благодаря новому капиталу в 20 миллионов долларов Lakera намерена расширить свое глобальное присутствие, особенно в Соединенных Штатах. В Северной Америке уже существуют известные клиенты бизнеса, такие как канадский единорог Cohere и американский стартап Respell, занимающийся искусственным интеллектом.
Защита приложений ИИ — это цель, которую разделяют поставщики SaaS, крупные корпорации и поставщики моделей ИИ. Хотя интерес исходит от различных отраслей, компании, предоставляющие финансовые услуги, первыми внедрили эту технологию и особенно осведомлены об угрозах безопасности и нормативно-правового соответствия. Чтобы оставаться конкурентоспособными, большинство компаний понимают, что им необходимо интегрировать генеративный искусственный интеллект в свои основные бизнес-операции.
Помимо Atomico, в инвестициях Lakera Series A участвовали Redalpine, Citi Ventures и подразделение венчурного капитала Dropbox.