Lakera — швейцарский стартап, разрабатывающий технологии для защиты приложений генеративного ИИ от вредоносных запросов и других угроз.

суть проекта Lakera заключается в защите больших языковых моделей (LLM) от уязвимостей, таких как утечки данных и вредоносные запросы («prompt injections»). эти модели, используемые в генеративном ИИ, могут быть подвержены атакам, где специально сформулированные запросы заставляют ИИ выполнять нежелательные действия, например раскрывать конфиденциальную информацию.

Lakera предлагает «брандмауэр для приложений ИИ с низкой задержкой» для обеспечения безопасности трафика. основной продукт Lakera Guard основан на базе данных, которая собирает информацию из различных источников, включая открытые датасеты и собственные исследования машинного обучения. Lakera Guard также включает модели для сканирования запросов и ответов на наличие токсичного контента (речь ненависти, сексуальный контент, насилие, ругательства). также разработана интерактивная игра Gandalf, которая помогает выявлять новые типы атак. игра Gandalf представляет собой интерактивную платформу, предназначенную для тестирования и обучения в области кибербезопасности генеративного ИИ. в игре пользователям предлагается попытаться обмануть ИИ и заставить его раскрыть секретный пароль. в процессе игры уровни становятся всё более сложными, что делает задачу «взлома» всё труднее.

эти взаимодействия позволяют Lakera создать «таксономию инъекций запросов», классифицирующую атаки по категориям. благодаря данным, полученным из игры Gandalf, Lakera может непрерывно обновлять и совершенствовать свои модели обнаружения угроз.