El nuevo marco de código abierto tiene como objetivo facilitar la protección de los LLM

eSentire, especialista canadiense en detección y respuesta gestionadas (MDR), ha abierto un marco diseñado para garantizar un uso más seguro de LLM. El marco se basa en el uso de implementaciones de IA en sus propias operaciones.

eSentire dice que su puerta de enlace LLM de código abierto ayudará a las empresas a gestionar mejor la seguridad del modelo de IA. Su lanzamiento es parte de un impulso mayor de la compañía para avanzar en la seguridad dentro del LLM y campos más amplios de la IA.

"Puedes escribir una función que llame a un LLM, pero no puedes inspeccionar cómo el LLM va a tomar una decisión, como pedir la opinión del usuario", dijo a The Stack el vicepresidente de eSentire Labs, Alex Feick. "Los defensores deben considerar que cualquier resultado de un LLM podría ser hostil".

Si bien las amenazas TI normales pueden incluir cosas como intrusiones en la red, proteger la IA requiere prestar especial atención a los datos. En ese sentido, eSentire dice que su puerta de enlace puede ayudar a detectar ataques comunes, como el envenenamiento de datos, que pueden frustrar las implementaciones de LLM y de IA.

"Se notificará al cliente y, a través de nuestras otras capacidades [de detección y respuesta administradas], eSentire podría tomar acciones de contención a nivel de usuario o activo", dijo Feick.

"Para poder detectar el 'envenenamiento' de LLM, las organizaciones deben tener algún tipo de puerta de enlace de LLM para que los equipos de seguridad puedan registrar y revisar las interacciones de LLM de su empresa".

Parte del secreto de esa visibilidad es el uso de software de código abierto. Feick dijo que, por diseño, la puerta de enlace eSentire es de código abierto para brindar una mejor visibilidad en un campo emergente.

"Lo hemos hecho de código abierto porque queremos brindar a los usuarios una mayor transparencia sobre cómo se pueden implementar el registro de LLM y otras medidas de seguridad dentro de una puerta de enlace de LLM", explicó Feick.

"Queríamos ofrecer a los profesionales de la seguridad un prototipo para que pudieran comprender mejor el valor de una puerta de enlace y explorar las capacidades que una organización podría querer buscar al elegir una puerta de enlace comercial".

eSentire hace que su código Gateway esté disponible en GitHub.