En Amazon, nuestra civilización, basada en un debate honesto y transparente sobre nuestras oportunidades de crecimiento, nos permite centrarnos en cambiar e innovar para elevar continuamente el típico de nuestra capacidad de ofrecer valía a nuestros clientes. A principios de este mes, tuvimos la oportunidad de compartir un ejemplo de este proceso en funcionamiento en Mantle, nuestro motor de inferencia de próxima gestación para Roca Amazónica. A medida que la inferencia generativa de IA y las cargas de trabajo de ajuste continúan evolucionando, debemos transformarse la forma en que ofrecemos la inferencia a nuestros clientes de una modo optimizada, lo que conduce al explicación de Mantle.
Cuando nos propusimos reimaginar la cimentación de nuestro motor de inferencia de próxima gestación, hicimos de elevar el nivel de seguridad nuestra máxima prioridad. AWS comparte el enfoque inquebrantable de nuestros clientes en la seguridad y la privacidad de los datos. Esto ha sido fundamental para nuestro negocio desde el principio y estuvo especialmente presente desde los primeros días de Amazon Bedrock. Hemos entendido desde el principio que las cargas de trabajo de inferencia de IA generativa presentan una oportunidad sin precedentes para que los clientes aprovechen el valía disfrazado de sus datos, pero con esa oportunidad surge la menester de certificar los más altos estándares en seguridad, privacidad y cumplimiento a medida que nuestros clientes construyen sistemas de IA generativa que procesan sus datos más sensibles e interactúan con sus sistemas más críticos.
Como punto de partida, Amazon Bedrock está diseñado con los mismos estándares de seguridad operativa que se ven en AWS. AWS siempre ha utilizado un maniquí de privilegios mínimos para las operaciones, donde cada cirujano de AWS tiene entrada solo al conjunto leve de sistemas necesarios para realizar la tarea asignada, pequeño al tiempo en que se necesita ese privilegio. Cualquier entrada a sistemas que almacenan o procesan datos o metadatos de clientes se registra, se monitorea para detectar anomalías y se audita. AWS protege contra cualquier hecho que deshabilite o eluda estos controles. Encima, en Amazon Bedrock sus datos nunca se utilizan para entrenar ningún maniquí. Los proveedores de modelos no tienen ningún mecanismo para entrar a los datos de los clientes, porque la inferencia se realiza solamente interiormente de la cuenta propiedad de Amazon Bedrock a la que los proveedores de modelos no tienen entrada. Esta sólida postura de seguridad ha sido un coeficiente esencia para que nuestros clientes desbloqueen el potencial de las aplicaciones de IA generativa para sus datos confidenciales.
Con Mantle, elevamos el listel aún más. Siguiendo el planteamiento del Sistema Nitro AWShemos diseñado Mantle desde cero para que tenga entrada de cirujano cero (ZOA), donde hemos excluido intencionalmente cualquier medio técnico para que los operadores de AWS accedan a los datos de los clientes. En cambio, los sistemas y servicios se administran mediante automatización y API seguras que protegen los datos de los clientes. Con Mantle, no existe ningún mecanismo para que ningún cirujano de AWS inicie sesión en los sistemas informáticos subyacentes o acceda a los datos del cliente, como solicitudes de inferencia o completaciones. Herramientas de comunicación interactiva como Secure Shell (SSH), Administrador de sesiones de AWS Systems Managery las consolas seriales no están instaladas en ninguna parte de Mantle. Encima, todas las actualizaciones del software de inferencia deben firmarse y veracidad antiguamente de poder implementarse en el servicio, lo que garantiza que solo se ejecute el código aceptado en Mantle.
Mantle utiliza el recientemente enérgico Capacidad de atestación de instancia EC2 para configurar un entorno informático reforzado, restringido e inmutable para el procesamiento de datos de los clientes. Los servicios de Mantle que son responsables de manejar los pesos de los modelos y realizar operaciones de inferencia según las indicaciones del cliente están respaldados encima por la adhesión seguridad de las mediciones de certificación firmadas criptográficamente desde el Módulo de plataforma confiable Nitro (NitroTPM).
Cuando un cliente candela a un punto final de Mantle (por ejemplo, bedrock-mantle.(regions).api.aws) como aquellos que sirven al API de respuestas En Amazon Bedrock, los datos del cliente (solicitudes) abandonan el entorno del cliente a través de TLS y se cifran hasta el servicio Mantle, que opera con ZOA. Durante todo el flujo y en Mantle, ningún cirujano, ya sea de AWS, el cliente o un proveedor de modelos, puede entrar a los datos del cliente.
Pensando en el futuro
El diseño ZOA de Mantle ejemplifica el compromiso a prolongado plazo de AWS con la seguridad y privacidad de los datos de nuestros clientes. Es este enfoque el que ha permitido a los equipos de AWS cambiar para elevar aún más el nivel de seguridad. Al mismo tiempo, hemos puesto a disposición de todos los clientes las capacidades informáticas confidenciales fundamentales que utilizamos internamente en Amazon, como NitroTPM Attestation, para que las utilicen en Cirro de computación elástica de Amazon (Amazon EC2).
No nos detendremos aquí; Nos comprometemos a seguir invirtiendo para mejorar la seguridad de sus datos y a brindarle más transparencia y señal sobre cómo lo logramos.
Sobre los autores
Antonio Liguori es vicepresidente de AWS e ingeniero distinguido de Amazon Bedrock, e ingeniero principal de Mantle.