Desde su emanación en 2018, Tecnología Just Walk Out de Amazon Just Walk Out ha transformado la experiencia de operación al permitir a los clientes entrar en una tienda, acoger artículos y salir sin tener que hacer culo para remunerar. Puedes encontrar esta tecnología sin caja en más de 180 establecimientos de terceros en todo el mundo, incluidos minoristas de viajes, estadios deportivos, lugares de entretenimiento, centros de conferencias, parques temáticos, tiendas de conveniencia, hospitales y campus universitarios. El sistema integral de la tecnología Just Walk Out determina automáticamente qué productos eligió cada cliente en la tienda y proporciona recibos digitales, lo que elimina la carestia de hacer culo en la caja.
En esta publicación, mostramos la última vivientes de la tecnología Just Walk Out de Amazon, impulsada por un maniquí de almohadilla multimodal (FM). Diseñamos este FM multimodal para tiendas físicas utilizando una obra basada en transformadores similar a la que sustenta muchas aplicaciones de inteligencia químico (IA) generativa. El maniquí ayudará a los minoristas a gestar recibos de operación en extremo precisos utilizando datos de múltiples entradas, incluida una red de cámaras de video elevadas, sensores de peso especializados en los estantes, planos de planta digitales e imágenes de catálogo de productos. Para decirlo en términos simples, un maniquí multimodal significa utilizar datos de múltiples entradas.
Nuestras inversiones en investigación y ampliación (I+D) en FM multimodales de última vivientes permiten que el sistema Just Walk Out se implemente en una amplia variedad de situaciones de operación con longevo precisión y a un pequeño costo. De forma similar a los grandes modelos de jerigonza (LLM) que generan texto, el nuevo sistema Just Walk Out está diseñado para gestar un recibo de cesión preciso para cada comprador que visitante la tienda.
El desafío: tocar escenarios complejos de compras de culo larga
Conveniente a su progresista entorno sin caja, las tiendas Just Walk Out nos plantearon un desafío técnico único. Los minoristas y los compradores, así como Amazon, exigen una precisión de casi el 100 por ciento en la caja, incluso en las situaciones de operación más complejas. Estas incluyen comportamientos de operación inusuales que pueden crear una secuencia larga y complicada de actividades que requieren un esfuerzo adicional para analizar lo que sucedió.
Las generaciones anteriores del sistema Just Walk Out utilizaban una obra modular; abordaban situaciones de operación complejas dividiendo la visitante del comprador en tareas discretas, como detectar interacciones con el comprador, hacer un seguimiento de los artículos, identificar productos y contar lo que se selecciona. Estos componentes individuales se integraban luego en canales secuenciales para permitir la funcionalidad normal del sistema. Si aceptablemente este enfoque produjo recibos de ingreso precisión, se requieren importantes esfuerzos de ingeniería para tocar los desafíos en situaciones nuevas y nunca antiguamente vistas y escenarios de operación complejos. Esta demarcación restringió la escalabilidad de este enfoque.
La posibilidad: la IA multimodal Just Walk Out
Para afrontar estos desafíos, presentamos un nuevo FM multimodal que diseñamos específicamente para entornos de tiendas minoristas, lo que permite que la tecnología Just Walk Out maneje escenarios de compras reales y complejos. El nuevo FM multimodal perfeccionamiento aún más las capacidades del sistema Just Walk Out al generalizarse de forma más efectiva a nuevos formatos de tiendas, productos y comportamientos de los clientes, lo que es crucial para ampliar la tecnología Just Walk Out.
La incorporación del enseñanza continuo permite que el maniquí de entrenamiento se adapte automáticamente y aprenda de los nuevos escenarios desafiantes a medida que surgen. Esta capacidad de automejora ayuda a asegurar que el sistema mantenga un suspensión rendimiento, incluso cuando los entornos de operación continúan evolucionando.
Gracias a esta combinación de enseñanza de principio a fin y propagación mejorada, el sistema Just Walk Out puede tocar una variedad más amplia de entornos minoristas dinámicos y complejos. Los minoristas pueden implementar esta tecnología con confianza, sabiendo que les brindará a sus clientes una experiencia de cuota sin inconvenientes.
El sucesivo vídeo muestra la obra de nuestro sistema en acto.
Los instrumentos esencia de nuestro maniquí de IA multimodal Just Walk Out incluyen:
- Entradas de datos flexibles –El sistema rastrea la interacción de los usuarios con los productos y los instrumentos fijos, como estanterías o frigoríficos. Se apoyo principalmente en transmisiones de vídeo de múltiples vistas como entradas, utilizando sensores de peso exclusivamente para rastrear artículos pequeños. El maniquí mantiene una representación digital en 3D de la tienda y puede alcanzar a imágenes del catálogo para identificar productos, incluso si el comprador devuelve artículos al estante de forma incorrecta.
- Tokens de IA multimodales para representar los recorridos de los compradores – Los datos de entrada multimodales son procesados por los codificadores, que los comprimen en tokens de transformador, la dispositivo básica de entrada para el maniquí de recibo. Esto permite que el maniquí interprete los movimientos de la mano, diferencie entre artículos y cuente con precisión y celeridad la cantidad de artículos recogidos o devueltos al estante.
- Puesta al día continua de recibos – El sistema utiliza tokens para crear recibos digitales para cada comprador. Puede diferenciar entre distintas sesiones de operación y actualiza dinámicamente cada recibo a medida que los clientes retiran o devuelven artículos.
Capacitación de Just Walk Out FM
Al introducir grandes cantidades de datos multimodales en Just Walk Out FM, descubrimos que podía gestar constantemente (o, técnicamente, «predecir») recibos precisos para los compradores. Para mejorar la precisión, diseñamos más de 10 tareas auxiliares, como detección, seguimiento, segmentación de imágenes, conexión a tierra (vinculación de conceptos abstractos con objetos del mundo positivo) y registro de actividades. Todas estas tareas se aprenden en el interior de un único maniquí, lo que perfeccionamiento la capacidad del maniquí para manejar formatos de tienda, productos y comportamientos de los clientes nuevos y nunca antiguamente vistos. Esto es crucial para transigir la tecnología Just Walk Out a nuevas ubicaciones.
El entrenamiento del maniquí de IA, en el que se introducen datos seleccionados en algoritmos seleccionados, ayuda al sistema a perfeccionarse para producir resultados precisos. Descubrimos rápidamente que podíamos acelerar el entrenamiento de nuestro maniquí utilizando un volante de datos que extrae y inscripción continuamente datos de ingreso calidad en un ciclo que se refuerza a sí mismo. El sistema está diseñado para integrar estas mejoras progresivas con una mínima intervención manual. El sucesivo diagrama ilustra el proceso.
Para entrenar un FM de forma eficaz, invertimos en una infraestructura robusta que pueda procesar de forma competente las enormes cantidades de datos necesarios para entrenar redes neuronales de ingreso capacidad que imitan la toma de decisiones humana. Construimos la infraestructura para nuestro maniquí Just Walk Out con la ayuda de varios Servicios web de Amazon (AWS) servicios, incluidos Servicio de almacenamiento simple de Amazon (Amazon S3) para el almacenamiento de datos y Amazon SageMaker para entrenamiento.
Para entrenar un FM de forma eficaz, invertimos en una infraestructura robusta que pueda procesar de forma competente las enormes cantidades de datos necesarios para entrenar redes neuronales de ingreso capacidad que imitan la toma de decisiones humana. Construimos la infraestructura para nuestro maniquí Just Walk Out con la ayuda de varios Servicios web de Amazon (AWS) servicios, incluidos Servicio de almacenamiento simple de Amazon (Amazon S3) para el almacenamiento de datos y Amazon SageMaker para entrenamiento.
A continuación se muestran algunos pasos esencia que seguimos en la capacitación de nuestro FM:
- Selección de fuentes de datos desafiantes – Para entrenar nuestro maniquí de IA para la tecnología Just Walk Out, nos centramos en los datos de entrenamiento de escenarios de operación especialmente difíciles que ponen a prueba los límites de nuestro maniquí. Aunque estos casos complejos constituyen solo una pequeña fracción de los datos de operación, son los más valiosos para ayudar al maniquí a formarse de sus errores.
- Explotar el etiquetado inevitable – Para aumentar la eficiencia operativa, desarrollamos algoritmos y modelos que asignan automáticamente etiquetas significativas a los datos. Encima de la predicción de recibos, nuestros algoritmos de etiquetado automatizados cubren las tareas auxiliares, lo que garantiza que el maniquí adquiera capacidades integrales de comprensión y razonamiento multimodal.
- Preentrenamiento del maniquí – Nuestro FM está entrenado previamente en una amplia colección de datos multimodales en una amplia variedad de tareas, lo que perfeccionamiento la capacidad del maniquí para generalizarse a nuevos entornos de tiendas nunca antiguamente vistos.
- Ajuste fino del maniquí – Finalmente, refinamos aún más el maniquí y utilizamos técnicas de cuantificación para crear un maniquí más pequeño y más competente que utiliza computación de borde.
A medida que el maniquí de datos siga funcionando, identificará e incorporará progresivamente más casos complejos y de ingreso calidad para probar la solidez del maniquí. Estas muestras complejas adicionales se incorporan al conjunto de entrenamiento, lo que perfeccionamiento aún más la precisión y la aplicabilidad del maniquí en nuevos entornos de tiendas físicas.
Conclusión
En esta publicación, mostramos cómo nuestro sistema de IA multimodal representa nuevas posibilidades significativas para la tecnología Just Walk Out. Con nuestro enfoque progresista, nos estamos alejando de los sistemas de IA modulares que dependen de subcomponentes e interfaces definidos por humanos. En cambio, estamos construyendo sistemas de IA más simples y escalables que se pueden entrenar de principio a fin. Aunque al punto que estamos empezando, la IA multimodal ha elevado el nivel de nuestro sistema de recibos, que ya es muy preciso, y nos permitirá mejorar la experiencia de operación en más tiendas de tecnología Just Walk Out en todo el mundo.
Turista Acerca de Amazon para deletrear el anuncio oficial sobre el nuevo sistema de IA multimodal y obtener más información sobre las últimas mejoras en la tecnología Just Walk Out.
Para entender dónde puede encontrar las ubicaciones de tecnología Just Walk Out, visite Ubicaciones de tecnología Just Walk Out cerca de ustedObtenga más información sobre cómo impulsar su tienda o recinto con la tecnología Just Walk Out de Amazon en Tecnología Just Walk Out Página del producto.
Turista Cree y escale la próxima ola de innovación en IA en AWS para obtener más información sobre cómo AWS puede reinventar las experiencias de los clientes con el conjunto más completo de servicios de IA y ML.
Acerca de los autores
Tian Lan es un investigador principal en AWS. Actualmente lidera los esfuerzos de investigación para desarrollar la tecnología Just Walk Out 2.0 de próxima vivientes, transformándola en un maniquí de almohadilla multimodal, centrado en el dominio de almacenamiento y con enseñanza de extremo a extremo.
Chris Broaddus es administrador sénior en AWS. Actualmente, gestiona todos los esfuerzos de investigación para la tecnología Just Walk Out, incluido el maniquí de IA multimodal y otros proyectos, como el enseñanza profundo para la estimación de la postura humana y la predicción de recibos mediante identificación por radiofrecuencia (RFID).