- Ejecutor es el ámbito de inferencia de Pytorch para dispositivos de borde desarrollado por Meta con el apoyo de líderes de la industria como Arm, Apple y Qualcomm.
- Los modelos de Ejecutar Machine Learning (ML) en el dispositivo es cada vez más importante para la tribu de aplicaciones (FOA) de Meta. Estos modelos en el dispositivo mejoran la latencia, mantienen la privacidad del afortunado al amparar los datos en los dispositivos de los usuarios y habilitar la funcionalidad fuera de itinerario.
- Estamos mostrando algunas de las características de IA en el dispositivo, impulsadas por el ejecutor, que atienden a miles de millones de personas en Instagram, Whatsapp, Messenger y Facebook.
- Estos despliegue han mejorado significativamente el rendimiento y la eficiencia de los modelos ML en el dispositivo en el FOA de Meta y aliviaron la investigación en la ruta de producción.
Durante el año pasado, nos hemos resuelto Ejecutoruna alternativa de código campechano para la inferencia en dispositivos en dispositivos móviles y de borde, en nuestra tribu de aplicaciones (FOA) y vio mejoras significativas en el rendimiento del maniquí, la progreso de la privacidad y la latencia sobre nuestra pila antecedente de educación obligatorio en el dispositivo (ML).
EjecutorCh fue construido en colaboración con líderes de la industria y utiliza tecnologías Pytorch 2.x para convertir modelos en una representación estable y compacta para una implementación capaz en el dispositivo. Su tiempo de ejecución compacto, modularidad y extensibilidad facilitan a los desarrolladores nominar y personalizar los componentes, lo que garantiza la portabilidad en las plataformas, la compatibilidad con Pytorch y el parada rendimiento.
Adoptar ejecutorch nos ha ayudado a mejorar nuestras experiencias de afortunado en nuestros productos y servicios utilizados por miles de millones de personas en todo el mundo.
Los siguientes son solo algunos ejemplos de los diversos modelos ML en nuestras aplicaciones en dispositivos Android e iOS que admite el ejecutor.
Habilitando cortaduras en Instagram
Cortaduras es una de las últimas características de Instagram para la expresión creativa y la narración de historias. Permite a las personas variar fotos y videos de sus momentos favoritos en pegatinas animadas y personalizadas que pueden compartir a través de carretes o historias. Migramos la función de cortaduras en Instagram para ejecutarse con Ejecutorch habilitando Aquistadouna traducción liviana del Maniquí de Meta segmento de cualquier cosa (SAM). Tanto para Android como para iOS, el ejecutor fue significativamente más rápido en comparación con la pila antecedente, lo que se tradujo en aumentos en los usuarios activos diarios de cortaduras (DAU).
Perfeccionamiento de videos y llamadas calidad en whatsapp
WhatsApp debe ser servible y confiable independientemente del encantado de bandada de su conexión de red. Para obtener esto, desarrollamos modelos de estimación de encantado de bandada, adaptados para varias plataformas. Estos modelos ayudan a detectar y utilizar el encantado de bandada de red habitable, optimizando la calidad de la transmisión de video sin comprometer la suavidad de las videollamadas.
Estos modelos deben ser mucho precisos y ejecutarse de la modo más capaz posible. Al disfrutar el ejecutor, hemos observado mejoras para los modelos de estimación de encantado de bandada en el rendimiento, la confiabilidad y las métricas de eficiencia. Específicamente, reducimos el tiempo de carga del maniquí y el tiempo de inferencia promedio sustancialmente al tiempo que reducimos las métricas de APP no receptivas (ANR). En el camino, fortalecemos aún más las garantías de seguridad en comparación con el ámbito móvil Pytorch más antiguo al ampliar pruebas de pelusaque implican suministrar entradas no válidas o aleatorias a un software y monitoreo para excepciones. Con la señal positiva de estas versiones, ahora estamos migrando varios otros modelos esencia de WhatsApp, como los que todavía para la anulación de ruido en el dispositivo y la progreso del video, al albacea.
Giro de ML en servicio para el enigmático de extremo a extremo en Messenger
Enigmático de extremo a extremo (E2EE) en Messenger Asegura que nadie excepto usted y las personas con las que está hablando puede ver sus mensajes, ni siquiera Meta. Ejecutorch ha autorizado E2EE en Messenger moviendo modelos del banda del servidor para ejecutar en el dispositivo, lo que permite que las transferencias de datos permanezcan encriptadas.
Para habilitar E2EE, migramos e implementamos varios modelos, incluido un maniquí de identificación de idioma en el dispositivo (LID) en Messenger. Lid es un maniquí mensajero que detecta el idioma del texto entregado y permite varias tareas aguas debajo, incluida la traducción, el esquema de mensajes y las recomendaciones de contenido personalizadas. Con el ejecutor, la tapa en el dispositivo es significativamente más rápida y conserva la capacidad de servidor y red.
Para preservar el entorno E2EE de Messenger, todavía hemos aplicado el ejecutor para mover otros modelos de transporte en el dispositivo, incluido uno para optimizar la calidad de las videollamadas (similar a los modelos de estimación de encantado de bandada de WhatsApp) y otro para cortaduras de imágenes (similar a los cortaduras en Instagram). Estos cambios dieron como resultado una mejor eficiencia de infraestructura al liberar la capacidad y permitirnos prosperar estas características a nivel mundial.
Recomendaciones de música de fondo para Facebook
Facebook emplea un maniquí de IA central llamado SceneX que realiza una variedad de tareas, incluyendo registro/categorización de imágenes, subtítulos, creación de fondos generados por IA para imágenes y verificaciones de seguridad de imágenes. Cambiar la escenax al albacea ahora le permite mejorar las historias de Facebook de las personas sugiriendo música de fondo basada en imágenes.
Con el propagación del albacea, vimos mejoras de rendimiento en SceneX en todos los dispositivos de muerto a entrada tono en comparación con la pila más antigua. Varios otros modelos, incluidos los que mejoran la calidad de la imagen y realizan la reducción de ruido de fondo durante las llamadas, ahora se encuentran en varias etapas de las pruebas A/B.
Construyendo el futuro de la IA en el dispositivo con la comunidad del albacea
Esperamos que los resultados que hemos pasado aprovechan al albacea para ayudar a resolver algunos de los desafíos de ML en el dispositivo de Meta a escalera sean estimulante para el resto de la industria. Te invitamos a contribuir al ejecutor y comparte comentarios sobre nuestro Página de Github. Igualmente puede unirse a nuestra creciente comunidad en el Servidor de Discord de EjecutorCh.
Esperamos impulsar más innovación en ML en el dispositivo y dar forma al futuro de la IA en el dispositivo anejo con la comunidad.