El estado de la investigación
Puntaje de peligro de diff (DRS) es una tecnología impulsada por IA construida en Meta que predice la probabilidad de que un cambio de código cause un incidente de producción, incluso conocido como SEV. Construido en un LLMA LLM de fino, DRS evalúa los cambios de código y los metadatos para producir una puntuación de peligro y resaltar los fragmentos de código potencialmente riesgosos. Hoy, el DRS alimenta muchas características de los riesgos que optimizan la calidad del producto, la productividad del desarrollador y la eficiencia de la capacidad computacional. En particular, los DRS nos han ayudado a eliminar las principales congelaciones de códigos, permitiendo a los desarrolladores destinar código cuando históricamente no pudieron con un impacto reducido para la experiencia del cliente y el negocio.
Por que importa
El incremento de software está repleto de riesgos, especialmente para productos y tecnologías intrincados, en rápida crecimiento y subida. Correcto a que Meta opera a escalera entero, necesitamos las mejores herramientas posibles para mitigar el peligro y proteger tanto la experiencia del agraciado como los resultados del anunciante.
La IA está transformando cómo construimos productos, por lo que nos comprometimos a aplicar IA para mejorar cada aspecto del proceso de incremento de software. El peligro de producción fue una de las áreas que abordamos primero. Teorizamos que, si está equipado con un maniquí que podría predecir si un cambio de código podría causar un SEV, podríamos construir características y flujos de trabajo para mejorar casi todos los aspectos de la escritura y la presentación del código.
Donado que los casos de uso de los DRS son demasiado numerosos para cubrir en profundidad aquí, nos centraremos en uno: Código Desenfrielo. Para Meta, los incidentes de producción pueden impulsar una experiencia de agraciado negativa significativa y un impacto en el anunciante. Por esta razón, algunos equipos han «congelado» partes principales «congeladas» de la cojín de código para períodos confidenciales como Cyber 5 Holiday Shopping Week, evitando que los ingenieros se envíen el código de remisión para estrechar el peligro de incidentes. Para ciertos equipos, ha escaso su congelación del código de importación navideño, lo que ha llevado a mejoras significativas en la productividad.
Si adecuadamente esto tuvo claros beneficios de confiabilidad, la compensación fue una reducción sustancial en la productividad. Los DRS permitieron un enfoque más matizado, permitiendo a los desarrolladores aterrizar cambios de beocio peligro durante estos períodos al tiempo que minimizan los incidentes de producción, protegiendo así la experiencia del agraciado, el negocio y la productividad. De hecho, el DRS ha impulsado ganancias significativas de productividad en muchos períodos sensibles. Durante uno de esos períodos, un evento de socio importante en 2024, obtuvimos más de 10,000 cambios en el código (que anteriormente no podían tener aterrizado durante una congelación) con un impacto de producción reducido, lo que permite la innovación continua y el éxito del cliente. Por otra parte, al diligenciar la productividad y el peligro de esta forma, nos beneficiamos dos veces: a través de más código aterrizado y a través de menos tiempo de ingeniería dedicado a detectar, comprender y mitigar los incidentes de producción.
Code Unfrese funciona adecuadamente, pero es solo el manifestación de lo que la tecnología puede hacer. Comprender el peligro, incluso de forma imperfecta y a nivel estadístico, ha impulsado las mejoras para Meta en más formas de las que anticipamos: ¡hay 19 casos de uso para herramientas de peligro y crecimiento!
A dónde nos dirigimos a continuación
El éxito de los DRS ha estimulado la creación de nuevas características de peligro a través de Meta que abarcan todo el ciclo de vida del incremento, desde la planificación hasta el monitoreo posterior a la manumisión. La demanda de construir tales características incluso nos llevó a construir la plataforma de conciencia de riesgos para proporcionar API de disección de riesgos e integraciones de herramientas.
Imaginamos cuatro direcciones principales para la conciencia del peligro en los próximos meses y abriles.
Primero, si adecuadamente hemos gastado una acceso de funciones con DRS en la plataforma de conciencia de riesgos, desde optimizar la selección de compilación y prueba hasta mejorar la confiabilidad, clasificar revisores de código y analizar los riesgos de manumisión, creemos que esto es solo el manifestación. Un problema crítico en la ingeniería de software es maximizar la tasa de innovación sujeto a un borde de confiabilidad, por lo que las aplicaciones de la comprensión del peligro son prácticamente inagotables. Creemos que el peligro de código puede desempeñar un papel importante en la restablecimiento de esta compensación, por lo que desarrollaremos características más conscientes del peligro mientras mejoramos su calidad. A medida que mejoren el maniquí de peligro, los datos de características y las experiencias de los usuarios, veremos mayores beneficios del mundo positivo para las personas que usan productos y empresas de Meta que anuncian con Meta.
En segundo zona, nos expandiremos más allá del peligro de cambio de código al peligro de cambio de configuración. Si adecuadamente los cambios en el código causan la pluralidad de SEV en Meta, los cambios de configuración son otra categoría ilustre. Por esta razón, hemos ampliado el RAP para incluir modelos que predicen el peligro de varios cambios de configuración. Estos esfuerzos son de última procreación, centrados en un ámbito de investigación abierta y anteriormente en el continuo de investigación a producción, pero creemos que pronto presentarán a las familias propias, al igual que los DRS hoy.
Tercero, queremos automatizar el paso de mitigación de riesgos. En zona de marcar las diferencias riesgosas y encomendar revisores apropiados o mecanismos de reversión, queremos utilizar agentes de IA para gestar de forma proactiva los cambios en la centro de peligro. Esto se puede hacer para el código en movimiento (es aseverar, diffs o solicitudes de linaje) y para el código en reposo para estrechar el peligro de cojín de código de remisión. Por otra parte, una vez que estamos armados con una longevo comprensión de los riesgos de configuración, estos agentes podrán negociar de forma flexible a través de los cambios de código y configuración.
Cuarto, utilizaremos cada vez más los resultados del verbo natural para mostrar a los humanos lo que estas tecnologías conscientes de los riesgos están haciendo y por qué. Al ayudar a los ingenieros a comprender la argumento detrás del puntaje de peligro, los capacitaremos para mitigar los riesgos o darle al maniquí comentarios para mejorar la precisión. Esto crea un rizo de enseñanza para mejorar tanto nuestros modelos de peligro como la experiencia del agraciado final. La explicación de LLM sigue siendo un ámbito abierta de investigación, pero nuestros equipos están trabajando activamente para ofrecer respuestas a preguntas comunes.
Estamos entusiasmados por el futuro del incremento de software con conocimiento de riesgos, y esperamos estudiar de, y con nuestros colegas en la industria a medida que avanzamos en este valioso dominio.
Analizar los papeles
«Moverse más rápido y estrechar el peligro: el uso de LLM en la implementación de manumisión«
Expresiones de obligación
Nos gustaría devolver a todos los miembros del equipo y al liderazgo que contribuyeron a hacer que el esfuerzo DRS sea exitoso en Meta. Rui Abreu, David Amsallem, Parveen Bansal, Kaavya Chinniah, Brian Ellis, James Everingham, Peng Fan, Ford Garberson, Jun GE, Kelly Hirano, Kosay Jabre, David Khavari, Sahil Kumar, Ajay Lingapuram, Yalin Liu, Audris Mockus, Megh, Vijar, Vijarhta, Vijarhta, Vijarhtat Murali, Beldad Montes, Aishwarya Girish Paraspatki, Akshay Patel, Brandon Reznicek, Peter C Rigby, Maher Saba, Babak Shakibi, Roy Shen, Gursharan Singh, Matt Steiner, Weiyan Sun, Ryan Tracy, Siri Uppalapati y Nachiappan Nagappan.