Esquema:Proponemos la Robustez asimétrica certificada Problema que requiere robustez certificada para una sola clase y refleja escenarios reales de confrontación. Esta configuración enfocada nos permite introducir clasificadores convexos de características, que producen radios certificados de forma cerrada y deterministas en el orden de milisegundos.
Figura 1. Ilustración de clasificadores convexos de características y su certificación para entradas de clase sensible. Esta inmueble compone un atlas de características Lipschitz-continuo $varphi$ con una función convexa aprendida $g$. Donado que $g$ es convexo, su plano tangente en $varphi(x)$ lo subestima conjuntamente, lo que produce bolas de normas certificadas en el espacio de características. La condición Lipschitz de $varphi$ produce certificados con la escalera adecuada en el espacio de entrada diferente.
A pesar de su uso generalizado, los clasificadores de educación profundo son extremadamente vulnerables a ejemplos adversarios: pequeñas perturbaciones de imágenes imperceptibles para los humanos que engañan a los modelos de educación forzoso para que clasifiquen incorrectamente la entrada modificada. Esta pasión socava gravemente la confiabilidad de los procesos críticos para la seguridad que incorporan el educación forzoso. Se han propuesto muchas defensas empíricas contra las perturbaciones adversas, que a menudo solo se ven derrotadas más tarde por estrategias de ataque más fuertes. Por lo tanto, nos centramos en clasificadores certificablemente robustosque proporcionan una fianza matemática de que su predicción permanecerá constante para una trola de norma $ell_p$ rodeando de una entrada.
Los métodos de robustez certificada convencionales presentan una serie de inconvenientes, entre ellos, desidia de determinismo, ejecución lenta, escalabilidad deficiente y certificación frente a una única norma de ataque. Sostenemos que estos problemas se pueden solucionar perfeccionando el problema de robustez certificada para que se ajuste más a los entornos adversarios prácticos.
El problema de la robustez certificada asimétrica
Los clasificadores actuales, que son robustos y están certificados, generan certificados para entradas que pertenecen a cualquier clase. Para muchas aplicaciones adversarias del mundo existente, esto es innecesariamente amplio. Consideremos el caso ilustrativo de alguno que redacta un correo electrónico de estafa de phishing mientras intenta evitar los filtros de spam. Este adversario siempre intentará engañar al filtro de spam para que piense que su correo electrónico de spam es desprendido, nunca al revés. En otras palabras, El atacante solo está intentando inducir falsos negativos del clasificador.Las configuraciones similares incluyen detección de malware, señalización de parte falsas, detección de bots en redes sociales, filtrado de reclamos de seguros médicos, detección de fraude financiero, detección de sitios web de phishing y muchos más.
Figura 2. Robustez asimétrica en el filtrado de correo electrónico. En la experiencia, los entornos adversarios suelen requerir una robustez certificada para una sola clase.
Todas estas aplicaciones implican una configuración de clasificación binaria con una clase sensible que un adversario intenta evitar (por ejemplo, la clase de «correo electrónico no deseado»). Esto motiva el problema de Robustez asimétrica certificadacuyo objetivo es proporcionar predicciones certificablemente robustas para las entradas de la clase sensible, manteniendo al mismo tiempo una precisión incorporación y limpia para todas las demás entradas. Ofrecemos un enunciado del problema más formal en el texto principal.
Clasificadores convexos de características
Te proponemos redes neuronales convexas de características para enfrentarse el problema de robustez asimétrica. Esta inmueble compone un atlas de características continuo de Lipschitz simple ${varphi: mathbb{R}^d to mathbb{R}^q}$ con una red neuronal convexa de entrada (ICNN) aprendida ${g: mathbb{R}^q to mathbb{R}}$ (Figura 1). Las ICNN imponen la convexidad desde el logit de entrada hasta el de salida componiendo no linealidades ReLU con matrices de peso no negativas. Donado que una región de audacia ICNN binaria consta de un conjunto convexo y su complemento, agregamos el atlas de características precompuesto $varphi$ para permitir regiones de audacia no convexas.
Los clasificadores convexos de características permiten el cálculo rápido de radios certificados de clase sensible para todas las normas $ell_p$. Usando el hecho de que las funciones convexas están conjuntamente subaproximadas por cualquier plano tangente, podemos obtener un radiodifusión certificado en el espacio de características intermedio. Este radiodifusión se propaga luego al espacio de entrada por Lipschitzness. La configuración asimétrica aquí es crítica, ya que esta inmueble solo produce certificados para la clase logit positiva $g(varphi(x)) > 0$.
La fórmula de radiodifusión certificada por la norma $ell_p$ resultante es particularmente elegante:
(r_p(x) = frac{ color{azur}{g(varphi(x))} } { mathrm{Arista}_p(varphi) color{rojo}{| nabla g(varphi(x)) | _{p,*}}}.)
Los términos no constantes son fácilmente interpretables: el radiodifusión se escalera proporcionalmente a la Confianza del clasificador y a la inversa sensibilidad del clasificadorEvaluamos estos certificados en una variedad de conjuntos de datos, logrando certificados $ell_1$ competitivos y certificados $ell_2$ y $ell_{infty}$ comparables, a pesar de que otros métodos generalmente se adaptan a una norma específica y requieren órdenes de magnitud más de tiempo de ejecución.
Figura 3. Radios certificados de clase sensible en el conjunto de datos de gatos y perros de CIFAR-10 para la norma $ell_1$. Los tiempos de ejecución a la derecha son promedios de los radios $ell_1$, $ell_2$ y $ell_{infty}$ (nótese la escalera logarítmica).
Nuestros certificados son válidos para cualquier norma $ell_p$ y son de forma cerrada y deterministas, ya que requieren solo un paso en torno a delante y en torno a antes por entrada. Estos se pueden calcular en el orden de milisegundos y se escalan correctamente con el tamaño de la red. A modo de comparación, los métodos de vanguardia actuales, como el suavizado casual y la propagación de límites de intervalo, suelen tardar varios segundos en certificar incluso redes pequeñas. Los métodos de suavizado casual asimismo son inherentemente no deterministas, con certificados que se cumplen con una incorporación probabilidad.
Promesa teórica
Si correctamente los resultados iniciales son prometedores, nuestro trabajo teórico sugiere que existe un potencial significativo sin explotar en las ICNN, incluso sin un atlas de características. A pesar de que las ICNN binarias están restringidas al educación de regiones de audacia convexas, demostramos que existe una ICNN que logra una precisión de entrenamiento perfecta en el conjunto de datos de gatos contra perros de CIFAR-10.
Hecho. Existe un clasificador convexo de entrada que logra una precisión de entrenamiento perfecta para el conjunto de datos de gatos frente a perros CIFAR-10.
Sin incautación, nuestra inmueble logra una precisión de entrenamiento de casi nada el 73,4 % sin un atlas de características. Si correctamente el rendimiento del entrenamiento no implica la propagación del conjunto de pruebas, este resultado sugiere que las ICNN son al menos teóricamente capaces de alcanzar el dechado flamante de educación forzoso de sobreajuste al conjunto de datos de entrenamiento. Por lo tanto, planteamos el futuro problema hendido para el campo.
Problema hendido. Aprenda un clasificador convexo de entrada que logre una precisión de entrenamiento perfecta para el conjunto de datos de gatos frente a perros CIFAR-10.
Conclusión
Esperamos que el situación de robustez asimétrica inspire nuevas arquitecturas que sean certificables en este entorno más específico. Nuestro clasificador de características convexas es una de esas arquitecturas y proporciona radios certificados rápidos y deterministas para cualquier norma $ell_p$. Además planteamos el problema hendido de sobreajustar el conjunto de datos de entrenamiento de gatos y perros CIFAR-10 con una ICNN, lo que demostramos que es teóricamente posible.
Esta publicación se plinto en el futuro artículo:
Robustez asimétrica certificada mediante redes neuronales convexas de características
Samuel Pfrommer,
Brendon G. Anderson,
Julien Piet,
Somayeh Sojoudi,
37ª Conferencia sobre Sistemas de Procesamiento de Información Neural (NeurIPS 2023).
Más detalles están disponibles en arXiv y GitHubSi nuestro artículo inspira su trabajo, considere citarlo con:
@inproceedings{
pfrommer2023asymmetric,
title={Asymmetric Certified Robustness via Feature-Convex Neural Networks},
author={Samuel Pfrommer and Brendon G. Anderson and Julien Piet and Somayeh Sojoudi},
booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
year={2023}
}