En una oficina en el Laboratorio de Informática e Inteligencia Sintético del MIT (CSAIL), una mano robótica suave enrolla cuidadosamente sus dedos para comprender un objeto pequeño. La parte intrigante no es el diseño mecánico o los sensores incrustados; de hecho, la mano no contiene ningún. En cambio, todo el sistema se sostén en una sola cámara que observa los movimientos del autómata y usa esos datos visuales para controlarlo.
Esta capacidad proviene de un nuevo sistema que se desarrollaron los científicos de CSAIL, ofreciendo una perspectiva diferente sobre el control robótico. En circunscripción de usar modelos diseñados a mano o matrices de sensores complejos, permite a los robots asimilar cómo sus cuerpos responden a los comandos de control, sólo a través de la visión. El enfoque, llamado campos jacobianos neurales (NJF), le da a los robots un tipo de autoconciencia corporal. Un papel de entrada campechano sobre el trabajo fue publicado en Naturaleza el 25 de junio.
«Este trabajo apunta a un cambio de robots de programación a robots de enseñanza», dice Sizhe Lester Li, estudiante de doctorado del MIT en Ingeniería Eléctrica e Informática, Afiliado de CSAIL e investigador principal sobre el trabajo. «Hoy, muchas tareas de robótica requieren una ingeniería y codificación extensas. En el futuro, imaginamos mostrar un autómata qué hacer y dejar que aprenda a conseguir el objetivo de forma autónoma».
La motivación proviene de un replanteamiento simple pero poderoso: la barrera principal para la robótica flexible y asequible no es hardware: su control de la capacidad, que podría lograrse de múltiples maneras. Los robots tradicionales están construidos para ser rígidos y ricos en sensores, lo que facilita la construcción de un exacto digital, una réplica matemática precisa utilizada para el control. Pero cuando un autómata es suave, deformable o de forma irregular, esos supuestos se desmoronan. En circunscripción de vincular a los robots a coincidir con nuestros modelos, NJF voltea el script, dando a los robots la capacidad de asimilar su propio maniquí interno de la observación.
Mira y aprende
Este desacoplamiento del modelado y el diseño de hardware podría expandir significativamente el espacio de diseño para la robótica. En robots suaves y bio inspirados, los diseñadores a menudo incrustan sensores o refuerzan partes de la estructura solo para que el modelado sea factible. NJF eleva esa restricción. El sistema no necesita sensores a costado o ajustes de diseño para hacer posible el control. Los diseñadores son más libres de explorar morfologías no convencionales y sin restricciones sin preocuparse por si podrán modelarlas o controlarlas más tarde.
«Piensa en cómo aprendes a controlar tus dedos: te mueves, observas, te adaptas», dice Li. «Eso es lo que hace nuestro sistema. Experimenta con acciones aleatorias y descubre qué controles se mueven qué partes del autómata».
El sistema ha demostrado ser robusto en una variedad de tipos de robots. El equipo probó NJF en una mano robótica suave neumática capaz de pellizcar y agarrar, una mano allegro rígida, un bienhechor robótico impreso en 3D e incluso una plataforma giratoria sin sensores incrustados. En todos los casos, el sistema aprendió tanto la forma del autómata como cómo respondió a las señales de control, solo de la visión y el movimiento accidental.
Los investigadores ven el potencial mucho más allá del laboratorio. Los robots equipados con NJF podrían algún día realizar tareas agrícolas con precisión de colocación a nivel de centímetro, intervenir en sitios de construcción sin matrices de sensores elaborados o navegar en entornos dinámicos donde los métodos tradicionales se rompen.
En el núcleo de NJF hay una red neuronal que captura dos aspectos entrelazados de la realización de un autómata: su geometría tridimensional y su sensibilidad para controlar las entradas. El sistema se sostén en los campos de radiación neural (NERF), una técnica que reconstruye escenas 3D de imágenes mediante el mapeo de coordenadas espaciales a los títulos de color y densidad. NJF extiende este enfoque aprendiendo no solo la forma del autómata, sino incluso un campo jacobiano, una función que predice cómo cualquier punto en el cuerpo del autómata se mueve en respuesta a los comandos del motor.
Para entrenar el maniquí, el autómata realiza movimientos aleatorios, mientras que varias cámaras registran los resultados. No se requiere supervisión humana o conocimiento previo de la estructura del autómata: el sistema simplemente infiere la relación entre las señales de control y el movimiento al observar.
Una vez que se completa el entrenamiento, el autómata solo necesita una sola cámara monocular para el control de circuito cerrado en tiempo vivo, que se ejecuta a aproximadamente 12 Hertz. Esto le permite observarse continuamente a sí mismo, planificar y comportarse de guisa receptiva. Esa velocidad hace que NJF sea más viable que muchos simuladores basados en la física para robots blandos, que a menudo son demasiado intensivos computacionalmente para el uso en tiempo vivo.
En simulaciones tempranas, incluso los dedos y controles deslizantes 2D simples pudieron asimilar esta mapeo usando solo unos pocos ejemplos. Al modelar cómo los puntos específicos se deforman o cambian en la respuesta a la acto, NJF construye un atlas denso de controlabilidad. Ese maniquí interno le permite internacionalizar el movimiento en todo el cuerpo del autómata, incluso cuando los datos son ruidosos o incompletos.
«Lo que es en realidad interesante es que el sistema se resuelve por sí solo qué motores controlan qué partes del autómata», dice Li. «Esto no está programado: emerge lógicamente a través del educación, al igual que una persona que descubre los recadero en un nuevo dispositivo».
El futuro es suave
Durante décadas, Robotics ha favorecido las máquinas rígidas y fácilmente modeladas, como los brazos industriales que se encuentran en las fábricas, porque sus propiedades simplifican el control. Pero el campo se ha movido alrededor de robots suaves y bioinspirados que pueden adaptarse al mundo vivo de guisa más fluida. La compensación? Estos robots son más difíciles de modelar.
«La robótica hoy en día a menudo se siente fuera del efecto adecuado a sensores costosos y una programación compleja. Nuestro objetivo con los campos neurales jacobianos es dominar la barrera, haciendo que la robótica sea asequible, adaptable y accesible para más personas. Visión es un sensor resistente y confiable», dice el autor senior y profesor asistente del MIT Vincent Sitzmann, quien lidera el agrupación de representación de la campo. «Abre la puerta a robots que pueden intervenir en entornos desordenados y no estructurados, desde granjas hasta sitios de construcción, sin infraestructura costosa».
«La visión por sí sola puede proporcionar las señales necesarias para la colocación y el control, eliminando la obligación de GPS, sistemas de seguimiento externos o sensores a costado complejos. Esto abre la puerta a un comportamiento robusto y adaptativo en entornos no estructurados, desde drones que navegan en el interior o bajo tierra sin mapas hasta manipuladores móvil RUS, profesor del MIT de Ingeniería Eléctrica e Ciencias de la Computación y Director de CSAIL. «Al asimilar de la feedback visual, estos sistemas desarrollan modelos internos de su propio movimiento y dinámica, lo que permite una operación flexible y auto-supervisada donde fallarían los métodos de colocación tradicionales».
Si admisiblemente la capacitación de NJF actualmente requiere múltiples cámaras y debe rehacerse para cada autómata, los investigadores ya están imaginando una traducción más accesible. En el futuro, los aficionados podrían registrar los movimientos aleatorios de un autómata con su teléfono, al igual que tomaría un video de un automóvil de arrendamiento antiguamente de conducir, y usar ese metraje para crear un maniquí de control, sin conocimiento previo o equipos especiales.
El sistema aún no se generaliza en diferentes robots, y carece de fuerza o detección táctil, lo que limita su efectividad en las tareas ricas en contacto. Pero el equipo está explorando nuevas formas de encarar estas limitaciones: mejorar la propagación, el manejo de oclusiones y extender la capacidad del maniquí para razonar sobre horizontes espaciales y temporales más largos.
«Así como los humanos desarrollan una comprensión intuitiva de cómo sus cuerpos se mueven y responden a los comandos, NJF le da a los robots ese tipo de autoconciencia encarnada solo a través de la visión», dice Li. «Esta comprensión es una almohadilla para la manipulación y control flexibles en entornos del mundo vivo. Nuestro trabajo, esencialmente, refleja una tendencia más amplia en robótica: alejarse de la programación manual de modelos detallados para enseñar robots a través de la observación y la interacción».
Este documento reunió la visión por computadora y el trabajo de educación auto-supervisado del laboratorio Sitzmann y la experiencia en robots blandos del laboratorio RUS. Li, Sitzmann y Rus coautorizan el documento con los afiliados de CSAIL Annan Zhang SM ’22, un estudiante de doctorado en Ingeniería Eléctrica e Informática (EECS); Boyuan Chen, un estudiante de doctorado en EECS; Hanna Matusik, investigadora de pregrado en ingeniería mecánica; y Chao Liu, un postdocs en el Sensible City Lab en el MIT.
La investigación fue apoyada por el Fondo de Investigación de Salomón Buchsbaum a través del Comité de Apoyo de Investigación del MIT, una subsidio presidencial del MIT, la Fundación Franquista de Ciencias y el Instituto de Ciencia y Tecnología Gwangju.