Esencial para muchas industrias que van desde imágenes generadas por computadora de Hollywood hasta diseño de productos, las herramientas de modelado 3D a menudo usan indicaciones de texto o imagen para dictar diferentes aspectos de la apariencia visual, como el color y la forma. Por mucho que esto tenga sentido como primer punto de contacto, estos sistemas todavía están limitados en su realismo adecuado a su negligencia de poco central para la experiencia humana: el tacto.
Fundamental para la singularidad de los objetos físicos son sus propiedades táctiles, como la aspereza, la irregularidad o la sensación de materiales como la madera o la piedra. Los métodos de modelado existentes a menudo requieren experiencia avanzadilla en diseño asistido por computadora y rara vez respaldan la feedback táctil que puede ser crucial sobre cómo percibimos e interactuamos con el mundo físico.
Con eso en mente, los investigadores del Laboratorio de Informática e Inteligencia Químico del MIT (CSAIL) han creado un nuevo sistema para espigarse modelos 3D utilizando indicaciones de imagen, replicando efectivamente tanto la apariencia visual como las propiedades táctiles.
La útil «TactStyle» del equipo de CSAIL permite a los creadores espigarse modelos 3D basados en imágenes al tiempo que incorpora las propiedades táctiles esperadas de las texturas. TACTSTYLE separa la estilización visual y geométrica, lo que permite la replicación de propiedades visuales y táctiles de una sola entrada de imagen.
La útil «TactStyle» permite a los creadores espigarse modelos 3D basados en imágenes al tiempo que incorpora las propiedades táctiles esperadas de las texturas.
El estudiante de doctorado Faraz Faruqi, autor principal de un nuevo artículo sobre el tesina, dice que TACTSTYLE podría tener aplicaciones de grande importancia, que se extiende desde la escenografía del hogar y los accesorios personales hasta las herramientas de enseñanza táctiles. TACTSTYLE permite a los usuarios descargar un diseño cojín, como un soporte para auriculares desde Thingiverse, y personalizarlo con los estilos y texturas que desean. En la educación, los alumnos pueden explorar diversas texturas de todo el mundo sin entregarse el cátedra, mientras que en el diseño de productos, la prototipos rápidos se vuelve más realizable a medida que los diseñadores imprimen rápidamente iteraciones múltiples para refinar las cualidades táctiles.
«Se puede imaginar usar este tipo de sistema para objetos comunes, como stands telefónicos y casos de auriculares, para permitir texturas más complejas y mejorar la feedback táctil de varias maneras», dice Faruqi, quien coescribió el documento contiguo con el profesor asociado del MIT Stefanie Mueller, líder del agrupación de Interacción de Computador Humano (HCI) en CSAIL. «Puede crear herramientas educativas táctiles para demostrar una variedad de conceptos diferentes en campos como biología, geometría y topografía».
Los métodos tradicionales para replicar texturas implican el uso de sensores táctiles especializados, como Gelsight, desarrollados en el MIT, que tocan físicamente un objeto para capturar su microgeometría superficial como un «campo de prestigio». Pero esto requiere tener un objeto físico o su superficie registrada para la replicación. TACTSTYLE permite a los usuarios replicar la microgeometría de la superficie aprovechando la IA generativa para difundir un campo de prestigio directamente a partir de una imagen de la textura.
Por otra parte de eso, para plataformas como el repositorio de impresión 3D Thingiverse, es difícil tomar diseños individuales y personalizarlos. De hecho, si un adjudicatario carece de circunstancias técnicos suficientes, cambiar un diseño ejecuta manualmente el peligro de «romperlo» para que ya no se pueda imprimir. Todos estos factores estimularon a Faruqi a preguntarse sobre la creación de una útil que permite la personalización de modelos descargables en un parada nivel, pero que asimismo preserva la funcionalidad.
En experimentos, TactStyle mostró mejoras significativas sobre los métodos de estilización tradicionales al difundir correlaciones precisas entre la imagen visual de una textura y su campo de prestigio. Esto permite la replicación de propiedades táctiles directamente desde una imagen. Un cuestionario psicofísico mostró que los usuarios perciben las texturas generadas por TactStyle como similares tanto a las propiedades táctiles esperadas a partir de la entrada visual como a las características táctiles de la textura innovador, lo que lleva a una experiencia táctil y visual unificada.
TACTSTYLE aprovecha un método preexistente, llamado «Style2fab«Para modificar los canales de color del maniquí para que coincidan con el estilo visual de la imagen de entrada. Los usuarios primero proporcionan una imagen de la textura deseada, y luego se utiliza un autointeroder de variaciones oportuno para traducir la imagen de entrada a un campo de prestigio correspondiente. Este campo de prestigio se aplica para modificar la geometría del maniquí para crear las propiedades táctiles.
Los módulos de estilización de color y geometría funcionan en tándem, estilizando las propiedades visuales y táctiles del maniquí 3D a partir de una sola entrada de imagen. Faruqi dice que la innovación central se encuentra en el módulo de estilización de geometría, que utiliza un maniquí de difusión oportuno para difundir campos de prestigio a partir de imágenes de textura, poco que los marcos de estilización previos no se replican con precisión.
Mirando con destino a el futuro, Faruqi dice que el equipo tiene como objetivo extender TACTSTYLE para difundir nuevos modelos 3D utilizando IA generativa con texturas integradas. Esto requiere explorar exactamente el tipo de tubería necesaria para replicar tanto la forma como la función de los modelos 3D que se fabrican. Todavía planean investigar los «desajustes visuo hápticos» para crear experiencias novedosas con materiales que desafían las expectativas convencionales, como poco que parece estar hecho de mármol pero parece que está hecho de madera.
Faruqi y Mueller son coautores del nuevo artículo contiguo con los estudiantes de doctorado Maxine Perroni-Charf y Yunyi Zhu, visitando al estudiante de pregrado Jaskaran Singh Walia, visitando al estudiante de industria Shuyue Feng y al profesor asistente Donald DeGraen del laboratorio de tecnología de interfaz humana (HIT) en New Zealand.