Tabla de contenidos
Hay un equipo en lo más profundo de Reality Labs (RL) Research encargado de inventar el futuro de la interacción en la realidad aumentada y virtual, que no se limita a mirar un par de años más allá. Están proyectando una visión -basada en su experiencia en campos altamente técnicos- de cómo serán nuestros mundos digitales dentro de 10 o 15 años. Su trabajo consiste en crear la tecnología futura que la gente necesitará para interactuar sin fricciones con esos mundos.
El trabajo que realizan estos investigadores, ingenieros y diseñadores de Reality Labs es de investigación y desarrollo a largo plazo. De hecho, es tan novedoso que, en algunos casos, están inventando ámbitos de investigación científica totalmente nuevos. Las tecnologías resultantes tienen el potencial no sólo de alterar fundamentalmente el curso de la realidad aumentada y virtual. Sino de influir potencialmente en campos tan diversos como la telemedicina y los vuelos espaciales.
Este es el epicentro de la próxima era de la interacción entre el ser humano y el computador. Un audaz proyecto de investigación diseñado para abordar uno de los retos centrales del metaverso: ¿Cómo tocamos el mundo digital?
Tocar el mundo digital con guantes hápticos
Imagina que trabajas en un puzzle virtual en 3D con el avatar 3D ultra realista de un amigo. Cuando coges una pieza de puzzle virtual de la mesa, tus dedos dejan de moverse automáticamente al sentirla dentro de tu agarre. Sientes la nitidez de los bordes de la cartulina y la suavidad de su superficie cuando la sostienes para inspeccionarla más de cerca. Seguida de un satisfactorio chasquido cuando la encajas en su sitio.
Ahora imagina que te sientas a trabajar en una cafetería y que aparecen ante ti una pantalla y un teclado virtuales. El teclado virtual se adapta al tamaño de tus manos y al espacio que tienes disponible, y se personaliza fácilmente para adaptarse a tus preferencias. Puedes sentir el clic de cada tecla, así como los bordes de las teclas virtuales en las yemas de los dedos. Lo que hace que sea tan fácil como escribir en un teclado físico de tamaño perfecto.
¿Cómo mejorarían estas experiencias tu conexión con el mundo virtual? ¿Qué aportaría a tu capacidad de ser productivo o de realizar cualquier acción en el metaverso?
La experiencia más parecida hoy en día esta en el Oculus Quest
Que te permite ver una versión digital de tus manos en la RV y manipular objetos virtuales, pero sin sentirlos realmente en tus manos. Aunque esta posibilidad de utilizar las manos directamente en la RV es una gran mejora con respecto a los mandos táctiles. Sin retroalimentación háptica no podemos ser tan hábiles en el mundo virtual como en el real. El objetivo de esta investigación es cambiar eso.
“El valor de las manos para resolver el problema de la interacción en la RA y la RV es inmenso”. Explica el director de investigación de RL, Sean Keller. Que fundó el equipo y lo hizo crecer pasando de una persona a cientos de expertos de talla mundial en el lapso de siete años. “Utilizamos las manos para comunicarnos con los demás, para aprender sobre el mundo y para actuar en él. Podemos aprovechar toda una vida de aprendizaje motriz si conseguimos llevar la presencia total de las manos a la RA y la RV. La gente podría tocar, sentir y manipular los objetos virtuales igual que los reales. Todo ello sin tener que aprender una nueva forma de interactuar con el mundo.”
El objetivo de Keller es inventar unos guantes hápticos suaves y ligeros
Que aborden las dos vertientes del problema de la interacción AR/VR. Ayudar al computador a entender y reflejar con precisión los movimientos de la mano del usuario. Y reproducir una serie de sensaciones complejas y matizadas para el usuario, como la presión, la textura y la vibración. Todo para crear el efecto de sentir un objeto virtual con las manos. Para tener éxito, estos guantes tendrían que ser elegantes, cómodos, asequibles, duraderos y totalmente personalizables. Podrías emparejarlos con tu casco de RV para vivir una experiencia inmersiva como la de un concierto o una partida de póquer en el metaverso y, con el tiempo, también funcionarían con tus gafas de realidad aumentada. Mucho más que un simple dispositivo periférico, estos guantes harían tangible el mundo virtual.
Pero un guante háptico verdaderamente nuevo requerirá desarrollos innovadores en muchas disciplinas científicas y de ingeniería. El equipo de Keller está a la altura del reto.
“Estamos creando casi todo en esta disciplina desde cero”, dice Keller. “Estamos aprendiendo cómo las personas perciben las sensaciones del tacto y cómo completan las tareas. También estamos averiguando cómo adaptarnos a toda la variedad de formas y tamaños de la mano humana. Al tiempo que mantenemos el acoplamiento mecánico con el usuario. Estamos ampliando los límites de lo que es posible con la robótica blanda y los sistemas de seguimiento instrumentados. Y estamos inventando materiales blandos y tecnologías de fabricación totalmente nuevos: es una ruptura con el pasado”.
Ante este reto monumental, Keller y su equipo empezaron por preguntarse qué haría falta para crear sensaciones hápticas creíbles en la mano.
Obstáculos de hardware en el Guante Háptico
Para ofrecer una sensación táctil realista, un guante háptico necesita cientos de actuadores(motores diminutos) por toda la mano, que se mueven de forma concertada para que el usuario sienta que está tocando un objeto virtual. Pero los actuales actuadores mecánicos generan demasiado calor para que un guante de este tipo pueda llevarse cómodamente todo el día. Además, son demasiado grandes, rígidos, caros y consumen demasiada energía para producir sensaciones táctiles realistas.
Dos años después de empezar, el equipo se encontró con los límites de los componentes eléctricos y metálicos tradicionales. Su hipótesis era que podían sustituir los actuadores mecánicos por otros blandos y flexibles. Fabricados con materiales totalmente nuevos, que pudieran cambiar de forma en respuesta a los movimientos del usuario. Pero estos actuadores aún no existen.
“Categóricamente, no se pueden poner 1.000 pequeños motores y cables en la mano”, explica el director de ingeniería de hardware de RL Research, Tristan Trutna. “No puedes hacerlo aunque tengas infinitos recursos para lograrlo: físicamente, no cabe. Simplemente hay demasiada masa y demasiado calor. Si necesitas miles de fuerzas tangibles en diferentes lugares y a diferentes distancias, necesitas neumática, hidráulica o actuadores electroactivos de alta densidad”.
El equipo recurrió a los campos emergentes de la robótica blanda ya la microfluídica, tecnologías comúnmente utilizadas en las prótesis y los dispositivos de diagnóstico de PdC, respectivamente.
Progresos en actuadores neumáticos
En los últimos dos años, han logrado avances significativos tanto en los actuadores neumáticos, que utilizan la presión del aire para crear fuerza, como en los actuadores electroactivos, que cambian de forma o tamaño en presencia de un campo eléctrico.
Para controlar estos nuevos actuadores blandos, están construyendo el primer procesador microfluídico de alta velocidad del mundo. Un minúsculo chip microfluídico en el guante que controla el flujo de aire que mueve los actuadores. Indicando a las válvulas cuándo y cuánto deben abrirse y cerrarse.
“Lo que diferencia nuestro trabajo del campo de la microfluídica en general es que nos centramos en hacer cosas muy ligeras, fáciles de llevar y rápidas”. Señala el investigador de RL Andrew Stanley. “Para una interacción háptica, el actuador tiene que presionar contra la yema del dedo muy rápidamente cuando ocurre algún evento en la realidad virtual o aumentada. La mayoría de los procesos microfluídicos, como los utilizados en el análisis químico. Ocurren en el orden de los segundos, mientras que nosotros estamos buscando un orden de milisegundos. Podemos conseguir un tiempo de respuesta más rápido con el aire. Con nuestros circuitos lógicos de fluidos, podemos eliminar los pesados componentes electromecánicos del sistema. Reduciendo el número de válvulas electromecánicas que necesitamos para controlar un gran número de actuadores”.
Renderización háptica: Construir una imagen precisa del entorno virtual
Pero incluso con una forma de controlar el flujo de aire, el sistema tendría que saber cuándo y dónde proporcionar las sensaciones adecuadas. Para ello, se necesitaba una tecnología avanzada de seguimiento de la mano que permitiera al ordenador saber con precisión dónde se encuentra la mano en una escena virtual. Si está en contacto con un objeto virtual y cómo interactúa la mano con el objeto.
También se necesitaba un nuevo tipo de software de renderización que pudiera enviar las instrucciones correctas a los actuadores de la mano en el momento preciso. Basándose en la ubicación de la mano y en la comprensión del entorno virtual. Incluyendo la textura, el peso y la rigidez de los objetos virtuales en él.
“La gente suele pensar en el ‘renderizado’ como algo visual”, dice el ingeniero de software de investigación de RL, Forrest Smith. “También utilizamos la palabra ‘render’ para la háptica. Lo que hacemos aquí es tomar el estado de este mundo virtual y tus interacciones con él y renderizarlo a los actuadores para que sientas la sensación correspondiente.”
“Para representar en tiempo real las interacciones con los objetos, tenemos que simular la física correspondiente”, señala el ingeniero de investigación de RL Justin Clark. Un motor de física (el software utilizado para simular las interacciones de los objetos en los videojuegos) determina la dirección, la magnitud y la ubicación de las fuerzas que debe experimentar la mano al interactuar con los objetos virtuales. A continuación, los algoritmos de renderización háptica combinan esta información con las características del dispositivo háptico (como las ubicaciones y propiedades de sus actuadores individuales) para enviar las instrucciones adecuadas al dispositivo.
“Uno de los retos es crear un software que funcione con distintos tipos de actuadores y que admita una amplia gama de experiencias hápticas”. Añade el ingeniero de software de RL Andrew Doxon. “En última instancia, también tendremos que construir herramientas que permitan a la gente crear contenidos hápticos del mismo modo que crearían contenidos visuales o sonoros”.
Combinación de información auditiva, visual y táctil
A medida que el equipo continuaba su trabajo en su cuarto año, surgió un tercer reto. Para conseguir que las texturas y las sensaciones funcionaran, era necesario modelar la física del tacto de forma que imitara la realidad. Pero sin poder recrear completamente la física del mundo real. Aunque los guantes hápticos pueden proporcionar una valiosa retroalimentación, no pueden impedir perfectamente que los dedos se cierren al intentar agarrar un objeto virtual, o que las manos atraviesen una mesa virtual al apoyarlas en la superficie, por ejemplo.
Se orientaron hacia la ciencia de la percepción y la integración multisensorial, es decir, el estudio de cómo los sentidos humanos trabajan juntos para construir nuestra comprensión del mundo.
Sophie Kim, directora científica de investigación de UX, explica cómo el equipo aprovecha las capacidades perceptivas del ser humano para crear sensaciones lo suficientemente convincentes como para resultar creíbles. “Nuestros cerebros son realmente buenos a la hora de tomar un poco de señal háptica, un poco de señal visual, un poco de señal auditiva, y fusionarlo todo para realmente sentir la sensación y estar convencido de que hay un objeto que existe en tu mano”, dice.
El científico de investigación de Reality Labs Perception, Jess Hartcher-O’Brien, describe cómo la manipulación de un cubo puede darnos una idea de cómo podría ser esa integración sensorial en la RA y la RV. “Si cojo un cubo, ya tengo suposiciones sobre el tipo de material que es y su peso”, señala. “Lo agarro y compruebo el material, así que combino las señales visuales sobre las propiedades del material y la información háptica que me llega en el primer momento del impacto. Cuando voy a manipular el objeto, mi cerebro reconoce las fuerzas de fricción y la inercia y puede calcular la densidad o el peso del objeto. Mi sistema visual se actualiza en función del movimiento de mi brazo. La propiocepción me dice dónde está mi brazo en el espacio, a qué velocidad se mueve y qué hacen mis músculos”.
Convencimiento al sistema perceptivo
Un guante háptico puede incluso convencer al sistema perceptivo del usuario de que está sintiendo el peso de un objeto, tirando suavemente de la piel de los dedos del usuario con los actuadores para imitar el tirón de la gravedad sobre un objeto sostenido. Pero todo tiene que estar perfectamente sincronizado.
En un experimento de finales de 2017, que se muestra en el siguiente vídeo, el equipo utilizó un único dispositivo vibrotáctil en la yema de un dedo para proporcionar retroalimentación háptica mientras una serie de esferas virtuales hechas de diferentes materiales -madera, mármol, espuma- caían del cielo en RV. Cada esfera tenía asociadas señales visuales, auditivas y hápticas únicas a medida que caía sobre la punta del dedo virtual del sujeto.
“Todos los tiempos y la ingeniería fueron perfectos para la experiencia audiovisual háptica”, explicó Keller. “Tu podrías sentir que era un trozo de espuma, madera o mármol. Podrías experimentar la sensación de estos materiales golpeando tu dedo suavemente mientras caen. Cuando experimenté eso con el Guante Háptico, fue extraordinario”.
La comodidad se une a la personalización con textiles inteligentes
A medida que el programa maduraba, el equipo comenzó a abordar la comodidad del Guante Háptico y el desafío de integrar sensores y actuadores robóticos en el material del guante. Era fácil ver que un guante rígido, pesado e incómodo, o que se deshace fácilmente, sacaría inmediatamente al usuario de cualquier experiencia virtual. Para evitarlo, el guante necesitaría ser ligero, suave y con larga duración.
“Nos dimos cuenta que necesitábamos miniaturizar las nuevas tecnologías y diseñar sistemas que fueran multifuncionales”, explicó Katherine Healy, ingeniera de procesos de investigación de RL. “Hacer esto nos permitirá encajar más, hacer más en menor espacio, lo cual es esencial para cumplir el factor de comodidad”.
El grupo de materiales comenzó a inventar polímeros nuevos y más económicos, materiales flexibles como plásticos y siliconas, que son cómodos y estirables, pero personalizados a nivel molecular para dar nuevas funcionalidades (“textiles inteligentes”, como se les conoce, también se utilizan en atletas de alto rendimiento). Esto requirió tecnologías de fabricación completamente nuevas para convertir estos nuevos materiales en fibras realmente finas que pueden coserse o tejerse dentro del Guante Háptico.
“Pero los hilos conductores no tienen toda la funcionalidad por sí solos para las interacciones de realidad virtual, por lo que estamos explorando cómo construir múltiples funciones, incluyendo funciones conductivas, capacitivas y sensoriales en la misma fibra o tejido de forma más delgada y portátil”, añadió Kristy Jost, directora científica de investigación de RL.
Construir un guante háptico más delgado y liviano es un desafío
Es por eso que el grupo de materiales está explorando técnicas de fabricación que permitirían que cada guante se ajuste a la medida para una máxima precisión háptica y brindar mejor comodidad. Hacer esto significa desarrollar nuevos métodos para diseñar y construir pequeños actuadores y crear procesos de tejido y bordado para incrustarlos con precisión a los guantes.
“Hoy en día, los guantes son elaborados individualmente por ingenieros y técnicos calificados que fabrican los subsistemas y ensamblan los guantes en gran parte a mano”, dice Healy. “Usamos procesos semiautomatizados en los momentos que podemos, pero la fabricación de estos guantes a escala, requerirá la invención de nuevos procesos de fabricación”.
Inventando el futuro: RL solo está empezando
Algunas de las tecnologías necesarias para ofrecer experiencias hápticas creíbles en la realidad virtual y aumentada aún no existen, pero el departamento de investigación de RL sigue impulsando el estado de la técnica, creando nuevos avances para hacer realidad los guantes hápticos.
“Creo que la háptica será fundamental en la próxima revolución de la interacción persona-computador en la RA/RV y el metaverso”, asegura el director científico de RL Nicholas Colonnese. “En el futuro, podríamos ser capaces de renderizar un “clic háptico” cerrando el bucle sensoriomotor para interactuar con un botón virtual de la RV, o proporcionar una guía de entrenamiento en tiempo real para tu deporte de elección en la RA, o compartir “apretones de mano de emojis hápticos” personalizados cuando saludes a tus amigos en el metaverso”.
El proyecto de los guantes hepáticos de RL comenzó como un tiro a la luna
“Cuando comenzamos el proyecto del guante háptico, nos preguntamos si podríamos construir un dispositivo de consumo asequible y de producción masiva que permita a las personas experimentar cualquier interfaz tangible en cualquier lugar”, dice Keller. “No podríamos hacerlo, no sin inventar nuevos materiales, nuevos sensores y actuadores, nuevos métodos de integración y sistemas, nuevos algoritmos de renderizado, nuevos motores de física, y la lista continúa. Simplemente no fue posible, pero hemos forjado un camino que es plausible y podría permitirnos llegar allí “.
Durante los últimos siete años, Keller y su equipo se han enfrentado a lo desconocido, siendo pioneros en nuevas técnicas, nuevas tecnologías y nuevas disciplinas. Y recién están comenzando.
“Las posibilidades de esta investigación son inmensas”, dice Trutna. “Si bien estamos enfocados en la construcción de un guante háptico, los avances que estamos logrando en el control y conmutación fluídica, sin mencionar la robótica suave, podrían conducir a avances radicales para la industria médica en el diagnóstico de laboratorio en chip, bioquímica de microfluidos, e incluso dispositivos portátiles y de asistencia “.
“Reality Labs Research es una fragua de innovaciones”, agrega Keller. “Y es uno de los lugares perfectos para ser un investigador aplicado porque tiene un circuito de retroalimentación: tiene una forma de evaluar el impacto de las cosas que está descubriendo, aprendiendo y construyendo. En última instancia, puedes ver cómo estas cosas que creas realmente impactan a las personas y la vida de las personas. Es un trabajo muy gratificante y puedes verlo hasta el final en un lugar como Reality Labs “.
Si no quieres perderte ningún detalle acerca de videojuegos, tecnología, anime y series, mantente alerta de nuestra sección de noticias.
