Cómputo facial: una breve historia y el futuro prometedor de Personal XR

Cada mes de junio, los técnicos, los administradores de carteras de pensiones y los hilos de Twitter de todo el mundo miran a Santa Clara mientras Apple organiza su Conferencia Mundial de Desarrolladores (WWDC, por sus siglas en inglés) anual.

Entre otras cosas, el dub-dub es más conocido por ser el lugar de nacimiento de casi todo el conjunto de tecnología de consumo omnipresente de Apple. El iPhone, iPad, Apple Watch y Apple TV originales y las actualizaciones posteriores se lanzaron en el evento.

Este año, este grupo de dispositivos de consumo se une a un producto completamente nuevo por primera vez desde 2015. Ese nuevo producto es el VisionPro.

No hay nada que pueda decirles sobre VisionPro o la visión de Apple para el futuro de la realidad extendida que una rápida navegación por Twitter , LinkedIn o Internet en general no pueda. El objetivo de este artículo es, en cambio, tratar de observar:

1. cómo llegamos aquí;
2. por qué la gente está construyendo computadoras para tu cara y
3. los muchos caminos divergentes por los que esto puede llevarnos.

Descripción general del contenido

• XR: una breve historia
• Auriculares hoy: Code New Worlds
• La próxima frontera para las computadoras espaciales
• Solicitudes de Startups

XR: una breve historia

Para los no iniciados, XR se refiere a la realidad extendida : una combinación general de realidad aumentada (AR, por ejemplo, Pokemon Go), realidad virtual (VR, por ejemplo, Oculus Rift) y Realidad 'R mayúscula' (por ejemplo, Google Street View). La realidad mixta es otro término que existe en gran medida en la misma dimensión que AR y, por lo tanto, se ignorará en su mayoría aquí.

La visión moderna de XR comienza alrededor de 1935. Este fue el año en que Stanley Weinbaum publicó Pygmalion's Spectacles . En este cuento, el protagonista Dan Burke está desilusionado con la realidad en la que se encuentra. Para remediarlo, se pone unas gafas que lo transportan a un mundo de eterna juventud y felicidad. El único inconveniente es que obedece sus reglas (_T&C_s, en el lenguaje moderno).

Avance rápido unas décadas y comenzamos a ver las primeras versiones de XR en entornos reales. Esto comienza con ' Sensorama ' de Morton Heilig (excluido de la línea de tiempo a continuación), una especie de experiencia cinematográfica en 4D que proporcionaba al espectador olores y una silla vibratoria además de los sonidos y la vista de la película.

También se excluye de la línea de tiempo a continuación la primera aplicación militar de XR. En 1961, Philco Headsight se convirtió en el primer auricular con tecnología de seguimiento de movimiento.

Aunque desde entonces ha sido descontinuado, el Oculus Rift fue el primer auricular en obtener un atractivo comercial real. Después de Oculus, muchos de los grandes nombres de la tecnología se unieron a la acción. Curiosamente, la mayoría tenía diferentes visiones sobre quién sería la base principal de clientes para estos auriculares.

El caso de uso dominante esperado para la mayoría fue en aplicaciones de entretenimiento envolvente, más específicamente en juegos. Este fue el camino seguido por Oculus, Sony a través de su PlayStation VR y Meta con la línea de productos Meta Quest.

Otros optaron por centrarse predominantemente en la empresa. Los primeros pioneros en este segmento incluyeron HTC Vive y Magic Leap. Estos pioneros centraron sus objetivos en cosas como plataformas de colaboración empresarial (al igual que algunas de las obras de metaverso que se describen a continuación), capacitación en respuesta a emergencias y educación médica.

Luego, el ciclo de exageración del metaverso . Las corporaciones de todo el mundo comenzaron a imaginar cómo sería si tomáramos nuestro entorno vivido pero lo hiciéramos *virtual*. La visión era esencialmente SecondLife , pero esta vez con menos pornografía y más trabajo corporativo.

A raíz del COVID-19, el auge del trabajo remoto creó una supuesta necesidad de entornos digitales colaborativos. Microsoft se unió a la fiesta con su propio metaverso industrial. Accenture lanzó una división de 'servicios de metaverso'. Facebook cambió su nombre a Meta y comenzó a gastar mil millones de dólares al mes en esta visión, que culminó en esta brillante presentación .

Me divertí recorriendo el metaverso, pero el ciclo de exageraciones en torno a él fue un momento importante para crear conciencia sobre la llegada de lo que Apple llamaría esta semana computación espacial. A medida que este espacio evoluciona, existe la posibilidad de que muchas de estas ideas vuelvan a estar de moda.

Otros casos de uso de XR comercial variaron de lo práctico a lo benigno. Algunos de ellos están comenzando a convertirse en un lugar común en los back-end web populares. Usted elige cuál se ajusta a qué descripción de las siguientes:

• turismo virtual
• Inspecciones virtuales de viviendas
• Prueba de ropa virtual
• Capacitación y educación corporativa (si va a ver alguno de estos videos, hágase un favor y que sea este)
• Simulaciones quirúrgicas
• Diseño y creación de prototipos de productos
• Retransmisiones deportivas de Disney.

La mayoría de los dispositivos existentes enumerados anteriormente intentaron lograr algún tipo de equilibrio con los casos de uso a los que se dirigían. El más exitoso hasta la fecha por ventas, el Meta Quest, lo hizo posicionándose con fuerza como dispositivo de juego.

Normalmente, esto sería una lección. Sin embargo, si alguien se opone a esta tendencia, es Apple. Apple tiene un amplio conjunto de productos ya omnipresentes (1.600 millones de iPhones activos, por nombrar uno) que pueden y servirán como puntos finales secundarios para las aplicaciones VisionPro.

Si bien las demostraciones inaugurales de Apple para VisionPro se realizaron en entornos de trabajo, es más que probable que termine siendo una realidad virtual de propósito general. Preveo su función como una forma de aumento espacial para el ecosistema de productos existente de Apple (por ejemplo, Maps, FaceTime, Siri y otros) a medida que su visión de las computadoras cambia de modalidad. Más sobre otras aplicaciones potenciales más adelante en este artículo.

Auriculares hoy: Code New Worlds

Computación espacial

En lugar de subirse a la ola de las palabras de moda tecnológicas de hoy, Apple usó su poder de creación de mercado informativo para estampar autoridad en uno nuevo en WWDC.

Si bien suena lo suficientemente intuitivo en la superficie, profundicemos un poco más en lo que este término realmente puede transmitir en el futuro.

Además de los obvios beneficios de marca de acuñar una frase de moda, el uso del término "informática" se siente extremadamente deliberado. Representa el siguiente paso lógico de las eras anteriores de 'computación de escritorio' y 'computación móvil'. Tal como lo ha hecho Apple con las generaciones anteriores de computadoras personales, su objetivo será hacer que este concepto y terminología sean omnipresentes.

Para citar a Tim Cook de WWDC:

“En el futuro, te preguntarás cómo llevaste tu vida sin realidad aumentada”

Además del cambio en el hardware, ¿en qué se diferencia funcionalmente la computación espacial de sus predecesores?

Podría decirse que el cambio inmediato más importante será de trabajar en 2D a trabajar en 3D. Tareas como la visualización, la navegación en el espacio de trabajo (es decir, hacer clic y mover cosas) y la colaboración se habilitarán de maneras que no se veían en las modalidades anteriores.

A más largo plazo, es más probable que la conciencia contextual y la interconectividad demuestren las características innovadoras de la computación espacial.

• La conciencia contextual se refiere a la capacidad de la computadora para;

  i) adaptar las recomendaciones y notificaciones existentes al contexto sensorial de un usuario (es decir, recomendaciones basadas en patrones de ubicación y movimiento, cambios automáticos en las presentaciones de pantalla en función de los hábitos del usuario, etc.) y

  ii) brindar asistencia personalizada (posiblemente de agencia) a los usuarios a medida que completan tareas en la realidad extendida.

• La interconectividad se refiere a la capacidad del usuario para extender la realidad extendida más allá del dispositivo. Más allá de trabajar y colaborar en interfaces holográficas, los usuarios pueden controlar e interactuar con otros dispositivos en su entorno. Para tomar un ejemplo aburrido, los usuarios pueden cambiar la configuración del hogar inteligente desde el dispositivo.

A largo plazo, la interconectividad puede hacer que el papel de Siri como asistente virtual evolucione de un agregador de búsqueda comandado por voz a un asistente vivo que puede ayudar a completar tareas desde dentro del dispositivo en función de los hábitos y preferencias anteriores del usuario. A medida que avanzan las capacidades básicas de los agentes autónomos, la combinación de la red de distribución de Apple y la familiaridad de Siri pueden convertirla en la tecnología revolucionaria para traer agentes personales al mundo en masa.

• Presentación de información

Como se mencionó anteriormente, las demostraciones de VisionPro de Apple se centraron casi exclusivamente en entornos de trabajo. No se equivoquen, esta primera generación está muy orientada a los trabajadores de la información. ¿Cómo lo usarán?

En primer lugar, hay un terreno evidente y trillado. Apple rehará y rediseñará todas las soluciones empresariales XR que hemos visto antes. Proporcionarán recursos para que las instituciones capaciten a sus empleados, estudiantes y líderes. Proporcionarán una gran cantidad de soluciones de prueba, aplicaciones de juegos y soluciones de TV en la nube que hemos visto antes.

Un ejemplo relativamente novedoso que se mostró como parte del lanzamiento fueron las interfaces de computadora estilo 'Minority Report'. En lugar de tener que iniciar un dispositivo físico cada vez que desee trabajar en un archivo, acceda a él desde cualquier lugar de la nube en un instante.

Pero, ¿cómo hace esto que la experiencia central de la informática personal sea diferente?

Algunas ideas iniciales:

• Monitores ilimitados en cualquier momento dado

• Formas multimodales de interacción con el trabajo de información (habla, movimiento físico, etc.)

• Navegación inteligente del navegador a través del seguimiento sensorial (por ejemplo, ojo)

• Presentaciones de pantalla 3D totalmente personalizadas y adaptadas automáticamente a las preferencias del usuario

• Visualización de datos 3D (aburrida pero importante)

  
  

Cada uno de estos presentará su propio universo de ideas personalizadas que tomarán el lugar de las extensiones y las tiendas de aplicaciones anteriores.

AppleLM

Este tweet del fundador de Cognosys AI, Sulaiman Omar, parece profético. De hecho, Apple tiene un historial de sacrificar la ventaja de ser el primero en moverse por el bien de desarrollar un mejor producto durante un período de tiempo más largo. VisionPro es un ejemplo perfecto de esto, ya que se lanzó 13 años después del primer Oculus Rift disponible comercialmente.

La integración de modelos de lenguaje en sus auriculares abrirá una serie de posibilidades para Apple que no están disponibles para los titulares sin sus propios LLM patentados (nota: Meta's LlaMa puede ponerlos en el mismo barco: Balaji Srinivasan ha publicado un excelente hilo que destaca su potencial papel en la carrera de la computación espacial).

Entre las posibilidades que esto puede dar lugar a:

• Experiencias de juego virtual entrenadas en los hábitos de la vida real de los usuarios.

• Consultas inmediatas a través del 'navegador' facial.

• Asistentes virtuales de agentes integrados en los auriculares y capacitados en los hábitos de los usuarios.

• Motores de recomendación espacial que recomiendan acciones en un momento dado.

• Traducción en tiempo real.

• Aumento ambiental que permite a los usuarios reorganizar objetos en su espacio.

• Creación de contenido generativo que se reproduce inmediatamente cuando el usuario lo habla.

  
  

Pero, ¿podría hacerse con más elegancia…?

La próxima frontera para las computadoras espaciales

Muchos comentaristas proclamaron la muerte de Google Glass al verlo. ¿Quién querría llevar una computadora en la cara? ¿Por qué optarías por lucir un poco como un idiota? Muchos han notado que ni un solo ejecutivo de Apple probó un VisionPro como parte del lanzamiento.

Tiene que haber una mejor razón para atar uno que "porque todos los demás lo hacen".

La pregunta clave a largo plazo es: ¿Por qué alguien querría atarse una computadora XR a la cara cuando puede tener una dentro de su cerebro?

El contraataque clásico a esto sería la idea de ' reproyección '. Cuando todos usan una máscara XR, podemos reproyectar fotones para que parezca que nadie lo está. Debido a que la reproyección implica la creación de fotones completamente nuevos, las personas pueden incluso verse completamente diferentes de lo que realmente se ven sin la máscara. Esto se convertiría en una aplicación excelente para la pesca de gato.

El concepto del tecnooptimista de vivir en realidad aumentada es similar a vivir en un sueño lúcido perpetuo. Máscara para dormir cuando te acuestas, máscara de realidad extendida cuando te levantas. Examine la prueba A a continuación:

El paradigma actual de XR se basa en estas ayudas exoesqueléticas para que los usuarios naveguen por realidades alternativas. La realidad es que ya estamos muy cerca de dejar de depender de estas ayudas. Entra en la interfaz cerebro-máquina.

IMC

A la larga, es probable que la realidad imaginada triunfe sobre cualquier forma de realidad mixta que exista en la actualidad. Utilizo el término realidad visualizada aquí para describir cualquier forma de alteración ambiental que sea;

a) completamente adaptable a los requisitos o demandas del usuario y

b) no requiere ayudas portátiles.

El conducto más obvio para la realidad imaginada hoy en día son las interfaces cerebro-máquina (BMI). Para una introducción más larga, no puedo recomendar el artículo de Tim Urban sobre ' Sombreros de mago para el cerebro ' de 2017.

Los BMI ofrecen muchos de los mismos beneficios de "computación espacial" que herramientas como VisionPro, pero sin la necesidad de sujetar un dispositivo pesado a la cara. Los prototipos existentes de Neuralink para los primeros BMI comerciales involucran implantes invasivos que, comprensiblemente, hacen que muchos se sientan incómodos (incluso si la recompensa es inteligencia y memoria sobrehumanas). ¿Qué pasará cuando estos se vuelvan menos invasivos, más accesibles y, por lo tanto, más apetecibles para el público humano?

La realidad extendida abunda.

Solicitudes de Startups

• Mejores sistemas de batería para los dispositivos XR de hoy. Curiosamente, las menciones a las baterías estuvieron ausentes en el lanzamiento inaugural de VisionPro de Apple. Es menos obvio para demostraciones y uso 'en el momento' que otras características de diseño como interfaces, cómputo y peso (como se menciona en este hilo por Kyle Samani ), pero igualmente importante cuando se usa día tras día.

• Infraestructura social para un mundo XR. Desde que las primeras citas pasaron de los cafés a las salas de chat en línea, el cableado central de cómo los humanos interactúan entre sí se había sacudido tan fundamentalmente. ¿Cómo se puede moderar el comportamiento en un mundo donde las personas pueden aparentar ser cualquier cosa? (nota: parece que Apple ya está trabajando en algún tipo de protocolo de prueba de identidad que puede proteger contra esto). ¿Qué tipo de contenido se vuelve más omnipresente cuando la gama de métodos de presentación se expande tan ampliamente? ¿Cómo se unen las personas en línea?

• Arm the Rebels: herramientas creativas para XR. SecondLife, Minecraft y Roblox crearon negocios más grandes de lo esperado gracias a los mercados secundarios de activos digitales. Estos mercados fueron habilitados por herramientas creativas integradas en la estructura misma de las plataformas.

Si bien hay muchos desarrolladores hoy en día que ya están trabajando en diseños para nuevas experiencias, etc. para auriculares y proyectos de estilo metaverso, ¿cómo podemos hacer que este proceso sea más accesible para el profano (más específicamente, el Roblocker de 8 años) para crear mundos de su propia imaginación? ¿Cuál será la segunda venida de Minecraft para el paradigma de realidad aumentada o 'realidad visualizada'?

• Diseños para Experiencias Vividas (ie Qualia). Una gran parte del atractivo de la realidad virtual/aumentada/imaginada es la idea de vivir una vida diferente a la que tienes ahora. Al igual que Dan Burke en Pygmalion's Spectacles, ahora cualquiera podrá optimizar sus experiencias vividas dentro de los mundos virtuales.

  
  

  En el caso de que tales tecnologías se vuelvan omnipresentes, se creará un mercado universal gigante para los qualia: instancias sintéticas de experiencia subjetiva. El alcance del diseño es teóricamente infinito. ¿De cuántas maneras puedes experimentar el éxtasis puro? ¿Nostalgia? El grupo de recompensas para aquellos que pueden traer este tipo de experiencias al mundo a través de alguna forma de realidad extendida es enorme.

También puede subestimarse el desarrollo de herramientas para que los usuarios capturen o desarrollen estos qualia por sí mismos. ¿Existe un mercado para la 'grabación' de las propias experiencias vividas para compartir con los demás? ¿Cómo pueden las personas diseñar nuevas experiencias para llevar al mercado y componer sobre otros qualia de código abierto? ¿Cómo podemos dar garantías de privacidad a los qualia personales si se empiezan a utilizar en los motores de recomendación?

Para los curiosos, consulte el Instituto de Investigación Qualia para obtener más información.

• Mercados de hardware de código abierto y software XR. Una cosa que XR todavía tiene en común con otros paradigmas informáticos antes es su naturaleza de arriba hacia abajo. Los usuarios dependen de los caprichos de Apple sobre cómo quieren interactuar con sus teléfonos. Si quieren protestar por esto, pueden seleccionar otra de las opciones deprimentemente finitas del mercado. Hasta la fecha, la componibilidad y la personalización del hardware han sido extremadamente limitadas.

  
  

  Pero, ¿qué pasaría si tuviéramos que abrir el desarrollo de los auriculares a través de laboratorios descentralizados? Los participantes activos podrían trabajar para modificar e iterar sobre diferentes especificaciones de hardware según sus preferencias. Los diseños modulares podrían permitir la personalización al nivel del profano. Igual de importante, estos laboratorios de código abierto no tendrían ningún incentivo para crear sistemas de ciclo cerrado para el desarrollo de software. Los desarrolladores podrían experimentar, enviar e implementar código que podría estar disponible para todos los auriculares al ritmo que puedan construirlo.

Tal desarrollo de código abierto representaría un cambio radical en la forma en que las personas interactúan con el software y el hardware. Para inspirarte, echa un vistazo al gran trabajo que ya está haciendo el equipo de Auki Labs .

• Agentes de usuarios privados. En relación con el punto anterior, el ecosistema de software de arriba hacia abajo de hoy significa que los incentivos integrados en el software tienden a deformarse. En lugar de hacer todo lo posible por la utilidad del usuario, los incentivos del mercado acorralan a los desarrolladores para que construyan aplicaciones subóptimas que apuntan a maximizar métricas como 'tiempo promedio de sesión' o 'tasas de clics'.

La oportunidad que tendrían los estudios de desarrollo de código abierto de superar a las empresas tecnológicas heredadas mediante la creación de agentes de usuario de lenguaje natural privados que actúen como asistentes funcionales para sus usuarios es inmensa.