Pixel 4: Los gestos del radar Soli fueron entrenados con miles de voluntarios

Google ha publicado hoy un artículo sobre cómo funciona la tecnología que hay detrás del radar de Soli incluido en sus smartphones Pixel 4. Aunque ya conocíamos muchos detalles sobre el hardware, ahora la compañía ha desvelado los modelos de IA que hay detrás para detectar y reconocer gestos de movimiento con baja latencia.

Google afirma que esta tecnología podría permitir nuevas formas de reconocimiento de gestos en dispositivos como relojes inteligentes, facilitando también el uso a personas con discapacidades.

El módulo Soli del Pixel 4 fue el resultado de la colaboración entre el grupo de Tecnología y Proyectos Avanzados (ATAP) de Google y los equipos de productos Pixel y Android. Contiene un radar de 60 GHz y receptores de antena con un campo de visión combinado de 180 grados que registran información de posición además de aspectos como distancia y la velocidad.

Los equipos detrás de Soli idearon un sistema entrenado mediante millones de gestos grabados de miles de voluntarios de Google, que fueron complementados con cientos de horas de grabaciones de radar que contenían movimientos genéricos de otros voluntarios de Google.

Los modelos de IA fueron entrenados usando el framework de machine learning TensorFlow de Google y se optimizaron para funcionar directamente en el procesador de señal digital de baja potencia del Pixel 4, lo que les permite rastrear hasta 18.000 fotogramas por segundo incluso cuando el procesador principal está apagado.

«Sorprendentemente, desarrollamos algoritmos que no requieren formar una imagen bien definida de la estructura espacial de un objeto, en contraste con un sensor de imágenes ópticas, por ejemplo. Por lo tanto, no se generan ni se utilizan imágenes distinguibles del cuerpo o la cara de una persona para la detección de presencia o gestos con el Motion Sense», afirma el ingeniero de investigación de Google Jaime Lien y el ingeniero de software de Tecnología y Proyectos Avanzados Nicholas Gillian.

«[Por esta razón,] estamos entusiasmados por continuar investigando y desarrollando Soli para permitir nuevas capacidades de detección y percepción basadas en el radar».

Soli continúa mejorando a través de actualizaciones de software y, recientemente, ha añadido un nuevo gesto que hace una pausa y reanuda la música.