AnTuTu quiere distinguir los smartphones con capacidades reales de IA de los que solo presumen de ellas
El término Inteligencia Artificial fue la palabra de moda en 2018. Todos los fabricantes de smartphones presumieron de capacidades de IA en sus teléfonos, lo que hace realmente difícil determinar si hay diferencias importantes entre las capacidades de Ia de los diferentes teléfonos.
Así que AnTuTu ha decidido lanzar una herramienta de benchmarking que ayudará a diferenciar cuáles son los dispositivos que tienen capacidades de reales «IA» de aquellos que solo utilizan el término para hacerse notar.
En un artículo en su blog, AnTuTu destaca el hecho de que medir las capacidades de IA es algo más complejo que medir el rendimiento del sistema. La herramienta de benchmarking lanzada por AnTuTu tiene dos subcategorías: Clasificación y Reconocimiento de Objetos. La primera prueba contiene 200 imágenes basadas en la red neuronal Inception v3, mientras que la segunda prueba analiza el vídeo de 600 fotogramas basado en la red neuronal MobileNet SSD.
Estas imágenes son analizadas mediante el SDK proporcionado por el proveedor del smartphone y, si el chip no soporta los algoritmos de IA, el benchmark recurre a TFLite. Sin embargo, este segundo escenario es muy poco fiable en ese momento.
La puntuación final está formada por la velocidad y la precisión de los resultados de la prueba, teniendo más peso la precisión. Esto se hace para evitar trampas si el teléfono lee las imágenes muy rápido pero no da respuestas correctas.
AnTuTu también señala que la puntuación de IA en diferentes smartphones con el mismo procesador no distará mucho porque la herramienta se centra únicamente en el rendimiento de la IA y no en el rendimiento global del sistema.
Samsung no ha lanzado su SDK AI mientras que HiSilicon todavía utiliza TFLite para algunas funciones, por lo que esos teléfonos obtendrán una puntuación más baja de lo que deberían, al menos por ahora. Y por último, la versión de Android podría sesgar los resultados, ya que Google está trabajando para mejorar las funciones de IA a nivel de sistema con cada nueva versión de Android.
El benchmark se encuentra aún en su fase de desarrollo.
