in Hardware

OpenKinect ya reconoce objetos (y otros hacks)

por Tomás Garcia 30 noviembre, 2010, 3:03 am 13 Comments

Con OpenKinect ya una norma que cualquiera puede utilizar para crear aplicaciones locas y experimentales, tenemos novedades de manera diaria. Como hoy, que tenemos tres noticias importantes sobre personas que hicieron algo interesante con el nuevo periférico de Microsoft. Por ejemplo, un usuario logró utilizarlo para jugar Super Mario corriendo en un emulador, otro pudo desarrollar un sistema que reconozca objetos y los nombre en una voz similar a la de HAL 9000 y, finalmente, Oliver Kreylos mejoró su anterior trabajo de crear una imagen 3D de un espacio, utilizando dos Kinect.

Ya habíamos dicho que cuando se libere Kinect, iban a comenzar a aparecer aplicaciones y experimentos interesantes como agua en una cascada. Y así ocurrió, al punto donde tenemos novedades diarias y, en ciertos casos, hasta tres en un día, como hoy. Por ejemplo, un hacker logró que el periférico reconozca objetos en un espacio real, otro pudo jugar Super Mario con su cuerpo y, un tercero, Oliver Kreylos, mejoró su anterior concepto de capturar una imagen 3D de un espacio real, esta vez utilizando dos Kinect.

En primer lugar, hablamos sobre un hacker que utilizó OpenKinect como interfaz, OpenCV para procesar imágenes capturadas con Kinect, CMU Sphinx para reconocer la voz y, finalmente, Festvox para sintetizar la voz. El resultado es simplemente espectacular. El usuario le muestra un objeto al Kinect y le pregunta si sabe lo que es. En caso de que nunca haya sido introducido al sistema, responde con una voz similar a la de HAL 9000 que no sabe lo que es. Entonces el usuario le da un nombre y la próxima vez que le pregunta es capaz de reconocerlo y decir en voz alta el nombre del objeto. El vídeo ubicado arriba, fue subido tan solo unos días luego de la salida de OpenKinect, la librería que le permite a un ordenador interactuar con las cámaras de Kinect, de modo que no le tomó mucho programar esta interesante aplicación.

El segundo de estos usuarios, harto de no poder jugar juegos buenos con su Kinect, decidió volver a las raíces y jugar Super Mario con movimientos del cuerpo, de una manera similar que se juega Kinect Adventures. Utilizando OpenKinect para que el ordenador tome los datos de Kinect y un emulador de NES para ejecutar el juego. El resto es puro movimiento corporal. El jugador se mueve hacia los lados para hacer que Mario camine en distintas direcciones, salta para saltar y se agacha para bajar por los caños. Definitivamente se nota que no tiene la misma fidelidad que con control en mano, pero eso no es nada nuevo.

Finalmente nos queda por ver el nuevo trabajo de Oliver Kreylos, que con un Kinect, creó una imagen 3D parcial de su medioambiente. Ahora, logró conectar dos Kinect para crear una imagen 3D completa de un espacio real. Esta nueva demostración es aún más impresionante, porque ambos periféricos logran complementarse muy bien. Aún cuando él aparece en el cuadro y comienza a mover sus manos sobre el objeto que estaba mostrando anteriormente, es capaz de unir ambas imágenes en tiempo real sin ningún tipo de problemas. Como dijimos, estos avances son verdaderamente impresionantes y esperamos ver más al respecto en los próximos días.