[Jde-dev] AVANCES con KINECT

[franciscomiguel.rivas en urjc.es]

Buenas,
llevamos ya un par de meses haciendo cosas con kinect y no habíamos  
escrito nada por aquí asi que os presento las últimas novedades aunque  
faltan algunos ajustes...

Tenemos dos componentes desarrollados con bastantes funcionalidades.
Por un lado jdenect que actúa como un driver para el dispositivo y nos  
ofrece acceso través de interfaces ICE de:
- Imagen RGB
- Imagen IR
- Imagen de profundidad
- Acceso a los leds
- Acceso al motor del kinect.

Por otra parte tenemos un visor (visornect) que nos ofrece:
- Ver simultaneamente dos de las imágenes ofrecidas por kinect:
    IR - PROFUNDIDAD
    RGB - PROFUNDIDAD

- Control de los leds del kinect
- Control del motor del kinect.

Incorpora un visor OpenGL donde podemos simular un escenario y  
proyectar toda la inforamción que nos ofrece kinect. Pintar puntos  
bien en negro o con el color de la cámara RGB (para que esto funcione  
correctamente las cámaras deben estar calibradas con mucha exactitud).

También podemos proyectar el mundo simulado sobre las cámaras que se  
muestran en el visor para ver la correcta calibración de las cámaras  
(como hace el calibrator y también hace eldercare).

Nos permite proyectar cualquier pixel de las dos imágenes del visor  
haciendo click directamente en la imágen (con la distancia obtenida  
por el sensor)
Podeis ver videos de todo lo que os he comentado en [1]

Futuras mejoras:

Proximamente subiré la versión final del visor al repositorio cuando  
consigamos obtener la distancia real del sensor ya que actualmente  
está pintando con una aproximación hecha a mano...

Calibrar correctamente las cámaras para que la reconstrucción con  
color funcione mejor.

Incorporar un nuevo driver:
El driver que estamos utilizando actualmente es libreenect (OpenKinect) que es
GPLv2 pero que consume muchos recursos del equipo como ya comentamos  
hace tiempo.

La idea es incorporar un segundo driver que utilice OpenNi (LGPL) que  
mejora considerablemente la eficiencia. En [2] hay una comparativa  
donde se aprecia esto. El problema de esta librería es que es un poco  
mas estricta y que no tiene soporte (por el momento) para leds y  
motores...




[1]https://jderobot.org/index.php/Frivas-tfm#VisorNect
[2]  
https://jderobot.org/index.php/Frivas-tfm#PrimeSense_improves_CPU_load_compared_to_libfreenect

------------------------------------------------------------------
Laboratorio de Análisis del Movimiento, Biomecánica, Ergonomía y  
Control Motor (LAMBECOM).
Universidad Rey Juan Carlos (URJC).