Dense tracking, mapping and scene labeling using a depth camera

Presentamos un sistema de localizacion con informacion densa, reconstruccion 3D, y deteccion de objetos en ambientes tipo escritorio, usando una camara de profundidad; el sensor Kinect. La camara se mueve manualmente mientras se estima su posicion, y se construye un modelo denso con informacion de color de la escena que se actualiza permanentemente. El usuario puede, alternativamente, acoplar el modulo de deteccion de objetos (YOLO: you only look once [1]) para detectar y propagar al modelo informacion de categorias de objetos comunmente encontrados sobre escritorios, como monitores, teclados, libros, vasos y laptops, obteniendo un modelo con color asociado a la categoria del objeto. La posicion de la camara es estimada usando una tecnica modelo-frame con el algoritmo iterativo de punto mas cercano (ICP, iterative closest point) con resolucion en niveles, logrando una trayectoria libre de deriva, robustez a movimientos rapidos de la camara y a condiciones variables de luz. Simultaneamente, los mapas de profundidad son fusionados en una estructura volumetrica desde las posiciones estimadas de la camara. Para visualizar una representacion explicita de la escena se emplea el algoritmo marching cubes. Los algoritmos de localizacion, fusion, marching cubes y deteccion de objetos fueron implementados usando hardware para procesamiento grafico con el fin de mejorar el desempeno del sistema. Se lograron resultados sobresalientes en la posicion de la camara, alta calidad en la geometria y color del modelo, estabilidad del color usando el modulo de deteccion de objetos (robustez a detecciones erroneas) y manejo exitoso de multiples instancias de la misma categoria