INPUTS & OUTPUTS – TOUCHDESIGNER

La integración del sensor de reconocimiento corporal Kinect v2 en TouchDesigner se fundamenta en un ecosistema de software dependiente del sistema operativo Windows. Es un prerrequisito la instalación del SDK de Kinect, el cual provee las librerías de bajo nivel, el Kinect Studio para la depuración y grabación de streams de datos, y el SDK Browser para la gestión de componentes. En TouchDesigner, la adquisición de datos del sensor se realiza a través de operadores dedicados en las familias TOP y CHOP.

 

Dentro de la familia de operadores de textura (TOP), el nodo `Kinect TOP` gestiona los flujos de imagen del sensor. Este operador es compatible con las versiones v1 y v2 del dispositivo. A través del parámetro ‘Image’, se puede seleccionar el tipo de stream de datos a procesar:

 

1. **Depth**: Genera un mapa de profundidad en escala de grises. Este mapa se construye a partir del análisis de los reflejos de un patrón de luz infrarroja proyectado por el sensor sobre la escena. La intensidad de cada píxel en la textura resultante es inversamente proporcional a la distancia del objeto correspondiente a la cámara, codificando así la información de profundidad espacial.

 

2. **Infrared**: Provee el stream de vídeo crudo capturado por el sensor de infrarrojos, mostrando la escena tal como es percibida en ese espectro lumínico.

 

3. **Player Index**: Implementa algoritmos de segmentación de imagen en tiempo real para aislar las siluetas de los usuarios detectados. Asigna un índice numérico único a cada cuerpo reconocido, facilitando la extracción de máscaras alfa para la composición o el análisis selectivo de usuarios.

4. **Color Point Cloud**: Genera una textura especializada en formato de punto flotante de 32 bits por canal (32-bit float). Cada píxel en esta textura no representa un color, sino un vector tridimensional (X, Y, Z) que codifica la posición espacial de un punto en la nube de puntos capturada. Este formato de datos está optimizado para la renderización directa en geometrías de tipo nube de puntos o para cálculos espaciales complejos.

 

En la familia de operadores de canal (CHOP), el nodo `Kinect CHOP` se encarga de la extracción de datos de esqueletización (skeletal tracking). Por defecto, con el parámetro ‘Track Skeletons’ activado, el operador emite canales numéricos correspondientes a las articulaciones de los cuerpos detectados. Para cada articulación (cadera, espina dorsal, cuello, cabeza, hombros, codos, muñecas, manos, rodillas, tobillos, pies), se generan tres canales que representan su posición en el espacio tridimensional del mundo: `tx`, `ty`, y `tz`. Esta data de alta granularidad permite la implementación de sistemas de control interactivo sin contacto, mapeando directamente los movimientos y posturas del usuario a parámetros de un sistema audiovisual en tiempo real.