Contenido del curso
MARATON – DIA 1
La maraton tiene como objetivo incentivar el uso de TouchDesigner como plataforma de desarrollo, partiendo de las facilidades que nos brinde en el proceso de apredizaje de PROGRAMACIXN, gracias a su interfas visual, sus multiples campos de aplicación y su capacidad de integración con demas softwares, protocolos y dispositivos perifericos.
0/1
CONECTA TD + MOUSE
49:32
MARATON – DIA 2
La segunda sesión de la Maratón NTRCTV dará una introducción al vasto campo de la edición de video en tiempo-real. A partir de ejemplos presentes en los operator snippets compondremos nuestra biblioteca de efectos, asociado a un mezclador de video básico que permita integrar contenido de video pre-producido. Como parte del desarrollo de un sistema, la estructuración de la de la red lógica es solo ⅓ de la gestión necesario para completarlo. La infraestructura de cómputo, comunicación y control son elementos fundamentales para el funcionamiento de la solución a desarrollar. Como parte de aplicación práctica, integramos dispositivos de uso cotidiano como un smartphone android con dos aplicaciones que hacen uso del protocolo OSC. OSCHOOK y LittleOSC, ambas de descarga gratuita. Estas aplicaciones nos permitirán integrar nuestro sistema vía wifi, vinculando TouchDesigner con el smartphone, obteniendo los datos de los sensores del dispositivo y los datos acciones obtenidas por un pad touch al ser accionadas por el usuario.
0/1
VJSet + OSC
49:21
MARATON – DIA 3
en esta sesión de nuestra MARATON NTRCTV con Touchdesigner abordaremos una de las tecnicas mas simples utilizadas en la creacion de videomapping interactivo dentro de nuestra plataforma de programación.
0/1
JOYSTICK + MICROMAPPING
01:04:17
MARATON – DIA 4
En esta sesión abordaremos tecnicas basicas para capturar video en tiempo-real, aprovechando recursos de internet y dispositivos de captura de vide. Ademas integraremos un dispositivo MIDI a nuestro sistema de control de video.
0/1
VIDEO EN TIEMPO-REAL + MIDI
56:40
MARATON – DIA 5
Como ya lo hemos abordado en las sesiones pasadas de la maraton, la familia de OPeradores de Canal (CHOPs) es encarga de vincular y reinterpretar las distintas clases de informacion que podemos llegar a utilizar, siendo los valores numericos la base para la integración de las distintas familias.
0/1
AUDIO IN + GEOMETRIAS
01:05:29
MARATON – DIA 6
En el dia 6 de la maraton de NTRCTV abarcaremos la tematíca GEOMETRIAS + MATERIALES. Vincularemos un tableta WACOM Intous 5 y el sistema de emisón de contenido en tiempo-real de Photoshop para realizar un simulador de la tableta gráfica.
0/1
GEOMETRIA + MATERIALES
49:58
MARATON – DIA 7
Esta septima sesión de la MARATON NTRCTV traer como tema principal el acercamiento a el desarrollo de interfaces visuales responsive, transladando el concepto desde las practicas del diseño web. Incursionando en temas de nivel medio, abordamos las BUENAS PRACTICAS, haciendo enfasis en la importancia de la nomenclatura en los procesos de desarrollo.
0/1
UI – INTERFACES VISUALES
01:04:36
MARATON – DIA 8
En esta la penultima sesión de la Maraton NTRCTV con TouchDesigner, estaremos abordando una de las maneras que tenemos de vincular la plataforma de prototipado ARDUINO con nuestro sistema en TouchDesigner de manera bidireccional, recibiendo señales via PUERTO SERIAL de dos sensores, 1 fotocelda y 1 potenciomentro, junto con el envio de señal desde TD a un LED en la tarjeta arduino Mega.
0/1
ARDUINO + SENSORES
43:46
MARATON – DIA 9
Esta es la novena y ultima sesión de la MARATON NTRCTV con TouchDesigner, la cual tuvo lugar el año 2020 durante 3 semanas del mes de marzo y abril. En esta sesión cerramos con broche de oro incursionando en el mundo del KINECT, una poderosa herramienta capaz de vincularse de manera nativa con nuestro sistema en TouchDesigner. Desarrollaremos un ejercicio simple de BodyTracking haciendo uso del Player Index de nuestro OPerador de KinectTOP, junto con los valores de Canal que obtenemos de nuestras manos junto con sus interacciones.
0/1
BODY TRACKING CON KINECT
53:24
MARATON – NTRCTV – PROGRAMACIXN PARA HUMANXS

La integración del sensor Microsoft Kinect (v1/v2) en TouchDesigner requiere un adaptador de hardware específico para la conversión de su conector propietario a USB, el cual necesita una fuente de alimentación externa. Existen diferencias técnicas fundamentales entre las versiones: el Kinect v1 opera a una resolución de 640×480 píxeles, utiliza tecnología de luz estructurada, rastrea un máximo de dos jugadores con 20 articulaciones y posee un campo de visión (FoV) de 57° horizontal y 43° vertical. En contraste, el Kinect v2 opera a 1920×1080, utiliza tecnología de Tiempo de Vuelo (Time-of-Flight), rastrea hasta seis jugadores con 26 articulaciones y tiene un FoV superior de 70° horizontal y 60° vertical. La operación es exclusiva de sistemas operativos Windows, ya que cada versión del sensor depende de un SDK específico de Microsoft (v1.8 para Kinect v1, v2.0 para Kinect v2), los cuales no disponen de compilaciones para macOS. El SDK provee herramientas de diagnóstico y desarrollo como el SDK Browser, para verificar la configuración y el estado del sensor (ej. reportando FPS bajos), y Kinect Studio. Este último permite el monitoreo en tiempo real de los flujos de datos (depth map, IR, skeleton 2D, point cloud 3D), la grabación de secuencias de datos en formato .xed para su posterior reproducción y análisis sin el hardware físico, y un registro de eventos del sistema.

 

En TouchDesigner, la adquisición de datos se gestiona a través de los operadores Kinect TOP y Kinect CHOP. El `Kinect TOP` se encarga de los flujos de datos de imagen. Su parámetro `Image` permite seleccionar entre diferentes tipos de textura, donde cada tipo posee un formato de píxel específico: `Depth` (16-bit fixed mono), `Color` (8-bit fixed RGBA), `Infrared` (16-bit fixed mono), `Player Index` (8-bit fixed mono, genera una máscara de silueta de los jugadores detectados), y `Depth Point Cloud`. Este último es crucial para la reconstrucción 3D, ya que codifica la información posicional XYZ de cada punto en el formato 32-bit float RGBA, donde los canales R, G y B corresponden a los ejes X, Y y Z respectivamente. Un mismo tipo de imagen no puede ser solicitado por múltiples operadores Kinect TOP simultáneamente. El `Kinect CHOP` gestiona los datos de esqueleto y gestos. Sus parámetros permiten seleccionar la versión de hardware, el modo de tracking (`Full` para cuerpos de pie, `Seated` para cuerpos sentados) y el número máximo de jugadores a rastrear, lo cual escala la cantidad de canales de salida. Los datos de salida se pueden activar a través de selectores, como `World Space Position` para obtener las coordenadas `tx`, `ty`, `tz` de cada articulación, y `Interactions` para obtener canales binarios correspondientes a estados de las manos (e.g., `p1/hand_r_open`, `p1/hand_r_closed`, `p1/hand_r_lasso`). La nomenclatura de canales sigue una estructura consistente (`p<N>/<articulación>:<eje>`), lo que facilita la selección selectiva mediante patrones con wildcards (`*`) en operadores `Select CHOP`.

 

La implementación práctica de una máscara de silueta a partir del `Player Index` requiere un procesamiento de imagen para generar un canal alfa. Dado que la fuente es monocromática de 8 bits, se debe convertir a un formato RGBA. Una técnica efectiva es usar un `Over TOP`, conectando la señal del Kinect a la primera entrada y una fuente `Constant TOP` (con el formato de píxel 8-bit RGBA deseado) a la segunda entrada. Esto fuerza al `Over TOP` a adoptar el formato de su segunda entrada. Posteriormente, se pueden utilizar operadores como `Invert TOP` y `Level TOP` para manipular el canal alfa (mediante el parámetro `Alpha Post` > `High` a 0) y así lograr la transparencia de la silueta para su composición sobre otros contenidos. Para el body tracking, se mapean los canales de posición XY del `Kinect CHOP` a los parámetros de transformación (`Translate`) de un `Over TOP` que compositea un elemento gráfico. Este proceso exige un remapeo de rangos de coordenadas mediante `Math CHOPs` para alinear el espacio de mundo del sensor (aprox. -1 a 1) con el espacio de textura normalizado del `Over TOP` (e.g., de -0.5 a 0.5 para una correspondencia 1:1). El parámetro `Mirror Image` del `Kinect TOP` se utiliza para corregir la inversión horizontal natural de la cámara. Las interacciones gestuales se logran exportando directamente los canales de `Interactions` (e.g., `p1/hand_r_open`) a parámetros de control, como la opacidad de un `Level TOP` o el pulso (`Pulse`) de un `Movie File In TOP` para disparar eventos. Se demuestra el uso del componente `Chroma Key` de la Paleta para integrar material de video pre-grabado, eliminando un fondo de color y utilizando los datos de tracking del Kinect para posicionar y disparar interactivamente dicho video en el espacio.

Anterior
Siguiente