Nous avons commencé à étudier la technologie de la Kinect et de l’infrarouge. C’est une technologie qui nous permettra de traquer le mouvement des baguettes lorsqu’on va jouer de la musique sur la batterie virtuelle. Par exemple, savoir lorsque nous changeons de tambour (de gauche à droite). La Kinect sera donc placée devant nous. Nous utiliserons une Kinect open-source, compatible avec Windows, ce qui nous permettra de modifier la technologie avec notre propre code. Avec la Kinect, Windows a implémenté un SDK (software development kit) pour faciliter la modification du système.
Section 3 : La technologie infrarouge & La Kinect
Tout d’abord, nous allons utiliser la lumière infrarouge, parce que c’est cette lumière que la Kinect peut repérer.
La Kinect possède trois petits yeux, dont un projecteur infrarouge, une caméra infrarouge et une caméra RGB. Le projecteur infrarouge projette de la lumière infrarouge dans la pièce, et la caméra infrarouge, tout comme un capteur, reçoit la lumière infrarouge. La lumière IR est projetée en milliers de petits points dans la pièce selon un modèle précis, c’est de cette façon que la Kinect est capable de faire un plan de la pièce.
Par exemple, si le capteur de lumière infrarouge reçoit les points dans la même configuration (le même modèle) qu’ils étaient émis, la Kinect est capable de déterminer que la surface est plate. Si certains points sont déformés, la Kinect analyse cette déformation et détermine la forme de l’objet. Elle utilise ce même principe pour déterminer la profondeur des objets dans une pièce. C’est pour cette raison que la caméra infrarouge sur la Kinect est généralement nommé un capteur de profondeur. D’autre part, la caméra RGB est simplement une caméra qui détecte la couleur des choses dans la pièce et en fait une image pixelisée de rouge, de vert et de bleu. Cette caméra agit comme une caméra standard de tous les jours.
Plusieurs librairies de code existent déjà pour la Kinect open-source, dont certains sont capable d’identifier les membres du corps humain et de les représenter dans un programme. Donc, nous devrons créer notre propre code pour être capable de détecter les baguettes de batterie que nous allons construire. Étant donné que nous allons utiliser une Kinect compatible avec Windows, nous pourrons utiliser le Windows SDK (software development kit) déjà développée pour la Kinect.
Une façon que nous pourrions aborder pour détecter la position des baguettes serait de, premièrement, restreindre la profondeur visible de la Kinect (f1). Donc, les baguettes seront à une certaine distance et zone précises de la Kinect pour qu’il puisse les identifier seuls. Ensuite, nous pourrions trouver le milieu d’une baguette en additionnant le total de pixels en x et en y que la Kinect est capable de voir, donc la baguette elle-même, et ensuite faire une moyenne par le nombre total de pixels visibles (f2). Cependant, nous voulons trouver la position de deux baguettes différentes. Donc, nous pourrons déterminer la position de l’autre baguette avec la même f2, mais cette fois ajouter une séparation au milieu de la batterie virtuelle, où chaque baguette occupe son propre côté (f3).
- Comment la Kinect fonctionne: https://www.youtube.com/watch?v=QmVNgdapJJM
airinstrument.art.blog 