HandControl · 21 points Ouvrir l'instrument

Webcam · 21 points par main · MediaPipe

Ton PC,
du bout des doigts.

Une webcam suffit. HandControl suit tes deux mains, point par point, et en fait un instrument de musique, une souris, une machine à capturer l'écran — et un visage qui clique quand tes mains sont occupées. Gratuit, tout tourne en local.

Ouvrir l'instrument → Installer sur mon PC Voir le plan des 13 phases
instrument — phases 01–03
Capture de la page instrument : squelette de main suivi par la webcam, panneau de contrôle à droite
La page instrument : la webcam, les 21 points en miroir, le panneau de contrôle — théorine, harpe, batterie et looper dans la même image.
21points par main
30images / seconde
6modes de contrôle
0matériel en plus

Ce que ça fait

Six façons de jouer sans toucher le clavier

Un seul suivi des mains alimente tout : la musique dans le navigateur, le PC en entier en Python. Tu changes de mode avec un geste ou un chiffre.

Musique

Théorine

Ta main droite choisit la hauteur, la gauche le volume — la note se voit à l'écran avec son nom et sa fréquence.

dans /phase1
Musique

Harpe invisible

Dix cordes par gamme, invisibles : ton index traverse une corde, elle sonne. La vitesse fait le volume.

dans /phase1
Musique

Batterie & looper

Quatre zones, un coup = un son. Le looper garde (temps, note, volume) quantifiés et rejoue en boucle — export MIDI inclus.

poing 1 s = REC
PC

Souris & clics

L'index déplace le curseur (lissé par le filtre One Euro), pincer = clic, pincer long = glisser, deux doigts = défilement.

touche 1
PC

Capture d'écran

Deux mains en « L » cadrer une zone dans l'air, maintiens une seconde : la capture part dans le presse-papiers.

touche 2
PC

Gestes & raccourcis

Poing = play/pause, doigts = diapos et volume — et tu enregistres tes propres gestes en 30 échantillons, sans code.

touche 3 · 4
Visuel : réticules aux bouts des doigts et ondes de note, une seule couleur cyan
Un HUD, pas des feux d'artifice. Traits fins et réticules cyan aux bouts des doigts, une onde par note — le module visuel ne touche jamais à l'audio.
Panneau looper : barre de temps à 4 segments en cours de lecture
Le looper, temps par temps. Une barre à quatre segments te montre où tu en es — orange en enregistrement, cyan en lecture.

Quand les mains sont occupées

Le visage compte aussi

Le programme regarde aussi ta tête (Face Landmarker). Deux gestes suffisent, tu gardes les mains où tu veux.

01

Cligne, et c'est un clic

Un clignement volontaire (120 ms à 1,5 s) déclenche un clic. Les micro-œils et les clignements d'un sommeil sont ignorés ; 700 ms de recharge entre deux clics.

02

Penche la tête, la page défile

Oreille droite en bas = défilement vers le bas, oreille gauche = vers le haut. Une zone morte de 6° évite les tremblements ; le défilement accélère avec l'angle.

Activer : touche V dans la fenêtre vidéo, ou --visage au démarrage. Le visage est analysé une image sur deux pour garder 30 FPS, et tout s'arrête dans le mode pause ou à l'arrêt d'urgence.

Installation · pas à pas

Python en six étapes

Le programme qui pilote la souris, la capture et les raccourcis s'installe sur Windows, macOS et Linux. Compte 15 minutes la première fois.

  1. Installe Python 3.10 ou + sur python.org/downloads — sous Windows, coche « Add python.exe to PATH » dans le premier écran, sinon rien ne marchera après.
  2. Vérifie l'installation : ouvre un terminal (Windows : Win+R puis cmd ; macOS/Linux : Terminal) et tape python --version — il doit répondre Python 3.1x.x.
  3. Récupère le dossier du projet (archive .zip ou dépôt git) et décompresse-le où tu veux — garde la structure python\ avec models\, config.json et requirements.txt.
  4. Installe les dépendances : terminal dans la racine du projet, puis —
    python -m pip install -r python/requirements.txt
  5. Lance le programme —
    python python/main.py
    Une fenêtre vidéo s'ouvre avec les 21 points et « Démarré en mode SOURIS ». Autorise la caméra. Q pour quitter, 0 à 5 pour les modes, V pour le visage.
  6. À ajuster chez toi : mauvaise caméra ? python python/main.py --camera 1. Tu veux tester sans rien bouger sur le PC ? --sec journalise les actions au lieu de les envoyer.

Déjà le projet compilé ? double-clique sur python\dist\InstrumentGestuel.exe : MediaPipe, les modèles et les réglages sont embarqués, rien à installer. Et l'instrument musical n'a besoin de rien du tout — il tourne dans le navigateur, ici : /phase1.

« python » n'est pas reconnu

La case « Add to PATH » n'était pas cochée. Relance l'installateur de Python et coche-la, ou ajoute-le au PATH à la main.

La caméra reste noire

Une autre application la tient (Zoom, Teams, Chrome). Ferme-la, ou essaie --camera 1.

pip manquant

Utilise python -m pip plutôt que pip — ça prend toujours le bon Python.

Sur tous les écrans

Même sur ton téléphone

La page instrument est responsive : ouvre-la sur iPhone, Android, tablette ou PC — la webcam du téléphone fait office de capteur, et tout le son se passe dans le navigateur. Le programme Python, lui, pilote un PC (Windows d'abord, macOS/Linux pour tout sauf les raccourcis système).

Navigateur

Musique partout

Théorine, harpe, batterie, looper et HUD visuel tournent là où il y a un canvas et de la permission caméra.

Local

PC en entier

Souris, clics, captures, raccourcis, gestes et visage — le programme agit sur ton bureau, pas sur une page.

Réseau

Les deux reliés

Le pont WebSocket (localhost) laisse la page jouer avec les mains vues par Python — et changer de mode depuis la page.

Le guide complet

13 phases, de la webcam à la machine à gestes

Le plan pas à pas qui a construit tout ça : chaque phase a un objectif, des étapes, un prompt de départ et un critère de réussite. 12 phases sont terminées et documentées ; les extensions restantes sont optionnelles.

Ouvrir le plan → Mode d'emploi en 3 étapes Les pièges, quand ça merde