Basket-AI
Computer VisionYOLOOCRSports Analytics

Project Spotlight

Basket-AI

R&D sul tracciamento basket low-cost: YOLO per rilevamenti, OCR delle maglie e MOT sperimentale.

Key Features

Rilevamento giocatori e palla con modelli YOLO custom
Segmentazione SAM2 + clustering colori
Pipeline numero di maglia: localizzazione dedicata + OCR PARSeq

Basket-AI: Costruire un Sistema di Tracciamento Basket a Basso Costo con l'AI

Autore: Lorenzo Signorelli


Visione e Obiettivi del Progetto

I campionati professionistici come l'NBA utilizzano sistemi avanzati di tracciamento basati su più telecamere ad alta risoluzione, sensori proprietari e pipeline dati complesse. Queste soluzioni generano insight straordinari su movimenti dei giocatori, fisica della palla e tattiche di squadra, ma i costi elevatissimi le rendono irraggiungibili per la maggior parte delle federazioni nazionali e dei club minori.

In Italia, l'analisi delle partite è ancora manuale. Allenatori e analisti devono riguardare i video per estrarre statistiche di base, con processi lenti e soggettivi.

Basket-AI nasce come iniziativa di ricerca per offrire un'alternativa accessibile e automatizzata. L'obiettivo è supportare—non sostituire—gli staff tecnici, automatizzando le attività ripetitive e fornendo dati oggettivi.


Architettura del Sistema

1. Rilevamento dei Giocatori

Obiettivo: identificare e localizzare tutti i giocatori in ogni frame.

  • Modello: YOLOv11 (variante nano per bilanciare velocità e accuratezza).
  • Dataset: ~1.500 immagini annotate manualmente.
  • Setup Telecamere: due telecamere statiche dall'alto per minimizzare le occlusioni.
  • Risultato: bounding box stabili in condizioni di luce diverse.

Player_Tracking


2. Tracciamento della Palla

Obiettivo: seguire un oggetto piccolo e velocissimo.

  • Sfida: la palla è spesso occlusa da mani o corpi.
  • Modello: YOLO dedicato, addestrato su immagini concentrate sulla palla.
  • Risultato: localizzazione affidabile con rare perdite in caso di blur estremo.

3. Identificazione delle Squadre (Segmentazione + Clustering)

Obiettivo: assegnare ogni giocatore alla squadra corretta in base alla maglia.

  • Problema iniziale: il clustering cromatico diretto soffriva i colori dello sfondo.
  • Pipeline in due fasi
    1. Segmentazione accurata: SAM2, guidato dalle bounding box YOLO, produce maschere pixel-level eliminando lo sfondo.
    2. Clustering robusto: K-Means + istogrammi colore su immagini segmentate, con bias quando i colori delle squadre sono noti.

Dimostrazione pipeline assegnazione squadre


4. Riconoscimento dei Numeri di Maglia

Obiettivo: identificare il numero per assegnare un'ID univoca.

  • Problema: OCR standard fallisce con font particolari e tessuti piegati.
  • Pipeline:
    1. Localizzazione: YOLO addestrato sulla zona della schiena.
    2. Riconoscimento: crop della regione e inferenza con PARSeq.
  • Prestazioni: 79% di accuratezza su un test di 131 immagini.

Team_tracking


5. Multi-Object Tracking (MOT) – Il Nodo Cruciale

Obiettivo: mantenere un'identità coerente per ogni giocatore e per la palla lungo tutto il video.

  • Modello testato: ByteTrack con filtro di Kalman e matching di apparenza.
  • Ostacoli principali:
    • Somiglianza visiva: dall'alto i giocatori della stessa squadra risultano quasi identici.
    • Occlusioni & movimenti improvvisi: frequenti collisioni rompono le ipotesi del filtro di Kalman.
  • Risultato: numerosi ID switch e tracce frammentate, rendendo instabili le statistiche derivate.
  • Stato del progetto: il cliente ha interrotto il finanziamento per carenza di risorse (hardware + setup).

Nota: senza un MOT stabile non è stato possibile procedere con funzionalità successive come la stima della posa.


6. Stima della Posa (Non Avviata)

Obiettivo: analizzare gesti tecnici (salti, difesa, tiro) tramite stime scheletriche.

  • Status: sospeso in attesa di un MOT affidabile.
  • Possibile evoluzione: modelli leggeri tipo YOLO-Pose una volta stabilizzato il tracciamento.

Stima della Posa Fonte: PoseTrack


Risultati e Metriche

TaskMetodologiaOutcome & Note
Rilevamento GiocatoriYOLOv11 fine-tunedStabile. Alta precisione nella vista dall'alto.
Rilevamento PallaYOLO dedicatoAffidabile. Cadute solo in caso di occlusioni estreme.
Identificazione SquadreSAM2 + K-Means + IstogrammiRobusta. Dipende dalla qualità della segmentazione.
Riconoscimento NumeriYOLO + PARSeq79% Accuratezza. Funziona bene con numeri visibili.
Stima della PosaYOLO-Pose / OpenPoseNon avviata. In attesa di MOT stabile.
Multi-Object TrackingByteTrackInstabile. Troppi ID switch per uso affidabile.

Conclusioni & Prospettive

Basket-AI dimostra che elementi chiave dei sistemi professionali possono essere replicati con AI moderna e budget sostenibili. Il pipeline copre rilevamento giocatori, localizzazione palla, assegnazione squadra e riconoscimento numeri.

Il blocco principale rimane il Multi-Object Tracking: senza un MOT robusto è impossibile passare da detection frame-by-frame a una vera comprensione temporale.

  • Sport: analisi di schemi offensivi completi e metriche di carico di lavoro.
  • Autonomous Driving: previsione delle traiettorie nel tempo.
  • Retail/Sicurezza: studio dei flussi di persone su sessioni complete.

Rendere il MOT affidabile democratizzerà queste analisi avanzate, portandole oltre i budget dei grandi campionati. Anche se il progetto è in pausa, Basket-AI resta una prova concreta di ciò che è possibile con un approccio metodico e strumenti open-source.