Wan-Animate è l’ultimo salto di qualità nell’AI video: un framework unificato che anima un personaggio partendo da un’immagine e un video di riferimento, replicando con precisione movimenti del corpo ed espressioni facciali, oppure sostituendo direttamente un soggetto in scena con un’integrazione visiva così coerente da sembrare nativa del girato originale. Costruito sulla famiglia Wan (I2V), il modello separa in modo elegante “condizioni di riferimento” e “regioni di generazione”, normalizzando input e controlli in una rappresentazione simbolica comune che consente sia la modalità animazione sia la modalità replacement senza strappi distribuzionali. Il risultato è un controllo fine e prevedibile, con una fedeltà che spinge lo stato dell’arte verso produzioni sempre più cinematografiche e controllabili.
La magia tecnica si regge su due pilastri di controllo: per il corpo, Wan-Animate adotta segnali scheletrici allineati spazialmente, iniettati nei latenti iniziali per trasferire pose e cinematica con robustezza; per il volto, usa caratteristiche implicite estratte dai frame del riferimento, convertite in vettori latenti e sincronizzate temporalmente, così da preservare micro-espressioni e dinamiche sottili senza confondere identità e mimica. Questa architettura mista, skeleton per la postura, embeddings facciali per l’espressività, permette di mantenere stabilità fotogramma su fotogramma, riducendo i cosidetti “jitter e drift” (piccoli tremolii imprevedibili), e aprendo la strada a performance credibili anche in contesti complessi.
Quando entra in gioco la sostituzione del personaggio, la differenza la fa l’auxiliary Relighting LoRA: un modulo addestrato per applicare illuminazione e tonalità colore dell’ambiente ospitante, preservando al contempo la coerenza d’aspetto del soggetto sostituito. In pratica, non è solo compositing: è fusione percettiva, con matching di luce, ombre e color science che maschera gli artefatti tipici dei pipeline di face/body swap tradizionali. Secondo gli autori, il sistema raggiunge prestazioni allo stato dell’arte e sarà open-source nei pesi e nel codice, un segnale forte per l’ecosistema che già si sta muovendo con integrazioni in toolchain locali e nodi per preprocess in ambienti come ComfyUI.
Sul piano operativo, il flusso prevede la preparazione del video di riferimento e dell’immagine del personaggio, con step di preprocessing per segmentazione, keypoints scheletrici e cropping del volto; da lì, si sceglie la modalità “animation” per trasferire la performance sull’immagine, o “replacement” per fondere il personaggio nella scena sostituendo l’originale. Nei repository e nelle demo emergono workflow che gestiscono risoluzione, batching e parametri di consistenza, oltre al supporto a pipeline locali per chi vuole correre tutto on-prem con varianti di peso FP8/BF16 e wrapper dedicati.
È un pacchetto che parla sia ai creator indipendenti sia agli studi: identità coerente, controllo temporale e una regia sugli elementi davvero determinanti per la verosimiglianza.
