Deepfake muzyczny
Jak działa
Typowy pipeline deepfake'u muzycznego przebiega w kilku krokach. 1) Pozyskanie danych: zebranie nagrań docelowego artysty, często z separacją źródeł, by wyodrębnić czyste ścieżki wokalne. 2) Trenowanie / dostrojenie modelu głosu: model konwersji głosu (np. oparty na VITS / tzw. so-vits-svc) lub retrieval-based voice conversion (RVC) uczy się odwzorowywać barwę i manierę wokalną artysty. 3) Synteza wokalu: na wejściu podaje się referencyjny wokal (nucony lub śpiewany przez inną osobę) albo tekst i melodię, a model zamienia go na głos docelowego artysty (voice conversion) lub syntezuje śpiew od zera (singing voice synthesis). 4) Generacja/aranżacja muzyki: podkład tworzy generatywny model muzyki (np. z rodziny text-to-music) lub klasyczna produkcja. 5) Miks i publikacja utworu. Jakość zależy od ilości i czystości danych treningowych oraz od dopasowania modelu do rejestru wokalnego.
Rozwiązany problem
Deepfake muzyczny nie rozwiązuje problemu technicznego w klasycznym sensie — jest raczej zastosowaniem (i zarazem źródłem problemu) generatywnej syntezy głosu i muzyki. Technologie bazowe obniżają barierę tworzenia realistycznych wokali naśladujących znanych artystów, co jednocześnie rodzi istotne problemy prawne i etyczne: nieautoryzowane użycie głosu, naruszenie praw do wizerunku oraz spam i podszywanie się na platformach muzycznych.
Komponenty
Model odwzorowujący barwę i manierę wokalną docelowego artysty; zamienia wokal referencyjny na głos artysty lub syntezuje go z danych treningowych.
Odmiana syntezy głosu wyspecjalizowana w śpiewie — zachowuje wysokość, rytm i ekspresję melodyczną, nie tylko treść mówioną.
Model tworzący kompozycję, podkład instrumentalny lub cały utwór (np. modele text-to-music). W pełnych deepfake'ach dostarcza warstwy muzycznej pod wokal.
Narzędzie wyodrębniające czyste ścieżki wokalne z gotowych nagrań, wykorzystywane do przygotowania danych treningowych modelu głosu.
Implementacja
Użycie głosu rozpoznawalnego artysty bez zgody może naruszać prawo do wizerunku/głosu (right of publicity) oraz prawa autorskie związane z próbkami i kompozycją.
Wykrywanie wygenerowanego wokalu jest trudne; skuteczność detektorów spada dla innych języków, akcentów i nowych modeli generujących.
Ewolucja
Model generujący muzykę z surowego dźwięku, w tym wokalu, pokazuje realność syntezy całych utworów przez sieci neuronowe.
Google publikuje pracę o generatorze muzyki z tekstu (styczeń 2023), wyznaczając kierunek generatywnych modeli muzyki.
Utwór twórcy ghostwriter977 (4 kwietnia 2023) z klonowanymi głosami Drake'a i The Weeknda staje się viralem; 17 kwietnia 2023 Universal Music Group składa żądania usunięcia na platformach.
Generator pełnych utworów z wokalem, tekstem i instrumentacją staje się szeroko dostępny (grudzień 2023).
Udio startuje jako aplikacja webowa (kwiecień 2024); Universal Music Group i Sony Music pozywają Suno o naruszenie praw autorskich przy trenowaniu modeli.
Głos Randy'ego Travisa, który nie może śpiewać od udaru z 2013 r., odtworzono za zgodą z ponad 40 nagrań (maj 2024) — przykład autoryzowanego użycia.
Artyści (m.in. Elton John, Dua Lipa) domagają się ochrony przed AI (maj 2025); platformy i wytwórnie wprowadzają zasady wobec klonowania głosu, a UMG i Google pracują nad ramami z tantiemami i atrybucją.