Sztuczna Inteligencja jako cyfrowy John Lennon

Czwórka z Liverpoolu wydała swoją ostatnią piosenkę – „Now And Then”. Do jej nagrania niezbędne były algorytmy uczenia maszynowego, które pozwoliły na odtworzenie głosu Lennona zapisanego na starej kasecie magnetofonowej. To typowe zastosowanie sztucznej inteligencji, która pozwala na klonowanie danych różnego rodzaju i odczytywanie wzorów w nich zawartych. 

Źródło: GPT-4/DALL-E 3. Prompt: na dole strony [1]

W teledysku do piosenki również zostały wykorzystane algorytmy sztucznej inteligencji generatywnej. Dzięki nim powstały lekko animowane wizerunki młodych Bitelsów. Teledysk poniżej.

Algorytmy, które umożliwiły powstanie piosenki odróżniają dźwięki różnych instrumentów oraz głosy ludzkie i potrafią je osobno zgrać, na osobne ścieżki. Z pliku mono można więc stworzyć zremasterowane pliki stereo. To oprogramowanie pierwotnie powstało na potrzeby filmu Petera Jacksona „Get Back’”.

W 1994 roku wdowa po Johnie Lennonie, Yoko Ono powiedziała Harrisonowi, że ma niepublikowane piosenki Lennona. Na kasecie znajdowały się próbne wersje piosenek nagranych przez Johna w ich nowojorskim mieszkaniu. Na tej podstawie powstały piosenki „Free As A Bird” oraz „Real Love”. Z piosenką „Now And Then” był ten problem, że głos Lennona nie był możliwy do oddzielenia od pianina, samo pianino było za ciche a nagranie było kiepskiej jakości. Muzycy próbowali coś z tym zrobić i nagrali kolejne ścieżki dźwiękowe, ale połączenie ich z głosem Lennona nie dawało satysfakcjonującego rezultatu. W 2001 roku umarł kolejny z Bitelsów, George Harrison a sprawa ostatniej, trzeciej piosenki została zarzucona na ponad 20 lat.

W roku 2022 roku  Paul McCartney wrócił do tematu i skontaktował się z reżyserem filmowym Peterem Jacksonem, który zrealizował słynny film dokumentalny „Get Back”. W tym filmie Jackson zaprezentował materiały filmowe i dźwiękowe, które zostały przetworzone komputerowo. Na potrzeby filmu powstało specjalne oprogramowanie zwane skrótowo MAL od słów Machine Audio Learning (dźwiękowe uczenie maszynowe). Poniżej przykład tego, jak używano MAL.

Postęp techniczny sprawił, że ścieżka dźwiękowa z czystym głosem Lennona stała się możliwa do odzyskania ze starej kasety magnetofonowej. Ten głos został połączony z materiałami, które pozostali trzej Bitelsi nagrywali w 1995 i 1996 roku. Jak powiedział Paul McCartney:

„Fakt, że w 2023 roku mogliśmy pracować nad muzyką The Beatles… Łał! Użyliśmy najnowszej technologii a tym Beatlesi zawsze się interesowali. “Now and Then” prawdopodobnie jest naszą ostatnią piosenką. I zagraliśmy tu wszyscy, więc jest to oryginalne nagranie The Beatles.” – moje tłumaczenie, MS. Cytat po ang. na dole strony. [2]

The Verge
Krótki film dokumentujący powstanie piosenki „Now And Then”.

10 listopada wznowiona zostanie płyta „The Beatles 1967-1970”, składanka z roku 1973, która wydana już po faktycznym rozpadzie zespołu. Będzie zawierać 30 utworów, w tym niektóre ponownie zremasterowane przy użyciu technologii MAL.

Nazwa MAL nawiązuje do słynnego, inteligentnego komputera HAL z filmu „Kosmiczna Odyseja 2001”. Jednocześnie to ukłon w stronę menedżera tras zespołu Mala Evansa. MAL to specjalnie napisane algorytmy oraz sieć neuronowa, wyspecjalizowana w analizie dźwięku. Firma Wingnut, należąca do Petera Jacksona, specjalnie do pracy nad filmem „Get Back” wyprodukowała tę technologię przy współpracy specjalisty od maszynowej analizy dźwięku, profesora Smaragdisa z Uniwersytetu Chicago. Tu strona profesora: https://paris.cs.illinois.edu/

Prof. Paris Smaragdis, który pomógł stworzyć oprogramowanie powiedział, że praca z algorytmami trwała 9 miesięcy a technologia umożliwiająca separację głosów powstała mniej niż 10 lat temu. Na podstawie treści ze strony profesora mogę zgadywać, że elementem technologii były algorytmy filtrujące. Sieć neuronowa uczy się wychwytywać konkretny rodzaj dźwięku filtrując czyli odrzucając wszystkie pozostałe dźwięki.

W tej chwili technologia filtrowania dźwięku upowszechnia się bardzo dynamicznie. Od paru lat można kupić proste urządzenia do karaoke, które wychwytują i zagłuszają wokal w piosenkach. W sieci jest kilka popularnych stron (Vocal Remover & Instrumental AI Splitter | LALAL.AI, Extract Vocals and BGM with AI | Media.io, gdzie bezpłatnie lub za opłatą można eliminować z plików dźwiękowych głosy lub instrumenty oraz zgrywać je do osobnych plików.

W przypadku ostatniej piosenki The Beatles, prawdopodobnie kluczowe było nauczenie sieci neuronowej tego, by bezbłędnie odróżniała głosy członków zespołu a jakość dźwięku na takich sklonowanych czy też odfiltrowanych ścieżkach była odpowiednio wysoka. Tak rozumiem informację, którą znalazłem w tekstach prasowych o tym, że istniejące na rynku rozwiązania zostały ulepszone przez prof. Smaragdisa na potrzeby filmu. Możemy się domyślać również, że po uzyskaniu niezadowalających rezultatów proces powtarzano aż do skutku.

Zespół The Beatles przestał istnieć w roku 1969, gdy Lennon oznajmił podczas prywatnego spotkania, że odchodzi. W następnym roku to samo ogłosił McCartney. Oficjalnie zespół rozpadł się w grudniu 1974 roku. Piosenka „Now And Then” w momencie publikacji tego tekstu w 2023 roku miała na You Tube ponad 22 mln wyświetleń.

[1] Prompt: Create a series of four portraits in a style inspired by vibrant pop art. Three portraits feature a male musician with attributes similar to John Lennon, with shoulder-length hair and round glasses. Each portrait should have a different bold background color and the subject should be stylized with high contrast and flat areas of color to mimic the pop art effect. The fourth portrait is of a robot head, designed with the same pop art aesthetics, including bright, contrasting colors and bold outlines, to complement the set.

[2] “To still be working on Beatles music in 2023… wow. We’re actually messing around with state-of-the-art technology, which is something the Beatles would’ve been very interested in. ‘Now and Then,’ it’s probably like the last Beatles song. And we’ve all played on it, so it is a genuine Beatle recording.” (cyt. za The Verge).

Na podstawie:

https://www.thebeatles.com/announcement

https://www.smithsonianmag.com/smart-news/the-beatles-release-their-last-song-now-and-then-ai-john-lennon-180983188/

https://www.theguardian.com/music/2023/nov/06/new-beatles-songs-ai-technology-now-and-then-peter-jackson

https://www.bbc.com/news/entertainment-arts-65881813

https://www.theverge.com/2023/11/2/23943290/now-and-then-the-beatles-new-song-ai

https://www.wired.com/story/the-beatles-now-and-then-last-song-artificial-intelligence-peter-jackson/

https://www.washingtonpost.com/entertainment/music/beatles-get-back-peter-jackson/2021/11/25/33359540-4d7c-11ec-b73b-a00d6e559a6e_story.html