Źródło: nieistniejący mężczyzna, wygenerowany przeze mnie w usłudze Bing.com/create (Dall-E) poleceniem „Portrait of an arctic explorer, tired, unshaven, frost, detailed, snow, rocks, old fashioned.
W tym wpisie pokazuję na przykładzie dwóch filmów, jak w tej chwili niskobudżetowe produkcje mogą wykorzystać narzędzia sztucznej inteligencji do tworzenia video i obrazów. Mówiąc precyzyjnie: to ludzie zrobili te dwa, krótkie filmy, ale wykorzystali narzędzia sztucznej inteligencji.
Czy jest to jakość komercyjna? Jakie są atuty tej metody pracy? Jakie perspektywy rozwoju? Czy sztuczna inteligencja wyrzuci z pracy ludzi? Niżej wyjaśniam. Wytłumaczę metodę pracy i dam linki do narzędzi, które zostały wykorzystane w tych eksperymentach filmowych.
Najpierw zobaczmy te filmy.
„The Frost” (12:56) powstał na podstawie scenariusza Josha Rubina.
Bardzo podobną metodą został zrobiony krótszy film “Thank you for not answering” (2:25), w reż. Paula Trillo.
Filmy tworzone były w następujący sposób:
Najpierw w generatorze obrazków (DALL-E lub Stable Diffusion) powstawały serie obrazków, czyli storyboard (scenopis) filmów. Nie było to bardzo proste, bo trzeba wypracować metodę pisania poleceń dla generatora obrazków. Polecenia muszą zawierać informacje o kolorystyce, stylu, pokazywanych obiektach, sposobie pokazywania obiektów, świetle.
Generatory mogą mieć funkcję rozszerzenia obrazu – czyli jeśli załadujemy obraz, na którym widać fragment jakiegoś obiektu, to generator może odgadnąć/przewidzieć, jak wygląda ten obiekt. Widać to w tym klipie: https://www.youtube.com/watch?v=p31COxNbTWs
Josh Rubin, reżyser i scenarzysta pierwszej produkcji, czyli „The Frost” wygenerowanymi zdjęciami nakarmił generator wideo, który ożywia zdjęcia dodając czy symulując ruch obiektów z nieruchomego obrazu. To narzędzie nazywa się Live Portrait i jest tu: Live Portrait | Making Videos from photos | Video enhance AI D-ID. Powstała sekwencja obrazów, które zaczęły się ruszać.
Paul Trillo, autor drugiej produkcji „Thank you for not answering” użył natomiast kombinacji obrazów generowanych i obrazów znalezionych w sieci. Te obrazy posłużyły jako instrukcja dla generatora wideo Runway: Runway – Advancing creativity with artificial intelligence. (runwayml.com). Ten generator działa tak, że można wysłać (uploadować) do niego obrazy i na ich podstawie oraz na podstawie promptu/instrukcji, generator tworzy krótką sekwencję wideo.
Rozgłos wokół obydwu tych produkcji zadziałał jako reklama zarówno dla zalinkowanego wyżej Runway’a, jak i dla usługi Waymark Video Ads | Online Video Maker. Waymark, który stoi za pierwszym filmem („The Frost”) to usługa generowania krótkich filmów wideo, które mogą być wykorzystywane jako internetowe reklamy małych firm. Tu recenzja usługi i przykład dość prostej reklamy Waymark Review- What is Waymark? Full Tutorial + Honest Review 2023 – YouTube. Usługa jest bardzo prosta: wpisujesz nazwę firmy i sztuczna inteligencja najpierw wyszukuje informacje na temat firmy a potem automatycznie tworzy taką reklamę – przypominającej prezentację slajdów.
Runway i Waymark nie potrafią stworzyć płynnego filmu z ludzkimi postaciami o naturalnych twarzach, realistycznej mowie ciała i realistycznej mimice. To narzędzia, które pozwalają obniżyć koszt uzyskania drobnych efektów oraz osiągnąć je bardzo szybko. Na przykład, Runway specjalizuje się w tworzeniu realistycznie wyglądających chmur, kłębów pary, ognia itd. Waymark natomiast przejmuje jedno, konkretne zadanie tworzenia prezentacji albo krótkich klipów, złożonych z ruszających się grafik/obiektów.
Mając niski budżet i pracując w ten sposób, ale używając najlepszego generatora obrazów, jakim wg mnie jest słynny Midjourney, jeszcze nie da się wygenerować naturalnie wyglądającego wideo. Przykładem jest ta słynna reklama „Synthetic Dreams”, przedstawiająca tłum pijący napój gazowany: szkaradne twarze rozpływają się w dziwacznych grymasach, sylwetki zlewają się z obiektami, płomień i strumienie napoju tworzą senny koszmar.
Jakości profesjonalnych, filmowych narzędzi wielkobudżetowych nie znam i nie chcę się wypowiadać na ten temat. Tu rozmawiamy o narzędziach powszechnie dostępnych, w miarę prostych i tanich. Natomiast obydwa te eksperymenty filmowe (plus reklama) pokazują, że używając tych narzędzi – sztucznej inteligencji generatywnej – najlepsze rezultaty osiągają osoby wyspecjalizowane, z doświadczeniem zawodowym.
Na podstawie:
Exclusive: Watch the world premiere of the AI-generated short film The Frost. | MIT Technology Review
An A.I.-Generated Film Depicts Human Loneliness, in “Thank You for Not Answering” | The New Yorker