PATRYK KULPOK
WRÓĆ DO MAPY SYSTEMU

SYSTEM 05

DUBFORGE

PIPELINE R&D AUTOMATYCZNEGO DUBBINGU

Prototyp badawczy analizujący automatyzację dubbingu audiowizualnego przez przetwarzanie mowy, analizę mówców, tłumaczenie, generowanie głosu i rekonstrukcję mediów.

PYTHONSPEECHAUDIODUBBING

TOŻSAMOŚĆ SYSTEMU

ID SYSTEMUDUBFORGE-05

STATUSR&D

TYPPROTOTYP BADAWCZY

Eksperymentalny proces R&D do badania automatyzacji, tożsamości mówców, synchronizacji i ekspresji w dubbingu audiowizualnym.

01 / PRZEGLĄD

PRZEGLĄD PROJEKTU

DubForge to projekt R&D badający, jak dużą część potoku dubbingu audiowizualnego można zautomatyzować przez przetwarzanie mowy, analizę mówców, tłumaczenie, generowanie głosu i rekonstrukcję mediów.

Prace skupiają się na budowie i ocenie poszczególnych etapów potoku, a nie na przedstawianiu obecnego wyniku jako dubbingu gotowego do produkcji.

02 / OBSZAR BADAŃ

CO BADA PROJEKT

EXP-01

SEPARACJA ŹRÓDEŁ

Oddziel dialog od muzyki i efektów na potrzeby dalszego przetwarzania.

EXP-02

ANALIZA MÓWCÓW

Wykrywa i grupuje tożsamości mówców na podstawie wyodrębnionego dialogu.

EXP-03

REKONSTRUKCJA DIALOGÓW

Odtwarza fragmenty dialogu ze znacznikami czasu na podstawie wyniku rozpoznawania mowy.

EXP-04

TŁUMACZENIE

Generuje polski dialog uwzględniający długość wypowiedzi, zachowując kontekst i znaczenie.

EXP-05

ANALIZA WYKONANIA

Wykorzystuje cechy akustyczne i kontekst do oszacowania sposobu wypowiedzi, energii i tempa.

EXP-06

GENEROWANIE GŁOSU

Eksperymentuje z generowaną polską mową i warunkowaniem referencją mówcy.

EXP-07

REKONSTRUKCJA OSI CZASU

Umieszcza wygenerowany dialog z powrotem na osi czasu oryginalnego odcinka.

EXP-08

MIKSOWANIE AUDIO I SKŁADANIE MEDIÓW

Łączy dialog, dźwięk tła i wideo w eksperymentalny wynik.

03 / POTOK

EKSPERYMENTALNY PIPELINE DUBBINGU

Ścieżka badań nad dubbingiem audiowizualnym

  1. WIDEO ŹRÓDŁOWE
  2. SEPARACJA AUDIO
  3. ASR + ANALIZA MÓWCÓW
  4. REKONSTRUKCJA DIALOGÓW
  5. TŁUMACZENIE POLSKIE
  6. ANALIZA WYKONANIA
  7. GENEROWANIE GŁOSU
  8. SKŁADANIE OSI CZASU
  9. MIKS AUDIO
  10. WYJŚCIE WIDEO

Etapy te są zaimplementowane lub aktywnie testowane jako komponenty potoku. Ich połączony wynik pozostaje eksperymentalny i wymaga ręcznej oceny.

04 / OBSZAR R&D

OBSZAR R&D

RND-01

AUTOMATYZACJA

Jak dużą część tradycyjnie ręcznego procesu dubbingu można zautomatyzować?

RND-02

SPÓJNOŚĆ MÓWCÓW

Czy tożsamość mówcy może być niezawodnie zachowana w wielu krótkich fragmentach dialogu?

RND-03

SYNCHRONIZACJA

Jak dobrze wygenerowana polska mowa może dopasować się do ograniczeń czasowych oryginalnego materiału?

RND-04

WYKONANIE

Jak dużą część oryginalnego sposobu wypowiedzi można wywnioskować z pomiarów akustycznych i przenieść do wygenerowanej mowy?

RND-05

REKONSTRUKCJA MEDIÓW

Czy wygenerowany dialog można zrekonstruować do użytecznej osi czasu audiowizualnego?

05 / WALIDACJA

JAKOŚĆ TECHNICZNA A PERCEPCYJNA

Walidacja techniczna potwierdza, że artefakty potoku można poprawnie generować i składać. Percepcyjna jakość dubbingu nadal pozostaje otwartym problemem badawczym.

Technicznie poprawne artefakty pośrednie nie oznaczają profesjonalnej jakości dubbingu. Jakość głosu, spójność mówcy, naturalność tłumaczenia, synchronizacja i końcowy odbiór nadal wymagają ręcznej oceny.

06 / INŻYNIERIA

DECYZJE PRZETWARZANIA GŁOSU

E-01

WYPOWIEDZI Z OZNACZENIEM CZASU

Wykorzystuje wynik faster-whisper large-v3 i znaczniki czasu słów do tworzenia atomowych jednostek mowy.

E-02

PROFILE MÓWCÓW

Wykorzystuje embeddingi ECAPA-TDNN i referencje kanoniczne, aby zachować kontekst mówcy.

E-03

SYGNAŁ WYKONANIA

Traktuje ekspresję i sposób wypowiedzi jako część problemu głosowego, a nie wyłącznie tekst tłumaczenia.

07 / STACK TECHNOLOGICZNY

WARSTWA TECHNICZNA

  • Python
  • Faster-Whisper large-v3
  • ECAPA-TDNN
  • SEPARACJA AUDIO
  • EMBEDDINGI MÓWCÓW

08 / STATUS

AKTUALNY STATUS R&D

Potok poprawnie wytworzył kompletne artefakty pośrednie, w tym rozdzielone ścieżki audio, zrekonstruowany dialog, polskie tłumaczenia, referencje głosowe uwzględniające mówców i wygenerowane polskie ścieżki dialogowe.

Obecny wynik pozostaje eksperymentalny. Jakość głosu, spójność mówców, naturalność tłumaczenia, synchronizacja i końcowa jakość percepcyjna nadal wymagają ręcznej oceny i dalszych iteracji.

ARCHITEKTURA POTOKU WDROŻONO

PRZETWARZANIE DIALOGÓW WDROŻONO

GENEROWANIE POLSKIEGO GŁOSU EKSPERYMENTALNE

SPÓJNOŚĆ MÓWCÓW W TRAKCIE OCENY

JAKOŚĆ PERCEPCYJNA R&D

GOTOWOŚĆ PRODUKCYJNA JESZCZE NIE JEST CELEM