Przed ekranem szerokim na dwa i pół metra stoi kamera akustyczna. To płaski panel z wieloma mikrofonami, który zamiast światła rejestruje dźwięk i pokazuje na obrazie kolorową plamę tam, skąd on dochodzi. Na ekranie przesuwa się źródło dźwięku. Plama na podglądzie kamery jedzie razem z nim. Za ekranem nie ma żadnego głośnika. Gra sam ekran, i to tylko ten jego kawałek, na którym akurat coś widać.
Tak wyglądał test układu, który zbudował zespół Dongjoona Kima z Koreańskiego Instytutu Maszyn i Materiałów (KIMM) w Daejeon. Praca ukazała się w maju w Journal of Mechanical Science and Technology, a 19 października instytut opisał ją w komunikacie prasowym. Prześledźmy to doświadczenie tak, jak powstawało: od pytania, przez stanowisko i obliczenia, po pomiar i to, czego pomiar jeszcze nie mówi.
Pytanie: dlaczego głos nie pasuje do ust
Każdy, kto oglądał film na dużej ścianie LED w galerii handlowej albo na koncercie, zna ten drobny zgrzyt. Aktor mówi na środku ekranu, a głos dochodzi z kolumn ustawionych po bokach. Przy małym telewizorze tego nie zauważamy. Mózg sam przesuwa dźwięk tam, gdzie widzi poruszające się usta.
Ten mechanizm ma nazwę: efekt brzuchomówcy. W 2004 roku David Alais i David Burr pokazali, że mózg nie wybiera po prostu wzroku, tylko waży oba zmysły według tego, jak bardzo każdemu można w danej chwili ufać. Gdy obraz jest ostry, wygrywa oko i dźwięk „przykleja się” do obrazu. Ta sztuczka ma jednak granice. Kiedy ekran ma kilka metrów, a kolumny stoją daleko od postaci, różnica staje się za duża, żeby ją zatrzeć. Autorzy pracy z KIMM piszą wprost, że chcą usunąć właśnie to przestrzenne rozjechanie się obrazu i dźwięku w dużych salach.
Hipoteza: niech gra tylko ten fragment ekranu, na którym ktoś mówi
Sam pomysł, żeby ekran był głośnikiem, nie jest nowy. Płaskie głośniki, w których drga cała płyta, a nie stożkowa membrana, rozwijano od lat 90. Przegląd tej techniki opublikowali w 2021 roku Michael Heilemann i współpracownicy w Journal of the Audio Engineering Society. W 2017 roku Sony pokazało na targach CES telewizor OLED, w którym przetworniki za matrycą wprawiają w drgania sam ekran. Podobne rozwiązanie pokazywało wtedy LG Display.
W takich telewizorach miejsca, z których dobiega dźwięk, są jednak ustalone na stałe przez położenie kilku przetworników, a rozmiar panelu jest z góry określony. Koreańczycy postawili inne pytanie. Czy da się sterować całym polem drgań na dużej powierzchni tak, żeby grał wybrany prostokąt, a jego sąsiedzi milczeli? I czy ten prostokąt może jechać po ekranie razem z postacią?
Stanowisko: folia LED na aluminium i 80 cewek
Zespół zbudował ekran z modułów. Każdy moduł to aluminiowa płyta z naklejoną przezroczystą folią LED, czyli cienką warstwą diod, która wyświetla obraz. W pracy opisano prototyp z dziesięciu modułów ułożonych w dwa rzędy po pięć. Według komunikatu ekran ma przekątną około stu cali, czyli mniej więcej dwa i pół metra.
Z tyłu do płyt przymocowano 80 cewek drgających. To ten sam rodzaj napędu, który porusza membraną w zwykłym głośniku. Tutaj każda cewka popycha i ciągnie fragment płyty. Jedna cewka nie robi wiele. Gdy jednak wiele z nich pracuje jednocześnie, każda z innym sygnałem, ich drgania mogą się w jednych miejscach wzmacniać, a w innych znosić.
Zespół nie wziął się z branży telewizorów. Kim zajmuje się na co dzień wibroakustyką i aktywnym tłumieniem drgań, a projekty, z których finansowano badania, dotyczyły między innymi hałasu podwodnego i bezpieczeństwa okrętów. Jeden z nich ma inny cel: rozszerzoną rzeczywistość dla osób z ciężkimi zaburzeniami ruchu. Dla kogoś, kto nie może odwrócić głowy w stronę dźwięku, zgodność obrazu i dźwięku jest ważniejsza niż dla widza w fotelu. Współautor Jung-Han Woo opisał w 2019 roku, razem z Jeong-Guonem Ihem, jak szeregiem przetworników na brzegu cienkiej płyty wytworzyć na niej „wirtualny głośnik”, czyli miejsce, które drga mocno, choć nikt go bezpośrednio nie popycha. Nowa praca przenosi ten pomysł na ekran.
Obliczenia: problem odwrotny, czyli od efektu do przyczyny
Zwykle liczy się tak: znam sygnały na cewkach, więc obliczam, jak zadrga płyta. Tu trzeba odwrotnie. Wiadomo, jak płyta ma drgać, bo jeden prostokąt ma grać, a reszta stać. Szuka się sygnałów, które to dadzą.
Najpierw badacze zmierzyli, jak każdy punkt panelu odpowiada na pobudzenie każdej z cewek. Dopiero mając taką mapę, mogli ją „odwrócić”. W abstrakcie piszą, że użyli pseudoodwrotności Moore'a-Penrose'a, standardowego narzędzia algebry, które daje najlepsze przybliżone rozwiązanie, gdy punktów pomiarowych jest więcej niż cewek. Tak właśnie jest w tym układzie, i to akurat pomaga. Ta sama rodzina obliczeń od dekad pracuje w aktywnym tłumieniu hałasu, z którego korzystają na przykład słuchawki wygłuszające.
Odwracanie takiej mapy łatwo się psuje. Niektóre cewki słabo przenoszą drgania tam, gdzie trzeba, i obliczenia mogą żądać od nich ogromnych sygnałów, a to rozchwiewa cały wynik. Zespół napisał więc algorytm, który takie cewki po prostu pomija przy danym zadaniu. Drugi kłopot pojawia się, gdy grający prostokąt się przesuwa. Sygnały zmieniają się wtedy skokowo i słychać przerwy albo trzaski. Badacze dodali metodę, która płynnie łączy kolejne fragmenty dźwięku.
Pomiar: kamera akustyczna i 35 decybeli
Według instytutu trafność wyboru właściwej strefy ekranu wyniosła 99,9 procent. Różnica drgań między strefą grającą a sąsiednimi, które miały milczeć, sięgała 35 decybeli. Oznacza to, że poza wybranym prostokątem amplituda drgań była ponad pięćdziesiąt razy mniejsza. Kamera akustyczna potwierdziła, że dźwięk dochodzi z zamierzonego miejsca i przesuwa się razem ze źródłem w filmie.
Abstrakt dodaje ważne zastrzeżenie. Drgania najlepiej skupiają się w jednym miejscu w niskich i średnich częstotliwościach, poniżej 500 herców. W tym zakresie leży sporo energii głosu i wielu instrumentów. Zrozumiałość mowy zależy jednak w dużej mierze od wyższych tonów, na przykład od spółgłosek syczących, a ucho młodego człowieka słyszy mniej więcej do dwudziestu tysięcy herców. Jak układ radzi sobie z wysokimi tonami, z dostępnych materiałów się nie dowiemy.
Rola AI: kto w kadrze mówi
Sterowanie drganiami to połowa zadania. Druga połowa polega na tym, żeby wiedzieć, który fragment ekranu ma grać. Zespół dołączył do układu oprogramowanie AI, które znajduje w filmie źródła dźwięku, określa ich położenie i wielkość, a potem wyciąga z mieszaniny wybrany dźwięk. Taki dźwięk trafia na prostokąt ekranu, na którym widać jego źródło.
Komunikat nie opisuje, jakich modeli użyto ani jak szybko działają. Najciekawsze jest tu co innego: wynik rozpoznawania obrazu od razu steruje mechaniką panelu. Oprogramowanie decyduje, gdzie jest głos, a algebra decyduje, które cewki mają go zagrać.
Od telewizora po ścianę LED
Moduły można łączyć i rozdzielać, więc jeden projekt da się w zasadzie dopasować do telewizora, ekranu w muzeum albo ściany LED na stadionie. Gdy wiele modułów drga razem, dają mocny, niski dźwięk, podobny do dużego głośnika basowego. Instytut wymienia jako zastosowania sztukę multimedialną, spektakle i wystawy, ekrany reklamowe, duże ściany LED i wyświetlacze w samochodach. Kim zapowiada w komunikacie, że następnym krokiem będą modułowe ekrany z kafli LED, z których dziś składa się większość dużych ekranów.
Z punktu widzenia rynku to sensowny kierunek. Kafle LED już są modułowe, więc na papierze wystarczy do każdego dołożyć cewki i sterownik, zamiast projektować ekran od nowa. Sprzedaje się je wypożyczalniom sprzętu estradowego, sieciom kin, muzeom i operatorom reklamy zewnętrznej. To klienci, dla których „dźwięk z ekranu” może być argumentem sprzedażowym, a nie ciekawostką.
Gdzie jest Polska
W Polsce duże ekrany LED stoją na stadionach, w galeriach handlowych i przy trasach koncertowych, a polskie muzea, takie jak POLIN czy Centrum Nauki Kopernik, od lat budują wystawy na projekcjach i ekranach. Dla firm, które takie instalacje projektują i montują, technologia z KIMM byłaby raczej nowym modułem do kupienia niż czymś do samodzielnej produkcji. Kupić ją będzie można dopiero wtedy, gdy KIMM albo jakaś firma zacznie ją licencjonować lub sprzedawać.
Druga droga prowadzi przez uczelnie. Wibroakustyką i aktywnym tłumieniem drgań zajmują się w Polsce między innymi zespoły AGH w Krakowie, a przetwarzaniem dźwięku i systemami multimedialnymi Politechnika Gdańska. Metoda opisana w pracy nie wymaga egzotycznego sprzętu: płyty, cewek, czujników i dobrze policzonej macierzy. Taki temat nadaje się na wspólny projekt z firmą z branży ekranów albo z dostawcą elektroniki samochodowej.
Czego jeszcze nie wiemy
To prototyp laboratoryjny, oceniamy go na TRL 4. Działa w pełnej skali i przeszedł pomiary, ale w laboratorium, nie w kinie ani na stadionie.
Po pierwsze pomiar kamerą akustyczną to nie to samo co odsłuch. W abstrakcie i komunikacie nie ma mowy o testach z udziałem słuchaczy, którzy oceniliby, czy dźwięk rzeczywiście wydaje się płynąć z ust postaci. Po drugie skupienie drgań opisano dla częstotliwości poniżej 500 herców. Po trzecie z komunikatu nie wynika, czy ekran potrafi zagrać dwa głosy z dwóch miejsc jednocześnie, co przy rozmowie dwóch postaci byłoby naturalnym kolejnym testem. Po czwarte nie znamy kosztu, poboru prądu ani trwałości cewek pracujących latami na ekranie reklamowym. Po piąte nie wiadomo, czy drgania nie męczą folii LED i połączeń między modułami.
Praca pokazuje jednak coś konkretnego. Duży ekran może sam zdecydować, który jego fragment gra, i zmieniać to w biegu. Teraz trzeba sprawdzić, czy ludzie przed takim ekranem w ogóle zauważą różnicę i czy zechcą za nią zapłacić.
Bibliografia
- Kim D., Woo J.-H., Lee S.-H., Seo Y.-H. Vibration field control for an audio-visual integrated modular display. Journal of Mechanical Science and Technology 40, 3367–3375 (2026). DOI: 10.1007/s12206-026-0414-7
- Woo J.-H., Ih J.-G. Generation of a Virtual Speaker and Baffle on a Thin Plate Controlled by an Actuator Array at the Boundary. IEEE/ASME Transactions on Mechatronics 24, 1197–1207 (2019). DOI: 10.1109/tmech.2019.2906376
- Alais D., Burr D. The Ventriloquist Effect Results from Near-Optimal Bimodal Integration. Current Biology 14, 257–262 (2004). DOI: 10.1016/j.cub.2004.01.029
- Heilemann M. C., Anderson D. A., Roessner S., Bocko M. F. The Evolution and Design of Flat-Panel Loudspeakers for Audio Reproduction. Journal of the Audio Engineering Society 69, 27–39 (2021). DOI: 10.17743/jaes.2020.0057
- Elliott S. J., Nelson P. A. Active noise control. IEEE Signal Processing Magazine 10, 12–35 (1993). DOI: 10.1109/79.248551
- Sony. Sony Unveils its Latest Products at CES 2017 (komunikat prasowy, 2017).
- The Verge. Sony's wonderful new OLED TV is mostly the work of LG Display. The Verge (10.01.2017).
- National Research Council of Science and Technology / KIMM. Sound comes from where you see it: Display technology reproduces sound at on-screen locations. TechXplore (19.10.2026).
Komentarze· 0
Brak komentarzy. Dodaj pierwszy.