Materiał
Półprzewodniki · Sztuczna inteligencja · Deep Tech

Pamięć flash w laboratoryjnym chipie rozkłada mowę i obrazy na częstotliwości

Poziom gotowości3 / 9Dowód koncepcji
AutorRTRedakcja TRL09
Opublikowano
Czas czytania9 min

Każdy dźwięk, który nagrywa telefon, każdy obraz z radaru satelity i każda ramka sygnału 5G przechodzi w którymś momencie przez ten sam rachunek. Komputer rozkłada sygnał na częstotliwości, z których się składa. Ten rachunek to transformata Fouriera, a jej szybka wersja, FFT, od sześćdziesięciu lat należy do najczęściej uruchamianych algorytmów na świecie. Od lat badaczy męczyła też zagadka: dlaczego chipy, które liczą wprost w komórkach pamięci i robią to oszczędniej niż zwykłe procesory, nie radzą sobie właśnie z nią?

Zespół z Sandia National Laboratories, Infineon Technologies i Arizona State University twierdzi, że znalazł odpowiedź i obejście. W piśmie Nature Electronics opisał chip z pamięcią flash, który policzył transformatę Fouriera dla 65 536 punktów naraz. Poprzednie analogowe układy tego typu kończyły na około 128 punktach. Pierwszym autorem pracy jest T. Patrick Xiao, ostatnim Christopher H. Bennett, obaj z Sandii. DOI: 10.1038/s41928-026-01725-x.

Ślad pierwszy: chip, który liczy tam, gdzie trzyma dane

Zwykły procesor pracuje jak urzędnik, który po każdą liczbę chodzi do archiwum. Dane leżą w pamięci, obliczenia dzieją się gdzie indziej, a większość energii idzie na samo przenoszenie danych tam i z powrotem. Obliczenia w pamięci (ang. in-memory computing) odwracają ten układ. Liczby zostają w komórkach pamięci i tam też się je przelicza.

W wersji analogowej wygląda to tak. Każda komórka przechowuje wartość jako fizyczny stan, na przykład ładunek albo przewodność. Gdy przez całą siatkę komórek puści się napięcia odpowiadające danym wejściowym, prądy płynące w przewodach same sumują iloczyny. Prawa fizyki mnożą macierz przez wektor w jednym kroku i dla wielu komórek jednocześnie. To właśnie ta operacja dominuje w sztucznej inteligencji. Dlatego analogowe chipy w pamięci od lat testuje się głównie jako przyspieszacze sieci neuronowych. W 2023 roku IBM pokazał na przykład analogowy chip do rozpoznawania i transkrypcji mowy.

Xiao opisał to w rozmowie z serwisem Tech Xplore wprost: mnożenie macierzy to funkcja bardzo mocna, bo prawie całe przetwarzanie AI daje się do niej sprowadzić. Ten sprzęt nie umiał jednak przyspieszyć jednego z najważniejszych algorytmów współczesnej informatyki, czyli FFT. Zespół uznał to za poważne ograniczenie.

Ślad drugi: dwie strategie, które się wykluczają

Żeby zrozumieć, gdzie tkwił problem, trzeba spojrzeć na to, jak działa FFT. Samą transformatę Fouriera da się zapisać jako jedno duże mnożenie macierzy. Dla sygnału z N próbek ta macierz ma N wierszy i N kolumn. Przy 65 536 próbkach wychodzi ponad cztery miliardy współczynników. Żadna pojedyncza siatka pamięci tyle nie pomieści, a układanie tysięcy siatek obok siebie zjadłoby całą przewagę energetyczną.

Szybka transformata Fouriera od 1965 roku obchodzi ten problem sprytem. James Cooley i John Tukey opisali algorytm, który dzieli dużą transformatę na dwie mniejsze, każdą z nich znowu na dwie i tak dalej, aż do najmniejszych możliwych kawałków. Dzięki temu nakład pracy rośnie w przybliżeniu proporcjonalnie do N razy logarytm z N, a nie do N do kwadratu. Na zwykłym procesorze to ogromne przyspieszenie.

Tu obie strategie wchodzą sobie w drogę. Siatka pamięci lubi duże macierze, bo w jednym kroku liczy tym więcej, im jest większa, aż do granicy swoich fizycznych wymiarów. FFT lubi kawałki jak najmniejsze. Xiao ujął to tak: mieli technologię świetną w mnożeniu macierzy, im większych, tym lepiej, i algorytm, który dzieli problem tak długo, aż zostaną najdrobniejsze okruchy. Pytanie brzmiało, jak to pogodzić.

Ślad trzeci: przestać dzielić we właściwym momencie

Rozwiązanie okazuje się proste w opisie. Zespół wziął jedną z pierwotnych postaci algorytmu FFT, która rozbija transformatę na dwie mniejsze, i dzielił dalej tylko do chwili, gdy kawałek pasował dokładnie do rozmiaru fizycznej siatki pamięci. Tam się zatrzymał. Każdy taki kawałek to mała transformata Fouriera, którą siatka liczy analogowo, jednym mnożeniem macierzy. Pozostałe kroki, które sklejają wyniki z kawałków, chip wykonuje cyfrowo.

Xiao nazywa ten punkt optymalnym. Według niego siatka pamięci dowolnej wielkości może w ten sposób liczyć bardzo duże transformaty. Dla najlepszej sprawności energetycznej trzeba jednak dzielić jak najrzadziej, więc duże siatki są lepsze niż małe.

W doświadczeniu zespół zaprogramował w bloku pamięci o wymiarach 512 na 1024 komórki macierz transformaty dla 256 punktów. Z takich klocków złożył transformatę dla 65 536 punktów, czyli 256 razy 256. Współczynniki transformaty Fouriera to liczby zespolone, z częścią rzeczywistą i urojoną, więc komórki muszą przechowywać obie.

Ślad czwarty: pamięć, która trzyma ładunek w izolatorze

Sam pomysł na podział nie wystarczy, jeśli pamięć jest nieprecyzyjna. Analogowe liczenie ma bowiem wadę wrodzoną: każda komórka trochę się myli, a przy dużej siatce małe błędy się sumują. Dlatego zespół użył pamięci typu SONOS. To odmiana pamięci flash, w której każda komórka łapie ładunek elektryczny w cienkiej warstwie izolatora. Dzięki temu pamięta wartość także bez zasilania.

Za projekt i wykonanie chipa SONOS odpowiadał w zespole Vineet Agrawal z Infineonu. Inżynierowie tej firmy przygotowali też płytkę demonstracyjną i oprogramowanie do sterowania nią. Badacze z Sandii zaplanowali i wykonali eksperymenty.

Według Xiao pamięcią SONOS da się sterować bardzo dokładnie i właśnie ta precyzja pozwala przejść do dużej skali. W jednym mnożeniu macierzy zespół użył naraz do 524 tysięcy komórek flash w tej samej siatce. Xiao zaznacza, że niewiele technologii pamięci pozwala liczyć równolegle w takiej skali tak, by błędy nie wymknęły się spod kontroli.

Dowody: mowa i obrazy

Zespół sprawdził metodę na dwóch rodzajach sygnałów. Pierwszy to nagranie mowy, czyli sygnał jednowymiarowy. Chip policzył widmo nagrania z 65 536 próbkami oraz spektrogram, czyli obraz zmian częstotliwości w czasie. Z tych wyników badacze odtworzyli potem dźwięk i dołączyli nagrania do pracy, żeby każdy mógł porównać oryginał z wersją przeliczoną przez pamięć flash.

Drugi test dotyczył obrazów, czyli sygnałów dwuwymiarowych. Tu zespół użył wariantu FFT, który dzieli transformatę jednocześnie wzdłuż obu osi obrazu. Osobno autorzy zasymulowali dokładność, zużycie energii i wydajność dla większych transformat. Posłużył im do tego otwarty program CrossSim, który Sandia udostępnia na GitHubie. Wyniki zestawili też z FFT uruchomioną na układzie Versal firmy Xilinx.

To rozróżnienie ma znaczenie dla czytelnika. Sam chip policzył mowę i obrazy. Oszczędności energii przy większych zadaniach wynikają z modelowania, a nie z pomiaru na gotowym urządzeniu w terenie.

Motyw: komputer, który nie ma gniazdka

Po co to wszystko? Xiao odpowiada, że takie obliczenia często wykonują systemy czujników bez stałego zasilania, niepodłączone do sieci. Ograniczony budżet energii decyduje dziś zarówno o tym, ile, jak i co mogą policzyć. Jeśli chip w pamięci potrafi liczyć i FFT, i mnożenia macierzy, to ten sam układ obsłuży przetwarzanie sygnału i AI przy niskim poborze mocy.

Bennett idzie dalej i opisuje, co to mogłoby dać w przyszłości. Satelita z typowym procesorem cyfrowym i analogowym koprocesorem działającym tą metodą mógłby według niego tworzyć obrazy optyczne lub radarowe o rząd wielkości lepsze pod względem rozdzielczości albo skali niż dziś. Wymienia wykrywanie pożarów lasów, monitorowanie zmian w terenie, poszukiwanie surowców i obronność. Drony mogłyby w czasie rzeczywistym obsłużyć zadania czujnikowe, z którymi dziś sobie nie radzą, zwłaszcza w długich lotach.

To są zapowiedzi, a nie wyniki. Żaden satelita ani dron nie latał jeszcze z takim chipem.

Czego chip jeszcze nie udowodnił

Autorzy sami nazywają te testy wstępną oceną. Xiao przypomina, że analogowe liczenie w pamięci zawsze wnosi trochę błędu. Można go zmniejszyć, budując dokładniejsze komórki i obwody albo dodając poprawki w samym algorytmie. Nie wiadomo jednak jeszcze, jak bardzo te błędy zaszkodzą przy prawdziwych zadaniach.

Dlatego następnym etapem mają być prawdziwe zastosowania, w których FFT jest tylko jednym z elementów. Xiao podaje przykład: obliczenia wprost w czujniku, które łączą przetwarzanie sygnału z algorytmami AI. Znalezienie lub zbudowanie takich zadań i sprawdzenie na nich technologii zespół uważa za najważniejszy następny krok. Żeby ocenić przydatność chipa dla konkretnych satelitów czy dronów, trzeba będzie znać ich czujniki i budżet energii.

Są też ograniczenia praktyczne. Pełny kod użyty w tym badaniu autorzy udostępniają tylko na prośbę i za zgodą kierownictwa Sandii, a dane również na uzasadnioną prośbę. Otwarty jest symulator CrossSim. Na skali gotowości technologicznej to poziom 3: działający chip w laboratorium potwierdził zasadę na prawdziwych sygnałach, ale nie ma jeszcze prototypu w docelowym środowisku.

Co z tego dla Polski i Europy

W tej historii jest wątek europejski. Infineon to niemiecki producent półprzewodników, a jego inżynierowie zaprojektowali i wykonali chip użyty w eksperymencie. Unia Europejska w akcie o chipach stawia na to, żeby rozwijać w Europie także projektowanie układów, nie tylko ich montaż. Analogowe akceleratory w pamięci flash to nisza, w której przemysłowy partner z Europy ma już praktyczne doświadczenie.

Dla Polski najciekawsze są zastosowania. Polska ma szybko rosnący przemysł dronów i sektor kosmiczny, który buduje małe satelity. Na obu tych platformach każdy wat energii i każdy centymetr kwadratowy płytki są na wagę złota. FFT siedzi też w samym sercu łączności komórkowej: sygnał 5G korzysta z modulacji, której bez transformaty Fouriera nie da się odebrać. Jeśli metoda z Sandii sprawdzi się w prawdziwych zadaniach, może trafić do czujników, radarów i stacji, które dziś muszą wysyłać surowe dane do chmury, bo same nie mają siły ich przeliczyć.

Na razie to wiadomość dla projektantów układów i zespołów badawczych. Kto buduje czujniki, które same uruchamiają algorytmy AI zamiast wysyłać dane do chmury, powinien obserwować, czy obliczenia w pamięci zaczną obejmować także przetwarzanie sygnału, a nie tylko sieci neuronowe.

Rozwiązanie zagadki

Zagadka miała prostą odpowiedź. Analogowe chipy nie radziły sobie z FFT, bo ten algorytm i ten sprzęt chciały czegoś odwrotnego: jeden jak najmniejszych kawałków, drugi jak największych macierzy. Zespół z Sandii, Infineonu i Arizona State University pokazał, że wystarczy przestać dzielić w chwili, gdy kawałek pasuje do siatki pamięci. Resztę robi fizyka prądu płynącego przez pół miliona komórek flash.

Czy to wystarczy, żeby satelity i drony liczyły więcej przy tej samej baterii, pokażą dopiero testy na prawdziwych zadaniach. Bariera 128 punktów, która trzymała analogowe FFT w roli laboratoryjnej ciekawostki, przesunęła się jednak właśnie do 65 536.

Bibliografia

  1. Xiao T. P., Feinberg B., Richardson D. K., Cannon M., Madsen C., Medu H., Agrawal V., Marinella M. J., Agarwal S., Bennett C. H. Analogue fast Fourier transforms for scalable and efficient signal processing. Nature Electronics (2026). DOI: 10.1038/s41928-026-01725-x
  2. Xiao T. P., Feinberg B., Bennett C. H. i in. An accurate, error-tolerant, and energy-efficient neural network inference engine based on SONOS analog memory. IEEE Transactions on Circuits and Systems I: Regular Papers (2022). DOI: 10.1109/tcsi.2021.3134313
  3. Cooley J. W., Tukey J. W. An algorithm for the machine calculation of complex Fourier series. Mathematics of Computation (1965). DOI: 10.1090/S0025-5718-1965-0178586-1
  4. Li C., Hu M., Li Y. i in. Analogue signal and image processing with large memristor crossbars. Nature Electronics (2018). DOI: 10.1038/s41928-017-0002-z
  5. Ambrogio S., Narayanan P., Okazaki A. i in. An analog-AI chip for energy-efficient speech recognition and transcription. Nature (2023). DOI: 10.1038/s41586-023-06337-5
  6. Sandia National Laboratories. CrossSim: accuracy simulation of analog in-memory computing. GitHub
  7. Fadelli I. Team unlocks large-scale Fourier transforms for analog in-memory computing. Tech Xplore (8 listopada 2026). techxplore.com

Komentarze· 0

Brak komentarzy. Dodaj pierwszy.

Dodaj komentarz