Dźwięki dla nas powtarzające i nieodróżnialne dla dla sztucznej inteligencji mogą być wyraźne oraz nieść mnóstwo informacji. Ukazały się wyniki eksperymentu, które oznaczają, że wytrenowana sieć wyposażona w odpowiednie algorytmy może z wysoką skutecznością rozpoznawać pisane litery po samym dźwięku klawiatury. Krótko mówiąc: możliwe jest rozpoznanie haseł pisanych na klawiaturze laptopa podstawie samego dźwięku palców wciskających klawisze. Na szczęście są proste metody utrudnienia ataku.

A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards to badanie grupy badawczej z Wlk. Brytanii. Co bardzo istotne: do nagrywania dźwięków pisania na klawiaturze nie użyto żadnego specjalistycznego mikrofonu czy drogiego sprzętu. Wystarczyło nagranie dźwięku zrobione telefonem leżącym w pobliżu. Mikrofon telefoniczny ze smartfona pozwolił sztucznej inteligencji na skuteczność rzędu 95% w odgadywaniu pisanych liter. Mikrofon komputerowy, testowany podczas połączenia w usłudze Zoom dał skuteczność odgadywania na pozomie 92%.

Sieć typu CoAtNet w tym eksperymencie była nauczona dźwięków jednej konkretnej klawiatury. Każdy klawisz został naciśnięty 25 razy i nagrany. Narzędziem pomocniczym był algorytm odgadujący kolejne litery oraz słowa na podstawie poprzednio wpisanych (HMM’s). Jego użycie poprawiło skuteczność odgadywania z ok 70 procentowej do powyżej 90% prób. To jednocześnie oznacza, że odgadywanie przypadkowego ciągu znaków, które nie mają sensu i nie są żadnym wyrazem, rzadziej będzie skuteczne – na podstawie samego dźwięku klawiatury. Otwarte pozostają kwestie:

1. Jak bardzo dźwięki różnych klawiatur mogą się od siebie różnić i czy trzeba od nowa uczyć sieć każdej nowej klawiatury, czy wystarczy mniejsza próbka uzupełniająca, w przypadku nowych klawiatur.
2. Jak bardzo różnią się dźwięki klawiatur, używanych przez różne osoby. Czy tak samo, trzeba od nowa tworzyć materiał do nauki.
3. Czy pisanie w różnych językach wytwarza ten sam dźwięk lub podobny – różne emocje, różne konstrukcje zdań.

Wśród metod, które mogą utrudnić hakerski atak dźwiękowy są te same metody, które i tak powinniśmy już teraz stosować. Używajmy losowych haseł a nie wyrazów. Używajmy dwuetapowego logowania: login/hasło + sms lub powiadomienie na telefon.

Można też dodatkowo, w trakcie pisania haseł, robić hałas przypadkowymi klawiszami klawiatury – jeśli miejsce na hasło już się skończyło dodatkowo wciskać klawisze utrudniające.

Na marginesie: bardzo podobnie wygląda inny eksperyment, w ramach którego sieć neuronowa została wytrenowana do rozpoznawania gdakania kur – napiszę o tym niebawem.