Jak oszukać system facial recognition – ile jeszcze pracy przed twórcami?

Jak oszukać system facial recognition – ile jeszcze pracy przed twórcami?

_________________________________________________________________________________

Systemy facial recognition odgrywają coraz ważniejszą rolę jako skuteczne zabezpieczenia biometryczne. Choć technologia rozpoznawania twarzy szybko się rozwija i znajduje szereg zastosowań w różnych sektorach rynku, nadal nie jest bezbłędna. Jak łatwo oszukać system facial recognition? Ile pracy jeszcze przed twórcami tego rodzaju rozwiązań?

_________________________________________________________________________________

Systemy rozpoznawania twarzy są z nami od wielu lat. Już w poprzedniej dekadzie technologia potrafiła identyfikować osoby z ponad 98% skutecznością, często będąc w tym zakresie bardziej precyzyjna od człowieka. W minionych latach systemy facial recognition  przeszły ewolucję i upowszechniły się na tyle, że dzisiaj spotykamy je na co dzień m.in. w smartfonach i samochodach, w których mogą pełnić różne zadania.

GLOFace i rozpoznawanie twarzy w sektorze automotive

W GlobalLogic bardzo często współpracujemy z sektorem automotive, więc pozwólcie, że na moment zatrzymamy się przy nim, omawiając zastosowania i zalety systemów rozpoznawania twarzy. Potencjał biometryki dostrzegliśmy już lata temu i od tego czasu wspieramy naszych partnerów w projektowaniu i wdrażaniu rozwiązań przeznaczonych do zastosowania w nowych modelach pojazdów. Już w 2017 roku opracowaliśmy GLOFace, nowatorski wówczas system wykrywania i rozpoznawania twarzy. 

Bazując na obserwacjach i precyzyjnej identyfikacji problemów oraz ograniczeń, z którymi mierzyła się technologia, a tym samym też użytkownicy, opracowaliśmy wieloplatformowe rozwiązanie, które ukazywało funkcjonalność detekcji i rozpoznawania twarzy. Wyróżniało się funkcją rozpoznawania wielu twarzy w czasie rzeczywistym, posiadało mechanizm weryfikacji i potrafiło filtrować obrazy niskiej jakości. Skróciliśmy wówczas czas potrzebny na rozpoznanie dowolnej liczby twarzy i nauczyliśmy naszą aplikację śledzić i weryfikować twarze w celu uniknięcia wielokrotnego rozpoznania tej samej osoby, a także odfiltrowywać rozmazane obrazy twarzy.

Architektura została zaprojektowana tak, aby można było łatwo podmieniać algorytmy do detekcji oraz rozpoznawania twarzy bez zmian w istniejącym już kodzie, a także dodawać nowe algorytmy, jak śledzenie gestów. Naturalnym rozwinięciem możliwości GLOFace jest GLOKO, a więc system śledzenia pozycji głowy i kierunku patrzenia w czasie rzeczywistym. 

Biometryka w nowych samochodach

Oba rozwiązania wskazały przed laty kierunek, którym, jak pokazał czas, podążają kolejni producenci z branży automotive. Systemy facial recognition znajdziemy w najnowszych modelach, w których pełnią rolę zarówno zabezpieczenia dostępu do samochodu i sposobu weryfikacji właściciela, jak i stanowią dodatkowe wsparcie podczas jazdy, monitorując zachowania kierującego w celu zapobiegania niebezpiecznym sytuacjom na drogach. Wzrost popularności tego rodzaju rozwiązań najlepiej obrazują praktyczne przykłady.

W nowym modelu cadillaca na rynek chiński producent mocno postawił na biometrykę. System facial recognition został zainstalowany w ramie przednich drzwi, a dodatkowo jest uzupełniony o czytnik linii papilarnych czy system rozpoznawania głosu i komend audio, które stanowią alternatywę dla tradycyjnego odblokowania auta za pomocą hasła. Pojazd jest w stanie zarejestrować dane biometryczne nawet ośmiu osób. 

We współczesnych samochodach znajdziemy już również system rozpoznawania twarzy zainstalowany we wnętrzu pojazdu, którego rolą jest monitorowanie źrenic kierowcy za pomocą kamery podczerwieni, by na podstawie analizy ruchu oczu i twarzy oraz informacji dotyczących sposobu poruszania się samochodu, reagować na potencjalnie niebezpieczne sytuacje. System taki potrafi m.in. ostrzec kierującego, kiedy ten nieświadomie opuszcza wyznaczony pas ruchu. 

Myliłby się jednak ten, kto stwierdziłby, że technologia rozpoznawania twarzy jest już bezbłędna i osiągnęła kulminacyjny punkt rozwoju. Wbrew pozorom, nadal nie potrzeba zbyt wiele, by ją oszukać. 

Jak oszukać system facial recognition?

Ludzka kreatywność nie zna granic i w obrębie systemów rozpoznawania twarzy widać to szczególnie dobrze. Z jednej strony mamy inżynierów zaangażowanych w rozwój możliwości systemów, z drugiej programistów i projektantów, którzy szukają nowych sposobów na oszukanie zbliżających się do perfekcji rozwiązań. 

Techniki oszukiwania systemów facial recognition są różne, ale najczęściej opierają się na wykorzystywaniu słabości algorytmów lub umyślnym wprowadzaniu ich w błąd. Najprostszym rozwiązaniem są oczywiście papierowe maski, ale równie skutecznie prezentowały się w przeprowadzanych testach specjalne projekty przezroczystych nakładek na twarz, przypominające soczewki lub też ubieralne mini-projektory, które nakładały wygenerowany obraz na prawdziwą twarz użytkownika. 

Zmylenie systemu rozpoznawania twarzy nie musi jednak oznaczać rezygnowania z komfortu i swobody, co udowodnił inny wart wzmianki projekt. Okazuje się, że wystarczy koszulka ze specjalnym wzorem, który będzie wpisywać się w algorytm systemu, na bazie którego dokonuje on identyfikacji. Choć dla człowieka dany kształt może być tylko abstrakcyjnym bohomazem, dla technologii stanie się podstawą procesu, który zaprowadzi ją ostatecznie do niewłaściwych wniosków. 

Przeciwstawienie jednego algorytmu przeciwko drugiemu jest skuteczną metodą, na którą twórcy rozwiązań do rozpoznawania twarzy muszą zwracać obecnie szczególną uwagę. Potwierdza to eksperyment przeprowadzony przez inżynierów McAfee. Wykorzystali oni algorytm służący do modyfikacji zdjęć, CycleGAN, by z bazy 1500 fotografii dwóch osób wygenerować takie ujęcie twarzy, które dla ludzkiego oka przypominało osobę A, a dla systemu identyfikacji było już osobą B. W tej sytuacji open-source’owy algorytm facial recognition nie poradził sobie z wyzwaniem.  

System facial recognition – jak rozwija się technologia

Sektor automotive bacznie obserwuje rozwój biometryki i sam angażuje się w rozwój rozwiązań, które mają zwiększyć wygodę i bezpieczeństwo użytkowników. Technologia nieustannie ewoluuje, co nie może dziwić, wszak nadal musi mierzyć się z wieloma wyzwaniami. Jakiś czas temu wspominaliśmy  o sytuacjach, w których zabezpieczenia biometryczne były łamane. 

Na nieskuteczność próby rozpoznania twarzy użytkownika mogą wpływać typowe, codzienne  sytuacje – identyfikację utrudnić może słabe oświetlenie,  niewłaściwa pozycja głowy czy też mina użytkownika, która wyraża konkretną emocję. 

Jak twórcy mogą temu przeciwdziałać? Oddajmy głos programiście z GlobalLogic pracującemu nad GLOFace:

Twórcy systemów starają się przygotowywać technologię na takie wyzwania m.in. za sprawą bardziej dopracowanych  modeli, z większym wektorem danych wejściowych, na których są one uczone. Taki wektor powinien posiadać zdjęcia osób o określonej mimice i pozycji głowy, aby model mógł zostać poprawnie nauczony. Czasami może się to wiązać z koniecznością dużych zmian, choćby po to, by był odporny na znaczące ruchy pozycji głowy na obrazie wejściowym. 

Względnie prostym sposobem na ulepszenie algorytmu jest dodatkowa analiza obrazu. Jedną z przykładowych dodatkowych warstw, które w sposób software’owy mogłyby utrudnić oszukanie algorytmu, np. poprzez pokazanie zdjęcia osoby do kamery, może być analiza zmian wartości RGB dla pikseli ukazujących twarz pomiędzy kolejnymi klatkami. W wyniku przepływu krwi zmiany te powinny być większe dla prawdziwej twarzy w porównaniu do zdjęcia.

Problemy z oświetleniem dobrze rozwiązuje z kolei wykorzystanie kamery IR/NIR, która dodatkowo jest wyposażona we własne źródło fal odpowiadających czułości matrycy kamery. Dzięki temu możliwa jest akwizycja obrazu w innym przedziale fal niż światło widzialne, co znacznie zmniejsza problem złego oświetlenia. Dodatkowo można zwiększyć rozdzielczość matrycy kamery oraz moc obliczeniową urządzenia, na którym uruchomiony jest system rozpoznawania twarzy. 

Dla systemów, od których wymaga się lepszej skuteczności działania, w tym większego bezpieczeństwa, często tworzony jest cały produkt – nie tylko oprogramowanie, ale również skomplikowany hardware. Takie kompleksowe rozwiązanie zdaje się być jednym z lepszych pod względem trudności w oszukaniu algorytmu.

Do jakiej sytuacji idealnej dążymy w rozwoju technologii? Celem są systemy facial recognition, które uwzględnią różne oświetlenie, poradzą sobie nawet przy niskiej rozdzielczości obrazu i w trudnych warunkach atmosferycznych, wezmą pod uwagę uśmiech czy zmęczenie użytkownika, a nawet uwzględnią proces starzenia człowieka, pozostawiający swój ślad na twarzach. Każdy z tych aspektów może wpływać na skuteczność identyfikacji, utrudniając dostęp do samochodu nie tylko osobie niepowołanej, ale też samemu właścicielowi. 

Ewolucja technologii w motoryzacji

Systemy rozpoznawania twarzy upowszechniają się i stają codziennością kierowców. By jednak technologia odniosła sukces, konieczne jest jej ciągłe usprawnianie i znalezienie rozwiązań dla wielu napotykanych wyzwań. W tym zakresie producenci z sektora automotive mogą z pewnością liczyć na wsparcie organizacji działających w branży IT, które dzięki wiedzy oraz doświadczeniu są w stanie opracowywać i implementować nowe rozwiązania technologiczne szybko i skutecznie. W GlobalLogic cieszymy się z możliwości bycia blisko takich rozwiązań i szansy aktywnego udziału w ich rozwoju.

Pracuj w IT i zmieniaj świat

Stawiamy na ciągły rozwój i angażujemy się w innowacyjne projekty – to codzienność naszych zespołów GlobalLogic, które mogą poznawać i wdrażać nowe technologie. Chcesz do nas dołączyć i brać udział m.in. w rozwijaniu biometryki dla sektora automotive?

_________________________________________________________________________________

Szukamy specjalistów do biur zlokalizowanych we Wrocławiu, Krakowie, Szczecinie, Koszalinie, Zielonej Górze, Bydgoszczy i Łodzi. Sprawdź, kogo obecnie rekrutujemy w zakładce kariera.