Czy algorytmy zdolne są do dyskryminacji i uprzedzeń?

May algorithms show bias and discriminate?

[ENG/PL]

Sztuczna inteligencja (SI) niesie nie tylko potencjalne korzyści, ale może stanowić również zagrożenie dla przeciętnego człowieka.

Doskonałym na to przykładem są ostatnie wydarzenia w Stanach Zjednoczonych, których jesteśmy aktualnie świadkami. Kraj zalała fala protestów po zabójstwie Georga Floyda, brutalnie zatrzymanego, przez jednego z policjantów w Minneapolis. Policjant skuł go kajdankami i przycisnął jego kark kolanem do ziemi. Funkcjonariusz zignorował błagania Floyda, który nie mógł oddychać. W następstwie tego George Floyd zmarł. To dramatyczne wydarzenie zostało nagrane i opublikowane w mediach społecznościowych, rozpoczynając protesty obywateli. Śmierć ta wpisywała się bowiem w serię zabójstw na nieuzbrojonych Afroamerykanach w trakcie interwencji policji. Z czasem protesty objęły całe Stany Zjednoczone i przybrały na sile po kolejnych wydarzeniach.

Pod koniec czerwca ACLU (American Civil Liberties Union) złożyło skargę na policję w Detroit po tym, jak czarnoskóry mężczyzna Robert Williams został aresztowany za rzekomą kradzież. Williams był przetrzymywany w celi przez noc, bez podania powodu. Aresztowanie było niesłuszne i oparte o wadliwy algorytm, który zidentyfikował go jako podejrzanego o przestępstwo. Rozmyty obraz CCTV został dopasowany przez algorytm rozpoznawania twarzy do zdjęcia z prawa jazdy Williamsa.

Rozpoznawanie twarzy to technologia biometryczna, która automatycznie dopasowuje twarz danej osoby na podstawie obrazu (np. wideo), do baz danych zarejestrowanych twarzy.

Wydarzenia te spowodowały, że zaczęto zastanawiać się jak niewłaściwe wykorzystanie technologii, takich jak rozpoznawanie twarzy, może wpłynąć na społeczeństwo. Sam Szef policji w Detroit, James Craig, przyznał, że rozpoznawanie twarzy przez SI nie działa w przeważającej większości przypadków. Według badań przeprowadzonych przez Georgetown Law Center – co czwarty amerykański departament policji ma dostęp do technologii rozpoznawania twarzy, a prawie połowa wszystkich dorosłych Amerykanów jest w policyjnej bazie danych.

Zaczęto zastanawiać się także nad kolejnym problemem, czy programy takie jak technologie rozpoznawania twarzy nie będą wzmacniać uprzedzeń rasowych. Aktywiści zaczęli wskazywać, że technologia ta może prowadzić do niesprawiedliwego egzekwowania prawa.

Problem stał się jeszcze bardziej aktualny, kiedy MIT (Massachusetts Institute of Technology) ogłosiło, że usunął zbiór danych, stworzony w 2008 roku, nazwany – 80 Million Tiny Images. Zaprojektowany został on z myślą o szkoleniu SI do wykrywania obiektów i wykorzystywał uczenie maszynowe. Zauważono, że niektóre etykiety (labels) były mizoginistyczne i rasistowskie, a na podstawie takich danych tworzono później systemy sztucznej inteligencji. MIT nie był świadomy istnienia takich obraźliwych etykiet, przeprosił i poprosił o niekorzystanie z tych danych oraz usunięcie ich ewentualnych kopii.

To nie jedyny przykład na zastosowanie danych, które mogą prowadzić do naruszenia praw człowieka.

Amazon, IBM i Microsoft wycofały się ze sprzedaży organom ścigania technologii rozpoznawania twarzy bez wprowadzenia odpowiednich przepisów chroniących przed nieuczciwym wykorzystaniem. Takie przepisy nie istnieją, a powinny były powstać jeszcze PRZED podjęciem decyzji o wykorzystywaniu  technologii, która bezpośrednio ingeruje w nasze życie. Firmy wezwały amerykański Kongres do wprowadzenia odpowiednich regulacji opartych na prawach człowieka, a także do rozpoczęcia dialogu społecznego w jaki sposób technologie te mogą wpływać na społeczeństwo. To, że tych trzech technologicznych gigantów zdecydowało się na taki krok, nie oznacza, że technologii nie będzie można nabyć od innych sprzedawców, a takich którzy oferują tę technologię jest mnóstwo. Wśród nich wymienić można Clearview AI, Cognite, czy NEC. Według raportu Gartnera z 2019 r. na całym świecie jest ponad 80 dostawców oferujących technologie rozpoznawania twarzy lub weryfikacji twarzy.

Wiadomo, że obecnie wykorzystywane algorytmy SI mogą powodować istotne problemy na tle rasistowskim. MIT i Stanford University przeprowadziły badania, wskazujące na to, że rozpoznawanie twarzy jest bardziej dokładne w przypadku stosowania ich u białych ludzi. W 2018 roku ACLU udowodnił, że algorytm używany przez Amazon – Rekognition – udostępniany amerykańskim agencjom rządowym i policji w Orlando – był niedokładny i pomylił amerykańskich kongresmenów z przestępcami poszukiwanymi listami gończymi.

W Stanach Zjednoczonych coraz więcej miast (Boston, San Francisco, Oakland) decyduje się na zakaz stosowania technologii rozpoznawania twarzy argumentując naruszeniem praw człowieka. Na naszym europejskim podwórku – do mediów wyciekła informacja, że Komisja Europejska na początku roku 2020 zastanawiała się nad wprowadzeniem pięcioletniego zakazu wykorzystywania technologii rozpoznawania twarzy w miejscach publicznych. Zakazowi nie podlegałyby projekty z dziedziny bezpieczeństwa, badawcze i rozwojowe. UE oficjalnie wycofała się z tych planów i kraje członkowskie UE mogą korzystać z tej technologii. Niektóre państwa – takie jak Niemcy, Francja już powszechnie z niej korzystają. W tym pierwszym wprowadzono automatyczne rozpoznawanie twarzy na 134 dworcach kolejowych i 14 lotniskach.

To nie jedyne problemy o jakich można mówić w odniesieniu do tej technologii. W artykule A Deep Neural Network Model to Predict Criminality Using Image Processing stwierdzono, że SI będzie mogła przewidzieć, czy dana osoba stanie się przestępcą tylko w oparciu o automatycznie rozpoznawanie twarzy. W odpowiedzi na to ponad 1000 naukowców i ekspertów, w tym pracownicy pracujący nad SI z Microsoft, Google, czy Facebook, podpisało list otwarty sprzeciwiający się wykorzystywaniu tej technologii w celu przewidywania popełniania przestępstw. W liście, sygnatariusze przedstawiają problematyczne kwestie, z którymi zmierza się dzisiejsza technologia wykorzystująca SI, a które sprawiają, że ich użycie do przewidywania przestępstw może być niebezpieczne. Jednym z głównym powodów niepokoju są wspomniane uprzedzenia rasowe algorytmów. Każdy obecny system rozpoznawania twarzy jest dokładniejszy przy wykrywaniu białych osób i często nieprawidłowo dla oznaczenia osób o innym kolorze skóry.

Spójrzmy jeszcze na Chiny, gdzie rozpoznawanie twarzy staje się powszechną praktyką. Tam technologia tego typu dostępna jest już praktycznie wszędzie. Jest elementem systemu społecznego zaufania, który nagradza lub każe za określone zachowania. Wizja ta pojawiła się z jednym z popularnych seriali na Netflix – Black Mirror – teraz staje się rzeczywistością.

System rozpoznawania twarzy ma objąć każdego obywatela w Chinach. Od tego jaką ocenę będzie miała dana osoba będzie zależała jego jakość życia: grozić może spowolnienie Internetu, a nawet uniemożliwienie podróżowania. W niektórych przypadkach nawet dzwoniąc do zadłużonej osoby, usłyszymy ostrzeżenie, iż kontaktujemy się z osobą z długami. Na ocenę składa się wiele czynników, np. społeczne (znajomości z niepożądaną osobą), finansowe (zaleganie z płatnościami), polityczne. Panuje więc permanentna inwigilacja.

Chiny poszły o krok dalej i poradziły sobie również z problemem –jak rozpoznawać ludzi w maskach. Pekińska firma Hanwang Technology (Hanvon) opracowała system zdolny rozpoznawać ludzi, którzy mają zakryte twarze.

Technologia rozpoznawania twarzy nie tylko wykorzystywana jest w smartfonach, czy na Facebooku do tagowania zdjęć. Jest potężnym narzędziem wykorzystywanym przez państwa i może stanowić ogromne zagrożenie dla demokratycznego społeczeństwa, umożliwiając inwigilacje na masową skalę. Algorytmy są też nieskuteczne w przypadku identyfikowania osób o innym, niż biały, kolorze skóry, a to może budzić dodatkowe obawy. Technologia powinna pomagać ludziom a nie szerzyć niesprawiedliwość i być zagrożeniem. Należy jak najszybciej prawnie ją uregulować, by nie dopuścić do naruszenia prywatności i dalszego łamania praw człowieka.

---

ENG.

Artificial intelligence (AI) not only has potential benefits, but can also be a threat to the individuals.

An excellent example of this is the recent events in the United States, which we are currently witnessing. The wave of protests has swept through the country after the murder of Georg Floyd, who was brutally detained by a police officer in Minneapolis. The policeman handcuffed him and pressed his neck to the ground. The officer ignored Floyd’s pleas, who could not breathe. As a result, George Floyd died. This dramatic event was recorded and published in the social media, starting the citizens’ protests. This death was part of series of killings of unarmed Afro-Americans during police intervention. Over time, the protests spread throughout the United States and intensified afterwards.

At the end of June, the ACLU (American Civil Liberties Union) filed a complaint against Detroit Police after a black man, Robert Williams, was arrested for alleged theft. Williams was held in a cell overnight for no reason. The arrest was wrong and based on a flawed algorithm that identified him as a criminal suspect. The fuzzy CCTV image was matched by a facial recognition algorithm to an image from Williams’ driver’s license.

Face recognition is a biometric technology that automatically matches a person’s face based on an image (e.g. video) to databases of recorded faces.

These events have led to a reflection on how the misuse of technologies, such as facial recognition, can affect society. Detroit’s Chief of Police, James Craig, admitted that AI facial recognition does not work in the vast majority of cases. According to the research conducted by the Georgetown Law Center, one in four American police departments has access to facial recognition technology, and almost half of all adult Americans are in the police database.

Another problem has been raised as to whether programs such as facial recognition technologies will strengthen racial bias. Activists began to point out that this technology could lead to unfair enforcement.

The problem became even more relevant when MIT (Massachusetts Institute of Technology) announced that it had removed a dataset, created in 2008, called 80 Million Tiny Images. It was designed for AI training to detect objects and used machine learning. It was noted that some labels were misogynistic and racist, and artificial intelligence systems were later created based on such data. MIT was not aware of the existence of such offensive labels, apologized and asked not to use this data and to remove any copies.

This is not the only example of using data that can lead to human rights violations.

Amazon, IBM and Microsoft have withdrawn from the sale of facial recognition technology to law enforcement authorities without adequate laws to protect against misuse. Such laws do not exist, and should have existed BEFORE deciding to use technology that directly affects our lives. Companies have demanded that the U.S. Congress must introduce appropriate human rights-based regulations, and to initiate a social dialogue on how these technologies can affect the society. Just because these three technology giants have decided to do so, does not mean that technology cannot be purchased from other vendors, and there are many who offer it. These include Clearview AI, Cognite and NEC. According to Gartner’s 2019 report, there are more than 80 vendors worldwide offering face recognition or face verification technology.

It is well known that current AI algorithms can cause significant racist problems. MIT and Stanford University have conducted research indicating that face recognition is more accurate when applied to white people. In 2018, the ACLU proved that the algorithm used by Amazon – Rekognition – shared with U.S. government agencies and Orlando police – was inaccurate and mistaken U.S. congressmen with criminals on the wanted baillists.

In the United States, more and more cities (Boston, San Francisco, Oakland) decide to ban facial recognition technology on the grounds of human rights violations. In our European backyard – information leaked to the media that the European Commission at the beginning of 2020 was considering a five-year ban on the use of facial recognition technology in public places. The ban would not apply to security, research and development projects. The EU has officially withdrawn from these plans and EU member states can use this technology. Some countries – such as Germany and France – already use it widely. The former introduced automatic face recognition at 134 railway stations and 14 airports.

These are not the only problems you can raise in relation to this technology. In the article A Deep Neural Network Model to Predict Criminality Using Image Processing it is stated that the AI will be able to predict whether a person will become a criminal only on the basis of automatic face recognition. In response, more than 1,000 researchers and experts, including employees working on the AI from Microsoft, Google or Facebook, have signed an open letter opposing the use of this technology to predict the commission of crimes. In the letter, the signatories present the problematic issues faced by today’s AI technology, which make it dangerous to use it to predict crimes. One of the main reasons for concern is the mentioned racial bias of the algorithms. Any current facial recognition system is more accurate in detecting white people and often incorrectly marked people with a different skin colour.

Let’s take a look at China, where facial recognition is becoming common practice. There, this kind of technology is already available almost everywhere. It is part of a system of social trust that rewards or punishes for certain behaviors. This vision appeared with one of the popular series on Netflix – Black Mirror and now is becoming a reality.

The face recognition system is to reach every citizen in China. The quality of life will depend on the person’s assessment: the risk is that the Internet may slow down or even prevent them from travelling. In some cases, even if you call a person in debt, you will hear a warning that you are contacting a person in debt. The assessment is made up of many factors, e.g. social (acquaintance with the unwanted person), financial (arrears with payments), political. So there is constant surveillance.

China has gone one step further and has also dealt with the problem of how to recognize people in masks. The Beijing-based company Hanwang Technology (Hanvon) has developed a system capable of recognizing people who have their faces covered.

Face recognition technology is not only used in smartphones or on Facebook to tag photos. It is a powerful tool used by states and can pose a huge threat to democratic society, allowing mass surveillance. Algorithms are also ineffective when identifying people with a different skin colour than white, and this can raise additional concerns. Technology should help people, not spread injustice and be a threat. It should be legally regulated as soon as possible in order to prevent violations of privacy and further violations of human rights.

Agata Konieczna