Przez niemal dekadę policja z Avon i Somerset budowała jeden z największych systemów profilowania obywateli w Wielkiej Brytanii — przechowując dane o zdrowiu psychicznym, statusie mieszkaniowym, ciążach nastolatek i kontaktach społecznych setek tysięcy ludzi z rejonu Bristolu. Dochodzenie WIRED, przeprowadzone wspólnie z Liberty Investigates, Bristol Cable i Lighthouse Reports, ujawnia, że kluczowe algorytmy ryzyka zostały cicho wycofane po tym, gdy pracownicy przyznali, że nie mogą im ufać — a model przewidywania włamań działał przez ponad trzy lata z precyzją poniżej 10 procent.
Najważniejsze w skrócie
- Think Family Database przechowuje dane blisko 500 tys. mieszkańców Bristolu zbierane bez ich zgody od 2016 r.
- Co najmniej 23 modele algorytmiczne obejmują ryzyko powtórnego skazania, przemocy domowej, zaginięcia i poważnych przestępstw nabywczych.
- Dwa modele — CSE (seksualne wykorzystanie dzieci) i CCE (kryminalne wykorzystanie dzieci) — wycofano po tym, jak pracownicy uznali je za "nieprzydatne do użytku operacyjnego".
- Audyt firmy Eticas: model przewidywania włamań działał przez ponad 3 lata z precyzją poniżej 10 proc. — mniej niż 1 na 10 osób oznaczonych jako "ryzyko" faktycznie popełniłoby włamanie.
- Rząd UK powołał PoliceAI — instytucję z budżetem 75 mln funtów (ok. 380 mln zł) do wdrożenia narzędzi AI w 43 formacjach policyjnych.
Baza danych, o której nie wiedziało miasto
Wszystko zaczęło się w 2015 r., gdy niewielki zespół pracowników Bristol City Council i policji Avon and Somerset zainstalował się w jednej z miejskich komend i zaczął łączyć dane z publicznych instytucji. Tak powstał Think Family Database — system, który do 2016 r. zgromadził dane o zdrowiu psychicznym, nieobecnościach szkolnych, zaległościach czynszowych, darmowych posiłkach i wywiadach policyjnych dla niemal połowy mieszkańców Bristolu.
Gary Davies, były nadkomisarz policji, który kierował projektem po przejściu do rady miasta, wyjaśniał logikę: gdy szkolne nieobecności dziecka zbiegają się z pierwszym kontaktem z przemocą domową w domu, żaden z tych sygnałów osobno nie uruchomi interwencji służb. Razem mogłyby. Dane zbierano bez zgody mieszkańców, opierając się na tzw. "bramkach prawnych" — mechanizmie umożliwiającym udostępnianie danych uzasadnione obowiązkami prawnymi agencji. Możliwość rezygnacji pojawiła się dopiero w późniejszych latach — w podatkowych listach do mieszkańców.
W 2019 r. ówczesny komendant Andy Marsh ogłosił ambitnie: "W ciągu 12 miesięcy każdy obszar działalności Avon and Somerset Constabulary będzie napędzany przez analizę predykcyjną i wizualizację danych."
23 modele, katastrofalny wynik
Na bazie danych zbudowano co najmniej 23 modele uczenia maszynowego. Obejmowały algorytmy oceny ryzyka powtórnego popełnienia przestępstwa, ponownego stania się ofiarą, poważnych przestępstw nabywczych (SAC), przemocy domowej, zaginięcia i szeroko rozumianej "wrażliwości". Codziennie generowały dziesiątki tysięcy indywidualnych wyników.
WIRED przekazał ponad 36 tys. wyników audytowych za lata 2017–2024 firmie Eticas — niezależnemu audytorowi systemów AI. Werdykt był bezlitosny: "Większość modeli generuje niskie wyniki precyzji, co oznacza, że wysoki odsetek osób oznaczanych jako ryzykowne jest błędnie identyfikowany." Model dotyczący włamań przez ponad trzy lata osiągał precyzję poniżej 10 proc. — tzn. mniej niż jedna na dziesięć osób oznaczonych jako "wysokie ryzyko" faktycznie popełniłaby włamanie. Eticas odnotowała też gwałtowne skoki w metrykach performance'u różnych modeli: "To nie jest typowe dla dobrze zarządzanych modeli w użytku operacyjnym."
Avon and Somerset Police twierdzą, że nie wdrożyły modelu dotyczącego włamań. Na pytanie, dlaczego przez lata zbierano dane audytowe dla niezużywanego modelu, rzeczniczka odpowiedziała, że audyt był "zautomatyzowany" i bazował na "pliku statycznym, który nie został usunięty po decyzji o niewdrożeniu modelu."
Niezależny audyt ujawnił też poważną lukę w kwestii dyskryminacji. Policja dostarczyła zrzut ekranu z "aplikacji do sprawdzania biasów", która porównywała średnie wyniki dla osób białych i niebiałych, konkludując brak "istotnej różnicy". Eticas oceniła to jednoznacznie: samo włączenie etniczności jako zmiennej monitorującej nie jest równoważne z testowaniem dyskryminacyjnych skutków modelu — brak pogłębionego testowania według płci i statusu socjoekonomicznego to "znaczące zaniedbanie".
Modele wycofane bez śladu
Dwa modele — CSE (ryzyko seksualnego wykorzystania dzieci) i CCE (ryzyko kryminalnego wykorzystania dzieci) — zostały wycofane, zanim opinia publiczna zdążyła o nich usłyszeć. Pracownicy socjalni poinformowali recenzentów Social Finance — organizacji non-profit, która przeprowadziła niezależną ocenę na zlecenie Bristol City Council — że algorytmy stały się "niedokładne". Jeden z pracowników napisał wprost: "Są osoby będące ofiarami przestępstw seksualnych w zeszłym miesiącu, które uzyskują niższy wynik niż sprawcy włamań."
Przyczyna degeneracji modeli była prozaiczna: policja przestała korzystać z danych Bristol City Council, chcąc rozszerzyć profilowanie na pięć różnych samorządów. Negocjacje ws. umów o udostępnianie danych utknęły — system musiał operować wyłącznie na własnych danych policji, tracąc wrażliwe czynniki społeczne, na których wcześniej się opierał. Dzieci wymagające interwencji zaczęły "znikać" z wyników.
Gdy recenzenci Social Finance chcieli zbadać kod źródłowy modeli, okazało się, że go nie ma. "Kod źródłowy i zmienne szczegółowo opisujące, jak te modele zostały stworzone, nie mogły zostać odnalezione" — stwierdzono w raporcie. Ani policja, ani rada miasta nie zachowały też zapisów uzasadniających decyzję o wycofaniu modeli.
John Pegram kontra algorytm
John Pegram, lider lokalnej grupy nadzoru policji, dowiedział się o Offender Management App — aplikacji zaprojektowanej do przechowywania danych ok. 300 tys. osób z regionu — dopiero w 2023 r., kilka lat po jej uruchomieniu. Gdy złożył wniosek o dostęp do swoich danych w 2024 r., policja odmówiła odpowiedzi. Dopiero po zatrudnieniu adwokatów uzyskał potwierdzenie, że jest w systemie. Do dziś nie wie, jaki wynik mu przypisano ani jak może to wpływać na jego kontakty z policją.
Pegram był zatrzymywany przez policję dziesiątki razy jako nastolatek — co przypisuje swojemu mieszanemu pochodzeniu rasowemu. W 2017 r. skazano go za napaść na policjanta podczas protestu, choć ten przyznał, że kontakt mógł być przypadkowy. "W danych policji jest dużo stronniczości — zbyt wiele problemów, żeby to zrobić etycznie i sprawiedliwie" — mówi. W lipcu 2025 r. jego prawnicy wysłali do policji pismo zapowiadające skargę sądową.
Dlaczego to ważne?
Ten przypadek wychodzi daleko poza granice jednego regionu Anglii. Jest ilustracją systemowego ryzyka, jakie niesie wdrażanie algorytmicznego scoringu w obszarach bezpośrednio wpływających na wolność jednostki — bez transparentności, bez nadzoru i bez weryfikacji jakości modeli w czasie.
Badaczka Elle Pearson z Royal Holloway University of London opisała program jako "bałagan": przez lata nikt nie był w stanie powiedzieć, jakie dane są używane i przez który algorytm. Zaobserwowała "function creep" — systemy rozrastały się poza pierwotne przeznaczenie, łącząc coraz więcej danych i obejmując coraz więcej ludzi, podczas gdy nadzór nie dotrzymywał im kroku.
Kluczowe pytanie nie brzmi, czy te konkretne algorytmy działały dobrze. Brzmi: kto i na jakich zasadach decyduje, że nieprzejrzysty "wynik ryzyka" wygenerowany przez czarną skrzynkę powinien wpływać na decyzje dotyczące dzieci i rodzin? Zwłaszcza gdy, jak wskazali badacze z Data Justice Lab Uniwersytetu w Cardiff, zmienne w modelu mogą być po prostu wskaźnikami ubóstwa, nie ryzyka.
Co dalej?
- Rząd UK uruchomił PoliceAI z budżetem 75 mln funtów — instytucję mającą wdrożyć AI we wszystkich 43 formacjach policyjnych w Anglii i Walii. Na czele stoi Andy Marsh, były komendant Avon and Somerset Police, który przez lata nadzorował tamtejsze eksperymenty z predykcyjnymi algorytmami.
- Avon and Somerset Police informuje, że model działający w Offender Management App trafnie przewiduje jedynie 1 na 3 osoby, które faktycznie popełniają przestępstwo, a 1 na 4 oznaczanych jako potencjalni sprawcy nimi nie jest — dane z audytu z lipca 2025 r.
- Pegram planuje pozew sądowy i domaga się usunięcia swoich danych z Offender Management App oraz likwidacji całego programu.
Źródła
- WIRED — British Police Built a Sprawling Crime-Prediction Machine. Some Results Couldn't Be Trusted
- Eticas — niezależny audyt modeli predykcyjnych Avon and Somerset Police (2024)
- Social Finance — niezależna recenzja Think Family Database i Insight Bristol (2023)
