Comme pour la reconnaissance faciale, les logiciels de police prédictive commencent à subir plusieurs interdictions ou abandons aux États-Unis. La promesse de prédire, à l’aide d’un algorithme, les futurs crimes ou délits à partir des données issues des force de police n’a évidemment pas été tenue. À Los Angeles, la police vient ainsi de décider de ne plus utiliser PredPol (un des logiciels de police prédictive les plus médiatisés). Si c’est l’argument budgétaire qui est avancé, il ne fait pas de doute que c’est bien le travail des groupes militants anti-surveillance qui a fini par payer.

Même chose pour plusieurs autres villes aux États-Unis ou en Angleterre. Plus loin encore, la ville de Santa Cruz a officiellement banni en juin dernier les techniques de police prédictive, évoquant les effets discriminatoires que ces logiciels perpétuent.

Biais discriminatoires et disparition de l’humain

C’est en effet la critique la plus récurrente qui est faite à ce type de dispositifs : les quartiers les plus pauvres souffrant d’une présence policière excessive se retrouvent souvent sur-représentés dans les statistiques policières. Les algorithmes, qui se fondent sur ces données passées, vont donc les désigner comme lieux où la surveillance doit être renforcée, et donc perpétuer les biais existants. Ainsi, comme le rappelle Olivier Ertzscheid, une donnée n’étant jamais brute mais au contraire le fruit d’une construction sociale, le dispositif de police prédictive « installe un système de valeurs et le perpétue ». Les biais racistes dans les méthodes de collecte de données de la police se retrouvent à la fois blanchis par la soi-disant objectivité de la machine et décuplés par un effet de renforcement (plus de données sur les quartiers en proie à la sur-policiarisation conduit à prédire d’avantage d’acte de délinquance dans ces quartier, et donc à plus de patrouilles, qui génèrent à leur tour plus de données, et ainsi de suite).