"Lo que ha hecho la evaluación algorítmica de riesgos es revelar la desigualdad inherente a todas las predicciones, lo que nos obliga a enfrentar un problema mucho mayor que los desafíos de una nueva tecnología. Los algoritmos arrojan nueva luz sobre un viejo problema."
Sandra Mayson, Sesgo dentro, sesgo fuera1Sandra Mayson: Sesgo dentro, sesgo fuera, Revista de derecho de Yale
El uso de datos que provienen de un sistema sesgado probablemente creará una salida determinada por el sesgo del sistema.
Hay muchos ejemplos de algoritmos que se entrenan en datos sesgados existentes y generando resultados problemáticos.2Miguel Li: Abordar los algoritmos de plagas de sesgos, Harvard Business Review
Cuando un algoritmo se entrena en datos extraídos de un historial claro de discriminación contra poblaciones particulares, reproducirá los mismos patrones de discriminación. Por ejemplo, Amazon discriminó accidentalmente a las mujeres,3Ali Ingersoll: Cómo están sesgados los algoritmos que dirigen tu vida, The Washington Post cuando desarrolló un algoritmo para buscar currículums en un campo que históricamente ha estado dominado por hombres: el algoritmo aprendió a eliminar a las postulantes.
RAT, especialmente en el campo legal criminal, tomar o informar decisiones que tengan consecuencias importantes para las personas acusadas o condenadas. Ya hay muchas RAT en sentencias, así como en libertad condicional y libertad condicional, junto con las RAT previas al juicio en las que nos centramos aquí.
Algunos argumentan que las RAT agregan un objetivo esencial, elemento basado en evidencia4Ana Milgram: ¿Por qué las estadísticas inteligentes son la clave para combatir el crimen?, TED Talk a procesos como la sentencia - "objetividad" que ayuda a ajustar los sesgos en la gravedad y duración de las decisiones de sentencia.
Sin embargo, como dice un académico, "el uso de algunos tipos de evaluación de riesgos puede elevar las sentencias sobre la base de la gravedad de la desventaja, reforzar / enmascarar la disparidad racial y de género, producir falsos positivos y llevar a decisiones menos transparentes".5Kelly Hannah-Moffat: Las incertidumbres de la evaluación de riesgos: parcialidad, transparencia y decisiones justas, Universidad de Toronto
Un estudio sobre el uso de la RAT en la sentencia encontró que cuando los jueces usaban los resultados de una RAT para tomar decisiones, la probabilidad de encarcelamiento de los acusados ricos disminuía, pero aumentaba para los más pobres. Los investigadores concluyeron que "en algunas circunstancias, la información de la evaluación de riesgos puede aumentar las disparidades en las sentencias".6Jennifer L. Skeem, Nicholas Scurich y John Monahan: Impacto de la evaluación de riesgos en la equidad de los jueces al condenar a acusados relativamente pobres, Documento de investigación de derecho público y teoría jurídica de Virginia No. 2019-02
Policía predictiva Es otro ejemplo que se basa en algoritmos para decidir dónde se supone que es más probable que ocurra un delito o quién podría estar involucrado.7Privacidad SOS: ¿Qué es la vigilancia predictiva?, ACLU Massachusetts
Sin embargo, las aportaciones están claramente sesgadas. Estas herramientas se basan en información de las bases de datos policiales, que en sí mismas están sesgadas y pueden conducir a "una aplicación más agresiva en comunidades que ya están fuertemente vigiladas" y provocar un "ciclo de aplicación distorsionada" en estas comunidades.8David Robinson y Logan Koepke: Atascado en un patrón: evidencia preliminar sobre "vigilancia policial predictiva" y derechos civiles, Repunte
Por ejemplo, hay un historia de personas negras y latinas arrestadas con mucha más frecuencia9ACLU: Detenciones de marihuana por números por delitos de marihuana que las personas blancas, a pesar de las tasas similares de consumo de marihuana.
En Newark, Nueva Jersey, el Departamento de Justicia encontró que A pesar de que las personas negras solo representaban el 54% de la población de la ciudad, representaban el 85% de las paradas peatonales y el 79% de los arrestos.10Nicole Flatow: Al menos 3/4 de las paradas de la policía de peatones de Newark no tenían base constitucional, encuentra el Departamento de Justicia, Piensan que el progreso
Cuando todos estos datos de arrestos se ingresan en un algoritmo de vigilancia predictivo, esto conduce a una mayor vigilancia y patrullaje en vecindarios de color y vecindarios pobres, lo que conduce a mayores arrestos y criminalización. Esto hace que la predicción del algoritmo parezca correcta, lo que indica que estas áreas tienen más delincuencia, lo que resulta en una mayor vigilancia y el ciclo se repite.
Los sistemas predictivos informados por datos sesgados "no pueden escapar del legado de las prácticas policiales ilegales o sesgadas sobre las que se basan". - Rashida Richardson, Jason Schultz, Kate Crawford11Rashida Richardson, Jason M. Schultz y Vincent M. Southerland: Algoritmos en litigio Informe de EE. UU. De 2019: nuevos desafíos para el uso gubernamental de los sistemas de decisión algorítmica Instituto AI Now
Además, al igual que con las herramientas de evaluación de riesgos en el espacio preventivo, las jurisdicciones pueden depender demasiado de las herramientas de vigilancia predictivas, sin comprenderlas completamente o sin garantizar la transparencia y la responsabilidad de su uso.12David Robinson y Logan Koepke: Atascado en un patrón: evidencia preliminar sobre "vigilancia policial predictiva" y derechos civiles, Repunte
La tecnología como las RAT no es inherentemente sesgada o inherentemente imparcial: son herramientas que amplifican el sesgo existente en nuestra sociedad. Debido a que nuestros sistemas y datos humanos están sesgados, las herramientas también incorporan sesgos.
