Una cuestión clave con las RAT previas al juicio es que predicen el "riesgo" de una manera que los diseñadores afirman que es justo. Pero el riesgo, y lo que es justo y para quién, son medidas subjetivas basadas en el juicio humano. 

Las RAT otorgan una apariencia de objetividad científica al concepto de predicción de "peligrosidad", que es difícil de predecir y raro. Algunos argumentan que actuar como peligrosidad es cuantificable podría conducir a una mayor detención preventiva.1John L. Koepke y David G. Robinson: Peligro por delante: evaluación de riesgos y el futuro de la reforma de fianzas, Revisión de la ley de Washington

Dado que todos somos inocentes hasta que se demuestre su culpabilidad y que nadie pueda predecir perfectamente si alguien cometerá o no algún delito, Sandy Mason pregunta: "¿Qué riesgo estadístico de que una persona cometa un delito en el futuro justifique la detención a corto plazo, si es que lo hace?"2Sandra G. Mayson: Acusados ​​peligrosos, Revista de derecho de Yale

Como argumenta un artículo, incluso si las predicciones de las RAT fueran mejores que las decisiones de los jueces y magistrados, una afirmación que, según los autores, investiga no verifica - el uso de estas evaluaciones aún podría ser injusto.3Brandon Buskey y Andrea Woods: Dar sentido a las evaluaciones de riesgo previas al juicio, El campeón 

Los factores que se incluyen y cuánto se ponderan en el algoritmo, así como los puntos de corte entre riesgo bajo, medio y alto pueden basarse en estadísticas, pero al final del día, especialmente cuando se vincula con una toma de decisiones marco, son un reflejo de cuánto riesgo es un riesgo aceptable para los tomadores de decisiones del sistema legal penal de una jurisdicción en particular.

Para sumergirnos más en esta subjetividad:

“La designación de contenedores de riesgo es algo arbitraria. Lo que califica como bajo o alto depende de los umbrales establecidos por los diseñadores de herramientas, y simplemente denota el riesgo que presenta un grupo en relación con otros contenedores de riesgo.
Para ilustrar, entre el 8.6 y el 11% de los señalados por el PSA como “nueva actividad criminal violenta” (“NVCA”) fueron arrestados nuevamente por un cargo violento dentro de los seis meses posteriores a su liberación. Eso significa que 89-91% de las personas marcadas no fueron arrestadas por un crimen violento ".

Brandon Buskey y Andrea Woods, "Dar sentido a las evaluaciones de riesgo previas al juicio"4Brandon Buskey y Andrea Woods: Dar sentido a las evaluaciones de riesgo previas al juicio, El campeón 

Nuestro impulso actual hacia la reforma legal penal y terminar con el encarcelamiento previo al juicio es una oportunidad para redefinir qué tipo de riesgo realmente nos importa. La definición de este riesgo no puede dejarse en manos de los científicos de datos que crean estas herramientas para trabajar por su cuenta. 

Como sostiene el estudioso legal Bernard Harcourt: "El hecho es que El riesgo actual se ha colapsado en un historial criminal anterior, y el historial criminal anterior se ha convertido en un proxy de la raza. La combinación de estas dos tendencias significa que el uso de herramientas de evaluación de riesgos va a agravar significativamente las disparidades raciales inaceptables en nuestro sistema de justicia penal ".5Bernard E. Harcourt: El riesgo como proxy de la raza, Facultad de Derecho de la Universidad de Chicago

Los factores que sabemos que son injustos forman la base de la forma en que las herramientas miden el riesgo.

La mayoría de las RAT previas al juicio intentan predecir si alguien volverá a la corte si es liberado antes del juicio. Esto realmente no tiene nada que ver con el tipo de riesgo que representan para la sociedad, pero tiene mucho que ver con si una persona acusada tiene o no acceso a recordatorios para acudir a la corte en la fecha correcta, transporte a la corte, cuidado de niños o un trabajo que le permita tomarse un tiempo libre.6Seis cosas que debe saber sobre las herramientas de toma de decisiones basadas en algoritmos, Conferencia de Liderazgo sobre Derechos Civiles y Humanos

Las RAT también intentan predecir si alguien será arrestado nuevamente, lo que los hace parecer "peligrosos", a pesar de que la gran mayoría de los arrestos son por delitos no violentos.7Alicia Speri: La policía realiza más de 10 millones de arrestos al año, pero eso no significa que estén resolviendo delitos, El intercepto 

Un nuevo arresto demuestra el comportamiento de quienes realizan el arresto, no de los arrestados. Si alguien es de un vecindario que está más vigilado, es más probable que sea arrestado solo por el lugar donde vive.

Los investigadores que investigan la herramienta de evaluación de riesgo de liberación supervisada de la ciudad de Nueva York cuestionaron si el arresto por delitos graves, una medida aparentemente justa de peligrosidad, era en realidad algo justo para medir,8Kristian Lum y Tarak Shah: Medidas de equidad para la herramienta de evaluación de riesgos de liberación supervisada de la ciudad de Nueva York, Grupo de Análisis de Datos de Derechos Humanos dadas las disparidades raciales en los arrestos. 

Una herramienta podría ser más "precisa" porque predice correctamente qué porcentaje de acusados ​​blancos y negros serán arrestados nuevamente. En otras palabras, una herramienta podría decir que es precisa en sus predicciones con respecto a la raza y, por lo tanto, no está sesgada racialmente.

Sin embargo, esa predicción "correcta" supone que los acusados ​​negros serán arrestados con mayor frecuencia, lo que puede ser cierto en realidad debido al racismo sistémico, pero en realidad no es justo.

Los desarrolladores pueden tratar de equilibrar diferentes métricas estadísticas de equidad, pero los investigadores incluso han argumentado que "El sesgo en los puntajes de riesgo criminal es matemáticamente inevitable".9Julia Angwin y Jeff Larson: El sesgo en las puntuaciones de riesgo criminal es matemáticamente inevitable, dicen los investigadores, ProPublica

Aquí hay algunos ejemplos de cómo las evaluaciones de riesgos han llevado a diferentes tipos de resultados injustos en la práctica:

El análisis de ProPublica de COMPAS en el condado de Broward, Florida, encontró que el El algoritmo COMPAS exagera el riesgo de que los acusados ​​negros sean arrestados nuevamente y etiqueta erróneamente a los acusados ​​blancos como de bajo riesgo con más frecuencia que los acusados ​​negros.10Julia Angwin, Jeff Larson, Surya Mattu y Lauren Kirchner: Sesgo de máquina: hay software utilizado en todo el país para predecir futuros delincuentes. Y está predispuesto contra los negros, ProPublica 

Un estudio del PSA en Mecklenburg, Carolina del Norte, descubrió que a pesar de no tener un impacto claro del PSA sobre las disparidades raciales en sus cárceles, Los acusados ​​negros aún tenían más probabilidades de ser evaluados como de alto riesgo que otros.11Cindy Redcross, Brit Henderson, Luke Miratrix y Erin Valentine: Evaluación de las reformas del sistema de justicia preventiva que utilizan la evaluación de seguridad pública: efectos en el condado de Mecklenburg, Carolina del Norte, Centro MDRC para la Investigación de Justicia Criminal 

En el estudio de la ciudad de Nueva York de su herramienta de evaluación de riesgo de liberación supervisada, los investigadores encontraron que el la herramienta no cumplió con muchas métricas comunes de equidad,12Kristian Lum y Tarak Shah: Medidas de equidad para la herramienta de evaluación de riesgos de liberación supervisada de la ciudad de Nueva York, Grupo de Análisis de Datos de Derechos Humanos como limitar los falsos positivos (como cuando alguien es etiquetado como de alto riesgo pero en realidad no reincide), especialmente para los acusados ​​negros.

Las RAT no pueden solucionar problemas sistémicos o eliminar los prejuicios raciales y de clase en la policía, los jueces, los tribunales o la sociedad.

Las herramientas de evaluación de riesgos podrían tratar de maximizar la "equidad", pero la forma en que están diseñadas y las limitaciones realistas de los datos reales significan que a menudo ignoran los sesgos a favor de la usabilidad o la simplificación.13Asociación en IA: Informe sobre herramientas de evaluación de riesgo algorítmico en el sistema de justicia penal de EE. UU. 

Estas compensaciones son una parte incorporada de la creación de una herramienta predictiva, pero para cualquier persona acusada individual que sea detenida solo porque, debido a los datos grupales, caen en una categoría de riesgo en lugar de otra,14Brandon Buskey y Andrea Woods: Dar sentido a las evaluaciones de riesgo previas al juicio, El campeón Esto puede parecer especialmente injusto.

Hasta que abordemos estos problemas, nuestra determinación de riesgo y equidad y qué compensaciones son aceptables estará vinculada en nuestra historia de entendimientos sesgados racial y económicamente de quién es "peligroso" y quién debe ser protegido.

Explore las complejidades de determinar la equidad en los algoritmos a través de un herramienta interactiva construida por MIT Technology Review.15Karen Hao y Jonathan Stray: ¿Puedes hacer que la IA sea más justa que un juez? Juega nuestro juego de algoritmos de sala, MIT Technology Review