Muchos ven los algoritmos como herramientas más objetivas que el juicio humano, porque los humanos, especialmente en el sistema legal criminal, tienen una tendencia al sesgo. Sin embargo, los algoritmos, incluidas las RAT, tampoco están libres de sesgos.
Los algoritmos tienen un alto riesgo de ocultar ese sesgo bajo el nombre de "ciencia" en estos sistemas de toma de decisiones de alto riesgo.
Un aforismo común sobre los algoritmos es "sesgo dentro, sesgo fuera."1Alia Ram: La inteligencia artificial corre el riesgo de replicar el sesgo de las minorías étnicas de la tecnología en las empresas, Tiempos financieros Si la información sesgada entra en un algoritmo, el resultado generalmente reproducirá ese sesgo.
Los algoritmos por sí solos no pueden solucionar problemas sociales arraigados; son simplemente herramientas que reflejan lo que ponemos en ellas. Los algoritmos solo pueden hacer predicciones basadas en la información que se les da.
Si se crea un algoritmo particular utilizando décadas de datos de antecedentes criminales racistas, entonces los resultados que predice lo harán incrustar prejuicios raciales en sus predicciones. Los factores que usan las RAT previas al juicio para determinar si alguien es arriesgado, edad a uno historia de arrestos y condenas, se basan en una historia de prejuicios en el sistema legal penal.
Aunque muchos algoritmos fueron diseñados para tratar de ser más objetivos que las personas, a menudo reproducen y magnifican los prejuicios implícitos y explícitos de quienes los diseñaron.2Julia Angwin, Jeff Larson, Surya Mattu y Lauren Kirchner: Sesgo de máquina: hay software utilizado en todo el país para predecir futuros delincuentes. Y está predispuesto contra los negros, ProPublica
Los algoritmos utilizados en una variedad de ámbitos, desde el sistema legal penal hasta la atención médica, han causado daño a los involucrados, y muchas demandas se han presentado contra el uso de algoritmos por parte del gobierno debido a estos daños.3Rashida Richardson, Jason M. Schultz y Vincent M. Southerland: Algoritmos en litigio Informe de EE. UU. De 2019: nuevos desafíos para el uso gubernamental de los sistemas de decisión algorítmica, Instituto AI Now
Los algoritmos basados en el aprendizaje automático pueden amplificar especialmente los sesgos de sus datos de entrada, tomando una suposición, aprendiendo de ella en un ciclo de retroalimentación y corriendo con ella a conclusiones cada vez más preocupantes.4Ellora Tadaney Israni: Cuando un algoritmo ayuda a enviarte a prisión, The New York Times
Esto sucede a menudo porque los algoritmos aprenden a hacer conexiones entre variables que pueden estar correlacionadas, pero que en realidad no tienen una relación causal.5Karen Hao: AI está enviando a la gente a la cárcel y lo está haciendo mal, MIT Technology Review El algoritmo no puede notar la diferencia. Entonces, aprende a asociar dos cosas, como la pobreza y la reincidencia o la raza y el crimen, y convierte a la asociación en la forma en que encuentran información y producen resultados.
Por ejemplo, mirar ejemplos anteriores de científicos famosos o contrataciones previas en una organización de tecnología podría enseñarle a una computadora que la mayoría de los científicos o ingenieros son hombres, por lo que la computadora comenzará a excluir a las mujeres de la categoría aceptable de "científico" o "ingeniero".
Lee este articulo6Jeffrey Dastin: Amazon desecha la herramienta secreta de reclutamiento de inteligencia artificial que mostró prejuicios contra las mujeres, Reuters o vea el video a continuación para obtener una explicación simple del sesgo en el aprendizaje automático:
