El poder invisible de los algoritmos

Durante décadas imaginamos el futuro tecnológico como una colección de máquinas espectaculares: robots con voz humana, autos voladores, inteligencias artificiales conversando como personas. Mientras esperábamos esa estética, otra transformación, más silenciosa, ya había ocurrido. La gran novedad de nuestro tiempo no son las máquinas que hablan, sino los sistemas que clasifican. Sistemas sin cuerpo ni rostro que deciden qué información vemos, qué oportunidades se nos ofrecen, qué riesgos representamos y qué porción del mundo se nos permite percibir.

Muchos de estos sistemas funcionan extraordinariamente bien. AlphaFold predijo las estructuras de más de doscientos millones de proteínas en meses, una hazaña que la biología estructural humana tardó medio siglo en acercarse. AlphaZero descubrió estrategias en ajedrez y Go que ningún humano había imaginado. Los algoritmos de detección de fraudes evitan pérdidas masivas y los sistemas de imagen médica igualan o superan a especialistas en múltiples patologías. Negar esta eficacia es tan ideológico como celebrarla sin matices.

El contrafáctico importa: el punto de comparación no es un mundo idealmente justo, sino el mundo anterior de decisiones humanas arbitrarias, llenas de nepotismo, prejuicios, cansancio y sesgos de clase. Un algoritmo bien diseñado al menos no almuerza. Los algoritmos amplifican males humanos, sí, pero también pueden reducirlos. La pregunta relevante no es si "discriminan", sino contra qué línea de base se los mide y qué decisión humana reemplazan.

Correlaciones congeladas

Dicho esto, los problemas reales existen. El primero es que los algoritmos tienden a congelar correlaciones pasadas. Detectan patrones reales (culturales, socioeconómicos, históricos o biológicos), pero no distinguen correlación de causalidad. El caso de Optum es clásico: un sistema hospitalario usaba el gasto sanitario histórico como proxy de necesidad. Estadísticamente funcionaba. Causalmente era injusto: los pacientes pobres gastaban menos porque tenían peor acceso, no porque estuvieran más sanos. Nadie inscribió ideología; solo confundieron proxy con realidad.

No todos los dominios son iguales. En química computacional, plegamiento de proteínas o predicción meteorológica, la verdad de referencia es física e independiente del observador. En cambio, en justicia penal, crédito, contratación o moderación de contenidos, la ground truth está contaminada por decisiones humanas previas. Confundir ambos grupos es el error simétrico del optimismo ingenuo y de la crítica indiscriminada.

La imposibilidad de la equidad

El segundo problema es más profundo: la incompatibilidad matemática entre distintas nociones de equidad. El caso COMPAS lo ilustra perfectamente. ProPublica denunció tasas desiguales de falsos positivos para acusados negros. La empresa respondió que el sistema estaba bien calibrado. Ambas cosas eran ciertas. Cuando las tasas base difieren entre grupos, las definiciones formales de "justicia" (paridad demográfica, igualdad de errores, calibración) no pueden cumplirse simultáneamente. Toda implementación elige, necesariamente, quién carga con más errores. Esa elección no es técnica. Tampoco es automáticamente conspirativa. Es moral, con ganadores y perdedores.

Las matemáticas no neutralizan los valores; los ocultan. Pero tampoco debemos caer en la trampa opuesta: declarar "sesgado" cualquier resultado que contradiga premisas igualitarias fuertes sin examinar si refleja la realidad o un artefacto del sistema.

Retroalimentación y opacidad

A esto se suma un riesgo más grave: los algoritmos no solo observan el mundo, a veces lo fabrican. Los loops de retroalimentación pueden volverse viciosos (recomendaciones extremas en YouTube, policía predictiva que genera los arrestos que luego confirma su predicción). Aunque no todos los loops son malos: algunos sistemas antifraude o de control de calidad mejoran progresivamente.

La asimetría más estructural es la auditabilidad. Podemos ser juzgados por sistemas que ni nosotros ni, muchas veces, sus operadores comprenden. Aquí la comparación con la opacidad humana es válida, pero incompleta: un humano puede ser interrogado, avergonzado o inhabilitado. Un modelo, no. La opacidad algorítmica es estructural y tiende a eximir de responsabilidad.

La concentración del poder algorítmico en pocas corporaciones agrava todo esto. Sin embargo, más regulación pesada suele consolidar a los incumbentes. La respuesta más efectiva suele ser mayor apertura, competencia y pluralidad de modelos, aunque la regulación quirúrgica y basada en evidencia tiene su lugar.

El riesgo real

El riesgo real no es una IA rebelde, sino una administración silenciosa y opaca de la vida humana. Profesores, médicos, jueces y reclutadores que terminan firmando decisiones que ya no controlan plenamente.

Cuatro escenarios futuros

Vale la pena proyectar cuatro escenarios futuros plausibles. El primero es la administrocracia muda: más automatización, override humano nominal, pérdida gradual de la capacidad institucional de explicar sus propias decisiones. El segundo es la corrección epistémica: estándares reales de auditabilidad, validación causal y red teaming externo. El tercero es la fragmentación cognitiva: modelos regionales y culturales diversos, donde gana la pluralidad y pierde la unidad epistémica. El cuarto es la atrofia del juicio: generaciones que dejan de saber decidir sin asistencia algorítmica, donde la capacidad crítica se vuelve una habilidad ancestral. Probablemente conviviremos con una mezcla de los cuatro. La pregunta es hacia dónde queremos inclinar la balanza.

Responsabilidad y principios

Reconozcamos un límite incómodo: es poco realista esperar que la mayoría de la sociedad adquiera pronto una cultura técnica suficiente para evaluar estos sistemas, cuando ni los propios expertos logran consensos. La alfabetización técnica masiva no llegará a tiempo. Trasladar esa carga al ciudadano es, en sí mismo, una forma sofisticada de elusión. La carga moral más pesada debe recaer en quienes diseñan, despliegan y operan estos sistemas. Poder asimétrico exige responsabilidad asimétrica.

Las soluciones sensatas pasan por cinco principios clave distribuidos en dos planos de responsabilidad.

Lo que recae sobre quien diseña y despliega:

• Restricción de dominio: no todo debe automatizarse (sentencias graves, custodia, denegación de tratamientos críticos, etc.).
• Prudencia asimétrica: sesgarse explícitamente hacia el error de menor daño humano.
• Transparencia efectiva y derecho real a apelación.

Lo que recae sobre instituciones, mercado y sociedad:

• Apertura y competencia: modelos abiertos y reducción de barreras que protegen a los gigantes.
• Separación clara de roles: el algoritmo como apoyo, nunca como escudo de responsabilidad. Proteger el disenso técnico interno.

Una sociedad técnicamente ignorante no resiste a los sistemas que la administran; los obedece sin saberlo. Pero esa ignorancia es razón adicional para construir con cuidado, no excusa para construir sin él. Un poder que no se ve, que no se entiende y que no tiene autor identificable es, históricamente, el más difícil de revocar; razón de más para que sus diseñadores acepten límites antes de que el desmantelamiento posterior se vuelva imposible.