Patologías, investigadores descubren sesgo en modelos de IA

Para un experto humano, observar una muestra de tejido rosado y ondulado, salpicada de células púrpuras, es como calificar un examen sin nombre: la diapositiva revela información esencial sobre la enfermedad sin brindar otros detalles sobre el paciente.

Sin embargo, esto no es necesariamente cierto con los modelos de inteligencia artificial para patología que han surgido en los últimos años. Un nuevo estudio dirigido por un equipo de la Facultad de Medicina de Harvard muestra que estos modelos pueden, de alguna manera, inferir información demográfica a partir de portaobjetos de patología, lo que genera sesgos en el diagnóstico de cáncer en diferentes poblaciones.

Al analizar varios modelos de IA de patología importantes diseñados para diagnosticar el cáncer, los investigadores encontraron un rendimiento desigual en la detección y diferenciación de cánceres entre poblaciones según el género, la raza y la edad declarados por los propios pacientes. Identificaron varias posibles explicaciones para este sesgo demográfico.

Luego, el equipo desarrolló un marco llamado FAIR-Path que ayudó a reducir el sesgo en los modelos.

“Leer datos demográficos de una diapositiva de patología se considera una 'misión imposible' para un patólogo humano, por lo que el sesgo en la IA de patología fue una sorpresa para nosotros”, dijo el autor principal Ku-Hsing Yu, profesor asociado de informática biomédica en el Instituto Blavatnik en HMS y profesor asistente de patología de HMS en el Brigham and Women's Hospital.

Identificar y contrarrestar el sesgo de la IA en medicina es crucial, ya que puede afectar la precisión diagnóstica, así como los resultados de los pacientes, afirmó Yu. El éxito de FAIR-Path indica que los investigadores pueden mejorar la imparcialidad de los modelos de IA para la patología del cáncer, y quizás otros modelos de IA en medicina, con un mínimo esfuerzo.

El trabajo, que fue financiado en parte con fondos federales, se describe el 16 de diciembre en Cell Reports Medicine .

Prueba de sesgo

Yu y su equipo investigaron el sesgo en cuatro modelos estándar de patología de IA que se están desarrollando para la evaluación del cáncer. Estos modelos de aprendizaje profundo se entrenaron con conjuntos de diapositivas de patología anotadas, de las cuales aprendieron patrones biológicos que les permiten analizar nuevas diapositivas y ofrecer diagnósticos.

Los investigadores alimentaron los modelos de IA con un gran repositorio multiinstitucional de diapositivas de patología que abarcan 20 tipos de cáncer.

Descubrieron que los cuatro modelos presentaban un rendimiento sesgado, lo que proporcionaba diagnósticos menos precisos para pacientes de grupos específicos según la raza, el sexo y la edad declarados por los propios pacientes.

Por ejemplo, los modelos tenían dificultades para diferenciar los subtipos de cáncer de pulmón en pacientes afroamericanos y varones, y los subtipos de cáncer de mama en pacientes más jóvenes. Los modelos también tuvieron dificultades para detectar el cáncer de mama, renal, de tiroides y de estómago en ciertos grupos demográficos. Estas disparidades de rendimiento se presentaron en aproximadamente el 29 % de las tareas de diagnóstico que realizaron los modelos.

Esta inexactitud diagnóstica, dijo Yu, ocurre porque estos modelos extraen información demográfica de las diapositivas y se basan en patrones demográficos específicos para hacer un diagnóstico.

Los resultados fueron inesperados, "ya que esperaríamos que la evaluación patológica fuera objetiva", añadió Yu. "Al evaluar imágenes, no necesitamos necesariamente conocer los datos demográficos del paciente para hacer un diagnóstico".

El equipo se preguntó: ¿Por qué la IA en patología no mostró la misma objetividad?

Buscando explicaciones

Debido a que es más fácil obtener muestras de pacientes en ciertos grupos demográficos, los modelos de IA se entrenan con tamaños de muestra desiguales. Como resultado, los modelos tienen más dificultades para realizar un diagnóstico preciso en muestras que no están bien representadas en el conjunto de entrenamiento, como las de grupos minoritarios según su raza, edad o género. Sin embargo, "el problema resultó ser mucho más profundo", afirmó Yu. Los investigadores observaron que, en ocasiones, los modelos presentaban un peor rendimiento en un grupo demográfico, incluso cuando los tamaños de muestra eran comparables.  

Análisis adicionales revelaron que esto podría deberse a una incidencia diferencial de enfermedades: algunos cánceres son más comunes en ciertos grupos, por lo que los modelos mejoran su diagnóstico en esos grupos. Como resultado, los modelos podrían tener dificultades para diagnosticar cánceres en poblaciones donde no son tan comunes.

Los modelos de IA también detectan diferencias moleculares sutiles en muestras de diferentes grupos demográficos. Por ejemplo, los modelos podrían detectar mutaciones en genes promotores del cáncer y usarlas como indicador del tipo de cáncer, lo que resultaría menos eficaz para realizar un diagnóstico en poblaciones donde estas mutaciones son menos comunes.

"Descubrimos que, gracias a la potencia de la IA, puede diferenciar muchas señales biológicas poco claras que la evaluación humana estándar no puede detectar", afirmó Yu. Como resultado, los modelos podrían aprender señales más relacionadas con la demografía que con la enfermedad. Esto, a su vez, podría afectar su capacidad diagnóstica en diferentes grupos.

En conjunto, dijo Yu, estas explicaciones sugieren que el sesgo en la IA de patología surge no solo de la calidad variable de los datos de entrenamiento, sino también de cómo los investigadores entrenan los modelos.

Encontrar una solución

Después de evaluar el alcance y las fuentes del sesgo, Yu y su equipo quisieron solucionarlo.

Los investigadores desarrollaron FAIR-Path, un marco de trabajo sencillo basado en un concepto existente de aprendizaje automático llamado aprendizaje contrastivo. Este aprendizaje consiste en añadir un elemento al entrenamiento de IA que enseña al modelo a destacar las diferencias entre categorías esenciales (en este caso, los tipos de cáncer) y a minimizar las diferencias entre categorías menos cruciales (en este caso, los grupos demográficos).

Cuando los investigadores aplicaron el marco FAIR-Path a los modelos que habían probado, redujeron las disparidades diagnósticas en alrededor del 88 por ciento.

“Demostramos que, al realizar este pequeño ajuste, los modelos pueden aprender características sólidas que los hacen más generalizables y más justos en diferentes poblaciones”, afirmó Yu.

El hallazgo es alentador, añadió, porque sugiere que el sesgo se puede reducir incluso sin entrenar los modelos con datos completamente justos y representativos.

A continuación, Yu y su equipo colaboran con instituciones de todo el mundo para investigar el alcance del sesgo en la IA para patología en lugares con diferentes demografías y prácticas clínicas y patológicas.

También exploran maneras de extender FAIR-Path a entornos con tamaños de muestra limitados. Además, desean investigar cómo el sesgo en la IA contribuye a las discrepancias demográficas en la atención médica y los resultados de los pacientes.

En última instancia, dijo Yu, el objetivo es crear modelos de IA de patología justos e imparciales que puedan mejorar la atención del cáncer al ayudar a los patólogos humanos a realizar un diagnóstico de manera rápida y precisa.

"Creo que hay esperanza de que, si somos más conscientes y cuidadosos con la forma en que diseñamos los sistemas de IA, podamos construir modelos que funcionen bien en todas las poblaciones", afirmó.