Por: Mihaela Vorvoreanu, directora, investigación y educación de Aether UX, y Kathy Walker, diseño de Allovus.
Nota del editor: todos los artículos a los que se hace referencia aquí representan colaboraciones en todo Microsoft y en la academia y la industria que incluyen autores que contribuyen a Aether, el organismo asesor interno de Microsoft para la ética y los efectos de la IA en la ingeniería y la investigación.
La inteligencia artificial, como todas las herramientas que construimos, es una expresión de la creatividad humana. Como ocurre con toda expresión creativa, la IA manifiesta las perspectivas y los valores de sus creadores. Una postura que fomente la reflexividad entre los profesionales de la IA es un paso para garantizar que los sistemas de IA estén centrados en el ser humano, desarrollados e implementados con los intereses y el bienestar de las personas y la sociedad en mente. Este es el enfoque de los científicos e ingenieros de investigación afiliados a Aether, el organismo asesor del liderazgo de Microsoft sobre ética y efectos de la IA. Algo central para el trabajo de Aether es la cuestión de para quién creamos IA y si la creamos para resolver problemas reales con soluciones responsables. Con la aceleración de las capacidades de IA, nuestros investigadores trabajan para comprender las implicaciones sociotécnicas y encontrar formas de ayudar a los profesionales sobre el terreno a visualizar y realizar estas capacidades de acuerdo con los principios de IA de Microsoft.
El siguiente es un vistazo a la investigación del año pasado para promover la IA responsable con autores de Aether. A lo largo de este trabajo, se repiten los llamados a la reflexividad en los procesos de los profesionales de la IA, es decir, la autorreflexión para ayudarnos a lograr claridad sobre para quién desarrollamos sistemas de IA, quién se beneficia y quién puede verse perjudicado en potencia, y herramientas que ayuden a los profesionales con el arduo trabajo de descubrir suposiciones que pueden obstaculizar el potencial de la IA centrada en el ser humano. La investigación discutida aquí también explora los componentes críticos de la IA Responsable, como ser transparente sobre las limitaciones de la tecnología, honrar los valores de las personas que usan la tecnología, permitir la agencia humana para un trabajo en equipo óptimo entre humanos e IA, mejorar la interacción efectiva con la IA y desarrollar una evaluación adecuada y técnicas de mitigación de riesgos para modelos multimodales de aprendizaje automático (ML, por sus siglas en inglés).
Considerar para quién son los sistemas de IA
La necesidad de cultivar perspectivas más amplias y, en beneficio de la sociedad, reflexionar sobre por qué y para quién creamos IA no solo es responsabilidad de los equipos de desarrollo de IA, sino también de la comunidad de investigación de IA. En el artículo «REAL ML: Recognizing, Exploring, and Articulating Limitations of Machine Learning Research«, los autores señalan que la publicación de aprendizaje automático a menudo exhibe un sesgo hacia el énfasis en el progreso emocionante, lo que tiende a propagar expectativas engañosas sobre la IA. Instan a la reflexividad sobre las limitaciones de la investigación de ML para promover la transparencia sobre la generalización de los hallazgos y el impacto potencial en la sociedad; en última instancia, un ejercicio para reflexionar sobre para quién creamos IA. El documento ofrece un conjunto de actividades guiadas diseñadas para ayudar a articular las limitaciones de la investigación, para alentar a la comunidad de investigación de aprendizaje automático hacia una práctica estándar de transparencia sobre el alcance y el impacto de su trabajo.
Lean la guía instructiva y la hoja de trabajo de REAL ML que ayudan a los investigadores a definir las limitaciones de su investigación e identificar las implicaciones sociales que estas limitaciones pueden tener en el uso práctico de su trabajo.
A pesar de que muchas organizaciones formulan principios para guiar el desarrollo y la implementación responsable de la IA, una encuesta reciente destaca que existe una brecha entre los valores priorizados por los profesionales de la IA y los del público en general. La encuesta, que incluyó una muestra representativa de la población de EE. UU., encontró que los profesionales de la IA a menudo daban menos peso que el público en general a los valores asociados con la IA Responsable. Esto plantea la pregunta de qué valores deben informar los sistemas de IA y cambia la atención hacia la consideración de los valores de las personas para las que diseñamos, para apuntar a sistemas de IA que estén mejor alineados con las necesidades de las personas.
Documentos relacionados
- REAL ML: reconocer, explorar y articular las limitaciones de la investigación del aprendizaje automático
- Cómo los diferentes grupos priorizan los valores éticos para una IA Responsable
Crear IA que empodera la agencia humana
Apoyar la agencia humana y enfatizar la transparencia en los sistemas de IA son enfoques comprobados para generar una confianza adecuada con las personas que los sistemas están diseñados para ayudar. En el trabajo en equipo humano-IA, las herramientas de visualización interactiva pueden permitir que las personas aprovechen su propia experiencia en el dominio y les permitan editar con facilidad modelos de última generación. Por ejemplo, los médicos que utilizan GAM Changer pueden editar modelos de predicción de riesgo para neumonía y sepsis para incorporar su propio conocimiento clínico y tomar mejores decisiones de tratamiento para los pacientes.
Un estudio que examinó cómo la IA puede mejorar el valor de las contribuciones de ciencia ciudadana en rápido crecimiento descubrió que enfatizar la agencia humana y la transparencia aumentó la productividad en un flujo de trabajo en línea donde los voluntarios brindan información valiosa para ayudar a la IA a clasificar las galaxias. Al optar por utilizar el nuevo flujo de trabajo y recibir mensajes que enfatizaban que la asistencia humana era necesaria para tareas de clasificación difíciles, los participantes fueron más productivos sin sacrificar la calidad de sus aportes y volvieron a ser voluntarios con más frecuencia.
Las fallas son inevitables en la IA porque ningún modelo que interactúe con el mundo físico en constante cambio puede estar completo. El aporte humano y la retroalimentación son esenciales para reducir los riesgos. Al investigar las mitigaciones de confiabilidad y seguridad para sistemas como el empuje de cajas robóticas y la conducción autónoma, los investigadores formalizan el problema de los efectos secundarios negativos (NSEs, por sus siglas en inglés), el comportamiento indeseable de estos sistemas. Los investigadores experimentaron con un marco en el que el sistema de IA utiliza asistencia humana inmediata en forma de retroalimentación, ya sea sobre la tolerancia del usuario a una ocurrencia de NSE o su decisión de modificar el entorno. Los resultados demuestran que los sistemas de IA pueden adaptarse para mitigar con éxito los NSE de los comentarios, pero entre las consideraciones futuras, aún existe el desafío de desarrollar técnicas para recopilar comentarios precisos de las personas que usan el sistema.
El objetivo de optimizar la complementariedad humano-IA destaca la importancia de involucrar la agencia humana. En un estudio a gran escala que examinó cómo el sesgo en los modelos influye en las decisiones de los humanos en una tarea de contratación de trabajo, los investigadores hicieron un descubrimiento sorprendente: cuando trabajaban con un sistema de recomendación de red neuronal profunda (DNN, por sus siglas en inglés) de caja negra, las personas hacían menos decisiones con sesgo de género que cuando se trabaja con un modelo de bolsa de palabras (BOW, por sus siglas en inglés), que se percibe como más interpretable. Esto sugiere que las personas tienden a reflexionar y confiar en su propio juicio antes de aceptar una recomendación de un sistema para el cual no pueden formar de manera cómoda un modelo mental de cómo se derivan sus resultados. Los investigadores piden explorar técnicas para involucrar mejor la reflexividad humana cuando se trabaja con algoritmos avanzados, lo que puede ser un medio para mejorar la toma de decisiones híbrida humana-IA y mitigar el sesgo.
La forma en que diseñamos la interacción humano-IA es clave para la complementariedad y el empoderamiento de la agencia humana. Necesitamos planificar con cuidado cómo las personas interactuarán con los sistemas de IA que son de naturaleza estocástica y presentan desafíos inherentemente diferentes a los sistemas deterministas. Diseñar y probar la interacción humana con los sistemas de IA lo antes posible en el proceso de desarrollo, incluso antes de que los equipos inviertan en ingeniería, puede ayudar a evitar costosas fallas y rediseños. Con este objetivo, los investigadores proponen pruebas tempranas de la interacción humano-IA a través de encuestas factoriales, un método de las ciencias sociales que utiliza narraciones cortas para obtener información sobre las percepciones de las personas.
Pero probar la experiencia óptima del usuario antes de que los equipos inviertan en ingeniería puede ser un desafío para las funciones basadas en IA que cambian con el tiempo. La naturaleza continua de una persona que se adapta a una función de IA que se actualiza de manera constante hace que sea difícil observar los patrones de comportamiento del usuario que pueden informar las mejoras de diseño antes de implementar un sistema. Sin embargo, los experimentos demuestran el potencial de HINT (Human-AI INtegration Testing), un marco para descubrir patrones a lo largo del tiempo en el comportamiento del usuario durante las pruebas previas a la implementación. Con HINT, los profesionales pueden diseñar la configuración de la prueba, recopilar datos a través de un flujo de trabajo colaborativo y generar informes de métricas fuera de línea y centradas en el usuario.
Consulten la antología de 2022 de este taller anual que reúne la investigación sobre la interacción humano-computadora (HCI) y el procesamiento del lenguaje natural (NLP) para mejorar cómo las personas pueden beneficiarse de las aplicaciones de NLP que usan a diario.
Documentos relacionados
- Evaluación temprana de la interacción humano-IA a través de encuestas factoriales: un estudio sobre las pautas para la interacción humano-IA
- Evitar los efectos secundarios negativos de los sistemas autónomos en el mundo abierto
- Interpretabilidad, ¿entonces qué? Edición de modelos de aprendizaje automático para reflejar el conocimiento y los valores humanos
- Investigaciones de desempeño y sesgo en el trabajo en equipo humano-IA en la contratación
- Un nuevo Flujo de trabajo para la colaboración humano-IA en la ciencia ciudadana
- HINT: Pruebas de integración para funciones basadas en IA con humanos en el bucle
Creación de herramientas de IA responsables para modelos básicos
Aunque todavía estamos en las primeras etapas de comprensión de cómo aprovechar de manera responsable el potencial de los modelos multimodales y de lenguaje grande que pueden usarse como base para construir una variedad de sistemas basados en IA, los investigadores están en el proceso de desarrollo de herramientas prometedoras y técnicas de evaluación para ayudar en Los profesionales en el terreno brindan IA responsable. La reflexividad y los recursos necesarios para implementar estas nuevas capacidades con un enfoque centrado en el ser humano son compatibles con los objetivos comerciales de servicios y productos sólidos de manera fundamental.
La generación de lenguaje natural con vocabulario abierto ha despertado mucha imaginación en los equipos de productos. Sin embargo, persisten los desafíos, incluso para mejorar la detección del lenguaje tóxico; Las herramientas de moderación de contenido a menudo sobremarcan el contenido que menciona a los grupos minoritarios sin tener en cuenta el contexto, sin tener en cuenta la toxicidad implícita. Para ayudar a abordar esto, un nuevo conjunto de datos generado por máquinas a gran escala, ToxiGen, permite a los profesionales ajustar clasificadores de odio entrenados de manera previa para mejorar la detección de toxicidad implícita para 13 grupos minoritarios en texto generado por humanos y por máquinas.
Descarguen el conjunto de datos ToxiGen generado por máquina a gran escala e instalen el código fuente para ajustar los sistemas de detección de lenguaje tóxico para el discurso de odio adverso e implícito para 13 grupos de minorías demográficas. Destinado a fines de investigación.
Los modelos multimodales proliferan, como los que combinan la generación de lenguaje natural con la visión artificial para servicios como el subtitulado de imágenes. Estos sistemas complejos pueden revelar sesgos sociales dañinos en su producción y son difíciles de evaluar para mitigar los daños. A través de usar un servicio de subtítulos de imágenes de última generación con dos conjuntos de datos de subtítulos de imágenes populares, los investigadores aíslan en qué parte del sistema se originan los daños relacionados con la equidad y presentan múltiples técnicas de medición para cinco tipos específicos de daños representativos: negar a las personas la oportunidad de -identificar, cosificar grupos sociales, estereotipar, borrar y degradar.
El advenimiento comercial de los generadores de código impulsados por IA ha introducido a los desarrolladores novatos junto con los profesionales a la programación asistida por modelos de lenguaje grande (LLM, por sus siglas en inglés). Una descripción general de la experiencia de programación asistida por LLM revela consideraciones únicas. La programación con LLM invita a la comparación con formas relacionadas de programación, como la búsqueda, la compilación y la programación en pares. Si bien existen similitudes, los informes empíricos sugieren que es una forma distinta de programar con su propia combinación única de comportamientos. Por ejemplo, se requiere un esfuerzo adicional para crear indicaciones que generen el código deseado, y los programadores deben verificar la corrección, confiabilidad, seguridad y protección del código sugerido. Aun así, un estudio de usuarios que examina lo que los programadores valoran en la generación de código de IA muestra que los programadores encuentran valor en el código sugerido porque es fácil de editar, lo que aumenta la productividad. Los investigadores proponen una métrica híbrida que combina la corrección funcional y las métricas basadas en la similitud para capturar mejor lo que los programadores valoran en la programación asistida por LLM, porque el juicio humano debe determinar cómo una tecnología puede servirnos mejor.
Documentos relacionados
- ¿Cómo es programar con inteligencia artificial?
- ToxiGen: un conjunto de datos generado por máquina a gran escala para la detección de discursos de odio implícitos y adversarios
- Alineación de métricas fuera de línea y juicios humanos de valor de programadores de AI-Pair
- Medición de daños representacionales en subtítulos de imágenes
Comprender y apoyar a los profesionales de IA
La cultura organizacional y los objetivos comerciales a menudo pueden estar en desacuerdo con lo que los profesionales necesitan para mitigar la equidad y otros problemas de IA responsable cuando sus sistemas se implementan a escala. La IA responsable y centrada en el ser humano requiere un enfoque reflexivo: el hecho de que una tecnología sea factible a nivel técnico no significa que deba crearse.
Del mismo modo, el hecho de que un conjunto de datos esté disponible no significa que sea adecuado para su uso. Saber por qué y cómo se creó un conjunto de datos es crucial para ayudar a los profesionales de la IA a decidir si se debe usar para sus propósitos y cuáles son sus implicaciones para la equidad, la confiabilidad, la seguridad y la privacidad. Un estudio que se centra en cómo los profesionales de la IA abordan los conjuntos de datos y la documentación revela que las prácticas actuales son informales e inconsistentes. Señala la necesidad de marcos de documentación de datos diseñados para adaptarse a los flujos de trabajo existentes de los profesionales y que dejen en claro las implicaciones responsables de la IA del uso de un conjunto de datos. Con base en estos hallazgos, los investigadores iteraron en Hojas de datos para conjuntos de datos y propusieron la Plantilla de documentación de datos de éter revisada.
Utilicen esta plantilla flexible para reflejar y ayudar a documentar las suposiciones subyacentes, los riesgos potenciales y las implicaciones del uso de su conjunto de datos.
Los profesionales de IA se encuentran en el proceso de equilibrar las presiones de cumplir con los objetivos comerciales y los requisitos de tiempo necesarios para el desarrollo y la evaluación responsables de los sistemas de IA. Al examinar estas tensiones en tres empresas de tecnología, los investigadores realizaron entrevistas y talleres para saber qué necesitan los profesionales para medir y mitigar los problemas de equidad de la IA en medio de la presión del tiempo para lanzar productos infundidos con IA a mercados geográficos más amplios y para grupos de personas más diversos. Los participantes revelaron los desafíos para recopilar conjuntos de datos apropiados y encontrar las métricas correctas para evaluar qué tan justo funcionará su sistema cuando no pueden identificar a las partes interesadas directas y los grupos demográficos que se verán afectados por el sistema de IA en mercados en rápida expansión. Por ejemplo, la detección del discurso de odio puede no ser adecuada en todas las culturas o idiomas. Una mirada a las decisiones de los profesionales de IA sobre qué, cuándo y cómo evaluar los sistemas de IA que utilizan la generación de lenguaje natural (NLG, por sus siglas en inglés) enfatiza aún más que cuando los profesionales no tienen claridad sobre la configuración de implementación, están limitados en la proyección de fallas que podrían causar daño individual o social. Más allá de las preocupaciones por detectar el discurso tóxico, otras cuestiones de equidad e inclusión, por ejemplo, la eliminación de la expresión lingüística distintiva de los grupos minoritarios, rara vez se consideran en las evaluaciones de los profesionales.
Hacer frente a las limitaciones de tiempo y los objetivos comerciales competitivos es una realidad para los equipos que implementan sistemas de IA. Hay muchas oportunidades para desarrollar herramientas integradas que pueden incitar a los profesionales de la IA a pensar en los posibles riesgos y mitigaciones para los sistemas sociotécnicos.
Documentos relacionados
- Deconstruir la evaluación NLG: prácticas de evaluación, supuestos y sus implicaciones
- Comprensión de las percepciones, necesidades, desafíos y deseos de la documentación de datos de los profesionales del aprendizaje automático
- Evaluación de la equidad de los sistemas de IA: Procesos, desafíos y necesidades de apoyo de los profesionales de la IA
Pensar en ello: La reflexividad como un elemento esencial para los objetivos de la sociedad y la industria
A medida que imaginamos todo lo que es posible con el potencial de la IA, una cosa está clara: desarrollar una IA diseñada que tiene en cuenta las necesidades de las personas requiere reflexividad. Hemos pensado en la IA centrada en el ser humano como centrada en los usuarios y las partes interesadas. Comprender para quién diseñamos, empoderar la agencia humana, mejorar la interacción humano-IA y desarrollar herramientas y técnicas de mitigación de daños es tan importante como siempre. Pero también necesitamos volvernos un espejo hacia nosotros mismos como creadores de IA. ¿Qué valores y supuestos ponemos sobre la mesa ¿De quién son los valores que se incluyen y de quién se dejan de lado? ¿Cómo influyen estos valores y suposiciones en lo que construimos, cómo construimos y para quién? ¿Cómo podemos navegar las presiones organizativas complejas y exigentes mientras nos esforzamos por crear una IA responsable? Con tecnologías tan poderosas como la IA, no podemos permitirnos centrarnos tan solo en el progreso por sí mismo. Mientras trabajamos para hacer evolucionar las tecnologías de IA a un ritmo acelerado, debemos hacer una pausa y reflexionar sobre qué es lo que avanzamos y para quién.
