Conversación con la IA: Nota de transparencia

Conversación con IA: Nota de transparencia

El uso legal, ético y responsable de la inteligencia artificial (IA) es una de las principales prioridades de Anthology, por eso desarrollamos e implementamos un programa de IA confiable. Puede encontrar información sobre el programa y el enfoque en general en nuestro Centro de confianza. Puede encontrar una descripción general de las soluciones de Anthology con la IA generativa en nuestra Lista de funciones de la IA generativa.

Como parte de nuestros principios de IA confiable, nos comprometemos a ofrecer transparencia, claridad y responsabilidad. En esta página, se pretende ofrecer la transparencia y la capacidad de explicación necesarias para ayudar a nuestros clientes a implementar la Conversación con IA. Aconsejamos a los administradores que revisen detenidamente esta página y se aseguren de que los profesores estén al tanto de las siguientes consideraciones y recomendaciones antes de activar las funcionalidades de la Conversación con IA en su institución.

Cómo ponerse en contacto con nosotros:

• Si tiene preguntas o comentarios sobre nuestro enfoque general de la IA confiable o sobre cómo podemos hacer que esta página sea más útil para nuestros clientes, envíenos un correo electrónico a [email protected].
• Para hacer preguntas o comentarios sobre las funcionalidades o los resultados de la Conversación con IA, envíe una solicitud de asistencia al cliente.

Última actualización: 1.º de noviembre de 2024

Funcionalidades facilitadas con IA

Conversación con IA

La conversación con la IA se diseñó específicamente como una actividad interactiva nueva en la que los estudiantes pueden participar activamente. Los profesores pueden crear una conversación con IA en sus cursos, definir un tema y una persona de IA, y podrán seleccionar el tipo de conversación en la que participarán los estudiantes. Dentro de la funcionalidad de Conversación con IA, los profesores pueden elegir entre dos opciones: Preguntas socráticas, donde la persona de IA anima a los estudiantes a pensar de forma crítica a través del cuestionamiento continuo, o Juego de roles, que permite a los estudiantes actuar en un escenario con la persona de IA.

Preguntas socráticas

Se trata de una actividad de preguntas guiadas o un ejercicio socrático. La persona de IA no confirmará ni rechazará ninguna respuesta del estudiante, sino que los guiará a través de una serie de preguntas. Al final de la conversación, los estudiantes pueden hacer una reflexión sobre la actividad, destacando los puntos débiles o fuertes de su aprendizaje, o si el bot de IA mostró alguna parcialidad, alucinación o fue impreciso. Al momento de la entrega, el profesor recibirá una transcripción de la conversación y la reflexión, lo que dará total transparencia a las interacciones. Se trata de una forma ideal de entablar un diálogo que invite a la reflexión sobre los temas del curso sin necesidad de tener sesiones individuales 1:1, algo que puede resultar difícil en el caso de los cursos más grandes o complejos.

La conversación con IA ofrece a los profesores la posibilidad de generar una imagen para el personaje de IA mediante la IA generativa.

Estas funcionalidades están sujetas a cambios, así como a las limitaciones y la disponibilidad de Azure OpenAI Service. Para obtener más información, consulte las notas de la versión relevantes.

Juego de roles

La función Juego de roles permite a los profesores establecer conversaciones simuladas para sus estudiantes mediante la definición de roles específicos tanto para la persona de IA como para los estudiantes. Esta opción interactiva mejora las experiencias de aprendizaje y formación, ya que permite que los estudiantes practiquen sus habilidades de comunicación en escenarios realistas, proporcionando oportunidades de aprendizaje activo. Con rasgos de personalidad que se pueden personalizar para la persona de la IA e indicaciones de contexto, la función Juego de roles fomenta intercambios atractivos y dinámicos, lo que enriquece el proceso general de aprendizaje y fomenta el pensamiento crítico.

Los profesores pueden personalizar la persona de IA asignándole un nombre y una imagen. También pueden definir los rasgos de personalidad de la persona de IA y seleccionan la complejidad de sus respuestas. Los rasgos de personalidad asignados a la persona de IA en esta opción de juego de roles dan forma a sus respuestas e interacciones.

Tenga en cuenta: Los profesores deben seleccionar cuidadosamente los rasgos de personalidad y revisar previamente la conversación simulada, ya que los rasgos de personalidad influyen significativamente en el tono y el contenido de la conversación. Por ejemplo, si el profesor hace que la persona de IA sea afectuosa y empática, esta responderá con esos rasgos. Si un profesor configura la IA para que sea controvertida o tendenciosa, la respuesta de la IA será probablemente controvertida o tendenciosa. Además, la persona de IA no siempre cuestionará las ideas controvertidas, tendenciosas o peligrosas de los estudiantes.

Al comprobar esta funcionalidad, Anthology revisó y analizó estos resultados para determinar si la funcionalidad debía limitarse para evitar cualquier sesgo o resultado inadecuado. Llegamos a la conclusión de que, en general, las instituciones y los profesores deben tener libertad académica para permitir que los estudiantes participen en conversaciones simuladas que puedan ser controversiales o tendenciosas. Y a la vez, entendemos que hay límites en cuanto a los resultados que la persona de IA debe ser capaz de producir. En este sentido, los profesores son los máximos responsables del resultado generado por la Conversación con AI y del diálogo que los estudiantes encontrarán a través de la función de Juego de roles. En nuestras pruebas, los límites de seguridad implementados por OpenAI, Microsoft y Anthology impidieron obtener resultados ilícitos o que no cumplieran nuestras normas sobre IA confiable. Seguiremos supervisando esta función y los comentarios de los clientes al respecto para asegurarnos de que podemos hacer los cambios que sean necesarios para que esta función cumpla nuestras normas de IA confiable.

Las funcionalidades de la Conversación con IA están sujetas a cambios, así como a las limitaciones y la disponibilidad de Azure OpenAI Service. Para obtener más información, consulte las notas de la versión relevantes.

Información esencial

Consideraciones y sugerencias para las instituciones

Casos de uso previstos

La Conversación con IA solo está diseñada para admitir las funcionalidades enumeradas anteriormente. Estas funcionalidades se proporcionan a los profesores y estudiantes de nuestro cliente y están pensadas para ellos, con el objetivo de mejorar el aprendizaje de los estudiantes mediante actividades asistidas por IA.

Casos de uso no recomendados

Dado que la Conversación con IA es una tecnología de Microsoft, que tiene una gama muy amplia de casos de uso, es posible utilizar la funcionalidad de solicitud en la Conversación con IA para pedir resultados que no estén incluidos en las funcionalidades previstas. Desaconsejamos totalmente que los clientes usen la Conversación con IA para cualquier propósito que exceda el ámbito de las funcionalidades establecidas. De hacerlo, podrían generarse resultados que no son adecuados o compatibles con el entorno Blackboard y las medidas que hemos establecido para minimizar los resultados inexactos.

En particular, deben seguirse los puntos que se indican a continuación a la hora de realizar una solicitud:

• Solo use solicitudes que estén destinadas a continuar la conversación sobre el tema asignado para la conversación con IA. Por ejemplo, responda las preguntas e indicaciones del bot de IA o hágale preguntas sobre el tema asignado.
• No solicite resultados que se encuentren fuera del ámbito de la funcionalidad prevista. Por ejemplo, no debe usar la solicitud para pedir fuentes o referencias de los resultados. En nuestras pruebas, identificamos problemas de precisión con este tipo de información.
• Tenga en cuenta que las solicitudes de resultados que tengan el estilo de una persona específica o se vean parecidos a elementos protegidos por derechos de autor o marcas registradas podrían generar resultados que conlleven el riesgo de infringir los derechos de propiedad intelectual.
• Es posible que los resultados sugeridos para temas delicados sean limitados. Azure OpenAI Service se entrenó e implementó para reducir al mínimo el contenido ilegal y dañino. Esto incluye una función de filtrado de contenido. Por ello, podrían producirse resultados limitados o aparecer mensajes de error cuando la Conversación con IA se utilice para cursos relacionados con temas delicados (por ejemplo, autolesiones, violencia, odio o sexo). No realice solicitudes que infrinjan los términos del acuerdo de su institución con Anthology o que infrinjan el Código de conducta para Azure OpenAI Service de Microsoft y la Política de uso aceptable en las Condiciones de Microsoft Online Services.

Para el juego de roles: Los profesores deben seleccionar cuidadosamente los rasgos de personalidad y revisar previamente la conversación simulada, ya que los rasgos de personalidad influyen significativamente en el tono y el contenido de la conversación. Consulte la descripción de la función que aparece más arriba para obtener más información.

Principios de IA confiable puestos en práctica

Anthology considera que el uso legal, ético y responsable de la IA es una prioridad clave. En esta sección, se explica cómo Anthology y Microsoft trabajaron para abordar el riesgo aplicable a este uso de la IA e implementar los principios de IA confiable de Anthology. También se sugieren los pasos que los clientes pueden considerar a la hora de emprender sus propias revisiones sobre los riesgos éticos del uso de la IA.

Transparencia y explicabilidad

• En la consola del administrador de Blackboard, dejamos claro que la Conversación con IA se trata de una funcionalidad facilitada por la IA.
• En la interfaz de usuario para profesores, las funciones de la Conversación con IA se marcan claramente como funcionalidades de IA. Los profesores pueden obtener una vista preliminar de la conversación y probarla antes de ponerla a disposición de los estudiantes.
• Además de la información sobre el funcionamiento de los modelos de Azure OpenAI Service y de la Conversación con IA que se proporciona en este documento, puede encontrar más detalles sobre Azure OpenAI Service en la Nota de transparencia de Microsoft.
• Aconsejamos a los clientes que utilicen la IA de forma transparente en la Conversación con IA y que proporcionen a sus profesores y a otras partes interesadas, según corresponda, la información pertinente de este documento y de la documentación vinculada en él.

Fiabilidad y precisión

• En la consola del administrador de Blackboard, dejamos claro que la Conversación con IA se trata de una funcionalidad facilitada por la IA cuyos resultados pueden ser inexactos o no deseados y siempre deben revisarse.
• En la interfaz de usuario, la vista preliminar de los profesores y para los estudiantes que usan la Conversación con IA se informa que las respuestas son generadas por IA y, por lo tanto, pueden tener problemas de sesgo o ser imprecisas.
• Juegos de roles: Los profesores deben tener en cuenta que los rasgos de personalidad de la IA determinan sus respuestas e interacciones con los estudiantes y pueden afectar a la credibilidad y precisión de los resultados (lo que incluye un mayor riesgo de alucinaciones). Los profesores deben seleccionar cuidadosamente los rasgos de la personalidad y realizar una vista previa de la conversación. Consulte la descripción de la función para obtener más detalles.
• Como se detalla en la sección Limitaciones de la Nota de transparencia de Azure OpenAI Service, es posible que se generen resultados inexactos (lo que incluye "alucinaciones"). Si bien la Conversación con IA y nuestra implementación se diseñaron para reducir al mínimo la inexactitud, es responsabilidad de los clientes revisar los resultados para asegurarse de que sean precisos y no presenten sesgos u otros problemas potenciales. Si existen dudas, no es necesario utilizar la Conversación con IA con los estudiantes. Esta es una funcionalidad opcional del curso que el profesor puede usar a su discreción.
• Como se mencionó anteriormente, los clientes no deben realizar solicitudes en las que se pidan resultados que no se encuentren incluidos en los casos de uso previstos, sobre todo porque esto podría dar lugar a respuestas inexactas (por ejemplo, cuando se solicitan referencias o fuentes).
• Como parte de su plan de comunicación con respecto a la Conversación con IA, los clientes deben informar a los profesores y estudiantes de estas limitaciones y riesgos potenciales.
• Los profesores pueden usar las solicitudes y los ajustes adicionales en los flujos de trabajo generativos para ofrecer más contexto a la Conversación con IA y, así, aumentar la alineación y la precisión.
• Los clientes pueden notificarnos cualquier resultado inexacto utilizando los canales que se indican en la introducción de esta nota.

Legitimidad

• Los grandes modelos de lenguaje presentan intrínsecamente riesgos relacionados con los estereotipos, las representaciones excesivas o insuficientes y otras formas de sesgos dañinos. Microsoft los describe en la sección Limitaciones de la Nota de transparencia de Azure OpenAI Service.
• Teniendo en cuenta estos riesgos, hemos elegido las funcionalidades de la Conversación con IA con mucho cuidado para evitar que se produzcan casos de uso con más probabilidades de contener sesgos dañinos o en los que el impacto de dichos sesgos pueda ser más significativo.
• Juegos de roles: Los profesores deben tener en cuenta que los rasgos de personalidad de la IA determinan sus respuestas e interacciones con los estudiantes y pueden dar lugar a resultados que incluyan estereotipos, representaciones excesivas o insuficientes y otras formas de sesgo perjudicial. Los profesores deben seleccionar cuidadosamente los rasgos de la personalidad y realizar una vista previa de la conversación. Consulte la descripción de la función para obtener más detalles.
• Sin embargo, no podemos garantizar que todos los resultados estén exentos de estos sesgos. Como se mencionó anteriormente en el apartado "Precisión", se solicita a los profesores que revisen la actividad, lo cual ayuda a disminuir los sesgos dañinos que pueda haber.
• Como parte de su plan de comunicación con respecto a la Conversación con IA, los clientes deben informar a los profesores sobre esta posible limitación.
• Para informarnos sobre los sesgos potencialmente dañinos, pueden utilizar los canales de contacto que se encuentran en la introducción de esta nota.

Privacidad y seguridad

• Como se describe en la sección "Información esencial" anterior, la información personal que utiliza la Conversación con IA y a la que accede Microsoft es limitada. Allí, se explica además nuestro compromiso y el de Microsoft con respecto a su uso. Dada la naturaleza de la Conversación con IA, también se espera que la información personal que aparezca en los resultados generados sea limitada.
• Nuestro producto Blackboard Learn SaaS cuenta con las certificaciones ISO SO 27001/27017/27018 e ISO 27701. En ellas, se incluirán los aspectos acerca de la información personal relacionada con la Conversación con IA administrada por Anthology. Para obtener más información sobre el enfoque de Anthology en torno a la privacidad y seguridad de los datos, diríjase a nuestro Centro de confianza.
• Microsoft describe sus prácticas y compromisos de privacidad y seguridad de datos en la documentación sobre Datos, privacidad y seguridad para Azure OpenAI Service.
• Independientemente del compromiso de Anthology y Microsoft respecto a la privacidad de los datos y a no utilizar los datos de entrada para entrenar o volver a entrenar a los modelos, los clientes pueden aconsejar a los profesores y estudiantes que no incluyan ningún dato personal u otra información confidencial en las solicitudes y en la conversación.

Seguridad

• Los grandes modelos de lenguaje presentan siempre el riesgo de generar resultados que pueden ser inapropiados, ofensivos o peligrosos. Microsoft los describe en la sección Limitaciones de la Nota de transparencia de Azure OpenAI Service.
• Teniendo en cuenta estos riesgos, hemos elegido las funcionalidades de la Conversación con IA con mucho cuidado para evitar que se produzcan casos de uso con más probabilidades de contener resultados imprecisos o en los que el impacto de dichos resultados pueda ser más significativo.
• Juegos de roles: Los profesores deben tener en cuenta que los rasgos de personalidad de la IA determinan sus respuestas e interacciones con los estudiantes y pueden dar lugar a resultados que se consideren inapropiados, ofensivos o inseguros. Los profesores deben seleccionar cuidadosamente los rasgos de la personalidad y realizar una vista previa de la conversación. Consulte la descripción de la función para obtener más detalles.
• No obstante, cabe la posibilidad de que algunos de los resultados de la Conversación con IA no sean seguros. Como se mencionó más arriba en el apartado "Precisión", se solicita a los profesores que revisen los resultados, ya que esto reduce las posibilidades de que se generen resultados peligrosos.
• Como parte de su plan de comunicación con respecto a la Conversación con IA, los clientes deben informar a los profesores y estudiantes sobre esta posible limitación.
• Los clientes deben informarnos sobre los resultados potencialmente peligrosos a través de los canales que se indican en la introducción de esta nota.

Personas al mando

• Con el objetivo de reducir al mínimo los riesgos relacionados con el uso de la IA generativa para nuestros clientes y sus usuarios, tomamos la decisión de que sean los clientes quienes estén al mando de las funcionalidades de la Conversación con IA. Por lo tanto, la Conversación con IA es una función opcional. Los administradores deben activar la Conversación con IA y, luego, pueden activar cada funcionalidad por separado. También tienen la posibilidad de desactivar la Conversación con IA por completo o desactivar cada una de las funcionalidades por separado.
• La Conversación con IA no incluye ninguna toma de decisiones automatizada que pueda afectar de manera legal o considerable a los alumnos o a otras personas.
• Recomendamos que los clientes revisen detenidamente este documento, incluidos los enlaces de información que se proporcionan en él, para asegurarse de que comprenden las capacidades y limitaciones de la Conversación con IA y del servicio Azure OpenAI Service subyacente antes de activar la Conversación con IA en el entorno de producción.

Alineación de valores

• El uso de grandes modelos de lenguaje conlleva riesgos inherentes en cuanto a resultados sesgados, inapropiados o no acordes con los valores de Anthology o de nuestros clientes y alumnos. Microsoft los describe en la sección Limitaciones de la Nota de transparencia de Azure OpenAI Service.
• Además, estos modelos (como toda tecnología que cumple propósitos amplios) presentan el riesgo de que puedan utilizarse indebidamente para casos de uso que no se ajusten a los valores de Anthology, de nuestros clientes o de sus usuarios finales ni los de la sociedad en general (por ejemplo, para actividades delictivas o para crear resultados dañinos o inapropiados).
• Teniendo en cuenta estos riesgos, diseñamos e implementamos las funciones de la Conversación con IA con mucho cuidado, con el fin de reducir al mínimo las posibilidades de que se produzcan resultados que no estén alineados con estos valores. Además, omitimos intencionalmente aquellas que podrían ser de alto riesgo.
• Microsoft también revisa las solicitudes y los resultados para filtrar el contenido y, así, evitar que se realicen abusos o se genere contenido dañino.

Propiedad intelectual

• Los grandes modelos de lenguaje presentan intrínsecamente riesgos relacionados con posibles violaciones de los derechos de propiedad intelectual. La mayoría de las leyes de propiedad intelectual de todo el mundo no se anticiparon ni adaptaron por completo a la aparición de estos modelos ni a la complejidad de los problemas que surgen a partir de su uso. Como resultado, actualmente no existe un marco jurídico claro ni una orientación que aborde las cuestiones y los riesgos en torno a la propiedad intelectual que aparecen debido al uso de estos modelos.
• En última instancia, es responsabilidad de los clientes revisar los resultados generados con la Conversación con IA para detectar cualquier posible violación de los derechos de propiedad intelectual. Tenga en cuenta que las solicitudes de resultados con el estilo de una persona concreta o con un aspecto similar a elementos protegidos por derechos de autor o marcas registradas pueden dar lugar a resultados que supongan un mayor riesgo de infracción.

Accesibilidad

Diseñamos y desarrollamos la Conversación con IA teniendo en cuenta la accesibilidad, tal como lo hacemos en Blackboard y en el resto de nuestros productos. Incluso antes del lanzamiento de esta función, siempre hicimos todo lo posible por aumentar la accesibilidad de la estructura semántica, la navegación, los controles del teclado, las etiquetas, los componentes personalizados y los flujos de trabajo de imágenes, entre otras muchas áreas. A medida que avancemos en el uso de la IA, seguiremos dando prioridad a la accesibilidad.

Responsabilidad

• Anthology cuenta con un programa de IA confiable diseñado para garantizar el uso legal, ético y responsable de la IA. La responsabilidad interna clara y la revisión ética sistemática de la IA o las funcionalidades como las que ofrece la Conversación con IA son elementos fundamentales del programa.
• Con el objeto de distribuir la Conversación con IA, nos unimos con Microsoft, para aprovechar Azure OpenAI Service, cuya tecnología es la base de esta función. Microsoft lleva mucho tiempo comprometiéndose con el uso ético de la IA.
• Los clientes deben considerar la implementación de políticas y procedimientos internos y la revisión de las aplicaciones de IA de terceros para garantizar que su propio uso de la IA sea legal, ético y responsable. Esta información se ofrece para respaldar la valoración que nuestros clientes hacen de la Conversación con IA.

Más información

• Enfoque confiable de IA de Anthology
• Lista de funciones de IA generativa de Anthology
• Página de Microsoft sobre IA responsable
• Nota de transparencia de Microsoft para Azure Vision Service
• Página de Microsoft sobre Datos, privacidad y seguridad para Azure Vision Service