Conversa com IA — Nota de transparência 

O uso legal, ético e responsável da inteligência artificial (IA) é uma prioridade fundamental para a Anthology. Portanto, desenvolvemos e implementamos um programa de IA confiável. Você pode encontrar informações sobre nosso programa e nossa abordagem geral para IA confiável na Central de confiabilidade. Você pode encontrar uma visão geral das soluções Anthology com IA generativa em nossa Lista de recursos de IA generativa. 

Como parte de nossos princípios de IA confiável, nós nos comprometemos com transparência, explicabilidade e responsabilidade. Esta página tem como objetivo possibilitar a transparência e a explicabilidade necessárias para ajudar nossos clientes com a implementação da Conversa com IA. Recomendamos que os administradores examinem cuidadosamente esta página e garantam que os instrutores estejam cientes das considerações e recomendações abaixo antes da ativação de quaisquer funcionalidades de Conversa com IA para sua instituição.

Como entrar em contato conosco: 

  • Para perguntas ou comentários sobre nossa abordagem geral de IA confiável ou como podemos tornar esta página mais útil para os clientes, envie um e-mail para [email protected] 
  • Para perguntas ou comentários sobre a funcionalidade ou resultados da Conversa com IA, envie um ticket de suporte ao cliente. 

Última atualização: 1º de novembro de 2024

Funcionalidades facilitadas por IA 

Conversa com IA 

A Conversa com IA foi desenvolvida especificamente como uma nova atividade interativa na qual os alunos podem participar ativamente. Os instrutores podem criar uma conversa de IA nos cursos, determinar um tópico e uma persona de IA, e podem selecionar o tipo de conversa para os alunos participarem. Na funcionalidade de Conversa com IA, os instrutores podem escolher entre duas opções: Questionamento socrático, no qual a persona de IA incentiva os alunos a pensar de forma crítica por meio de questionamento contínuo, ou Dramatização, que permite que os alunos representem um cenário com a persona de IA. 

Questionamento socrático 

É uma atividade de questionamento guiada ou exercício socrático. A persona de IA não confirmará ou rejeitará qualquer resposta do aluno, mas moverá o aluno por uma série de perguntas. No final da conversa, os alunos fazem uma reflexão sobre a atividade, destacando pontos fracos ou pontos fortes da aprendizagem, ou se o bot de IA mostrou parcialidade, alucinações ou imprecisões. No envio, o instrutor receberá uma transcrição da conversa e da reflexão, dando total transparência das interações. Esta é uma ótima maneira de ter um diálogo estimulante sobre os tópicos do curso sem ter conversas individuais diretas, o que pode ser difícil de fazer para cursos maiores ou mais complexos.

A Conversa com IA fornece aos instrutores a capacidade de gerar uma imagem para a persona da Conversa com IA usando a IA generativa. 

Essas funcionalidades estão sujeitas às limitações e à disponibilidade do serviço OpenAI do Azure, bem como estão sujeitas a alterações. Verifique as notas de lançamento relevantes para saber mais.

Dramatização

O recurso de Dramatização permite que os instrutores configurem conversas simuladas para os alunos definindo funções específicas para a persona da IA e para os alunos. Essa opção interativa aprimora as experiências de aprendizagem e treinamento, permitindo que os alunos pratiquem habilidades de comunicação em cenários realistas, fornecendo oportunidades de aprendizagem ativas. Com traços de personalidade personalizáveis para a persona de IA e solicitações contextuais, o recurso de Dramatização promove trocas envolventes e dinâmicas, enriquecendo o processo de aprendizagem geral e incentivando o pensamento crítico. 

Os instrutores podem personalizar o persona de IA atribuindo um nome e uma imagem. Eles também definem os traços de personalidade da persona de IA e selecionam a complexidade das respostas. Os traços de personalidade atribuídos à persona de IA nesta opção de Dramatização moldam as respostas e interações dela. 

Observe: os instrutores devem selecionar os traços de personalidade cuidadosamente e visualizar a conversa simulada, já que os traços de personalidade influenciam significativamente o tom e o conteúdo da conversa. Por exemplo, se o instrutor configurar a persona da IA como calorosa e empática, a persona de IA responderá com esses traços. Se um instrutor configurar a persona da IA como controversa ou tendenciosa, o resultado da persona de IA provavelmente será controverso ou tendencioso. A persona de IA também nem sempre desafiará ideias controversas, tendenciosas ou perigosas dos alunos.

Como parte de nossos testes dessa funcionalidade, Anthology revisou e discutiu esses resultados para determinar se a funcionalidade deve ser limitada para evitar qualquer tendência ou resultado inapropriado. Concluímos que, no equilíbrio, as instituições e os instrutores devem ter a liberdade acadêmica de permitir que os alunos se envolvam em conversas simuladas que possam ser controversas ou tendenciosas. Ao mesmo tempo, entendemos que há limites para a produção que a persona de IA deve ser capaz de produzir. Assim, os instrutores são, em última análise, responsáveis pelo resultado da Conversa de IA e pelo diálogo que os alunos encontrarão por meio da funcionalidade de Dramatização. Em nossos testes, as defesas existentes implementadas pelo OpenAI, Microsoft e Anthology impediram qualquer resultado que fosse ilegal ou que não atendesse aos nossos padrões de IA confiável. Continuaremos monitorando esse recurso e quaisquer comentários relacionados ao cliente para garantir que possamos fazer alterações que possam ser necessárias para que esse recurso atenda aos nossos padrões de IA confiável. 

As funcionalidades de Conversa de IA estão sujeitas às limitações e à disponibilidade do serviço OpenAI do Azure, e estão sujeitas a alterações. Verifique as notas de lançamento relevantes para saber mais.

Principais fatos

Tabela de perguntas e respostas sobre a abordagem da Anthology para a IA
Pergunta Resposta
Quais funcionalidades usam sistemas de IA?

Imagens geradas por IA para a persona (conforme descrito acima) 

Funcionalidades da Conversa com IA (conforme descrito acima).

Este sistema de IA é compatível com terceiros?Sim – As imagens geradas por IA e pela Conversa com IA são desenvolvidas pelo serviço Azure OpenAI da Microsoft.
Como o sistema de IA funciona?

A Conversa com IA aproveita o serviço OpenAI do Azure da Microsoft para gerar resultados automaticamente. Isso é alcançado usando informações fornecidas pelo instrutor dentro da própria opção socrática ou de Dramatização, como tópico, persona da IA, traços de personalidade e complexidade, além de nosso prompt para facilitar as respostas. 

Para obter uma explicação detalhada sobre como o serviço OpenAI do Azure e os grandes modelos de linguagem GPT da OpenAI subjacente funcionam, consulte a seção Introdução da Nota de transparência da Microsoft e os links contidos nela.

Onde o sistema de IA é hospedado?

A Anthology atualmente usa várias instâncias globais do serviço OpenAI do Azure. A instância principal está hospedada nos Estados Unidos, mas, às vezes, podemos utilizar recursos em outros locais, como Canadá, Reino Unido ou França, para oferecer aos clientes a melhor opção de disponibilidade do serviço OpenAI do Azure. 

Todos os dados de curso do cliente e de entrada do instrutor usados para entrada e toda a saída gerada pela Conversa com IA são armazenados no banco de dados da Blackboard existente do cliente pela Anthology.

Esta funcionalidade é opcional?Sim. Os administradores precisam ativar a Conversa com IA no console do administrador da Blackboard. As configurações da Conversa com IA estão na categoria Building Blocks. Selecione Conversa com IA e Unsplash. Os administradores podem ativar ou desativar cada funcionalidade separadamente. Os administradores também precisam atribuir privilégios de "Usar o AI Design Assistant" às funções do curso, como a função Instrutor, conforme necessário.
Como o sistema de IA é treinado?

A Anthology não está envolvida no treinamento dos grandes modelos de linguagem que alimentam as funcionalidades da Conversa com IA. Esses modelos são treinados pela OpenAI/Microsoft como parte do serviço OpenAI do Azure, que alimenta as funcionalidades da Conversa com IA. A Microsoft fornece informações sobre como os grandes modelos de linguagem são treinados na seção Introdução da Nota de transparência da Microsoft e nos links contidos nela. 

A Anthology não faz ajustes no serviço OpenAI do Azure usando nossos próprios dados ou os de nossos clientes.

Os dados do cliente são usados para treinar o sistema de IA?Não. A Microsoft se compromete contratualmente nos termos do OpenAI do Azure com a Anthology a não usar nenhuma entrada ou saída do OpenAI do Azure para treinamento do grande modelo de linguagem. O mesmo compromisso é assumido na documentação da Microsoft sobre Dados, privacidade e segurança do serviço OpenAI do Azure.
Como a Anthology usa informações pessoais em relação ao sistema de IA?A Anthology só usa as informações coletadas em conexão coma Conversa com IA para disponibilizar, manter e dar suporte à Conversa com IA em que temos a permissão contratual para fazer isso conforme a lei aplicável. Você pode encontrar mais informações sobre a abordagem da Anthology em relação à privacidade de dados na Central de confiabilidade.
No caso de um sistema de IA compatível com terceiros, como o terceiro usará as informações pessoais?

Apenas informações limitadas do curso são disponibilizadas à Microsoft para o serviço OpenAI do Azure. Isso geralmente não deve incluir informações pessoais (exceto nos casos em que informações pessoais são incluídas no tópico, campos de persona de IA ou personalidade ou as perguntas e respostas do aluno ao bot de IA). Além disso, qualquer informação que os instrutores decidirem incluir no lembrete estará acessível. 

A Microsoft não usa nenhum dado da Anthology, nem dados dos clientes da Anthology aos quais tem acesso (como parte do serviço OpenAI do Azure), para melhorar os modelos do OpenAI, para melhorar serviços de produtos próprios ou de terceiros ou para melhorar automaticamente os modelos do OpenAI do Azure para o uso da Anthology no recurso da Anthology. Os modelos não têm estado. A Microsoft revisa os avisos e a saída da filtragem de conteúdo. Os prompts e as saídas são armazenadas por até 30 dias. 

Você pode encontrar mais informações sobre as práticas de privacidade de dados relacionadas ao serviço OpenAI do Azure na documentação da Microsoft sobre Dados, privacidade e segurança para o serviço OpenAI do Azure.

A acessibilidade foi considerada no desenvolvimento do sistema de IA?Sim, nossos engenheiros de acessibilidade colaboraram com as equipes de produtos para avaliar os desenvolvimentos, comunicar considerações importantes sobre acessibilidade e testar os novos recursos especificamente em termos de acessibilidade. Continuaremos a considerar a acessibilidade como parte integrante da nossa abordagem de IA confiável.

 

Considerações e recomendações para as instituições 

Casos de uso pretendidos 

A Conversa com IA destina-se apenas a oferecer suporte às funcionalidades listadas acima. Essas funcionalidades são fornecidas e destinadas aos instrutores e alunos de nossos clientes, com o objetivo de melhorar a aprendizagem dos alunos por meio de atividades suportadas por IA. 

Casos de uso fora do escopo 

Como a Conversa com IA foi desenvolvido pela Microsoft com uma ampla gama de casos de usos, pode ser possível usar a funcionalidade de solicitação na Conversa com IA para resultados além das funcionalidades desejadas. Desencorajamos fortemente o uso da Conversa com IA para qualquer finalidade além do escopo das funcionalidades planejadas. Esse uso poderá resultar na geração de resultados que não são adequados ou compatíveis com o ambiente da Blackboard e com as medidas que implementamos para minimizar resultados imprecisos. 

Em particular, os pontos abaixo devem ser seguidos ao solicitar: 

  • Use apenas avisos que destinam-se a prosseguir a conversa sobre o tópico atribuído para a Conversa de IA. Por exemplo, responda às perguntas e solicitações do bot de IA ou faça perguntas ao bot de IA sobre o tópico atribuído. 
  • Não use solicitações de saídas além da funcionalidade pretendida. Por exemplo, você não deve usar solicitações de fontes ou referências para a saída. Em nossos testes, determinamos que há problemas de precisão com esse tipo de saída. 
  • Tenha em mente que solicitações de saída no estilo de uma pessoa específica ou solicitações de uma saída semelhante a itens protegidos por direitos autorais ou marcas registradas podem resultar em uma saída que acarreta o risco de violação de direito de propriedade intelectual. 
  • A saída sugerida para tópicos sensíveis pode ser limitada. O serviço OpenAI do Azure foi treinado e implementado de maneira a minimizar o conteúdo ilegal e prejudicial. Isso inclui uma funcionalidade de filtro de conteúdo. Isso poderá resultar em resultados limitados ou mensagens de erro quando a Conversa com IA for usada para cursos relacionados a tópicos sensíveis (por exemplo, automutilação, violência, ódio ou sexo). Não use solicitações que violem os termos do contrato da sua instituição com a Anthology ou que violem o Código de Conduta da Microsoft para o serviço OpenAI do Azure e a Política de uso aceitável nos Termos de serviços on-line da Microsoft.nbsp;

Para a Dramatização: Os instrutores devem selecionar os traços de personalidade cuidadosamente e visualizar a conversa simulada, já que os traços de personalidade influenciam significativamente o tom e o conteúdo da conversa. Consulte a descrição da função acima para obter mais detalhes.

Princípios de IA confiável na prática 

A Anthology acredita que o uso legal, ético e responsável da IA é uma prioridade fundamental. Esta seção explica como a Anthology e a Microsoft trabalharam para lidar com o risco aplicável ao uso legal, ético e responsável da IA e implementar os princípios de IA confiável da Anthology. Ela sugere também medidas que nossos clientes podem considerar ao realizar as próprias análises dos riscos éticos da IA. 

Transparência e explicabilidade 

  • Deixamos claro no console do administrador do Blackboard que esta Conversa com IA é uma funcionalidade facilitada por IA.
  • Na interface de usuário dos instrutores, as funcionalidades da Conversa com IA estão claramente marcadas como funcionalidades de IA. Os instrutores têm a capacidade de visualizar e testar a conversa antes de disponibilizá-la para os alunos. 
  • Além das informações apresentadas neste documento sobre como funcionam os modelos da Conversa com IA e do serviço OpenAI do Azure, a Microsoft disponibiliza informações adicionais sobre o serviço OpenAI do Azure na Nota de transparência. 
  • Incentivamos os clientes a serem transparentes sobre o uso de IA na Conversa com IA e oferecemos aos instrutores, alunos e outras partes interessadas, conforme apropriado, as informações relevantes deste documento e a documentação vinculada aqui. 

Confiabilidade e precisão 

  • Deixamos claro no console do administrador do Blackboard que a Conversa com IA é uma funcionalidade facilitada por IA que pode produzir saídas imprecisas ou indesejadas e que esta saída deve sempre ser analisada. 
  • Na interface de usuário, a visualização dos instrutores e os alunos que usam a Conversa com IA são informados de que as respostas são geradas pela IA e, portanto, podem ter viés ou serem imprecisas. 
  • Dramatização: Os instrutores devem estar cientes de que os traços de personalidade da persona de IA moldam as respostas e interações com os alunos e podem afetar a confiabilidade e a precisão da saída (incluindo o aumento do risco alucinações). Os instrutores devem selecionar os traços de personalidade cuidadosamente e visualizar a conversa. Veja a descrição da função para obter mais detalhes. 
  • Conforme detalhado na seção Limitações da Nota de transparência do serviço OpenAI do Azure, há o risco de resultados imprecisos (inclusive alucinações). Embora a natureza específica da Conversa com IA e nossa implementação tenham como objetivo minimizar a imprecisão, é responsabilidade de nosso cliente analisar os resultados quanto a precisão, parcialidade e outros problemas potenciais. Se houver preocupações, a Conversa com IA não precisará ser usada com os alunos. Essa é uma funcionalidade opcional do curso a critério do instrutor. 
  • Conforme mencionado acima, os clientes não devem usar solicitações de saídas além dos casos de uso pretendidos, principalmente porque isso poderá resultar em resultados imprecisos (por exemplo, quando referências ou fontes são solicitadas).
  • Como parte da comunicação sobre a Conversa com IA, os clientes devem alertar os instrutores e os alunos sobre essas possíveis limitações e riscos. 
  • Os instrutores podem usar solicitações e configurações adicionais nos fluxos de trabalho generativos para dar mais contexto à Conversa com IA e melhorar o alinhamento e a precisão. 
  • Os clientes podem reportar qualquer saída imprecisa para nós usando os canais listados na introdução desta nota. 

Justiça 

  • Os grandes modelos de linguagem apresentam inerentemente riscos relacionados a estereótipos, sobrerrepresentação, sub-representação e outras formas de viés prejudicial. A Microsoft descreve esses riscos na seção Limitações da Nota de transparência do serviço OpenAI do Azure. 
  • Devido a esses riscos, escolhemos cuidadosamente as funcionalidades da Conversa com IA para evitar casos de uso que possam ser mais propensos a viés prejudicial ou em que o impacto de tais ocorrências de viés poderia ser maior. 
  • Dramatização: Os instrutores devem estar cientes de que os traços de personalidade da persona de IA moldam as respostas e interações com os alunos e podem gerar resultados que podem incluir estereótipos, sobre ou sub-representação e outras formas de viés prejudicial. Os instrutores devem selecionar os traços de personalidade cuidadosamente e visualizar a conversa. Consulte a descrição da função para obter mais detalhes. 
  • No entanto, não pode ser excluída a possibilidade de que parte da produção possa ser afetada por viés prejudicial. Conforme mencionado acima em "Precisão", solicitamos aos instrutores que avaliem a atividade, o que poderá ajudar a reduzir qualquer viés prejudicial. 
  • Como parte da comunicação sobre a Conversa com IA, os clientes devem alertar os instrutores sobre essa possível limitação. 
  • Os clientes podem relatar qualquer viés potencialmente prejudicial para nós usando os canais de contato listados na introdução desta nota.

Privacidade e segurança 

  • Conforme descrito na seção "Principais fatos" acima, apenas informações pessoais limitadas são usadas para a Conversa com IA e acessíveis à Microsoft. A seção também descreve o nosso comprometimento e o da Microsoft em relação ao uso de quaisquer informações pessoais. Dada a natureza da Conversa com IA, espera-se que as informações pessoais na saída gerada também sejam limitadas. 
  • Nosso produto Blackboard SaaS tem as certificações ISO 27001/27017/27018 e ISO 27701. Essas certificações incluirão as informações pessoais relacionadas à Conversa com IA gerenciadas pela Anthology. Você pode encontrar mais informações sobre a abordagem da Anthology em relação à privacidade e à segurança de dados na Central de confiabilidade. 
  • A Microsoft descreve as práticas e compromissos de privacidade e segurança de dados na documentação sobre Dados, privacidade e segurança para o serviço OpenAI do Azure. 
  • Independentemente do compromisso da Anthology e da Microsoft em relação à privacidade de dados e ao não uso de informações para treinar os modelos, os clientes poderão aconselhar os instrutores e alunos a não incluir nenhuma informação pessoal ou outras informações confidenciais nas solicitações ou conversas.

Segurança 

  • Os grandes modelos de linguagem apresentam inerentemente um risco de saídas que podem ser inadequadas, ofensivas ou não seguras. A Microsoft descreve esses riscos na seção Limitações da Nota de transparência do serviço OpenAI do Azure. 
  • Devido a esses riscos, escolhemos cuidadosamente as funcionalidades da Conversa com IA para evitar casos de uso que possam ser mais propensos a resultados inseguros ou em que o impacto de tais resultados poderia ser maior. 
  • Dramatização: Os instrutores devem estar cientes de que os traços de personalidade da persona de IA moldam as respostas e interações com os alunos e podem gerar resultados que podem ser considerados inadequados, ofensivos ou de outra forma não seguros. Os instrutores devem selecionar os traços de personalidade cuidadosamente e visualizar a conversa. Consulte a descrição da função para obter mais detalhes. 
  • No entanto, não pode ser excluída a possibilidade de que parte da Conversa com IA possa ser insegura. Conforme mencionado acima, em "Precisão", solicitamos aos instrutores que avaliem a saída, o que pode ajudar a reduzir o risco de saída insegura. 
  • Como parte da comunicação sobre a Conversa com IA, os clientes devem alertar os instrutores e os alunos sobre essa possível limitação. 
  • Os clientes devem relatar qualquer saída potencialmente insegura para nós usando os canais listados na introdução desta nota.

Humanos no controle 

  • Para minimizar o risco relacionado ao uso de IA generativa para os clientes e os usuários, colocamos os clientes intencionalmente no controle das funcionalidades da Conversa com IA. A Conversa com IA é, portanto, um recurso de ativação (opt-in). Os administradores devem ativar a Conversa com IA e podem ativar cada funcionalidade separadamente. Eles também podem desativar a Conversa com IA no todo ou para cada uma das funcionalidades individuais. 
  • A Conversa com IA não inclui nenhuma tomada de decisão automatizada que possa ter um efeito legal ou significativo sobre os alunos ou outros indivíduos. 
  • Incentivamos os clientes a analisarem cuidadosamente este documento, inclusive os links de informações disponíveis, para garantir que compreendam as capacidades e limitações da Conversa com IA e do serviço OpenAI do Azure subjacente antes de ativarem a Conversa com IA no ambiente de produção.

Alinhamento de valor 

  • Os grandes modelos de linguagem apresentam inerentemente riscos em relação a saídas tendenciosas, inapropriadas ou de outra forma não alinhadas aos valores da Anthology ou aos valores dos clientes e alunos. A Microsoft descreve esses riscos na seção Limitações da Nota de transparência do serviço OpenAI do Azure. 
  • Além disso, os grandes modelos de linguagem (como todas as tecnologias que servem a propósitos amplos), apresentam o risco de serem mal utilizados para casos de uso que não se alinhem aos valores da Anthology, dos clientes ou dos usuários finais e da sociedade em geral (por exemplo, para atividades criminosas ou para gerar saídas prejudiciais ou inadequadas). 
  • Devido a esses riscos, desenvolvemos e implementamos cuidadosamente nossas funcionalidades da Conversa com IA para minimizar o risco de resultados desalinhados. Também omitimos intencionalmente funcionalidades com potencial de alto risco. · 
  • A Microsoft também avalia as solicitações e saídas como parte da funcionalidade de filtragem de conteúdo, para evitar abusos e geração de conteúdo prejudicial.

Propriedade intelectual 

  • Os grandes modelos de linguagem apresentam inerentemente riscos relacionados a possíveis violações dos direitos de propriedade intelectual. A maioria das leis mundiais de propriedade intelectual não antecipou nem se adaptou totalmente ao surgimento dos grandes modelos de linguagem e à complexidade das questões que surgem da utilização deles. Como resultado, atualmente não há orientação nem parâmetros jurídicos claros que abordem as questões de propriedade intelectual e os riscos que surgem do uso desses modelos. 
  • Em última análise, é responsabilidade do cliente avaliar os resultados gerados pela Conversa com IA em busca de qualquer possível violação de direito de propriedade intelectual. Tenha em mente que solicitações de saída no estilo de uma pessoa específica ou solicitações de uma saída semelhante a itens protegidos por direitos autorais ou marcas registradas podem resultar em uma saída que acarreta um risco aumentado de infrações.

Acessibilidade 

Projetamos e desenvolvemos a Conversa com IA tendo em mente a acessibilidade, assim como fazemos na Blackboard e em nossos outros produtos. Antes do lançamento da Conversa com IA, melhoramos deliberadamente a acessibilidade da estrutura semântica, navegação, controle de teclado, rótulos, componentes personalizados e fluxos de trabalho de imagem, para citar algumas áreas. Continuaremos a priorizar a acessibilidade à medida que aproveitarmos a IA no futuro.

Responsabilidade 

  • A Anthology tem um programa de IA confiável, projetado para garantir o uso legal, ético e responsável da IA. A responsabilidade interna clara e a análise ética sistemática da IA ou das funcionalidades, como as oferecidas pela Conversa com IA, são pilares fundamentais do programa. 
  • Para fornecer a Conversa com IA, fizemos uma parceria com a Microsoft para aproveitar o serviço OpenAI do Azure, que alimenta a Conversa com IA. A Microsoft tem um compromisso de longa data com o uso ético da IA. 
  • Os clientes devem considerar a implementação de políticas e procedimentos internos, além da análise de aplicações de IA de terceiros para garantir o próprio uso dentro da lei, ético e responsável da IA. Estas informações são disponibilizadas para dar suporte à avaliação dos nossos clientes sobre a Conversa com IA.

Mais informações