AI 대화 — 투명성 노트

AI 대화 — 투명성 노트 

인공 지능(AI)을 합법적, 윤리적으로 책임감 있게 사용하는 것이 Anthology의 핵심 우선 순위입니다. 따라서 당사는 신뢰할 수 있는 AI 프로그램을 개발 및 구현했습니다. 보안 센터에서 당사의 프로그램 및 신뢰할 수 있는 AI로의 일반적인 접근 방식에 대한 정보를 찾을 수 있습니다. 생성형 AI를 사용하는 Anthology 솔루션에 대한 개요는 생성형 AI 기능 목록에서 확인할 수 있습니다. 

당사는 신뢰할 수 있는 AI 원칙의 일환으로 투명성, 설명 가능성 및 책임을 약속합니다. 이 페이지는 클라이언트가 AI 대화를 구현하는 데 필요한 투명성과 설명 가능성을 제공하기 위한 것입니다. 교육기관에서 AI 대화의 기능을 활성화하기 전에 관리자가 이 페이지를 주의 깊게 검토하고 교수자가 아래의 고려 사항과 권장 사항을 알고 있는지 확인하는 것이 좋습니다.

당사에 연락하는 방법: 

• 신뢰할 수 있는 AI로의 일반적인 접근 방식 또는 이 페이지를 클라이언트에게 더 유용하게 만들 수 있는 방법에 대한 질문이나 피드백이 있는 경우 이메일([email protected])로 보내주십시오. 
• AI 대화의 기능 또는 출력에 대한 질문이나 피드백이 있는 경우 클라이언트 지원 티켓을 제출해 주십시오. 

최종 업데이트: 2024년 11월 1일

AI 지원 기능 

AI 대화 

AI 대화는 학생이 적극적으로 참여할 수 있는 새로운 상호 작용 활동으로 특별히 설계되었습니다. 교수자는 코스에서 주제와 AI 가상 사용자에 대해 간략하게 설명하는 AI 대화를 생성할 수 있으며 학생이 참여할 대화 유형을 선택할 수 있습니다. AI 대화 기능 내에서 교수자는 다음 두 가지 옵션 중에서 선택할 수 있습니다. AI 페르소나가 지속적인 질문을 통해 학생들이 비판적으로 생각하도록 장려하는 소크라테스식 질문 또는 학생들이 AI 페르소나와 함께 시나리오를 연기할 수 있는 역할극. 

소크라테스식 질문 

이것은 안내된 질문 활동 또는 소크라테스식 연습입니다. AI 페르소나가 학생의 응답을 확인하거나 거부하지 않지만 학생에게 일련의 질문을 합니다. 대화가 끝나면 학생은 활동의 약점이나 강점을 강조하거나 AI 봇이 편견, 환각을 보이거나 부정확한지 여부에 대한 성찰을 제공합니다. 제출 시 교수자는 상호 작용에 대한 완전한 투명성을 제공하는 대화 및 성찰에 대한 스크립트를 받게 됩니다. 이것은 규모가 크거나 복잡한 코스에서는 수행하기 어려울 수 있는 개별 1:1 대화 없이 코스 주제에 대해 생각을 자극하는 대화를 나눌 수 있는 좋은 방법입니다. 

AI 대화는 교수자에게 생성형 AI를 사용하여 AI 대화 페르소나에 대한 이미지를 생성할 수 있는 기능을 제공합니다. 

이러한 기능은 Azure OpenAI Service의 제한 사항과 가용성에 따라 달라질 수 있으며 변경될 수 있습니다. 자세한 내용은 관련 릴리즈 노트를 확인하십시오.

역할극

역할극 기능을 선택할 경우 교수자가 AI 페르소나와 학생 모두에게 특정 역할을 정의하여 학생을 위한 시뮬레이션된 대화를 설정할 수 있습니다. 이 상호 작용 옵션은 학생들이 현실적인 시나리오에서 의사 소통 기술을 연습할 수 있도록 하여 학습 및 교육 경험을 향상시키고 적극적인 학습 기회를 제공합니다. AI 페르소나 및 상황에 맞는 프롬프트에 성격 특성을 사용자 지정할 수 있는 역할극 기능은 적극적으로 참여를 높이고 역동적으로 소통하도록 하여 전반적인 학습 프로세스가 풍부해지고 비판적 사고를 촉진합니다. 

교수자는 AI 페르소나에 이름과 이미지를 할당하여 사용자 지정할 수 있습니다. 또한 AI 페르소나의 성격 특성을 정의하고 응답의 복잡성을 선택합니다. 이 역할극 옵션에서 AI 페르소나에 할당된 성격 특성에 따라 반응과 상호 작용이 이루어집니다. 

참고: 교수자는 성격 특성이 대화의 어조와 내용에 큰 영향을 미치므로 성격 특성을 신중하게 선택하고 시뮬레이션된 대화를 미리 봐야 합니다. 예를 들어 교수자가 AI 페르소나를 따뜻하고 공감하도록 설정하면 AI 페르소나는 해당 특성으로 응답합니다. 교수자가 AI 페르소나를 논란의 여지가 있거나 편향되도록 설정하면 AI 페르소나의 결과도 논란의 여지가 있거나 편향될 수 있습니다. 또한 AI 페르소나는 학생들의 논란의 여지가 있거나 편향되거나 위험한 아이디어에 항상 도전하는 것은 아닙니다.

Anthology는 이 기능에 대한 테스트의 일환으로 이러한 출력을 검토하고 논의하여 편향이나 부적절한 출력을 방지하기 위해 기능을 제한해야 하는지 여부를 결정했습니다. 균형 잡힌 관점에서 교육기관과 강사가 학생들이 논란의 여지가 있거나 편향될 수 있는 시뮬레이션된 대화에 참여할 수 있도록 학문적 자유를 가져야 한다는 결론을 내렸습니다. 동시에 AI 페르소나가 생성할 수 있는 결과물에 한계가 있다는 것을 알고 있습니다. 따라서 AI 대화의 결과물과 학생들이 역할극 기능을 통해 접하게 될 대화에 대한 궁극적인 책임은 교수자에게 있습니다. 테스트에서는 OpenAI, Microsoft 및 Anthology에서 구현한 기존의 보호책을 통해 불법적이거나 신뢰할 수 있는 AI 표준을 충족하지 않는 결과물을 방지했습니다. 이 기능과 관련 고객 피드백을 지속적으로 모니터링하여 이 기능이 신뢰할 수 있는 AI 표준을 충족하는 데 필요할 수 있는 사항을 변경할 수 있도록 할 것입니다. 

AI 대화 기능은 Azure OpenAI Service의 제한 사항과 가용성에 따라 달라질 수 있으며 변경될 수 있습니다. 자세한 내용은 관련 릴리즈 노트를 확인하십시오.

핵심적인 사실

교육기관에 대한 고려 사항 및 권장 사항 

케이스 사용 목적 

AI 대화는 상기 나열된 기능만 지원하기 위한 것입니다. 이러한 기능은 AI 지원 활동을 통해 학생의 학습을 향상하기 위해 고객의 교수자와 학생에게 제공되며, 교수자와 학생을 위해 고안되었습니다. 

범위를 벗어난 케이스 사용 

AI 대화는 매우 광범위하게 케이스를 사용하는 Microsoft에서 제공하기 때문에 AI 대화의 프롬프트 기능을 사용하여 의도된 기능을 넘어선 출력을 요청할 수도 있습니다. 클라이언트는 의도된 기능의 범위를 벗어난 목적으로 AI 대화를 사용하지 않는 것이 좋습니다. 이렇게 하면 Blackboard 환경 및 부정확한 출력을 최소화하기 위해 당사가 마련한 조치에 적합하지 않거나 호환되지 않는 출력이 생성될 수 있습니다. 

특히, 프롬프트가 표시되면 아래 사항을 따라야 합니다. 

• AI 대화에 할당된 주제에 대한 대화를 진행하기 위한 프롬프트만 사용합니다. 예를 들어, AI 봇의 질문과 프롬프트에 응답하거나, 할당된 주제에 대해 AI 봇에게 질문합니다. 
• 의도된 기능을 넘어선 출력을 요청하기 위해 프롬프트를 사용하지 마십시오. 예를 들어 프롬프트를 사용하여 출력에 대한 소스 또는 참조를 요청해서는 안 됩니다. 당사 테스트에서 이러한 출력에 정확성 문제가 있음을 확인했습니다. 
• 특정인의 스타일로 출력을 요청하거나 저작권 또는 상표가 있는 항목과 유사한 출력을 요청하면 지적 재산권 침해의 위험이 있는 출력물이 생성될 수 있습니다. 
• 민감한 주제에 대해 제안된 출력은 제한될 수 있습니다. Azure OpenAI Service는 불법적이고 유해한 콘텐츠를 최소화하는 방식으로 학습되고 구현되었습니다. 여기에는 콘텐츠 필터링 기능이 포함됩니다. 이로 인해 AI 대화를 민감한 주제(예: 자해, 폭력, 증오 또는 성)와 관련된 코스에 사용할 때 출력이 제한되거나 오류 메시지가 표시될 수 있습니다. Anthology와 교육기관 사이의 계약 약관을 위반하거나 Microsoft의 Azure OpenAI Service에 대한 행동 강령 및 Microsoft Online Services 약관의 이용 목적 제한 방침을 위반하는 프롬프트를 사용하지 마십시오. 

역할극의 경우: 교수자는 성격 특성이 대화의 어조와 내용에 큰 영향을 미치므로 성격 특성을 신중하게 선택하고 시뮬레이션된 대화를 미리 봐야 합니다. 자세한 내용은 위의 기능 설명을 참조하십시오.

실제로 신뢰할 수 있는 AI 원칙 

Anthology는 AI를 합법적, 윤리적으로 책임감 있게 사용하는 것이 핵심 우선 순위라고 생각합니다. 이 섹션에서는 AI를 합법적, 윤리적으로 책임감 있게 사용할 때 발생 가능한 위험을 해결하고 Anthology 신뢰할 수 있는 AI 원칙을 구현하기 위해 Anthology와 Microsoft가 어떻게 노력했는지 설명합니다. 또한 클라이언트가 윤리적 AI 위험에 대한 자체 검토를 수행할 때 고려할 수 있는 단계를 제안합니다. 

투명성 및 설명 가능성 

• 당사는 Blackboard 관리자 콘솔에서 AI 대화 기능이 AI 지원 기능임을 명확히 하는 바입니다.
• 교수자의 사용자 인터페이스에서 AI 대화 기능은 AI 기능으로 명시됩니다. 교수자는 학생이 대화를 사용할 수 있도록 설정하기 전에 대화를 미리 보고 사용해 볼 수 있습니다. 
• Microsoft는 AI 대화 및 Azure OpenAI Service 모델의 작동 방식에 대해 이 문서에 제공된 정보 외에도 투명성 노트에서 Azure OpenAI Service에 대한 추가 정보를 제공합니다. 
• 클라이언트는 AI 대화 내에서 AI 사용에 대해 투명하게 공개하고 교수자와 학생, 기타 이해 관계자에게 이 문서와 여기에 링크된 문서의 관련 정보를 적절하게 제공하는 것이 좋습니다. 

신뢰성과 정확성 

• 당사는 Blackboard 관리자 콘솔에서 AI 대화가 부정확하거나 원치 않는 출력을 생성할 수 있는 AI 지원 기능이고 이러한 출력을 항상 검토해야 함을 명확히 하는 바입니다. 
• 사용자 인터페이스에서 미리 보는 교수자와 AI 대화를 사용하는 학생에게는 응답이 AI에 의해 생성되므로 편향되었거나 정확하지 않을 수 있다는 알림이 표시됩니다. 
• 역할극: 교수자는 AI 페르소나의 성격 특성에 따라 반응과 학생과의 상호 작용이 이루어지며 출력의 신뢰성과 정확성에 영향을 줄 수 있음(환각 위험 증가 포함)을 알고 있어야 합니다. 교수자는 성격 특성을 신중하게 선택하고 대화를 미리 봐야 합니다. 자세한 내용은 기능 설명을 참조하십시오. 
• Azure OpenAI Service 투명성 노트의 제한 사항 섹션에 자세히 설명된 대로 부정확한 출력의 위험('환각' 포함)이 있습니다. AI 대화의 구체적인 특성과 그에 대한 구현은 부정확성을 최소화하도록 되어 있지만 정확성, 편파성, 그리고 기타 잠재적인 문제에 대해 출력을 검토하는 것은 클라이언트의 책임입니다. 우려 사항이 있는 경우 AI 대화를 학생과 함께 사용할 필요는 없습니다. 이는 교수자의 재량에 따라 코스에서 선택적으로 사용할 수 있는 기능입니다. 
• 위에서 언급했듯이 클라이언트는 특히 부정확한 출력을 초래할 수 있으므로 의도된 케이스 사용을 넘어서는 출력을 요청(예: 참조 또는 소스를 요청하는 경우)하기 위해 프롬프트를 사용해서는 안 됩니다.
• AI 대화에 대한 커뮤니케이션의 일환으로 클라이언트는 교수자 및 학생에게 이러한 잠재적인 제한 사항과 위험을 알려야 합니다. 
• 교수자는 생성 워크플로의 추가 프롬프트 및 설정을 사용하여 AI 대화에 더 많은 컨텍스트를 제공해 조정 사항과 정확도를 개선할 수 있습니다. 
• 클라이언트는 이 노트의 소개에 나열된 채널을 사용하여 부정확한 출력을 보고할 수 있습니다.

공정성 

• 대규모 언어 모델은 본질적으로 고정 관념, 과잉 또는 과소 표현 및 기타 형태의 유해한 편견과 관련된 위험을 내포하고 있습니다. Microsoft는 Azure OpenAI Service 투명성 노트의 제한 사항 섹션에서 이러한 위험에 대해 설명합니다. 
• 당사는 이러한 위험을 감안하여 유해한 편파성에 더 취약하거나 이러한 편파성의 영향이 더 클 수 있는 케이스 사용을 피하기 위해 AI 대화 기능을 신중하게 선택했습니다. 
• 역할극: 교수자는 AI 페르소나의 성격 특성에 따라 반응과 학생과의 상호 작용이 이루어지며 고정 관념, 과잉 또는 과소 표현 및 기타 형태의 유해한 편견과 관련된 위험을 초래할 수 있음을 알고 있어야 합니다. 교수자는 성격 특성을 신중하게 선택하고 대화를 미리 봐야 합니다. 자세한 내용은 기능 설명을 참조하십시오. 
• 그럼에도 불구하고 일부 출력이 유해한 편파성의 영향을 받을 수 있다는 점을 배제할 수 없습니다. 위의 '정확성'에서 언급했듯이 교수자는 활동을 검토해야 하며, 이를 통해 유해한 편파성을 줄일 수 있습니다. 
• AI 대화에 대한 커뮤니케이션의 일환으로 클라이언트는 교수자에게 이러한 잠재적인 제한 사항을 알려야 합니다. 
• 클라이언트는 이 노트의 소개에 나열된 연락 채널을 사용하여 잠재적으로 유해한 편견을 당사에 보고할 수 있습니다.

개인 정보 보호 및 보안 

• 위의 '핵심적인 사실' 섹션에 설명된 대로 AI 대화에는 제한된 개인 정보만 사용되며 Microsoft에서 접근할 수 있습니다. 또한 이 섹션에서는 개인 정보 사용에 대한 당사와 Microsoft의 책무에 대해 설명합니다. AI 대화의 특성을 감안할 때, 생성되는 출력의 개인 정보도 제한적일 것으로 예상됩니다. 
• 당사의 Blackboard SaaS 제품은 ISO 27001/27017/27018 및 ISO 27701 인증을 받았습니다. 이러한 인증에는 Anthology에서 관리하는 AI 대화와 관련된 개인 정보가 포함됩니다. 데이터 개인 정보 보호 및 보안에 대한 Anthology의 접근 방식에 대한 자세한 내용은 보안 센터에서 확인할 수 있습니다. 
• Microsoft는 Azure OpenAI Service에 대한 데이터, 개인 정보 보호 및 보안에 대한 설명서에서 데이터 개인 정보 보호 및 보안의 관행과 책무에 대해 설명합니다. 
• 데이터 개인 정보 보호 및 모델 재학습에 입력을 사용하지 않겠다는 Anthology와 Microsoft의 책무와 관계없이 클라이언트는 교수자 및 학생에게 프롬프트 또는 대화에 개인 정보 또는 기타 기밀 정보를 포함하지 않도록 조언할 수 있습니다.

안전 

• 대규모 언어 모델은 본질적으로 부적절하거나 공격적이거나 안전하지 않을 수 있는 결과를 출력할 위험을 내포하고 있습니다. Microsoft는 Azure OpenAI Service 투명성 노트의 제한 사항 섹션에서 이러한 위험에 대해 설명합니다. 
• 당사는 이러한 위험을 감안하여 안전하지 않은 출력에 더 취약하거나 이러한 출력의 영향이 더 클 수 있는 케이스 사용을 피하기 위해 AI 대화 기능을 신중하게 선택했습니다. 
• 역할극: 교수자는 AI 페르소나의 성격 특성에 따라 반응과 학생과의 상호 작용이 이루어지며 부적절하거나 공격적이거나 안전하지 않은 것으로 간주될 수 있는 결과물을 초래할 수 있음을 알고 있어야 합니다. 교수자는 성격 특성을 신중하게 선택하고 대화를 미리 봐야 합니다. 자세한 내용은 기능 설명을 참조하십시오. 
• 그럼에도 불구하고 일부 AI 대화 결과물이 안전하지 않을 수 있다는 점을 배제할 수는 없습니다. 위의 '정확성'에서 언급했듯이 교수자는 출력을 검토해야 하며, 이를 통해 안전하지 않은 출력의 위험을 더 줄일 수 있습니다. 
• AI 대화에 대한 커뮤니케이션의 일환으로 클라이언트는 교수자 및 학생에게 이러한 잠재적인 제한 사항을 알려야 합니다. 
• 클라이언트는 이 노트의 소개에 나열된 채널을 사용하여 잠재적으로 안전하지 않은 출력을 당사에 보고해야 합니다.

사람의 제어 기능 

• 클라이언트와 클라이언트의 사용자를 위한 생성형 AI 사용과 관련된 위험을 최소화하기 위해 당사는 의도적으로 클라이언트가 AI 대화의 기능을 제어할 수 있도록 했습니다. 따라서 AI 대화는 옵트인 기능입니다. 관리자는 AI 대화를 활성화한 다음 각 기능을 개별적으로 활성화할 수 있습니다. 또한 AI 대화 전체 기능 또는 각 개별 기능별로 비활성화할 수도 있습니다. 
• AI 대화에는 학습자 또는 다른 개인에게 법적 또는 다른 중대한 영향을 미칠 수 있는 자동화된 의사 결정이 포함되어 있지 않습니다. 
• 클라이언트는 프로덕션 환경에서 AI 대화를 활성화하기 전에 AI 대화 및 기본 Azure OpenAI Service의 기능과 제한 사항을 이해할 수 있도록 여기에 제공된 정보 링크를 포함하여 이 문서를 주의 깊게 검토하는 것이 좋습니다.

가치 조정 

• 대규모 언어 모델은 본질적으로 편향되거나 부적절하거나 Anthology의 가치나 클라이언트와 학습자의 가치에 맞지 않는 출력과 관련된 위험이 있습니다. Microsoft는 Azure OpenAI Service 투명성 노트의 제한 사항 섹션에서 이러한 위험에 대해 설명합니다. 
• 또한 대규모 언어 모델(광범위한 목적을 수행하는 모든 기술과 마찬가지로)은 Anthology, 클라이언트 또는 클라이언트의 최종 사용자에 대한 가치와 사회의 가치에 맞지 않는 케이스 사용에 오용될 위험(예: 범죄 활동 또는 유해하거나 부적절한 출력 생성)을 내포하고 있습니다. 
• 이러한 위험을 감안하여 당사는 맞지 않는 출력의 위험을 최소화하는 방식으로 AI 대화 기능을 신중하게 설계하고 구현했습니다. 또한 잠재적으로 고부담이 되는 기능은 의도적으로 생략했습니다.  
• 또한 Microsoft는 남용 및 유해한 콘텐츠 생성을 방지하기 위해 콘텐츠 필터링 기능의 일부로 프롬프트 및 출력을 검토합니다.

지적 재산권 

• 대규모 언어 모델은 본질적으로 지적 재산권의 잠재적 침해와 관련된 위험을 내포하고 있습니다. 전 세계 대부분의 지적 재산권법은 대규모 언어 모델의 출현과 그 사용을 통해 발생하는 문제의 복잡성을 완전히 예상하거나 이에 적응하지 못했습니다. 그 결과, 현재 이러한 모델의 사용으로 인해 발생하는 지적 재산권 문제와 위험을 다루는 명확한 법적 프레임워크나 안내가 없습니다. 
• 궁극적으로 AI 대화에서 생성된 출력을 검토하여 잠재적인 지적 재산권 침해에 대해 검토하는 것은 클라이언트의 책임입니다. 특정인의 스타일로 출력을 요청하거나 저작권 또는 상표가 있는 항목과 유사한 출력을 요청하는 프롬프트는 침해 위험이 높은 출력을 생성할 수 있음에 유의하십시오.

접근성 

당사는 Blackboard 및 다른 제품에서와 마찬가지로 접근성을 염두에 두고 AI 대화를 설계하고 개발했습니다. AI 대화가 릴리즈되기 전에 몇 가지 영역을 예로 들자면 의미 체계 구조, 탐색, 키보드 컨트롤, 레이블, 사용자 지정 구성요소 및 이미지 워크플로의 접근성을 의도적으로 개선했습니다. 앞으로도 AI를 활용하면서 계속 접근성을 우선시할 것입니다.

책임 

• Anthology에는 AI를 합법적, 윤리적으로 책임감 있게 사용하도록 설계된 신뢰할 수 있는 AI 프로그램이 있습니다. 명확한 내부 책임과 체계적인 윤리적 AI 검토 또는 AI 대화에서 제공하는 것과 같은 기능은 이 프로그램의 핵심 축입니다. 
• 당사는 AI 대화를 제공하기 위해 Microsoft와 파트너로 협력하여 AI 대화를 구동하는 Azure OpenAI Service를 활용했습니다. Microsoft는 AI의 윤리적 사용을 위해 오랫동안 노력해 왔습니다. 
• 클라이언트는 AI를 합법적, 윤리적으로 책임감 있게 사용할 수 있도록 타사 AI 애플리케이션에 대한 내부 정책, 절차, 검토를 구현할 것을 고려해야 합니다. 이 정보는 AI 대화에 대한 클라이언트의 검토를 지원하기 위해 제공됩니다.

추가 정보 

• Anthology의 신뢰할 수 있는 AI 접근 방식 
• Anthology의 생성형 AI 기능 목록 
• Microsoft의 책임감 있는 AI 페이지 
• Azure Vision Service에 대한 Microsoft의 투명성 노트 
• Azure Vision Service의 데이터, 개인 정보 보호, 보안에 대한 Microsoft 페이지