GenAI 生成式人工智能: 风险与挑战

学术诚信的维护受到挑战

• 学生和研究人员借助AI生成高质量的文本内容越来越便利，增加了学术不端行为的可能性；
• AI生成的内容越来越难以与人类的创作进行区分；
• 适用于教学与科研的明确的指导和规范不健全，在实际操作中难以界定和处理相关问题；
• 师生缺乏足够的AI素养教育和培训，增加了误用和滥用的风险。

AI时代，学术不端的主要表现

• 使用AI生成文本未注明：将AI生成的文本直接作为自己的原创作品提交，未对AI的使用进行适当说明和引用。
• 过度依赖AI工具，替代自主思考和创造：在学术写作和研究中，过度依赖AI工具来完成任务，而缺乏自身的思考和努力。
• 利用AI规避学术要求：如让AI完成论文、报告等，而不是自己进行深入的研究和分析。
• 篡改和伪造数据：利用AI技术篡改或伪造研究数据，以支持自己的研究结论。
• 不当引用和剽窃：未正确引用和说明AI的贡献，也可能被视为一种学术不端行为。

隐私泄露，数据安全风险升级

1. 技术变革导致数据来源、数据处理、数据存储和传输环节变得更复杂，增加了数据安全风险。

2. 用户因缺乏信息安全与隐私保护意识，主动输入隐私、敏感、机密等信息，导致信息泄露。

• 参考各平台《隐私政策》，大多数平台会采集用户输入信息，经加密、去标识化等技术处理，进行分析与计算。
• 警惕隐私信息泄露，应慎重对待，避免输入AI包括并不限于：
  • 个人身份信息（证件、姓名、账号、密码、档案）
  • 个人生物特征信息（声音、指纹、人脸、虹膜）
  • 机构数据、研究成果、非公开资料等

AI幻觉与深度伪造，真假虚实难辨

AI幻觉（AI Hallucinations）：生成式人工智能模型在生成文本或回答问题时，尽管表面上呈现出逻辑性和语法正确的形式，但其输出内容可能包含完全虚构、不准确或与事实不符的信息。由于AI基于概率预测机制生成内容，训练用的数据存在错误或样本缺失，以及过度推理或过度关联所导致。

深度伪造（Deepfake）：这个词由”深度学习"（deep learning）和"假冒"（fake）合成，最初是指借助人工神经网络（机器学习的一个分支）生成的看起来真实的内容。如今泛指借助人工智能，制作令人信服的假图像、视频和音频的技术和现象。

自以ChatGPT为代表的生成式AI工具发布以来，滥用AI的现象层出不穷，网络上AI生成内容真假难辨，有关调查数据显示，2023年以来基于AI的深度伪造、欺诈、钓鱼邮件、AI谣言均呈暴增态势。

从用户角度来说，一方面需提高信息辨识能力，谨防上当受骗，另一方面提升AI使用的责任意识，合理使用AI工具，并对于AI生成内容进行标注。

• IEEE Spectrum: Hallucinations Could Blunt ChatGPT's Success

  ChatGPT以其知识的深度和回应的流畅度震惊了世界，但一个问题限制了它的实用性：它一直在产生幻觉。

• Artificial Hallucinations in ChatGPT: Implications in Scientific Writing

  分析了在使用ChatGPT撰写关于罕见医疗状况的学术期刊文章时，AI幻觉的影响。

• What Are Deepfakes and How Are They Created? 

• Deep learning for deepfakes creation and detection: A survey

• 深度合成十大趋势报告-0218

• 是否属于智力成果
• 是否具有独创性
• 是否具有一定的审美价值和艺术性

一方面用于模型训练的语料应获得版权所有者的授权，另一方面，使用AI生成内容的前提是已获得授权，在版权责任不明晰的情况下，避免直接使用，尤其是商业使用。

• 通过AI平台的《用户协议》了解平台关于版权责任的声明；
• 对于AI生成内容，避免直接商用，因AI生成内容可能与已有作品高度相似；
• 尊重版权所有者对于内容的责任声明，使用标明来源；
• 在教学中的合理使用（Fair Use）可以参考合理使用指南。

算法偏见和歧视引发不公平现象出现

在AI系统中，由于训练数据中存在的社会偏见、不平等或者不公平，以及数据样本不平衡等，导致模型在做出决策时反映了这些偏见。具体表现：性别和种族歧视，年龄歧视、社会经济地位歧视等。目前引起广泛关注的是AI招聘中可能存在的性别歧视。

在训练数据样本选择、算法设计、模型生成和优化、使用过程中，应仔细评估和审查潜在的偏差来源，监测和审查可能的不公平现象，建立反馈机制，及时纠偏。

• AI and Discrimination: Sources of Algorithmic Biases

优选工具，安全第一

• 使用机构推荐或本地部署的AI工具 
• 了解所使用工具的性能表现
• 通过官方途径下载使用
• 了解AI平台隐私政策

小心提问，大胆求证

• 让AI对生成内容提供信息来源，如在提示词中加上“请引用权威来源”、“非官方数据或预测性内容，请标注【推测内容】”等。
• 限定信息来源/机构/时间范围、信息输出格式，以获取更准确的信息。
• 使用推理模型时，尽量用简洁的语言表达需求，或将复杂问题拆解成多个问题，避免过度关联或联想。
• 对于提供来源的信息，追根溯源，从源头核实信息的真实性、准确性、权威性。
• 使用多源验证、交叉验证等方式，验证信息的可靠性。

尊重版权，规范引用

• 对AI生成内容做标注。
• 教师或科研人员为课堂教学或科学研究使用，遵循各国著作权法关于合理使用的规定。
• 避免将AI生成内容直接用于商业用途或未经授权的发布。
• 用于训练的语料应获得版权所有者的授权。

批判思索，耐心调教

• 保持批判性思维，对AI输出结果保持质疑，结合自身专业知识和逻辑判断进行甄别，避免盲目接受。
• 保持耐心，AI也存在局限性，内容质量往往经不住仔细推敲，但AI的推理能力强、知识储备广，多多尝试，耐心优化交互过程，AI必将成为得力助手。
• 发挥主观能动性，结合自身经验与知识，主动引导AI的方向，创造更有价值的成果。