NIST：2024 NIST GenAI（试点研究）：文本到文本评估概述和结果（2025） 62页

这篇报告是2025年6月美国国家标准与技术研究院（NIST）发布的《2024 NIST生成式人工智能（GenAI）试点研究：文本到文本评估概述和结果》。该研究聚焦于评估文本到文本（T2T）生成和判别任务，以评估生成式AI模型和AI检测器的能力与局限。 1. **背景与目的**：生成式AI发展迅速，其内容真实性和完整性引发担忧。NIST的GenAI计划提供测试平台，本次试点研究旨在衡量AI生成文本模仿人类写作的效果，以及AI判别器区分人类和AI生成内容的能力。 2. **评估框架与流程**：采用多轮评估，生成器（G）和判别器（D）参与者可改进系统。评估涵盖管理平台、注册许可、提交流程等，使用多种性能指标，如AUC、Brier分数等。数据包含多轮测试集，来自多个主题和人工总结。 3. **结果**：AI生成的总结与人类写作越发相似，但检测模型仍能有效区分。不同系统性能差异显著，部分生成器可欺骗多数判别器，部分判别器能检测多数生成器的内容，二者均有提升空间，判别器系统在多轮测试中有改进。 4. **未来方向**：未来工作将聚焦完善评估方法、扩展多模态评估、开发标准化基准协议，为评估生成式AI和AI检测技术提供框架，为研究人员和政策制定者提供指导。