资本市场人工智能使用监管工具包（最终报告摘录）
- 制定机关：国际证券委员会组织理事会
- 施行日期：2026-05-29
本文件是IOSCO完整报告《资本市场人工智能使用监管工具包》的摘录，旨在通过提供实用、非约束性、非规定性的监管工具，帮助IOSCO成员机构对其监管和监督范围内实体使用人工智能系统的情况进行有效监督。本报告是IOSCO通过其金融科技工作组（FTF）采取多阶段方法的结果，旨在协助IOSCO成员考虑对资本市场中使用的人工智能技术的监管和监督响应。这一方法基于对这些技术可能对投资者保护、市场完整性和金融稳定性构成风险的共同理解。
通过将工具包从完整报告中提取为本独立文件，IOSCO旨在为监管者提供一份实用的参考文件，便于在监管活动中使用，包括现场检查和视察。通过以单一、易于获取的格式整合这些工具，本文件旨在成为监管者在评估受监管机构使用人工智能系统时可以参考的实用资源。完整报告提供了更广泛的人工智能相关技术发展背景、风险分析以及支撑本工具包的风险监管原则。
这些工具是非约束性和非规定性的，相反，它们旨在实用且适用于不同的监管模式。这些工具并非详尽无遗，而是为监管者提供一个结构化的起点和灵活的框架，以识别风险并根据其市场内人工智能部署的具体特征和环境调整其监督方法。
表2：监管考虑领域
| 领域 | IOSCO 2021年报告措施（见上文框3） | 潜在监管关切 | 审查支持证据 |
|---|---|---|---|
| 人工智能治理与监督（详见表3） | 措施1和3 | ·董事会和高级管理层监督或问责缺失；向董事会和高级管理层的报告不足。 ·缺乏成文的内部人工智能治理和风险管理框架以及更广泛的人工智能政策与程序，包括IT和数据治理框架。 ·无人工智能清单或分类以识别人工智能用例。 ·审批流程不足。 ·董事会、高级管理层和行使控制职能人员的培训及持续教育不足。 ·缺乏对人工智能系统设计的理解和知识。 ·缺乏清晰、成文的开发人员、部署人员和用户的角色与责任说明。 | ·人工智能治理政策与程序。 ·人工智能风险管理框架。 ·人工智能清单/登记册，包括人工智能系统的技术文档/描述。 ·治理委员会文件。 ·组织架构图。 ·与人工智能系统及使用相关的培训项目、材料和记录。 ·适当和相称的人工干预/中断人工智能系统运行的人员监督、政策与程序。 ·人员资质文档，包括相关认证、能力评估和继续教育计划。 |
| 模型风险管理（详见表3） | 措施2、3和6 | ·模型测试不足，包括回测、压力测试、偏见测试和模型漂移测试，以及底层数据测试。 ·持续性能监控不足。 ·缺乏模型性能的独立验证。 ·缺乏异常检测的预警机制。 ·人工智能系统暂停的方法论（当检测到异常时）。 | ·模型验证和测试政策与程序及报告，包括部署前、部署后和持续验证、监控与测试，包括文档和日志。 ·模型性能监控政策与程序及报告，包括性能和偏见。 ·模型变更管理政策与程序及日志。 ·独立人工智能模型验证和测试报告。 ·模型性能异常检测预警和流程。 |
| 投资建议与适当性（详见表5） | 措施6 | ·人工智能生成建议的适当性不足。 ·未考虑投资者情况。 ·人工监督不足。 ·人工智能系统中的偏见，包括逻辑和提示。 ·对话界面广告（即在人工智能驱动的咨询对话中嵌入赞助内容）。 ·误导性或夸大人工智能能力的声明（"人工智能洗白"）。 | ·客户档案和输入数据。 ·针对客户档案（包括风险承受能力和投资目标）的适当性政策与程序。 ·针对任何人工智能系统投资建议的产品或服务供应可用性的政策与程序。 ·人工智能建议日志，包括输出和支持数据。 ·人工审查和覆盖文档。 ·利益冲突识别和管理政策与程序。 ·投资者投诉。 ·客户披露。 |
| 市场风险（详见表3） | 措施2 | ·人工智能使用放大市场波动。 ·人工智能驱动交易的闪电崩盘。 ·羊群行为/相关性/串通。 ·流动性问题。 ·其他系统性风险来源。 | ·市场风险管理政策与程序。 ·压力测试政策与程序。 ·熔断机制或熔断开关政策与程序。 ·波动性和流动性管理计划。 ·应急政策与程序。 |
| 系统可靠性与业务连续性规划 | 措施2和6 | ·人工智能系统故障。 ·无备份或恢复程序。 ·单点故障。 ·业务连续性不足。 ·服务中断。 | ·业务连续性框架，涵盖业务和网络安全方面。 ·业务连续性和灾难恢复规划与测试，包括人工智能服务中断和系统停机计划。 ·备份和恢复政策与程序，包括保护客户记录和其他敏感信息的保障措施。 ·系统可用性和性能监控，包括相关报告和服务水平协议合规性。 |
| 网络安全与数据隐私/保护 | 未在2021年人工智能报告中明确涵盖。 | ·人工智能系统攻击/泄露。 ·客户数据暴露或泄露。 ·模型盗窃或操纵（中毒）。 ·访问控制不足。 ·其他数据泄露。 ·使用人工智能进行高级网络攻击，即社会工程、深度伪造、身份盗窃。 | ·网络安全政策与程序及标准，包括与使用的人工智能系统相关的云基础设施（若适用）。 ·渗透测试框架。 ·人工智能系统和数据的身份和访问管理控制。 ·事件响应政策与程序。 ·隐私影响和数据隐私评估。 ·安全审计报告、日志和渗透测试结果。 ·用户持续培训。 |
| 外包与第三方依赖（详见表4） | 措施3和4 | ·第三方人工智能供应商风险，包括数据访问和隐私风险以及网络安全风险。 ·尽职调查不足。 ·合同条款不当。 ·对第三方供应商的监控不足。 ·供应商集中度和依赖风险。 ·服务提供商故障。 ·采购流程中缺乏相关技术技能。 ·不适当的跨境数据传输。 | ·供应商选择、尽职调查（包括对人工智能系统知识、专业知识和经验的了解水平）以及合同条款，包括通知和退出条款、服务水平要求和数据保护义务。 ·持续监控和监督程序，包括绩效指标、问题升级政策和绩效不佳补救措施。 ·人工智能系统的第三方验证和评估，包括识别跨市场依赖关系和影响多个实体的潜在单点故障。 ·当合同条款为一般性/未根据公司情况量身定制时，对使用公司服务的相关风险以及公司自身管理这些风险的过程进行评估。 |
| 披露与透明度（详见表5） | 措施5 | ·对投资者的信息披露不足。 ·误导性或夸大人工智能能力的声明（人工智能洗白）。 ·对投资者服务中隐藏的人工智能系统使用。 ·对局限性缺乏透明度。 ·第三方人工智能服务使用披露不足。 ·过度依赖第三方供应商的披露。 | ·客户协议，包括与人工智能使用相关的账户信息、确认函和营销材料。 ·概述对投资者有重大风险和影响的披露。 ·披露采用人工智能系统引发监管、道德或法律问题的相关事件。 ·与人工智能使用相关的客户沟通，包括监控此类沟通准确性的政策与程序。 ·审查和更新客户披露的政策与程序，确保与人工智能相关的披露准确且最新。 |
| 记录保存与审计追踪（详见表6） | 未在2021年人工智能报告中明确涵盖。 | ·人工智能系统记录不足。 ·人工智能逻辑缺乏可解释性。 ·缺少审计追踪或日志。 ·通过所需监管报告与监管者的沟通不足。 ·文档不足。 ·整个人工智能生命周期中缺乏系统监督。 | ·人工智能系统和数据（包括与第三方或外部供应商的数据）的记录保存政策与程序。 ·人工智能清单。 ·人工智能生成结果的记录以及人工智能系统如何生成输出。 ·遵守法律法规和内部标准的合规政策与程序。 ·人工智能系统决策和使用日志及审计追踪文档，包括输入、输出和人工智能系统逻辑。 ·监管申报和支持文档。 ·事件报告。 |
表3：评估人工智能使用的治理和风险管理
| 领域 | 考虑事项 | 示例问题 | 信息来源 |
|---|---|---|---|
| 1. 董事会或治理机构的监督 | ·董事会是否为人工智能使用设定战略目标和风险偏好，是否制定人工智能政策和程序？ ·董事会是否定期接收管理信息，涵盖人工智能系统的设计、实施和使用、治理和风险管理以及投资者保护和市场完整性措施等领域？ | ·董事会是否定义了人工智能战略和风险偏好，并在组织内进行了沟通？ ·董事会如何确保其对人工智能风险和机会有足够理解，如何在整个组织内推广优先考虑道德、公平和负责任人工智能使用的公司文化？ ·董事会如何确保人工智能风险（若为重大风险）在公司整体风险偏好和管理框架中得到明确处理，包括设定适当的定性声明和定量措施或限制？ ·董事会如何确保公司的人工智能使用风险管理方法、风险管理框架、角色与责任、能力和文化定期审查，以跟上新的人工智能发展以及公司风险状况和业务战略的变化？ ·董事会是否批准风险管理框架、运营韧性框架和外包尽职调查框架及相关重大修改？ ·董事会如何确保在人工智能及其风险方面建立清晰的问责机制？ ·董事会对管理层的人工智能系统风险评估（包括验证结果、人工智能事件调查和缓解措施的充分性）进行独立审查和质疑的流程是什么？ ·向董事会提供的人工智能模型或系统使用情况报告是什么？提供频率如何？ | ·公司人工智能战略、风险偏好、人工智能政策与程序或更广泛的治理和风险管理框架。 ·董事会会议记录、管理信息包、董事会报告、关键绩效指标。 ·董事会人工智能治理和风险管理培训的证据。 |
| 2. 高级管理层职责 | ·人工智能的问责是否适当分配给高级管理层？ ·高级管理层是否负责确保人工智能相关治理和风险管理政策与程序的有效实施，并定期审查其有效性？ | ·描述公司人工智能系统人工监督框架，包括人工智能驱动结果的清晰角色与责任分配、决策权和升级路径。 ·描述以下流程以及高级管理层在这些流程中的角色与责任： ○人工智能系统的引入和实施。 ○全公司人工智能相关风险管理的协调和问责。 ○审查人工智能系统的使用是否符合法律法规要求。 ○管理重大人工智能风险和异常（如事件或风险阈值违规）的内部升级流程，并确保采取适当和及时的行动。 ○及时向董事会更新重大人工智能风险问题。 ○确保人员必要的能力，并分配充足的资源（如人力资源、技术资源、财务资源）以实现有效的人工智能风险管理，包括适当的培训和能力建设。 ○建立对员工使用人工智能的控制，包括未经事先授权的第三方工具或人工智能系统。 ○对第三方供应商建立充分的控制。 | ·公司人工智能政策与程序或更广泛的治理和风险管理框架。 ·已升级给高级管理层和/或董事会的风险证据。 ·明确角色/责任分配的组织架构图和角色/责任分配矩阵。 |
| 3. 人工智能风险管理系统、政策与程序 | ·公司是否实施了正式的人工智能风险管理框架，该风险管理框架如何将人工智能系统的关键风险来源纳入考虑，如幻觉风险、可解释性和透明度、利益冲突和偏见？ ·公司是否确定适当的人工监督配置、定义干预阈值、在适当时支持申诉和补救，并防止自动化偏见？ ·公司是否运营端到端的人工智能系统生命周期控制（从构思到退役）？ | ·公司对人工智能系统（包括生成式人工智能和代理系统）的既定风险偏好是什么？风险偏好在公司内部文档中的何处正式确立？ ·公司如何维护完整的人工智能清单，包括每个人工智能系统或模型的供应商信息、使用情况、风险和目标，并根据评估的风险偏好管理其使用？ ·公司是否有评估方法论来评估人工智能用例、系统或模型的风险重要性（基于其业务性质）？这种风险评估是否定期进行？是否进行了影响评估？ ·公司是否制定了绩效指标，董事会/高级管理层是否批准其使用？ ·对于重大人工智能用例，建立了哪些人工监督措施？谁可以干预或覆盖，多快能完成？干预/覆盖多久发生一次？公司如何回测此类覆盖是否适当？ ·制定了哪些政策与程序来识别、解决或缓解人工智能系统使用中的重大利益冲突？ ·公司如何监控和防止自动化偏见，包括通过培训、意识宣传项目和/或鼓励员工对人工智能输出进行批判性评估的控制措施？ ·人工智能风险管理如何融入公司整体风险管理框架？ ·详细解释高影响人工智能用例的人工智能系统生命周期治理，从构思到退役。 ·内部审计职能是否对组织内人工智能使用情况进行审查？ | ·公司人工智能政策与程序或更广泛的治理和风险管理框架。 ·生命周期标准操作程序、系统开发标准、验证/测试计划和上线批准。 ·内部审计报告。 |
| 4. 数据治理 | ·公司是否通过其政策与程序确保用于人工智能系统的数据准确、完整、具有代表性、及时且与预期目的相关？ ·公司在使用人工智能系统时是否进行适当的数据收集、准备和维护？ | ·公司如何确保人工智能系统中使用的数据的质量、代表性和适当性，包括识别和缓解潜在偏见的步骤？ ·围绕数据所有权和问责制存在哪些治理结构？ ·公司如何确保人工智能系统中使用的数据的透明度和可追溯性？ ·公司制定了哪些流程来确保人工智能系统中个人或敏感数据的使用符合适用法规？ ·如何向人工智能系统提供数据和系统访问权限，以保护重大非公开信息并尊重信息壁垒？ ·公司如何验证外部或第三方数据来源的适当性，有哪些尽职调查流程？ ·公司如何监控和管理数据退化？ ·建立了哪些机制来检测和修复数据事件，包括不准确、丢失、损坏或未经授权的访问？ | ·公司数据治理框架、数据管理政策或企业级数据战略。 ·数据质量评估、剖析练习和修复日志的记录。 |
| 5. 高级人工智能系统风险管理 | ·公司是否在其内部风险管理和运营韧性文档中澄清和理解不同形式人工智能之间的区别，特别是针对更高风险的高级人工智能系统，并管理与监督这些系统与所涉及风险相称？ | ·公司是否区分不同的人工智能系统（生成式人工智能、代理人工智能、传统人工智能/机器学习系统等）？如果是这样，公司是否已证明根据所使用的人工智能系统的具体功能、风险状况和治理需求，在其方法中考虑了相关差异？是否分析了复杂系统在增强能力方面的附加值（与较简单人工智能系统相比）？ ·描述公司用于确定哪种人工智能方法适合特定用例的评估过程和标准。 ·在实施新人工智能系统之前，公司采取了哪些步骤来确保其准备好部署（包括主要监管机构的咨询，若适用）？ ·描述人工智能系统生命周期如何管理，包括训练数据的使用、性能监控、验证、测试和风险管理。 ·当前的人工智能用例有哪些？如何记录和评估与特定用例相关的独特风险（如幻觉、偏见）？ | ·高级人工智能系统（包括模型验证、测试和监控；护栏和保护；培训等）的特定风险管理框架和流程。 |
| 6. 人工智能模型验证、测试和监控 | ·公司是否根据评估的人工智能用例、系统或模型的风险重要性进行相称的适当评估和测试？ ·公司是否识别和评估不断演变的人工智能特定风险，如模型漂移、对抗性攻击、数据中毒或新监管要求？ | ·人工智能特定风险（包括数据质量、数据管理、算法偏见、模型可解释性和运营韧性）如何在公司风险管理框架中得到系统识别、评估、监控和管理？ ○人工智能模型的测试和监督频率如何？提供什么报告？ ○是否整合了针对幻觉风险的预防和事后措施？ ○是否已根据评估的风险重要性确定人工智能用例、系统或模型所需的透明度和可解释性程度，并相应建立了相关控制？ ○公司是否定义了什么是"公平"结果，并建立了适当的控制措施来识别和缓解整个人工智能生命周期中的有害偏见和歧视性结果（根据其评估的风险重要性进行调整）？ ○是否实施了人工智能模型的关键绩效指标并进行了监控？ ·如何在人工智能生命周期中确保所有相关利益相关者（包括模型工程师、系统运营商、数据科学家、业务专家和高级管理层）的有效协作？ ·人工智能是否也部署用于治理或监控人工智能产品，如果是，如何部署？公司如何评估此类用例的价值，公司如何保留对过程的控制？ | ·人工智能系统的验证、测试和监控练习结果（包括韧性和红队测试）。 ·监控仪表板（性能/公平性/漂移）、预警阈值、回滚计划、使用和变更日志。 |
| 7. 人工智能系统的控制与人工监督 | ·公司是否制定了政策与程序来定义和区分董事会和高级管理层以外的人工智能系统人工-人工智能配置和监督的角色与责任？ | ·如何实施人工智能系统的人工监督，公司如何证明其有效性？ 对于代理人工智能，还应考虑： ·与代理有权访问的数据和系统相关的特定风险是什么，代理可以采取的行动范围、代理共享信息和对象信息的潜力、这些行动的可逆性以及代理的自主程度？ ·代理的特定控制措施是什么？公司如何限制代理的影响范围（如通过在规划阶段设计适当的边界）？ ·在整个生命周期中，代理和人类的角色与责任是否有足够的清晰度？是否有针对与日益强大代理相关的自动化偏见的适当人工监督调整？ ·代理组件有哪些新/附加技术控制和流程（如部署前和部署后测试、渐进式推广、持续监控）？ ·如何向最终用户告知代理的行动范围、数据访问权限以及用户自身的责任？ | ·人工智能系统（部署前后）的第二和第三道防线审查（包括法律和合规）。 ·人工智能系统的外部审查（如控制系统审查、审计控制、数据控制）。 |
| 8. 培训与人工智能素养 | ·公司是否为相关利益相关者（如董事会、高级管理层、开发人员、验证人员、前台、合规人员）提供特定角色培训并促进人工智能素养？ | ·公司如何确保为人工智能系统准备了必要的知识、员工培训/能力、资源和合规措施，特别是在隐私和数据安全方面？ ·公司如何确保相关员工能够解释、质疑和升级其领域的人工智能结果？ ·公司如何评估和记录负责人工智能政策制定、实施、控制和监控的人员的资质、专业知识和持续培训，以确保随着人工智能技术和监管期望的发展，他们保持能力？ | ·将人工智能相关任务与人工智能系统所有者、验证人员和产品所有者进行映射，并配合培训计划和能力评估。 ·参与人工智能系统生命周期所有阶段的员工的培训材料、出勤记录、认证和能力评估。 |
表4：评估第三方和外包风险
| 领域 | 考虑事项 | 示例问题 | 信息来源 |
|---|---|---|---|
| 1. 风险相称控制的评估 | ·公司是否为第三方人工智能使用制定了关于入职、开发和管理部署的政策与程序，这些政策与程序对用例、系统或模型的风险重要性是否充分？ ·政策与程序是否涵盖第三方人工智能产品和服务的测试是否使用公司自己的数据和使用案例，是否存在接收第三方人工智能更新或变更通知并评估其影响的流程？ ·公司是否进行了适当的补偿性测试（即针对第三方测试或披露中的差距、弱点或局限性进行额外测试）？ | ·公司如何选择第三方人工智能服务提供商？进行了哪些尽职调查？ ·公司是否保留第三方合同登记册和专注于人工智能相关供应商的使用情况？ ·演示公司的控制框架如何根据不同第三方人工智能应用程序的风险重要性进行调整。 ·公司使用实际数据进行了哪些测试，当供应商未披露足够的技术细节时，公司如何解决信息差距？ ·详细解释公司评估和管理第三方人工智能供应商更新的流程。 | ·与第三方供应商及其人工智能使用相关的合同条款和条件。 ·所有第三方人工智能用例的风险重要性分类及相应控制框架。 ·使用公司自己的数据和特定用例场景进行的测试协议证据。 ·解决第三方披露不足的补偿性测试文档。 ·第三方人工智能系统的正式审查计划和更新通知流程、已收到的通知或符合公司流程的检查证据。 ·人工智能使用调查结果、第三方登记册和事件报告。 |
| 2. 透明度措施 | ·公司是否评估从第三方人工智能供应商处获得的透明度水平，以了解在开发和部署过程中如何解决关键风险（数据、模型、技术和网络安全）？ ·当第三方透明度措施不足时，公司是否采用了补偿措施，如额外测试、更大的人工监督或向用户适当披露？ | ·公司如何评估第三方供应商的透明度水平是否达到既定期望？ ·在第三方人工智能缺乏所需透明度的情况下，公司实施了哪些具体补偿措施，公司如何验证其有效性？ | ·定期审查/更新第三方人工智能供应商透明度期望的证据。 ·对第三方人工智能供应商进行的透明度评估记录，记录其对数据治理、系统开发、技术基础设施和网络安全控制的披露评估。 ·补偿措施文档，包括额外测试、增强的人工监督和用户披露。 |
| 3. 公平性尽职调查评估 | ·公司是否对第三方人工智能供应商的公平性实践进行了尽职调查，同时认识到公司对组织内使用的第三方人工智能的公平性结果保持问责？ | ·公司如何验证第三方人工智能供应商是否有适当的风险管理实践？ ·公司如何对第三方供应商的公平性实践进行尽职调查，需要哪些证据？ ·鉴于公司对公平性结果保持问责，公司如何监控和验证第三方人工智能在不同客户群体中产生公平结果？ | ·第三方人工智能供应商公平性实践和方法论的尽职调查文档。 ·持续监控第三方人工智能系统歧视性结果的证据。 ·问责框架，展示公司如何对结果公平性保持责任。 |
| 4. 供应链风险评估 | ·公司是否确保关键的第三方和开源人工智能模型、数据集和依赖项已进行供应链风险评估和验证，包括审查模型溯源、训练数据完整性和其他已知漏洞？ | ·详细解释公司对最关键的第三方人工智能系统的供应链风险评估，包括模型溯源和训练数据完整性。 ·公司如何验证和监控其第三方和开源人工智能依赖项中的已知漏洞？ | ·与人工智能相关风险和分包相关的第三方风险管理政策要求。 ·关键人工智能模型、数据集和依赖项的供应链风险评估文档。 ·模型溯源审查、训练数据完整性检查和漏洞评估文档。 ·第三方和开源人工智能组件验证流程（包括测试流程）的证据。 |
| 5. 集中风险 | ·公司是否评估因过度依赖关键第三方人工智能供应商而产生的潜在集中风险？ ·该评估是否同时考虑直接依赖（如单一人工智能模型或供应商）和间接依赖（如对共享基础设施或云提供商的依赖）？ | ·公司对第三方人工智能供应商（包括间接依赖）的集中风险进行了哪些分析？ ·公司正在采取哪些具体步骤来减少对关键供应商的过度依赖，目标是怎样的时间表？ | ·来自关键第三方人工智能供应商的直接和间接集中风险分析。 ·多样化策略和实施路线图。 ·定期集中风险监控以及内部和监管报告机制。 |
| 6. 应急规划 | ·公司是否有稳健的应急计划来应对第三方人工智能的潜在故障、意外行为或供应商停止支持，特别是在高风险重要性用例、系统或模型中使用的第三方人工智能？ | ·如果公司的主要人工智能供应商以最少通知停止支持，公司将采取哪些具体步骤，完全功能恢复需要多长时间？ ·提供公司对高风险第三方人工智能应用程序应急计划测试的证据。 ·公司有哪些备份系统或替代供应商经过验证并准备好部署？ ·公司如何评估中断情况下的潜在负面后果，即数据丢失/更改/泄露？ | ·专门针对第三方人工智能故障和意外行为的稳健应急计划，包括正常和压力情况下的退出计划。 ·供应商停止和供应商切换响应程序，定义恢复时间框架。 ·应急计划测试证据，特别是针对高风险重要性用例。 |
| 7. 法律框架与问责 | ·公司是否有法律协议来促进明确的期望和责任，包括与绩效保证、数据保护、审计权、人工智能引入时通知或在整合人工智能之前寻求公司同意相关的条款？ | ·公司有哪些合同权利来审计第三方人工智能供应商，公司多久行使一次这些权利？ ·公司的法律协议如何规定在人工智能被引入或修改到其使用的产品和服务之前进行通知和批准？ | ·包含明确绩效保证和数据保护条款的最新法律协议。 ·审计权、人工智能引入通知和批准流程的合同条款。 ·显示协议如何促进明确期望和责任的文档。 |
| 8. 能力建设 | ·公司是否为参与采购、开发、部署和使用第三方人工智能系统的人员建立意识和培养能力？ | ·公司在采购、风险和业务团队中为管理第三方人工智能系统（或产品）培养了哪些具体能力？ ·公司如何确保员工意识和能力跟上公司扩展使用第三方人工智能系统的步伐？ | ·参与第三方人工智能采购和管理的人员的培训计划和能力框架。 ·在整个相关业务职能中及时更新意识建设举措的证据。 ·能力评估结果和发展计划。 |
| 9. 使用复杂人工智能产品 | ·公司在使用更复杂或新型的第三方人工智能产品和服务（公司可能经验较少）时，是否进行增强评估？ | ·对于公司最复杂的第三方人工智能实施，详细解释其增强评估流程和额外保障措施。 ·公司如何确定第三方人工智能产品何时需要更详细的评估，公司应用哪些额外措施？ | ·复杂第三方人工智能产品和服务的增强评估协议。 ·对不熟悉或复杂人工智能系统（或产品）的额外尽职调查措施文档。 ·复杂实施的专业人员参与和延长评估期的证据。 |
表5：评估人工智能使用的披露
| 领域 | 考虑事项 | 示例问题 | 信息来源 |
|---|---|---|---|
| 1. 向最终用户披露产品和服务中的人工智能使用 | ·公司是否透明地告知客户他们正在与人工智能系统交互（如聊天机器人、机器人顾问或决策支持工具）？ ·披露是否清楚解释人工智能系统如何工作，包括其性能、局限性和适当性的重要信息？ | ·公司如何确保客户知道人工智能何时生成响应或分析？ ·提供输出如何标记为人工智能生成或合成的示例。 ·公司如何在客户沟通或披露中传达人工智能决策逻辑和公司对输出的应用？ ·在披露文档中出现之前，存在哪些内部控制来验证关于人工智能复杂性、性能或整合水平的声明？ ·公司如何披露重大人工智能相关风险（如幻觉风险、第三方依赖、偏见、网络安全事件）？ ·披露频率如何（一次性还是每当客户与人工智能系统交互时）？ ·公司如何确保关于人工智能使用的披露准确、有证据支持且非促销性质（即不构成人工智能洗白）？ | ·客户面向材料（网站、应用程序、账户协议）说明人工智能是否参与该过程、人工智能生成内容上机器可读标签或标记的证据，以及隐私政策或服务协议中指定人工智能使用的同意语言。 ·披露中声明的证实记录。 |
| 2. 人工智能治理和战略披露 | ·公司是否发布关于董事会/高级管理层监督、治理和风险管理框架以及人工智能角色与责任的披露？ | ·公司是否公开描述董事会/高级管理层在监督人工智能系统方面的作用？ ·公司公开披露中哪些高级管理人员对人工智能治理和风险管理负责？ ·公司使用什么内部审查流程来验证营销、投资者或治理披露中与人工智能性能、系统复杂性或自动化水平相关的声明？ | ·描述运营、内部控制、风险中人工智能使用情况的公开报告文件，如年度报告或招股说明书；监管事件报告；监管违规披露。 ·关于公司监督人工智能使用的客户面向文档和披露。 ·风险披露中提及人工智能支持系统的董事会/高级管理层报告、准确性问题、偏见管理或欺诈；每个人工智能系统的数据、架构、性能、局限性和偏见指标摘要。 |
| 3. 披露与同意 | ·当人工智能系统（无论是专有还是由第三方运行）影响客户权利、账户访问或隐私时，公司是否告知客户并寻求明确同意或允许选择退出？ | ·当人工智能影响其产品、投资目标或策略、定价或数据权利或隐私时，公司如何告知客户并获得同意？在适用情况下，公司如何获得客户同意？ ·提供公司为人工智能驱动决策提供明确选择加入或选择退出选项的示例。 ·公司为客户提供什么申诉或补救机制，以便在人工智能被使用的情况下挑战决定/结果？ ·在实质性依赖第三方工具的情况下，公司是否披露此类依赖关系，包括相关风险，而非将透明度交给技术供应商？ | ·证明可能受人工智能系统影响的客户选择退出/退出人工智能服务/产品的机制的记录。 ·关于人工智能系统使用的客户面向文档和披露，包括使用的客户数据、提供给客户的服务中使用的人工智能系统。 |
| 4. 识别误导性声明 | ·与人工智能相关的声明是否在文件、报告、营销材料、网站和社交媒体中在实质上不准确、虚假、模糊或误导？ ·公司是否能够公平准确地证实其与人工智能相关的声明？ | ·公司如何确保关于公司人工智能的公开声明准确、有证据支持且不夸大？ ·公司在做出公开声明时是否对人工智能系统性能进行基准测试？如果是这样，什么证据支持此类声明？ ·公司如何确保关于专有人工智能工具的声明准确反映第三方或供应商依赖的程度？ ·公司如何监控和更正公司人工智能使用的过时的公开描述（如系统缩减、退役或更换时）？ ·存在什么治理机制来检测和解决客户、投资者、员工或外部各方识别的潜在人工智能洗白？ | ·风险披露中提及人工智能支持系统的董事会/高级管理层报告、准确性问题、偏见管理或欺诈；每个人工智能系统的数据、架构、性能、局限性和偏见指标摘要。 ·审查营销材料、客户文档、公开声明中与人工智能相关声明使用的政策与程序；包括证明审查人工智能声明或声明的文档。 |
表6：评估人工智能使用的记录保存和报告
| 领域 | 考虑事项 | 示例问题 | 信息来源 |
|---|---|---|---|
| 1. 人工智能生命周期监督文档 | ·公司是否维护涵盖人工智能系统生命周期所有阶段的综合文档，包括设计规划、数据收集和处理、架构/模型选择、模型构建、训练、测试和验证、部署、运营、修改和监控、使用的算法以及退役计划？ | ·哪些机制确保人工智能驱动决策的综合可追溯性和可审计记录保存？ ·公司是否根据人工智能系统类型（如机器学习或大型语言模型）使用不同的可追溯性和审计工具？ ·公司如何记录和跟踪人工智能系统随时间的修改？公司是否维护使用和修改期间模型的副本（模型版本控制）？ ·哪些流程确保生命周期文档对于专有人工智能系统和第三方人工智能系统都保持最新和完整？ | ·人工智能系统生命周期中的文档和日志。 ·每个用例的人工智能模型选择记录，对于专有模型，模型架构选择和理由。 ·人工智能系统更新的变更管理记录。 |
| 2. 人工智能相关业务目标文档 | ·公司是否清楚记录人工智能采用背后的业务目标，包括预期收益、风险考虑以及与战略目标的一致性？ | ·这个人工智能系统支持什么业务目标，如何记录？ ·公司如何确保人工智能目标与公司整体风险管理框架保持一致？ | ·人工智能项目的商业论证文档，包括任何引用人工智能目标的董事会批准文件。 |
| 3. 人工智能生成结果文档 | ·公司是否保留人工智能生成结果的记录，重点关注影响投资者或市场的用例？ | ·采取什么流程定期审查和记录人工智能输出？ ·公司为影响投资者或市场的人工智能系统结果维护什么审计追踪？ ·哪些流程确保人工智能输出与最终采取的行动之间的可追溯性？ ·公司如何记录和保留人工智能生成结果的证据？ ·公司如何记录和保留在人工智能系统做出的决策中人工监督或干预的证据，特别是在影响投资者或市场的人工智能应用程序中？ | ·验证、测试和监控程序、内部报告以及人工智能系统中使用的算法和决策路径文档的文档和日志。 |
| 4. 人工智能输出可解释性文档 | ·公司是否维护解释人工智能系统如何生成输出的记录，包括决策逻辑和推理？ | ·公司能在多大程度上有意义地解释人工智能系统的结果？这些解释如何针对不同利益相关者（最终用户、董事会和高级管理层、监管者）量身定制？ ·公司如何确保解释准确、公平且考虑到用于增强人类理解人工智能系统的可解释性技术时没有偏见？ ·公司如何记录人工智能生成决策背后的逻辑？ ·公司维护哪些记录来展示其向利益相关者解释人工智能输出的能力？ ·公司维护什么证据来表明人工智能输出解释对非技术利益相关者（如散户投资者）可访问和可理解？ ·公司是否使用不同的工具来追踪可解释性和可解释性？ | ·解释人工智能输出的内部指南以及显示人工智能输出人工验证的审计追踪。 |
| 5. 人工智能产品或服务事件记录 | ·公司是否有记录和报告事件的政策与程序，并注明这些事件是否包括人工智能系统的使用？ ·公司是否保留运营故障、行为不当或安全漏洞的记录，并维护人工智能相关事件的详细记录，包括根本原因分析和补救行动？ | ·事件日志和监控记录是否以支持有效监管审查和保持人工智能系统结果问责的方式维护？ ·公司是否定期审查和更新其事件管理政策和程序，以反映从过去人工智能相关事件中吸取的教训和不断发展的监管期望？ ·公司为人工智能相关事件维持什么阈值才需要报告？ ·公司的业务连续性程序是否考虑事件响应计划（如识别事件、为解决和修复事件采取的步骤、任何升级程序或步骤、事件文档）？ | ·记录和报告人工智能相关事件的政策。 ·过去12个月的人工智能相关事件记录。 ·补救记录。 |
| 6. 报告 | ·公司是否遵守相关司法管辖区的报告要求，向监管机构提供符合上述领域适当频繁、及时和高质量的报告？ | ·制定了什么报告流程来确保按照相关报告要求及时、高质量地报告人工智能？ ·公司内什么构成人工智能相关可报告事件？公司是否在其内部规则或指南中定义？ ·什么报告机制涵盖第三方或外部数据依赖？ ·公司如何向监管者通知重大人工智能故障、偏见、网络安全事件、数据泄露或错误输出？ ·什么标准决定人工智能系统是否需要强制通知或事先批准？ | ·事件管理政策，包括特定于人工智能的政策。 ·向当局报告事件的模板。 ·带时间戳和影响评估的事件文档和日志，包括人工智能故障的根本原因分析报告。 |
表7：人工智能使用监管监督的关键指标
| 指标 | 目的 |
|---|---|
| 人工智能采用 | |
| 使用人工智能技术的受监管机构比例 | 这为监管机构提供了人工智能在受监管机构和使用案例中广泛程度的概览。通过理解跨机构部门的人工智能使用情况，监管者可以分析人工智能采用模式。 |
| 开发中的用例与投入生产中的用例比例 | 这区分了影响业务成果的实验项目和活跃系统，以评估当前与新兴风险敞口。监管者可以将机构使用分为三类：(i)在生产中使用人工智能，(ii)正在试验人工智能，(iii)不使用人工智能，以促进监控： ○实验到生产部署的转化率。 ○生产用例的增长速度。 ○基于机构从不使用人工智能到试验人工智能再到在生产中使用人工智能的人工智能采用率。 |
| 人工智能技术研发支出 | ○通过了解过去几年或预测未来几年在人工智能技术研发方面的投资金额，监管者可以理解受监管机构中人工智能使用的大致增长轨迹，以及对特定机构的相对优先级。 |
| 机构或部门的与人工智能相关专利/专利申请数量 | 与研发支出类似，该指标可以提供对特定机构或部门专注于人工智能的内部研究和投资的指示，以及是否优先开发专有人工智能系统。 |
| 人工智能系统的性质和用例 | |
| 开发和部署中的人工智能用例和人工智能系统类型的详细清单 | 通过按用例和系统类型对人工智能系统进行分类，监管者可以理解人工智能如何跨机构在一系列用例中使用。 |
| 人工智能系统相关属性 | 有关人工智能系统核心属性的信息，包括特定底层模型、技术规格以及与产品/服务的关联，可以促进理解人工智能系统的使用方式及其潜在风险。 |
| 第三方依赖和集中度 | 监管者可能还希望考虑通过第三方人工智能服务提供商支持与内部开发的这类系统和用例的比例信息。监管者可能还想了解跨机构对特定人工智能系统特定第三方提供商的依赖程度和集中度，以及对该机构整体的这些第三方提供商的依赖程度和集中度（如第三方提供给该机构的其他系统或服务）。 |
| 人工智能系统性能 | |
| 人工智能系统事件的频率和严重程度 | 跟踪人工智能系统故障、错误、停机、网络事件、数据泄露、欺诈/不当行为和故障的信息可以识别可靠性和安全问题，包括其业务影响、持续时间和受影响的投资者/最终用户。 |
| 模型性能验证和监控指标 | 有关机构识别和跟踪关键绩效指标（如预测准确性、错误率以及随时间推移的模型漂移和退化）能力的信息可以尽早识别表现不佳的系统。 |
| 行业特定指标示例? | |
| 经纪交易商 | 需要人工干预的人工智能驱动误导销售或不当建议的事件或预警。 推荐或通信工具中的偏见或公平性指标。 输入/输出相关性指标，检查输入的小变化是否导致系统输出的不成比例的大、异常或无法解释的变化。 |
| 资产管理人 | 与市场基准相比，人工智能支持估值的准确性或一致性。 需要人工干预的人工智能驱动误导销售或不当建议的事件或预警。 可归因于人工智能生成输出的授权或投资组合构建漂移的指标。 人工智能驱动投资过程中人工干预的程度和频率。 客户风险分析的准确性或一致性，以及机器人顾问背景下人工智能支持资产配置和投资建议相对于客户档案的适当性。 |
| 交易所和其他金融市场中介机构 | 人工智能驱动系统影响订单路由或匹配的市场质量指标（如买卖价差、价格影响）。 检测市场操纵、内幕交易和其他不当行为的人工智能驱动监控系统的有效性。 与人工智能驱动交易系统相关的市场波动或不稳定模式。 市场基础设施提供商金融风险管理人工智能支持模型的准确性或一致性。 流程中人工智能自动化导致的交易匹配和结算失败。 |
数据来源
为支持对金融机构以及上述指标的收集和分析的监督，监管者可以考虑多种数据来源、工具和技术。正如金融稳定委员会2025年报告?和调查回复所证实的那样，数据最常通过以下方式收集：
监管报告以及检查和视察期间的数据收集：通过监管报告、检查和视察收集的数据可以在可行的情况下包括人工智能相关数据。这些数据，特别是定期收集时，可以对受监管机构的人工智能使用进行定量和定性分析。
通过监管参与与机构进行定期和结构化沟通和接触：与机构的直接接触可以加强对金融产品中如何使用人工智能系统的理解。
附件：
暂无数据