资本市场人工智能使用监管工具包
- 制定机关:国际证券委员会组织理事会
- 施行日期:2026-05-29
最终报告
执行摘要
本报告通过一套工具包为IOSCO成员主管机关提供支持,协助其对受监管实体在资本市场中使用人工智能(AI)系统进行相应的监督。本工具包提供了实用、非约束性、非规范性的监管工具,适用于各种监管模式。本报告是IOSCO金融科技工作组(FTF)通过多阶段方法得出的成果,旨在协助IOSCO成员在考虑资本市场中AI技术的监管和监督响应时,基于对投资者保护、市场完整性和金融稳定性风险的共同理解。IOSCO AI工作的下一阶段将对各行业在报告中列出的监管重点领域的新兴实践进行审查。IOSCO将继续发挥协调作用,解决资本市场中AI发展问题,并继续与金融稳定委员会(FSB)等其他相关国际组织接触。
IOSCO现有的AI工作包括《市场中介机构和资产管理人使用人工智能和机器学习》(2021年AI报告)以及《资本市场中的人工智能:应用案例、风险与挑战》(2025年AI报告)。在整个IOSCO的工作中,AI系统持续经历重大发展,包括生成式AI(GenAI)的整合以及代理AI技术的兴起。AI技术的持续进步正在扩大资本市场中AI应用的范围,带来潜在变革性收益的同时,也引入或放大潜在风险。
这些在2025年AI报告中概述的风险,强调了需要适应性监督方法的必要性,特别是考虑到某些AI系统的复杂性和不透明性不断增加、AI应用案例的持续演变,以及对AI服务提供商集中和依赖的潜在性。本报告中的工具包旨在覆盖特定AI系统的完整生命周期,并适用于所有类型的AI系统,从基于传统形式机器学习(ML)的系统到使用GenAI和新兴代理AI技术的系统。本报告参考了最近的IOSCO FTF成员调查答复、既往IOSCO工作、国际报告以及与IOSCO政策委员会、行业和其他利益相关方的接触。
本报告为监管机关提供了一套工具包,通过三个互补层次支持对资本市场AI使用的风险导向和比例监督:
1. 监管考量领域: 第一个层次概述了与资本市场AI系统使用相关的监管考量领域,借鉴了先前IOSCO AI报告的工作。它为监管机关提供了一个框架,用于理解哪些领域可能需要更密切的关注,以及监管资源可能最有效地部署在哪里。
2. 关键领域监管监督工具: 这一层次为监管机关提供更详细的工具,以支持对四个重点领域的评估:(i)治理和风险管理;(ii)第三方和外包风险管理;(iii)信息披露;以及(iv)记录保存和报告。它还包括监管机关在与其受监管实体对话时以及在计划对受监管实体AI使用进行检查时可能认为有帮助的问题示例。
3. 指标和数据源: 最后一个层次为监管机关提供监测AI采用和使用的建议指标,以及一系列获取相关信息的方法。这些包括现场检查、有针对性的调查、定期监管对话、文件和数据请求,以及其他可支持监管机关评估实体AI系统的机制。
第一章:导言
1.1 背景
人工智能(AI)的快速发展有可能通过增强效率、改善流程和检测欺诈等方式革新资本市场。AI涵盖多种技术,包括机器学习(ML),该技术已嵌入金融产品和服务中一段时间,以及像GenAI这样的最新进展——使用预训练模型来合成或生成内容。涉及代理AI的新兴技术,通常具有规划能力、长期记忆和工具访问权限,预计将对金融市场产生深远影响。随着AI系统在资本市场中日益嵌入,它们带来了机遇,但也伴随着使用的相应风险。鉴于这些不断演变的风险和AI系统在资本市场中越来越多的采用,监管机关需要有实用工具来支持有效监督。本报告通过为IOSCO成员主管机关提供监管工具包来响应这一需求,以支持对受监管实体使用的AI系统进行基于风险和比例的监督。
随着AI系统在金融产品和服务中使用的扩大,IOSCO通过其金融科技工作组(FTF)和人工智能工作组(AIWG)开展了一系列举措,评估这些技术对投资者保护、市场完整性和金融稳定性的影响。IOSCO的举措随着时间推移而演变,反映了AI系统的发展及其在资本市场中市场参与者的越来越多使用(详见附件二)。IOSCO还发布了出版物,虽然并非专注于AI,但讨论了AI相关主题(见附件三)。
自IOSCO 2025年AI报告发布以来,AI系统在金融产品和服务中的使用继续运营化和规模化。在GenAI先前进步的基础上,实体已开始从概念验证和试点项目转向更广泛地整合2025年AI报告中识别的AI应用案例。这些发展伴随着监管和监督关注度的提高,重点放在治理、信息披露、透明度和可解释性上,因为AI系统的采用在增加。FSB等国际组织和标准制定机构继续在金融系统AI使用方面开展各自的工作。
本报告在现有IOSCO工作的基础上,以及其他国际组织和监管机关的工作。它描述了监管工具,以协助IOSCO成员应对资本市场AI使用带来的问题、风险和挑战。
1.2 目的
本资本市场AI使用监管工具包的目的如下:
鼓励IOSCO成员在受监管实体AI使用背景下进行基于风险和比例的监督。
通过帮助IOSCO成员在处理AI监督时识别关键考量因素,促进有效监督。
通过识别监管方法如何发展以跟上创新的步伐来响应技术进步,同时保持IOSCO的市场完整性、投资者保护和金融稳定核心目标。
为IOSCO成员监管机关提供在审查实体AI使用时可以纳入的工具。
本报告旨在成为监管机关在处理资本市场AI系统监督时的资源,但并非旨在成为具有约束力或规范性的指南。
1.3 方法论
为了为本报告提供信息,AIWG通过以下方式收集证据:
(a)IOSCO成员参与:AIWG对FTF成员进行了调查(调查),以了解各司法管辖区如何处理对其受监管实体AI使用的评估和监督。此外,AIWG与具有领域专业知识的IOSCO政策委员会接触,以了解其各自领域AI使用的发展。
(b)IOSCO利益相关方参与:FTF在东京、新加坡和纽约举办了圆桌会议,参与者在那里向FTF展示并讨论他们对资本市场AI使用的看法。参与者包括受监管实体、其他国际组织和标准制定机构、学术界、研究人员和AI技术服务提供商。
(c)文献综述:AIWG审查了国际组织、学术界、研究人员、行业协会、市场参与者和其他利益相关方关于资本市场AI使用及其评估和监督的出版物。
1.4 AI定义
就本报告而言,与2025年AI报告一致,IOSCO在其调查中参考了以下OECD定义:
"AI系统是一种基于机器的系统,为了实现显性或隐性目标,根据其接收的输入推断如何生成预测、内容、推荐或决策等输出,这些输出可能影响物理或虚拟环境。不同的AI系统在其部署后的自主性和适应性程度上有所不同。"
一些成员在制定其监管和监督方法时已定义了"人工智能"一词。这些定义通常指的是模拟人类智能的基于机器系统的使用,通常包括自主性、适应性和推理能力,与OECD定义大致一致。鉴于特定类型AI技术的定义因司法管辖区而异,并可能随着技术演变而变化,本报告未定义各类型AI。相反,根据IOSCO在2025年AI报告中的先前工作,对所讨论的技术类型有一个共同理解更为重要。这些技术类型如图2所示。
1.5 报告结构
第二章简要介绍IOSCO成员观察到的AI相关技术发展及其在资本市场中的应用。它介绍了基于风险和比例监督的原则,以构建工具包框架。它还提供了主要风险、应用案例和AI类型概述(借鉴2025年3月AI报告)。
第三章描述了监管机关在其对受监管实体AI使用的监督中可能认为有用的工具。这些包括用于监测金融产品和服务中AI使用的工具,以及针对关键潜在风险的关键考量因素和建议问题。
附件一详细说明调查的结果,附件二提供IOSCO AI工作的时间表,附件三概述相关IOSCO工作。
第二章:AI使用的发展;基于风险和比例监督
2.1 资本市场中观察到的AI应用案例发展
如2025年AI报告所述,各司法管辖区报告金融部门中AI的使用正在增加,特别是用于市场分析、预测和投资组合优化、支持和风险管理相关功能的应用。调查结果显示,在欺诈检测和预防、风险管理、合规以及客户服务和客户参与等领域AI采用总体相对较强。
一些接受调查的成员报告称,GenAI和代理AI技术在金融产品和服务中的采用仍处于相对早期阶段,主要以探索和实验为特征。虽然大多数活动似乎集中在试点项目和有限规模部署上,但调查数据表明,在过去两年中AI开发和实施的速度和规模有所增加,特别是使用GenAI的情况下。
调查数据强调,监管机关越来越意识到代理AI带来的潜在风险,主要是在与零售金融产品和服务相关的使用时。虽然接受调查的成员表示金融产品和服务中代理AI的大多数使用仍处于概念验证阶段,但他们提出了对整合代理AI技术的系统控制的担忧。接受调查的成员表示需要加强对此类系统的治理和问责。
2.2 AI采用的驱动因素和潜在收益
在2025年AI报告中,IOSCO识别了AI技术类型,应用于各种AI用途,并按市场参与者类型分组。自主性更强AI实现的兴起——有时称为代理AI——在2025年AI报告中已被预测但未详细展开。鉴于其在资本市场的潜在未来部署,本报告包括支持监督机关监督此类高级AI能力的高级考量。
自2025年AI报告发布以来,成员继续观察到由以下考量推动的AI采用增加:
(a)运营效率和成本降低:接受调查的成员将后端任务和运营流程自动化以提高效率和降低成本确定为资本市场AI采用的主要推动因素,实体寻求降低成本和简化工作流程。调查结果包括非正式报告称,实体在后端功能中使用AI已导致整个金融机构运营效率的改善,报告称流程自动化减少了手动工作量和运营成本;然而,这些报告未量化此类改善或减少。
(b)数据可用性:接受调查的成员指出改进了收集高质量数据以支持AI系统开发和部署的流程。
(c)客户个性化和改善体验:接受调查的成员报告称,AI越来越多地通过聊天机器人和虚拟助手来定制服务和增强用户体验。这包括在自动化入职和支持零售客户及账户余额较小的客户系统中使用AI。
(d)风险管理和欺诈检测:接受调查的成员报告称,AI正被用于风险管理,包括通过分析大量交易来识别异常、可疑模式和潜在欺诈及市场操纵的信用风险评估和欺诈检测。AI系统还用于自动化合规检查、监控对法规的遵守情况并支持报告。一些接受调查的成员注意到AI系统正被用于检测网络威胁和漏洞。
2.3 风险和监管考量重点领域
资本市场中AI的使用既带来机遇也带来风险,监管机关必须理解和应对这些风险,以保护投资者、维护市场完整性和保持金融稳定。AI技术快速且不可预测的演变以及市场动态等因素增加了监督风险评估的复杂性。先前IOSCO报告详细说明了金融产品和服务中AI使用的潜在风险,这些在下面简要重述。
这些报告共同反映了与AI广泛相关的某些风险的持续存在,以及与AI技术最新进展(如GenAI和代理AI系统)相关的新挑战的出现。
如2025年AI报告中所详述,对金融产品和服务中AI使用风险的任何评估都是高度情境化的,取决于多种因素,包括AI系统的应用案例、其设计和所采用的具体技术的选择、其部署方式,以及其使用环境随时间变化的方式。人类对AI系统及其运营的监督程度,以及其对投资者和市场的潜在影响,也被纳入其风险状况。此外,AI使用在AI系统生命周期的各个阶段产生一系列监督问题。
此外,如2025年AI报告中解释的,AI技术的发展可能导致新型风险或使现有风险以新方式呈现。例如,在金融产品和服务中使用GenAI可能会放大和增加传统AI系统的风险,需要加强监督方法。由于其非确定性和技术复杂性,GenAI系统可能难以预测、评估、理解、解释和测试。GenAI背景下出现的此类风险之一是幻觉,如下面框1所解释。
框1:AI系统使用产生的幻觉风险
IOSCO成员提出的一个相关关注点是所谓的"幻觉"(或"杜撰"),指的是AI系统生成看似合理但实际上不正确、逻辑上错误或捏造的输出。幻觉是GenAI系统的风险,这些系统使用依赖概率词生成的LLM,即使在给出相同或相似输入时也可能产生不一致的输出。虽然幻觉可能不是故意的,但它们可能代表金融服务中的关键风险,在这些服务中信任和信誉至关重要,因为幻觉输出被纳入金融产品和服务可能在某些应用案例中导致投资者和市场损害。
正在探索解决幻觉风险的方法包括:
(a)接地和保护技术:技术接地和保护措施可以加强响应的准确性。这些技术包括检索增强生成(RAG)、验证链(CoV)和多代理辩论等以及其他技术。应注意这些技术有局限性,不太可能完全消除幻觉风险。
(b)人类监督:确保人类监督者是AI系统生命周期中适当时间点的组成部分,被广泛认为是一项有效措施。然而,指出人类监督者可能容易受到自动化偏见影响,可能过度依赖AI,并且可能无法充分监督AI系统中的某些过程。实体层面的强有力治理和风险管理应考虑如何有效实施人类监督,包括人类监督者是否具备必要的能力和知识来了解系统的设计和局限性,以行使有效监督,以及是否有足够的问责机制用于人类监督。
(c)教育:一般来说,无论实体使用AI还是其他技术,它们都对其提供的金融产品和服务负责。因此,解决用于金融产品和服务中GenAI幻觉风险的主要责任在于部署GenAI系统的实体。除了实体的合理步骤(包括适当披露)外,对投资者进行AI风险教育可以提高投资者和用户对AI系统风险(包括幻觉风险)的认识。
2.4 基于风险的监督和比例原则
基于风险的监督是金融部门有效监督的基础框架,同样适用于对金融产品和服务中AI使用的监督。这种方法认识到,AI系统的不同应用案例具有不同程度的风险,监督预期应对承载较高风险的特别是关于投资者保护、市场完整性和金融稳定性的应用案例设定更高的标准。比例原则是风险导向监督框架的核心,确保以考虑风险程度的方式部署监督资源。
这些概念可以指导监管机关保持与AI系统可能产生的风险强度和范围相称的适当监督,同时允许创新发生,从而在投资者和市场保护与促进负责任的技术进步之间取得平衡。
第三章:监管工具包
本章是报告的主要重点,旨在为监管机关提供实用、非约束性、非规范性工具的示例,以支持其对资本市场金融产品和服务中AI系统使用的监督。这些工具并非详尽无遗,但为监管机关提供了一个结构化的起点和灵活框架,用于识别风险并根据其资本市场AI部署的具体特征和情境调整监督方法。
表2提供了监管考量主要领域的概述,以促进AI系统的负责任部署,在推进收益的同时降低相关风险。该表突出显示了与2021年AI报告中建议措施的重叠之处。表2之后是更具体的工具,旨在支持监管机关监督关键领域,包括:治理和风险管理;第三方风险管理;信息披露;以及AI使用的记录保存、报告和监测。
表2:监管考量领域
| 领域 | IOSCO 2021年报告措施 | 潜在监管关注 | 审查支持证据 |
|---|---|---|---|
| AI治理与监督 | 措施1和3 | 缺乏董事会和高级管理层监督或问责;向董事会和高级管理层报告不足;缺乏文档化的内部AI治理和风险管理框架及更广泛的AI政策和程序,包括IT和数据治理框架;无AI清单或分类来识别AI应用案例;审批流程不足;董事会、高级管理层和行使控制职能的人员培训不足;缺乏对AI系统设计的理解和知识;缺乏开发人员、部署人员和用户的明确且文档化的角色和责任。 | AI治理政策和程序;AI风险管理框架;AI清单/注册表,包括AI系统的技术文档/描述;治理委员会文件;组织结构图;与AI系统及其使用相关的培训材料、记录和人员能力评估;人类监督政策和程序,用于在AI系统运行中进行适当和相称的人类干预/中断;包括相关认证、能力评估和持续教育计划的人员资格文件。 |
| 模型风险管理 | 措施2、3和6 | 模型测试不足,包括回测、压力测试、偏见测试和模型漂移测试以及底层数据测试;持续性能监测不足;模型性能无独立验证;无异常检测警报机制;无异常检测时AI系统暂停方法。 | 模型验证和测试政策、程序和报告,包括部署前、部署后和持续验证、监测和测试,包括文档和日志;模型性能监测政策、程序和报告,包括性能和偏见;模型变更管理政策和程序及日志;独立AI模型验证和测试报告;模型性能异常检测警报和流程。 |
| 投资建议与适当性 | 措施6 | AI生成建议的适当性不足;未考虑投资者情况;人类监督不足;AI系统中的偏见,包括逻辑和提示;对话界面广告(即在AI驱动的咨询对话中嵌入赞助内容);误导性声明或夸大AI能力("AI清洗")。 | 客户资料和输入数据;客户适当性政策和程序,包括风险承受能力和投资目标;解决AI系统投资建议的产品或服务可用性的政策和程序;AI建议日志,包括输出和支持数据;人工审查和覆盖文档;利益冲突识别和管理政策及程序;投资者投诉;客户披露。 |
| 市场风险 | 措施2 | AI使用放大市场波动;AI驱动交易的闪电崩盘;羊群行为/关联/串通;流动性问题;其他系统性风险来源。 | 市场风险政策和程序;压力测试政策和程序;断路器或终止开关政策和程序;波动性和流动性管理计划;应急政策和程序。 |
| 系统可靠性和业务连续性规划 | 措施2和6 | AI系统故障;无备份或恢复程序;单点故障;业务连续性不足;服务中断。 | 运营韧性框架,涵盖业务和网络安全方面;业务连续性和灾难恢复规划和测试,包括AI服务中断和系统中断计划;备份和恢复政策和程序,包括保护客户记录和其他敏感信息的保障措施;系统可用性和性能监测,包括相关报告和服务水平协议合规性。 |
| 网络安全与数据隐私/保护 | 未在2021年AI报告中明确涵盖 | AI系统攻击/漏洞;客户数据暴露或泄露;模型盗窃或操纵(中毒);访问控制不足;其他数据泄露;使用AI进行高级网络攻击,即社会工程、深度伪造、身份盗窃。 | 网络安全政策和程序及标准,包括与AI系统相关的云基础设施(相关时);渗透测试框架;AI系统和数据的身分和访问管理控制;事件响应政策和程序;隐私影响和数据隐私评估;安全审计报告、日志和渗透测试结果;用户持续培训。 |
| 外包与第三方依赖 | 措施3和4 | 第三方AI供应商风险,包括数据访问和隐私风险以及网络安全风险;尽职调查不足;合同条款不佳;对第三方提供商监测不足;供应商集中和依赖风险;服务提供商故障;采购过程中缺乏技术技能;跨境数据传输不当。 | 供应商选择、尽职调查(包括AI系统知识、专业知识和经验水平)和合同条款,包括通知和退出条款、服务水平要求和数据保护义务;持续监测和监督程序,包括绩效指标、问题升级政策和绩效不佳补救措施;AI系统第三方验证和评估,包括跨市场依赖和可能影响多个实体的单点故障识别。 |
| 信息披露与透明度 | 措施5 | 向投资者AI披露不足;误导性声明或夸大AI能力(AI清洗);投资者服务中隐藏的AI系统使用;透明度不足关于局限性;对第三方AI服务使用披露不足;过度依赖第三方提供商披露。 | 客户协议,包括与AI使用相关的账户信息、确认函和营销材料;概述对投资者有重大影响的风险和影响的披露;披露采用AI系统引发监管、道德或法律问题的事件;与AI使用相关的客户沟通,包括监测此类沟通准确性的政策和程序;审查和更新客户披露的政策和程序,确保AI相关披露是准确和最新的。 |
| 记录保存与审计跟踪 | 未在2021年AI报告中明确涵盖 | AI系统记录不足;AI逻辑缺乏可解释性;缺少审计跟踪或日志;通过所需监管报告向监管机关沟通不足;文档不足;整个生命周期缺乏AI系统监督。 | AI系统和数据记录保存政策和程序,包括与第三方或外部提供商的数据;AI清单;AI生成结果记录以及AI系统如何生成输出;遵守法律、法规和内部标准的合规政策和程序;AI系统决策和使用日志及审计跟踪文档,包括输入、输出和AI系统逻辑;监管申报和支持文件;事件报告。 |
3.1 治理和风险管理
强有力的治理和风险管理框架对于确保AI系统负责任且有韧性地部署到金融产品和服务中至关重要。这些框架为识别、评估和降低与AI技术相关的风险提供了结构性基础,包括监管、运营和其他风险。强有力的治理和风险管理实践不仅保护投资者保护和市場完整性,还通过证明AI系统以公平、可解释、透明、可解释和运营韧性原则一致的方式部署来增强投资者信心。
有效的风险管理框架通常为投资者和市场保护提供保障,涵盖整个AI生命周期——从AI系统的设计和开发到部署和持续运营,再到停用——并由文档化的政策和程序支持。这包括应用案例设计以及模型、数据和第三方风险的控制。AI系统的风险管理通常包括促进透明度、可靠性、稳健性、韧性、公平性、安全性、安全性和隐私的措施。通常有明确的角色和责任分配以及适当人类监督的措施(例如人在环中),特别是在结果可能影响投资者和市场的地方。实体还可能有AI相关事件的升级协议,并维护全面的审计跟踪,以支持监督审查以及向高级管理层和董事会的充分报告。
有效治理还通过为高级管理层和董事会建立明确的角色和责任来促进问责,确保决策和监督机制与AI使用的重要性和复杂性相称。随着AI采用的加速,这些框架可能需要发展以应对新兴风险或加剧的风险,包括例如第三方提供商的集中和依赖、对抗性攻击以及非预期的市场影响,确保金融机构在快速变化的技术景观中保持敏捷和问责。
监管工具包
表3概述了各领域,包括调查中强调的内容,供监管机关在监督治理和风险管理框架时考量,包括关键考量因素和监管机关可能认为有用的示例问题。
表3:评估AI使用的治理和风险管理
| 领域 | 考量 | 示例问题 | 信息来源 |
|---|---|---|---|
| 1. 董事会或管理机构监督 | 董事会是否为AI使用设定战略目标和风险偏好,是否设定AI政策和程序?董事会是否定期接收有关AI系统设计、实施和使用、治理和风险管理以及投资者保护和市场完整性措施等领域的管理信息? | 董事会是否为AI定义了战略和风险偏好并将其传达给组织?董事会如何确保其拥有对AI风险和机遇的充分理解,以及如何促进在整个组织中优先考虑道德、公平和负责任AI使用的公司文化?董事会如何确保AI风险在其整体风险偏好和管理框架中得到明确解决,包括设定适当的定性声明和定量措施或限制?董事会如何确保firm对AI使用的风险管理办法、方法、角色和责任、能力以及文化定期审查以跟上更新的AI发展以及firm风险状况和业务策略的变化?董事会是否批准风险管理框架、运营韧性框架和外包尽职调查框架以及相关重大修改?董事会如何确保在AI及其风险方面有明确的问责机制?董事会如何独立审查和质疑管理层对AI系统风险的评估,包括验证结果、AI事件调查以及缓解行动的充分性?向董事会提供有关AI模型或系统使用的哪些报告?提供频率如何? | firm的AI战略、风险偏好、AI政策和程序或更广泛的治理和风险管理框架;董事会会议记录、管理信息包、董事会报告、关键绩效指标;董事会关于AI治理和风险管理培训的证据。 |
| 2. 高级管理层责任 | AI的问责是否适当分配给高级管理层?高级管理层是否负责确保AI相关治理和风险管理政策和程序的有效实施,并定期审查其有效性? | 描述firm的人类监督AI系统框架,包括AI驱动结果的明确角色和责任分配、决策权和升级路径。描述以下方面的流程以及高级管理层在其中的角色和责任:AI系统的引入和实施;整个firm的AI相关风险管理的协调和问责;审查AI系统使用是否符合法律和监管要求;管理重大AI风险和异常的内部升级流程,如事件或风险阈值违规,并确保采取适当和及时的行动;及时向董事会更新重大AI风险问题;确保人员必要能力并分配充分资源(如人力、技术、财务资源)以进行有效的AI风险管理,包括适当培训和能力建设;建立员工使用AI的控制,包括第三方工具或未经事先授权使用的AI系统;建立对第三方供应商的充分控制。 | firm的AI政策和程序或更广泛的治理和风险管理框架;已升级到高级管理层和/或董事会的事件证据;组织结构图和角色/责任分配矩阵。 |
| 3. AI风险管理系统、政策和程序 | firm是否实施正式的AI风险管理框架,该框架如何纳入对AI系统主要风险源的考量,如幻觉风险、可解释性和透明度、利益冲突和偏见?firm是否确定适当的人类监督配置,定义干预阈值,支持争辩和补救(在适当情况下),并防范自动化偏见?firm是否运营端到端AI系统生命周期控制(从构思到停用)? | firm对AI系统(包括GenAI和代理系统)的声明风险偏好是什么?风险偏好在firm内部文档中的哪个位置正式化?firm如何维护完整的AI清单,包括供应商信息、每个AI系统或模型的使用、风险和目标,并根据评估的风险偏好管理其使用?firm是否有评估AI应用案例、系统或模型风险重要性的方法论,基于其业务的性质?风险评估是定期进行吗?是否进行了影响评估?firm是否开发了监测性能的指标,高级管理层是否批准了这些指标的使用? | firm的AI政策和程序或更广泛的治理和风险管理框架;生命周期标准操作程序、系统开发标准、验证/测试计划和上线批准;内部审计报告。 |
(续表)
| 领域 | 考量 | 示例问题 | 信息来源 |
|---|---|---|---|
| 4. 数据治理 | firm是否通过其政策和程序确保用于AI系统的数据准确、完整、有代表性、及时且与其预期目的相关?firm是否在AI系统使用中进行适当的数据收集、准备和维护? | firm如何确保AI系统中使用的数据的质量、有代表性和适当性,包括为识别和减轻潜在偏见而采取的步骤?围绕数据所有权和问责存在哪些治理结构?firm如何确保AI系统中使用的数据的透明度和可追溯性?firm有哪些程序确保AI系统中个人或敏感数据的使用符合适用法规? | firm的数据治理框架、数据管理政策或企业范围数据战略;数据质量评估、处理练习和补救日志的记录。 |
| 5. 高级AI系统风险管理 | firm是否在其内部风险管理和运营韧性文档中澄清和理解不同形式AI之间的区别,特别是对于风险较高的先进AI系统,并根据所涉风险对这些系统进行相应管理和监督? | firm是否区分不同AI系统(GenAI、代理AI、传统AI/ML系统等)?如果是这样,firm是否有证据表明其根据所使用AI系统的具体功能、风险状况和治理需求 Accounts了其方法中的相关差异?是否分析了复杂系统在其增强能力方面的增加值,与更简单的AI系统相比?描述firm用于确定哪种AI方法适合特定应用案例的评估过程和标准。在实施新AI系统之前,firm采取哪些步骤确保其准备好部署,包括主要监管机构的咨询(适用时)?描述AI系统生命周期如何管理,包括训练数据的使用、性能监测、验证、测试和风险管理。当前AI应用案例有哪些?如何记录和评估与特定应用案例相关的独特风险(如幻觉、偏见)? | 先进AI系统(包括模型验证、测试和监测;护栏和保护;培训等)的具体风险管理框架和流程。 |
| 6. AI模型验证、测试和监测 | firm是否进行与AI应用案例、系统或模型评估风险重要性相称的评估和测试?firm是否识别和评估不断演变的AI特定风险,如模型漂移、对抗性攻击、数据中毒或新监管要求? | 如何在firm风险管理框架内系统地识别、评估、监测和管理AI特定风险(包括数据质量、数据管理、算法偏见、模型可解释性和运营韧性)?AI模型的测试频率和监督是什么?提供关于AI模型的哪些报告?是否集成了针对幻觉风险的预防和事后措施?是否根据评估的风险重要性确定了AI应用案例、系统或模型所需的透明度和可解释性程度,并建立了相关控制?是否定义了firm认为的"公平"结果,并有适当的控制来识别和减轻有害偏见和歧视性结果在整个AI生命周期中(根据其评估的风险重要性调整)?AI模型的关键绩效指标是否已实施并受到监测? | AI系统验证、测试和监测(包括韧性和红队测试)的结果;监测仪表板(性能/公平性/漂移)、警报阈值、回滚计划、使用和变更日志。 |
| 7. AI系统的控制和人类监督 | firm是否有政策和程序来定义和区分人类AI配置的役割和责任以及对高级管理层以外AI系统的监督? | 如何为AI系统实施人类监督,firm如何证明其有效性?对于代理AI,还需考虑:与代理可访问的数据和系统相关的特定风险、代理可采取行动的范围、代理与谁共享信息的潜力、这些行动的可逆性以及代理的自主程度?代理有哪些具体控制?firm如何限制代理的影响范围(例如通过在规划阶段设计适当的界限)?在整个生命周期中,代理和人类的役割和责任是否有足够清晰?是否有针对越来越能干的代理的自动化偏见的适当人类监督调整? | AI系统第二和第三道防线审查(包括法律和合规)预部署和后部署;AI系统外部审查。 |
| 8. 培训和AI素养 | firm是否为相关利益相关方(如董事会、高级管理层、开发人员、验证人员、前台、合规)提供角色特定培训并促进AI素养? | firm如何确保其为AI系统具备必要的知识、员工培训/能力、资源和合规措施,特别是关于隐私和数据安全方面?firm如何确保相关员工能够解释、质疑和升级其领域中的AI结果?firm如何评估和记录负责AI政策制定、实施、控制和监测的人员的资格、专业知识和持续培训,以确保他们随着AI技术以及监管预期的演变而保持能力? | AI相关任务与AI系统所有者、验证人员和产品所有者的映射,包括培训计划和能力评估;参与AI系统生命周期所有阶段的员工的培训材料、出席情况、认证和能力评估。 |
3.2 第三方和外包风险管理
将第三方风险管理作为强有力治理框架的一部分进行管理的重要性已得到充分确立,有公认的外包、运营韧性和业务连续性原则。作为一般起点,受监管实体对其可能外包给服务提供商的所有任务承担全部责任、法律责任和问责,无论服务是否内部提供。以下IOSCO关于外包原则的最终报告的重申值得注意:
原则5(外包安排的集中):受监管实体应注意在依赖单一服务提供商提供重大或关键外包任务时或在知晓一个服务提供商向包括自身在内的多个受监管实体提供重大或关键外包服务时所产生的风险,并应有效管理这些风险。
原则6(访问数据、场所、人员及相关检查权):受监管实体应采取适当步骤,确保其监管机构、其审计师及其自身能够及时在请求时获得与外包任务相关的合同合规和/或监管监督相关的任务信息,包括在必要时访问与服务提供商外包任务相关的数据、IT系统、场所和人员。
虽然这些基本原则仍然相关,但进一步的实际工具可以帮助应对AI系统引入的独特风险维度。在AI的更具体背景下,IOSCO在2021年AI报告中强调,监管机构应促进实践,使金融机构中的合规和风险管理人员理解并质疑所生产的算法,并对任何第三方服务提供商进行尽职调查。2025年AI报告指出,AI技术服务提供商的集中带来特定风险,特别是在AI进步被用于算法交易、智能投顾和资产管理方面。在实体层面,集中风险源于实体未使其第三方提供商多样化,可能引入单点故障。更广泛地说,多个受监管实体使用共同服务提供商会产生集中风险,相应地运营风险也会集中,甚至可能加剧到呈现系统性风险的程度。集中、外包和依赖的检测和监测继续为金融机构和监管机关带来重大挑战。
监管工具包
表4概述了监管机关在监督与金融产品和服务中AI系统使用相关的第三方外包风险时需要考虑的各领域,包括关键考量因素和监管机关可能认为有用的示例问题。
表4:评估第三方和外包风险
| 领域 | 考量 | 示例问题 | 信息来源 |
|---|---|---|---|
| 1. 风险比例控制的评估 | firm是否为第三方AI使用制定入职以及开发和部署控制方面的政策和程序,这些政策和程序对应用案例、系统或模型的风险重要性是否充分?政策和程序是否涵盖第三方AI产品和服务的测试是否使用firm自己的数据和应用案例,是否存在接收第三方AI更新或变更通知并评估其影响的流程?firm是否进行适当的补偿测试(即额外测试以解决第三方测试或披露中的差距、弱点或限制)? | firm如何选择第三方AI服务提供商?进行哪些尽职调查?firm是否保留第三方合同和使用注册表,重点关注AI相关提供商?演示firm的控制框架如何随不同第三方AI应用的风险重要性而调整。当提供商不披露足够的技术细节时,firm使用实际数据进行了哪些测试,firm如何解决信息差距?详细解释firm评估和管理第三方AI提供商更新的流程。 | 与第三方供应商及其AI使用相关的合同条款和条件;所有第三方AI应用案例的风险重要性分类及相应控制框架;使用firm自己的数据和特定应用案例场景的测试协议证据;解决第三方披露不足的补偿测试文档;第三方AI系统的正式审查计划、更新通知流程、收到的通知或符合firm流程的检查证据;AI使用调查结果、第三方注册表和事件报告。 |
| 2. 透明度措施 | firm是否评估其从第三方AI提供商那里获得的关键风险(数据、模型、技术和网络安全)在开发和部署期间如何解决的透明度水平? | firm如何评估第三方提供商透明度水平是否满足既定预期?在第三方AI透明度不足的情况下,firm实施了哪些具体补偿措施,firm如何验证其有效性? | 定期审查/更新第三方AI提供商透明度预期的证据;对第三方AI提供商透明度进行评估的记录,记录其对数据治理、系统开发、技术基础设施和网络安全控制的披露评估;补偿措施文档,包括额外测试、加强人类监督和用户披露。 |
| 3. 公平性尽职调查评估 | firm是否对第三方AI提供商的公平性实践进行尽职调查,认识到firm仍对组织内使用的第三方AI的公平性结果负责? | firm如何验证第三方AI提供商有适当的风险管理实践?firm如何对第三方提供商的公平性实践进行尽职调查,需要哪些证据?鉴于firm对公平性结果负责,firm如何监测和验证第三方AI在不同客户细分中产生公平结果? | 第三方AI提供商公平性实践和方法论尽职调查文档;第三方AI系统歧视性结果持续监测证据;问责框架,展示firm如何保持对结果公平性的责任。 |
| 4. 供应链风险评估 | firm是否确保关键第三方和开源AI模型、数据集和依赖项已进行供应链风险评估和验证,包括模型溯源、训练数据完整性和其他已知漏洞的审查? | 详细解释firm对最关键的第三方AI系统的供应链风险评估,包括模型溯源和训练数据完整性。firm如何验证和监测其第三方和开源AI依赖项中的已知漏洞? | 与AI相关风险和分包相关的第三方风险管理政策要求;关键AI模型、数据集和依赖项的供应链风险评估文档;模型溯源审查、训练数据完整性检查和漏洞评估文档;验证流程(包括测试流程)证据,用于第三方和开源AI组件。 |
| 5. 集中风险 | firm是否评估对关键第三方AI提供商的过度依赖可能产生的潜在集中风险?此评估是否同时考虑直接依赖(如单一AI模型或供应商)和间接依赖(如对共享基础设施或云提供商的依赖)? | firm对第三方AI提供商的集中风险进行了哪些分析,包括间接依赖?firm正在采取哪些具体步骤来减少对关键提供商的过度依赖,目标和时间表是什么? | 关键第三方AI提供商直接和间接集中风险分析;多元化策略和实施路线图;定期集中风险监测和内部及监管报告机制。 |
| 6. 应急规划 | firm是否有强有力的应急计划来应对第三方AI的潜在故障、意外行为或供应商停止支持,特别是在高风险重要性应用案例、系统或模型中使用的第三方AI? | 如果firm的主要AI供应商在很少通知的情况下停止支持,firm将采取哪些具体步骤,完全恢复功能需要多长时间?提供高风险第三方AI应用应急计划测试的证据。firm有哪些备份系统或替代提供商经过验证并准备部署?如何评估可能中断情况下的潜在负面后果,即数据丢失/变更/泄露? | 专门针对第三方AI故障和意外行为的强有力应急计划,包括正常和压力退出场景的退出计划;供应商停止和供应商切换响应程序,定义恢复时间框架;应急计划测试证据,特别是针对高风险重要性应用案例。 |
| 7. 法律框架和问责 | firm是否有法律协议促进明确预期和责任,包括与绩效保证、数据保护、审计权、在引入AI时通知或在将AI纳入产品和服务前寻求firm同意相关的条款? | firm有哪些合同权利来审计第三方AI提供商,多长时间行使一次这些权利?firm的法律协议如何规定在AI被引入或修改时通知和批准? | 更新后具有明确绩效保证和数据保护条款的法律协议;审计权、AI引入通知和批准流程的合同条款;展示协议如何促进明确预期和责任的文档。 |
| 8. 能力发展 | firm是否为参与第三方AI系统采购、开发和使用的员工建立意识和培养能力? | firm在采购、风险和业务团队中为管理第三方AI系统(或产品)开发了哪些具体能力?firm如何确保员工意识和能力与其不断扩大的第三方AI系统使用保持同步? | 参与第三方AI采购和管理的员工培训计划和能力框架;整个相关业务职能中及时更新的意识建设活动证据;能力评估结果和发展计划。 |
| 9. 复杂AI产品的使用 | firm是否在使用更复杂或新颖的第三方AI产品和服务时进行增强评估,而这些可能是firm不太熟悉的? | 对于firm最复杂的第三方AI实施,详细解释其增强评估流程和额外保障措施。firm如何确定第三方AI产品何时需要更详细的评估,firm应用哪些额外措施? | 复杂第三方AI产品和服务的增强评估协议;针对不熟悉或复杂AI系统(或产品)的额外尽职调查措施文档;复杂实施中专家参与和延长评估期的证据。 |
3.3 信息披露
随着AI系统日益嵌入金融服务并对金融机构运营至关重要,监管机关需要评估投资者和其他利益相关方是否收到关于这些AI系统、其使用及相关风险的适当披露。清晰及时的披露使投资者能够更好地了解AI系统如何集成到金融产品和服务中,可能是促进资本市场透明度和完整性的关键工具。这种透明度支持投资者的知情决策,并有助于保持市场完整性的信心。
披露在帮助投资者和客户识别和评估与AI系统相关风险方面也发挥着重要作用。这些风险可能包括数据质量问题、算法偏见、幻觉以及对市场公平性和稳定性的潜在更广泛影响。通过审查适当的披露,投资者和客户在做出投资决策或选择参与特定服务或产品时能更好地考虑这些风险。
同时,披露应进行校准以避免可能损害网络安全、知识产权或关键系统韧性的信息披露。虽然针对投资者的高层、结果导向披露可能是适当的,但关于AI系统架构、模型漏洞或专有方法的详细技术信息如果公开可能引入运营或安全风险,可能对投资者没有用处。因此,对披露的监督应取得适当平衡:提供有意义的、可理解的信息,使利益相关方能够了解AI在金融产品和服务中的作用,同时避免可能增加安全风险或损害实体竞争地位敏感信息。适当披露的内容将因监管框架而异,但监管机关可能需要考虑向投资者披露的信息的重要性、信息的 ??或商业敏感性、与披露相关的安全风险以及对市场信心的潜在影响。
全面披露实践面临的挑战包括:披露不适合受众;术语不一致(如哪些系统被归类为AI系统、哪些不是);关于AI系统部署位置和方式的清晰度不足;第三方AI组件披露不足(实体依赖第三方提供商提供披露而缺乏内部AI专业知识)。使用通用或促销性声明也会带来额外挑战;重大风险披露不足;使用缺乏实体特定信息的通用或样板语言,准确反映AI的使用方式及相关风险;以及与AI系统使用相关的收益和风险呈现不平衡。
框4:识别与人工智能相关的误导性、不准确或虚假声明
实体可能在资本市场中做出与AI使用相关的误导性、不准确或虚假声明。这些声明可能涉及AI开发、实施、使用、功能和绩效。这些声明可能出现在申报文件、报告、网站和社交媒体中。这种行为有时被称为"AI清洗",可能成为某些司法管辖区对市场参与者采取执法行动的基础。调查显示,受访者观察到受监管实体在投资组合管理中未充分披露AI系统使用的情况、对AI相关投资活动的虚假陈述、对AI系统在投资研究或证券选择中实施水平的虚假陈述,以及对归因于AI系统的虚假绩效报告。这种行为在某些资产管理人、基金经理和发行人中被观察到。
3.4 记录保存和报告
通常,大多数资本市场监管框架要求市场参与者记录重要的日常决策,以支持这些决策的可审计性、透明度和可解释性。市场参与者使用AI系统,特别是代理AI和GenAI系统,挑战了这些传统要求,因为在某些情况下AI生成的输出可能复杂且难以解释。
为促进可审计性、透明度和可解释性,监管机构通常要求市场参与者记录其AI系统的使用。AI系统的采用不应尽可能避免记录保存要求。文档和日志应在不同生命周期阶段维护:设计、开发、修改、部署、持续监测和停用。此类文档和日志应促进AI系统使用的有效监督和监测,并支持市场参与者对其AI系统输出、AI系统在其整个生命周期中的正常运行以及发生不利结果时实施纠正措施的问责。任何此类负面结果应记录并进行根本原因分析以确定其原因及所需补救。监管机关可能需要专家专业人员和额外技术工具来审查这些与AI系统相关的记录和文档。
报告是指受监管实体如何向监管机关传达其受监管活动的信息。全面定期的报告可帮助监管机关保持对可能给市场及其参与者及其法定目标带来风险的活动进行适当监督。随着AI系统嵌入核心功能(如交易、风险管理、客户沟通和入职、交易监控、反洗钱和运营流程),报告框架使监管机关能够捕获与AI使用相关的信息。
机构有效定期的报告也可以帮助监管机关识别与AI系统使用相关的新兴趋势、风险和系统性漏洞,这些可能对投资者保护、市场完整性和金融稳定性产生不利影响。这可以包括对AI部署规模和重要性的可见性、对第三方提供商的依赖、控制数据输入和系统输出的治理、系统在生产环境中如何测试和监测。及时报告,适当详细程度,也支持可能影响客户、市场或机构运营韧性的事件、系统故障或数据完整性问题的早期识别。
随着AI使用的持续增长,监管机关可考虑审查现有报告要求在新兴AI技术和技术带来的挑战面前是否仍然适用。此类审查可涉及加强现有监管要求和预期、建立专门或修订的AI报告模板,或将AI相关数据点整合到更广泛的运营或技术风险报告框架中。无论采用何种方法,报告应旨在为监管机关提供充分洞察以行使有效监督,同时避免对实体的不必要负担。
监管工具包
表6概述了监管机关在监督AI系统在金融产品和服务中使用的信息披露和透明度(适当时)时需要考虑的各领域,包括关键考量因素和监管机关可能认为有用的示例问题。
表6:评估AI使用的信息披露
| 领域 | 考量 | 示例问题 | 信息来源 |
|---|---|---|---|
| 1. 向最终用户披露产品和服务中的AI使用 | firm是否透明地告知客户他们正在与AI系统交互(如聊天机器人、智能投顾或决策支持工具)?披露是否清楚解释AI系统如何工作,包括其性能、局限性和适当性的重大信息? | firm如何确保客户知道AI何时生成响应或分析?提供输出如何标记为AI生成或合成的示例。firm如何在客户沟通或披露中传达AI决策逻辑和firm对输出的应用?现有哪些内部控制来验证披露文档中出现的AI sophistication、性能或集成水平声明?firm如何披露重大AI相关风险(如幻觉风险、第三方依赖、偏见、网络安全事件)?披露频率如何(单次还是每次客户与AI系统交互时)?firm如何确保AI使用披露是准确的、有证据支持的,而不是促销性的(即不构成AI清洗)? | 说明是否涉及AI的客户面向材料(网站、应用、账户协议)、AI生成内容上机器可读标签或标记的证据、隐私政策或服务协议中指定AI使用的同意语言;声明支持记录。 |
| 2. AI治理和战略披露 | firm是否发布关于董事会/高级管理层监督、治理和风险管理框架以及AI的角色和责任的披露? | firm是否公开描述董事会/高级管理层在监督AI系统中的作用?在firm公开披露中,哪些高级管理人员对AI治理和风险管理负责?firm使用什么内部审查流程来验证营销、投资者或治理披露中与AI性能、系统 sophistication或自动化水平相关的内容? | 描述运营、内部控件、风险中AI使用情况的公开报告文件(如年度报告或招股说明书);监管违规披露;客户面向文件及与firm AI使用监督相关的披露。 |
| 3. 披露和同意 | 当AI系统(无论是专有还是由第三方运行)影响客户权利、账户访问或隐私时,firm是否告知客户并寻求明确同意或允许选择退出? | 当AI影响其产品、投资目标或策略、价格或数据权利或隐私时,firm如何告知客户并获得同意?在适用时,firm如何获得客户同意?提供firm为可能受AI系统影响的客户提供AI服务/产品的明确选择加入或选择退出示例。firm有哪些争议或补救机制让客户能够质疑AI使用做出的决定/结果?在对第三方工具有重大依赖的情况下,实体是否披露此类依赖,包括相关风险,而不是将透明度留给技术供应商? | 证明客户可能受AI系统影响的AI服务/产品选择退出/加入机制的记录;与AI系统使用相关的客户面向文件和披露,包括使用的客户数据、提供给客户的服务中使用的AI系统。 |
| 4. 识别误导性声明 | AI相关声明是否在申报文件、报告、营销材料、网站和社交媒体中在重大方面不准确、虚假、模糊或误导?firm是否能够公平准确地支持其AI相关声明? | firm如何确保关于firm AI的公开声明是准确的、有证据支持的,而不是夸大的?firm在发布公开声明时是否对AI系统性能进行基准测试?如果是这样,哪些证据支持此类声明?firm如何确保关于专有AI工具的声明准确反映第三方或供应商依赖程度?firm如何监测和纠正过时的公开AI使用描述(如系统缩减、停用或更换)?存在哪些治理机制来检测和解决客户、投资者、员工或外部各方识别的潜在AI清洗? | 董事会/高级管理层关于提及AI启用系统、准确性问题、偏见管理或欺诈的风险披露报告;每个AI系统的数据、架构、性能、局限性和偏见指标摘要;审查营销材料、客户文档、公开声明中AI相关声明使用的政策和程序;包括审查AI声明或声明文档的证据。 |
3.5 AI使用的记录保存和报告
表5概述了监管机关在监督AI系统在金融产品和服务中使用的记录保存和报告(适当时)时需要考虑的各领域,包括关键考量因素和监管机关可能认为有用的示例问题。
表5:评估AI使用的记录保存和报告
| 领域 | 考量 | 示例问题 | 信息来源 |
|---|---|---|---|
| 1. AI生命周期监督文档 | firm是否维护涵盖AI系统生命周期所有阶段的综合文档,包括例如设计和规划;数据收集和处理;架构/模型选择、模型构建、训练、测试和验证;部署、运营、修改和监测;使用的算法;以及退役计划? | 哪些机制确保AI驱动决策的综合可追溯性和可审计记录保存?firm是否根据AI系统类型使用不同工具进行可追溯性和审计(如基于ML还是基于LLM)?firm如何记录和跟踪AI系统随时间的修改?firm是否保留在其使用期间修改的模型副本(模型版本控制)?哪些流程确保生命周期文档保持最新和完整,无论是专有AI系统还是第三方AI系统? | AI系统生命周期各阶段的文档和日志;每个应用案例的AI模型选择记录,或对于专有模型,模型架构选择和理由;AI系统更新的变更管理记录。 |
| 2. AI相关业务目标文档 | firm是否清楚记录AI采用的业务目标,包括预期收益、风险考量以及与战略目标的一致性? | 这个AI系统支持哪些业务目标,如何记录?firm如何确保AI目标与其整体风险管理框架一致? | AI项目的商业案例文档,包括任何引用AI目标的董事会批准文件。 |
| 3. AI生成结果文档 | firm是否保留AI生成结果的记录,重点关注影响投资者或市场的应用案例? | 定期审查和记录AI输出的流程有哪些?firm为影响投资者或市场应用案例中的AI系统结果维护哪些审计跟踪?哪些流程确保AI输出与所采取最终行动之间的可追溯性?firm如何记录和保留AI生成结果的证据?firm如何记录和保留在AI系统做出决策中人类监督或干预的证据,特别是在影响投资者或市场的AI应用中? | 验证、测试和监测程序、内部报告以及AI系统使用的算法和决策路径文档的文档和日志。 |
| 4. AI输出可解释性文档 | firm是否维护解释AI系统如何生成输出的记录,包括决策逻辑和推理? | firm能够在多大程度上有意义地解释AI系统的结果?这些解释如何针对不同利益相关方(最终用户、董事会和高级管理层、监管机关)进行调整?firm如何确保解释是准确的、公平的且没有偏见,同时考虑到用于增强人类对AI系统理解的可解释性技术?firm如何记录AI生成决策背后的逻辑?firm维护哪些记录来展示其向利益相关方解释AI输出的能力?firm维护哪些证据表明AI输出解释对非技术利益相关方(如零售投资者)是可访问和可理解的?firm是否为可追溯性和可解释性使用不同工具? | 解释AI输出的内部指南和显示人类验证AI输出的审计跟踪。 |
| 5. AI产品或服务相关事件记录 | firm是否有记录和报告事件的政策和程序,注意这些事件是否包括AI系统的使用?firm是否保留运营失败、不当行为或安全漏洞的记录,并维护AI相关事件的详细记录,包括根本原因分析和补救行动? | 事件日志和监测记录是否以支持有效监督审查和支持AI系统结果问责的方式维护?firm是否定期审查和更新其事件管理政策和程序,以反映从过去AI相关事件中吸取的教训以及不断发展的监管预期?firm对AI相关事件为可报告设定哪些阈值?firm的业务连续性程序是否考虑事件响应计划(如事件识别、采取的解决和补救步骤、任何升级程序或步骤、事件文档)? | AI相关事件记录政策;过去12个月AI相关事件记录;补救记录。 |
| 6. 报告 | firm是否遵守相关司法管辖区的报告要求,以适当频繁、及时和高质量的方式向监管机关提供上述领域的报告? | 有哪些报告流程确保按照相关报告要求及时和高质量地报告AI?什么构成firm内AI相关可报告事件?firm是否在其内部规则或指南中定义?哪些报告机制涵盖第三方或外部数据依赖?firm如何通知监管机关重大AI故障、偏见、网络安全事件、数据泄露或错误输出?哪些标准决定AI系统是否需要强制通知或事先批准? | 事件管理政策,包括AI特定事件;向当局报告事件模板;带时间戳和影响评估的事件文档和日志,包括AI故障根本原因分析报告。 |
3.6 监测AI使用
随着AI系统在资本市场中越来越多地部署,识别和开发一致的实体AI使用指标成为监督过程中越来越重要的部分。这些指标支持基于风险和比例的监管和监督方法,使机关能够更好地理解AI采用模式,识别风险较高的领域,并优先安排监督接触。指标监测增强了AI使用的监督,使监管机关能够及早识别可能破坏投资者和市场保护的活动。
表7概述了监管机关在监督金融产品和服务中AI使用时可能认为有用的关键指标示例。这些包括通过调查结果突出显示的被访IOSCO成员使用的指标。
表7:监督AI使用的关键指标
| 指标 | 目的 |
|---|---|
| AI采用 | |
| 使用AI技术的受监管实体比例 | 为监管机关提供AI使用在整个受监管实体和应用案例中普及程度的概览。通过理解跨实体部门的AI使用,监管机关可以分析AI采用模式。 |
| 开发中与生产中部署的应用案例比例 | 这区分了实验项目和影响业务结果的活跃系统,以评估当前与新兴风险敞口。监管机关可将实体使用分为三类:(i)在生产中使用AI,(ii)正在试验AI,以及(iii)未使用AI,以促进监测:试验向生产部署的转化率;生产应用案例的增长速率;基于实体从不使用AI到试验AI再到在生产中使用AI的AI采用率。 |
| AI技术研发支出 | 通过了解过去几年或预测未来几年在AI技术研发方面的投资,监管机关可以了解受监管实体AI使用的可能增长轨迹,以及特定实体的相对优先级。 |
| 实体或部门的AI相关专利/专利申请数量 | 与研发支出类似,此指标可以提供对专注于AI的内部研究和投资的指示,以及特定实体或部门是否正在优先开发专有AI系统。 |
| AI系统性质和应用案例 | |
| 开发和部署的AI应用案例和AI系统类型的详细清单 | 通过按应用案例和系统类型对AI系统进行分类,监管机关可以理解AI在实体中的应用范围。 |
| AI系统相关属性 | 关于AI系统核心属性的信息,包括特定底层模型、技术规格以及与产品/服务的链接,可以促进理解AI系统的使用方式及其潜在风险。 |
| 第三方依赖和集中 | 监管机关可能还希望考虑通过第三方AI服务提供商支持与内部开发的AI系统和应用案例的比例信息。监管机关可能还想了解跨实体对特定AI系统特定第三方提供商的依赖程度和集中程度,以及这些第三方提供商对整个实体的依赖和集中程度(如第三方提供给实体的其他系统或服务)。 |
| AI系统性能 | |
| AI系统中事件的频率和严重程度 | 跟踪AI系统中故障、错误、中断、网络事件、数据泄露、欺诈/不当行为实例和故障的信息可以识别可靠性和安全问题,包括其业务影响、持续时间和受影响的投资者/最终用户。 |
| 模型性能验证和监测指标 | 关于实体识别和跟踪关键绩效指标(如预测准确性、错误率以及模型漂移和退化随时间变化)能力的信息可以及早识别表现不佳的系统。 |
| 行业特定指标示例 | |
| 经纪交易商 | 需要人工干预的AI驱动误导销售或不当建议的事件或警报;推荐或通信工具中的偏见或公平性指标;输入/输出相关性指标,检查输入的小变化是否导致系统输出的不成比例大、不稳定或无法解释的变化。 |
| 资产管理人 | 与市场基准相比AI支持估值的准确性或一致性;AI驱动误导销售或不当建议的事件或警报;可归因于AI生成输出的授权或投资组合构建漂移指标;AI驱动投资流程中人工干预的程度和频率;客户风险分析的准确性或一致性,以及智能投顾背景下AI支持资产配置和投资建议相对于客户资料的适当性。 |
| 交易所和其他金融市场中介机构 | AI驱动系统影响订单路由或匹配的市场质量指标(如买卖价差、价格影响);AI驱动监控系统在检测市场操纵、内幕交易和其他不当行为方面的有效性;与AI驱动交易系统相关的市场波动或不稳定模式;市场基础设施提供商AI支持金融风险管理模型的准确性或一致性;AI自动化流程导致的交易匹配和结算失败。 |
数据源
为支持金融机构监督和上述指标收集分析,监管机关可考虑各种数据源、工具和技术。正如FSB 2025年报告所强调的,并通过调查结果证实,数据最常通过以下方式收集:
监督报告以及检查和检查期间的数据收集:通过监督报告、检查和检查收集的数据可在可行时包括AI相关数据。此类数据,特别是在定期收集时,可以对受监管实体的AI使用进行定量和定性分析。
通过监督接触与实体定期和结构化外联和接触:与实体的直接接触可以增强对AI系统如何在金融产品和服务中使用以及风险可能出现在哪里的理解,同时加强监管要求和预期。
市场参与者调查:虽然监管机关很少使用调查,但根据调查结果,跨行业调查可以促进有效监测,覆盖AI清单、第三方依赖和集中以及AI相关投资,调查设计保持一致但灵活、及时和前瞻性,以捕捉新兴发展。
公开可用信息研究:公开报告(如年度报告、新闻稿、公司披露、行业和部门报告)可在更集中接触之前提供信息。
监管机关使用的实时监测工具:只有少数机关报告使用实时能力,包括通过AI支持的检测工具分析交易行为的系统。实时监测意味着成本效益评估,但跨境信息共享可以帮助降低开发此类能力的成本和摩擦。
AI工具:虽然大多数回应调查的IOSCO成员表示他们目前未使用AI系统支持其监测活动,但少数使用AI系统分析日常监测或公开申报中的数据,以检测异常值、异常或扫描可用数据以获取相关信息。据报告,分析使用商业和内部开发工具进行。
结论
本报告中的监管工具包旨在为IOSCO成员在其对资本市场金融产品和服务中AI系统使用的监督中提供实用和非规范性的支持。IOSCO成员在部署这些工具时应考虑其具体的监管框架和司法管辖情况。工具包并非详尽无遗,也不旨在取代与受监管实体的持续接触或IOSCO成员自己的监管方法。
IOSCO将审查各行业在信息披露、AI记录保存和报告以及治理方面使用AI系统的做法。IOSCO将继续与FSB等其他国际组织接触,以支持在金融系统AI使用方面的一致监管方法,并响应FSB关于金融系统AI使用的持续工作。
IOSCO欢迎利益相关方对本报告所述监管工具包的反馈。回复者被邀请分享他们对报告中工具的看法以及行业中的任何新兴实践。反馈可通过简短调查提交,截止日期为6月26日。IOSCO将在继续开发AI工作时考虑回复,包括下一阶段对行业新兴实践的审查。