证券市场中的算法定价与流动性
- 来源：FRS
- 作者：Jean-Edouard Colliard, Thierry Foucault, Stefano Lovo
引言与研究背景
在当今的证券市场中，算法定价已占据主导地位。例如，在股票和外汇市场中有超过一半的交易价格由算法设定，美国国债市场中约21%的交易量来自依赖算法的主要交易商。随着人工智能的进步，特别是强化学习的发展，自学习的定价算法开始兴起，这引发了学界和业界对其可能对市场效率、流动性和稳定性产生影响的广泛关注。
该文通过设计受控实验，模拟了做市商在类似Glosten-Milgrom（1985）模型环境下的互动。与传统的理性人假设不同，该文中的做市商采用Q-learning算法来学习定价策略。Q-learning是一种基础的强化学习模型，其核心特点包括：基于过往行动结果更新对行动价值的估计，并通过有限的“探索”（experimentation）来尝试不同行动。研究表明，尽管这类“算法做市商”（Algorithmic Market Makers, AMs）能够成功适应逆向选择环境，却难以学会完全竞争的定价策略。其根本原因在于，当尝试通过小幅降价（即“抢跑”，undercutting）来争取客户时，算法获得的利润反馈充满了噪声，使得算法很难准确评估降价行为的真实盈利能力。研究指出，这种学习失败是算法学习过程内在特征的必然产物，并由此产生了一系列可检验的、与传统经济理论相悖的市场现象。
做市博弈模型与Glosten-Milgrom基准
核心模型设定
假设有两位做市商（可拓展至N位），面对一位希望购买一股风险资产的客户。该资产的实际收益?是二元的，可能为高收益v_H或低收益v_L，其先验概率μ为各50%。客户对资产的估值?^C等于资产收益加上一个独立的、服从正态分布的流动性冲击L?，均值为零，方差为σ?。重要的是，客户知道自己对该资产的真实估值，但做市商不知道。
博弈流程如下：客户向所有做市商请求报价，做市商同时报出各自的卖价a_n。客户会选择最低价格a_min进行交易，前提是a_min不超过其估值?^C。如果多个做市商报出相同的最低价，则他们均分这一交易。交易完成后，资产的真实收益?被披露，交易做市商的利润为卖价 - 真实收益，未交易的做市商利润为零。这个模型的核心特征是逆向选择（adverse selection），因为当资产收益更高时，客户购买概率更高，导致做市商面临亏损风险。
Glosten-Milgrom基准价格
作为比较基准，文章推导了该博弈的纳什均衡价格，即Glosten-Milgrom价格a*。在此价格下，做市商的期望利润为零。具体地，a* = E(? | ?^C ≥ a*)，即价格等于在客户愿意购买这一信息条件下的资产期望收益。由于客户购买行为包含了资产收益的信息，a*必然高于资产的无条件期望收益E(?)，其差价即为对逆向选择成本的补偿。
在无逆向选择的基准情形下，Glosten-Milgrom价格等于资产无条件期望收益，因此报价价差和实现价差均为零。
算法做市商（AMs）设计
文章假设做市商采用Q-learning算法进行定价。每个做市商n维护一个Q矩阵Q_{n,t}，其每个元素q_{m,n,t}代表在t期时，算法对于选择价格a_m所能获得利润的估计值。算法的核心在于两个参数：学习率α（0<α<1）和探索衰减率β（β>0）。探索概率为ε_t = e^{-βt}，随时间指数衰减。
在每个交易期t，算法执行三个步骤：第一，以概率1-ε_t选择当前Q值最高的“贪婪价格”（exploitation），以概率ε_t随机选择一个价格进行“探索”（exploration）；第二，根据市场环境和所有做市商的报价，计算每个算法做市商的实际利润；第三，对于本次被选择的价格，更新其Q值为新旧利润的加权平均，其他价格Q值保持不变。
实验设计
为了得到稳健的结论，对于每一组市场参数，作者都进行了1000次独立的模拟实验，每次实验包含100万个交易期，重点关注最后一个交易期的平均结果。初始Q值被随机设置在一个远高于市场可能利润的水平之上，以保证算法在初期进行充分探索。基准参数设定为：资产高收益4，低收益0，波动率4，客户流动性冲击标准差5，两位做市商，价格网格范围1.1到14.9，最小价格变动单位0.1。
算法做市商的行为与解释 实验发现 实验结果呈现出几个清晰且稳健的模式。 图2 长期贪婪价格分布与演化图 首先，在大部分实验中，算法做市商最终的贪婪价格显著高于Glosten-Milgrom价格。例如在基准参数下，理论竞争价为2.68，而算法收敛的平均价格约为4.97，每个做市商本可通过小幅降价获得更高利润，但算法未能学会这一点。观察学习轨迹可以发现，价格在早期快速下降，但这个下降过程很快就会停滞。 其次，比较静态分析揭示了与理论基准的显著差异。当客户流动性冲击的方差增大时，理论预测价差应减小，而实验中算法的报价价差和实现价差却反而增大。当存在逆向选择时，理论预测实现价差为零，但实验中的实现价差为正，且比无逆向选择时要小。此外，资产收益的波动率增大时，实验中的实现价差随之增大，但在无逆向选择的情况下也同样如此，表明资产波动率的影响不仅限于逆向选择成本本身。 理论解释：噪声与探索的权衡 作者提出一个统一的理论框架：算法在评估降价是否有利可图时，收到的是一个带有噪声的信号。该信号的信噪比（预期收益增益除以利润方差）决定了算法学习竞争性定价的难易程度。当信噪比较低时，算法需要更多次探索才能确认降价是值得的。然而，探索概率随时间指数衰减，当信噪比下降到一定程度而探索机会所剩无几时，学习过程便会停止，价格陷入非竞争性的局部最优。 文章证明了无逆向选择环境中的利润方差大于有逆向选择环境，因为逆向选择使利润分布更向零值集中。因此无逆向选择时信噪比更低，学习更困难，算法赚取的租金更高，这与实验一致。σ和Δ_v的增大会直接增大利润方差，导致信噪比降低，学习受阻，最终使算法稳定在更高（更不竞争）的价格水平。此外，竞争对手行为的变化构成的“战略不确定性”也是阻碍竞争的重要因素。最后，即便提高探索率，其短期收益也会因迫使竞争对手降价而被长期损失所抵消，因此中低探索率对算法来说是稳定的。 对市场结构与动态的进一步含义 基于上述机制，文章推导并验证了几个具有重要政策含义的预测。 竞争加剧（更多做市商） 增加做市商数量会提高降价带来的预期收益增益，同时降低利润方差，从而提升信噪比，使学习竞争更加容易。实验结果证实，随着算法做市商数量从2个增加到10个，其长期的平均报价价差和实现价差都稳步下降。 最小价格变动单位（Tick Size） 这是一个非直观且重要的发现。直觉上，减小最小价格变动单位应能促进竞争，因为做市商可以以更小的代价抢跑。然而，更精细的网格意味着算法需要学习的价格点数量大幅增加，在总探索次数固定时，每个价格点被尝试的次数减少，导致算法难以学会在该价格点上抢跑是盈利的。 图3 报价价差与实现价差随最小价格变动单位变化图 实验结果呈现出一个“驼峰”形状：当最小价格变动单位从1.0降低到0.05时，算法的价差非但没有缩小，反而显著增大。这意味着在算法做市商主导的市场中，简单地缩小最小报价单位可能适得其反，反而会降低流动性。 对对称冲击的非对称反应 由于算法总是倾向于选择估计利润最高的行动，其对正向和负向冲击的反应截然不同。 图4 报价价差在逆向选择冲击前后的动态变化图 当成本上升（不利冲击）时，当前贪婪价格的Q值因持续获得较低利润而快速下降，当它跌破其他更高价格的Q值时，算法会迅速切换到更高报价，导致价差扩大。相反，当成本下降（有利冲击）时，当前贪婪价格的Q值进一步升高，巩固了算法继续执行该价格的偏好。因此，算法做市商的报价对增加成本的监管变化反应剧烈，但对降低成本的改革反应迟钝。 报价的动态调整与过度反应 文章进一步将模型扩展为两期模型：在相同资产收益实现前，先后有两位客户请求报价。算法做市商可根据第一期是否发生交易来调整第二期报价。理论上，理性的做市商会在交易发生后上调第二期报价，反之则下调。实验结果发现，算法做市商确实朝正确方向调整，但调整幅度存在问题：相比于理论基准，交易发生后“过度反应”（上调幅度过大），未交易时则“反应不足”（下调幅度不够）。其根本原因是算法需要针对多种不同状态分别学习，稀释了每个状态下的学习样本量，导致较少发生的状态的定价学习更不充分。 结论与启示 该文通过在受控环境中对使用Q-learning算法的做市商进行实验，揭示了这类强化学习算法在金融市场中定价行为的基本特征和潜在风险。最重要的结论是，尽管这些算法能够通过经验学习来规避逆向选择风险，但噪声反馈和有限的探索能力阻碍了它们习得完全竞争的定价策略。文章的核心洞见在于，将算法的这种“失败”视为其学习过程的内在逻辑结果，而非一个可以轻易修正的漏洞。 这一结论对监管实践具有重要意义。在算法交易日益普及的今天，传统的市场设计理论（如调整最小价格变动单位）可能需要重新审视。例如，旨在通过缩小报价单位来增强流动性的政策，在算法做市商主导的市场中反而可能导致价差扩大。文章识别出的独特市场“脚印”，如价差与噪声的非单调关系、对成本冲击的非对称反应等，为实证研究提供了可检验的假设。总之，我们必须深入理解算法的“统计性学习”过程本身，才能更好地预测、管理和利用它们对金融市场的影响。
暂无数据