美国股票： 关于优化后过拟合方案的后续问题的探讨

 上次我的博客谈到机器优化后的策略，因为有太多的100%赢率，和现实不符合。比如QQQ在用过去18年的数据，模型的预测成功率是96%，这个很难说服我自己。世界上没有这么好的事吧。

所以就再加了一次筛选，目的是降低成功率， 目标是把交易的成功率控制再90% 以下。理想的成功率在 75%-90%。 也解决过拟合的问题。方法是二级聚类。下面谈谈我的感想，欢迎批评指正。

二级聚类提升胜率的复杂性与投资组合管理的简化之道

您敏锐地指出，在  模块中使用二级聚类级别虽然可以通过高质量二级级别带来的额外交易仓位来提高胜率，但其对风险回报、夏普比率、资金效率和整体基金风险管理的更广泛影响却引入了显著的复杂性。这些指标深受具体股票特性、投资组合层面的决策以及风险管理约束（如基金在生产中（积极交易）的百分比和作为保证金后备（储备资本）持有的百分比）的影响。让我们深入探讨这种复杂性，重点关注二级级别逻辑如何与这些因素相互作用以及为何会感觉复杂，然后为在这种背景下简化资金效率和风险管理提出一种方法。

复杂性的分解

您的观察强调了几个相互关联的因素，这些因素使得在投资组合环境中评估二级级别的影响变得具有挑战性。让我们分解每个组成部分及其与二级聚类级别逻辑的关系：

1. 二级级别提高胜率

• 为何有效： 当二级聚类级别与一级不同（即非默认）时，它会增加符合严格胜率标准的交易仓位（二级- ）：
  • 目标交易：  ，确保二级交易至少与一级交易一样有效。
  • 反向交易：  ，确保二级交易与倾向于非目标仓位的策略一致。
  • 该模块的综合胜率  对二级交易的权重为 2（一级交易为 1），这反映了当存在二级级别时，对其贡献的更高信心。
• 对于像 Ticker B（具有二级级别）这样的股票： 这些额外的交易可以增加盈利交易的数量，从而提高胜率，与 Ticker A（没有二级级别，所有都是一级交易）相比。
• 来自逻辑的证据： 如果 Ticker B 的二级级别的胜率等于或优于一级的胜率（例如，目标交易中两者均为 80%），则二级交易有助于提高胜率，而不会降低质量。
• 示例： 如果一级交易 10 个仓位，胜率为 80%（8 胜），而二级增加 5 个仓位，胜率为 80%（4 胜），则综合胜率为 12/15 = 80%，如果一级交易数量较少或成功率较低，则可能高于仅一级交易。
• 注意事项： 胜率的提高取决于二级级别的交易仓位是否与一级仓位明显不同且没有过度重叠。重叠会降低增量收益，因为交易可能是冗余的。

2. 风险回报和夏普比率的挑战

• 风险回报：
  • 定义： 风险回报率比较每笔交易的预期回报与潜在损失（例如，交易盈利时的利润与失败时的损失）。
  • 二级级别的影响： 对于 Ticker B，二级交易（当二级级别发生变化时规模为 2，否则为 1）与一级交易（规模为 1）相比，增加了资本敞口。这放大了潜在的利润和损失。
  • 示例： 一笔规模为 2 的二级交易可能产生 200 美元的利润（盈利）或 200 美元的损失（亏损），而规模为 1 的一级交易则为 100 美元。如果胜率相等（例如 80%），则每单位的风险回报率相似，但较大的规模增加了绝对风险。
  • Ticker A 的固定规模为 3 的交易，每笔交易的敞口更高，可能会扭曲风险回报的比较。如果 A 的一级级别的胜率略低于 B 的（例如 75% 对 80%），那么尽管资本更多，其风险回报可能更差。
  • 问题： 可变的交易规模（A：3，B：1 或 2）和二级级别的存在使得难以标准化不同股票的风险回报。二级交易的较高权重（以及变化时的规模 2）可能导致 Ticker B 的回报波动性更高。
• 夏普比率：
  • 定义： 夏普比率 = (投资组合回报 - 无风险利率) / 投资组合标准差，衡量每单位风险的回报。
  • 二级级别的影响： 二级交易增加了交易次数，如果它们与一级交易不相关，则可能平滑回报，从而提高夏普比率。
  • 然而，较大的交易规模（B 的规模 2，A 的规模 3）会增加波动性（标准差），尤其是在二级变化不频繁或二级交易具有更高的方差（例如，由于较低级别的模式更简单）的情况下。
  • 如果一级级别的胜率不太稳定，Ticker A 的一致规模为 3 的交易可能会导致更高的波动性，而 B 的规模组合（1 和 2）则会产生与二级变化相关的可变波动性。
  • 问题： 比较夏普比率很复杂，因为：
    • Ticker A 的较高敞口（规模 3）放大了风险，如果回报没有成比例地增加，则可能降低夏普比率。
    • Ticker B 的可变规模和二级驱动的交易使其风险状况更难以预测，需要针对具体股票进行波动性计算。
    • 投资组合的整体夏普比率取决于 A 和 B 之间的资本分配，而这又受到二级级别存在的影响。

3. 与股票相关的资金效率

• 定义： 资金效率可能指的是在考虑资本利用率、交易频率和风险敞口的情况下，最大化每单位分配资本的回报。
• 特定股票的问题：
  • Ticker A（无二级）： 固定交易规模 3 意味着每笔交易的资本较高，如果胜率和回报都很高，则可能有效率。然而，没有二级级别限制了交易机会，如果触发的交易较少（例如，一级级别仓位很少），则可能导致资本利用不足。高敞口（规模 3）占用了资本，降低了分配给其他股票的灵活性。
  • Ticker B（有二级）： 可变规模（通常为 1，二级变化时为 2）优化了常规交易的资本（规模 1），但在二级变化时增加了敞口（规模 2）。更多的交易仓位（一级 + 二级）提高了资本利用率，但如果二级变化不可预测，则会引入可变性。效率取决于二级级别的频率和质量（例如，如果二级交易持续以 80% 的胜率盈利，则效率很高）。
• 问题： 效率因股票而异，因为二级级别的存在（或不存在）驱动了交易频率和规模。如果胜率较低或交易不频繁，Ticker A 的高固定规模可能效率较低。Ticker B 的效率随二级变化而波动，难以预测资本需求或与 A 进行比较。

4. 基金风险管理的复杂性

• 投资组合约束：
  • 基金在生产中的百分比： 积极交易的总资本的比例（例如，70% 交易，30% 储备）。这决定了分配给像 A 和 B 这样的股票的资本量。
  • 作为保证金后备的百分比： 用于追加保证金、意外损失或新机会的储备资本（例如，20% 作为后备）。这限制了可用于交易的资本。
• 二级逻辑的影响：
  • Ticker A： 大交易规模（3）消耗了更多的生产资本，减少了分配给其他股票的资本。如果基金的 70% 用于生产（例如 100 万美元中的 70 万美元），而 A 的每笔交易为 3000 美元，则 100 笔交易 = 30 万美元，剩下 40 万美元用于其他股票。没有二级级别限制了交易频率，可能导致资本利用不足。
  • Ticker B： 可变规模（1 或 2）使得资本分配更难以预测。如果二级变化很少发生，则大多数交易规模为 1，使用的资本较少（例如，100 笔交易，每笔 1000 美元 = 10 万美元）。当二级变化触发规模 2 时，资本使用量会激增（例如，10 笔交易，每笔 2000 美元 = 额外 2 万美元），从而挤压生产资本或动用保证金后备。
  • 保证金后备： 高交易规模（A 的 3，B 的变化时的 2）增加了需要动用储备的损失风险，尤其是在模块输出中的最大连续亏损较高的情况下。如果二级交易处于较低级别，则 Ticker B 的二级交易可能具有更高的方差（更简单的模式），从而增加了对后备资本的需求。
• 问题： 二级级别的存在和交易规模规则在不同股票之间造成了不均衡的资本需求，从而使生产和储备计划变得复杂。投资组合的风险状况（例如，最大回撤、波动性）随二级驱动的交易而变化，难以设定稳定的生产或保证金百分比。

5. 为何感觉复杂

• 相互依赖性： 二级级别提高胜率，但影响交易频率、规模和风险，这些因素会连锁影响投资组合指标（夏普比率、效率、资本分配）。
• 特定股票的输出（A：无二级，B：具有可变规模的二级） 需要在汇总到投资组合层面指标之前进行股票层面的分析。
• 可变输入： 模块的输出取决于 input_string，该字符串因股票和时间而异。二级级别的存在和变化是数据驱动的，引入了不可预测性。
• 交易规模规则（A：3，B：1 或 2，取决于变化） 是模块外部的，增加了投资组合特定逻辑的层次。
• 投资组合约束： 生产和保证金后备百分比限制了资本灵活性，而二级驱动的交易（尤其是规模 2）可能会扰乱这些限制。
• 比较效率需要标准化交易规模、胜率和风险，当不同股票遵循不同的规则时，这很复杂。
• 风险管理： 平衡胜率（由二级提高）与风险（由较大规模或更多交易放大）需要权衡，这取决于投资组合的目标（例如，最大化回报与最小化回撤）。

简化方法

为了在利用二级级别提高胜率的优势的同时降低这种复杂性，让我们考虑一种简化的方法，该方法将股票层面的交易与投资组合层面的风险管理和资金效率相结合。目标是简化交易规模、标准化效率指标并与生产/保证金约束对齐。

1. 简化交易规模规则

• 当前问题： Ticker A 的固定规模 3 与 Ticker B 的 1 或 2（取决于二级变化）造成了不一致的资本分配。
• 解决方案： 采用基于模块权重的统一交易规模规则：
  • 一级交易： 规模 1（所有股票）。
  • 二级交易： 规模 2（所有具有二级级别的股票，应用于所有二级交易，而不仅仅是变化时）。
  • 无二级（例如 Ticker A）： 所有交易规模为 1（或 1.5 以平衡敞口）。
• 原因： 反映了模块的逻辑（二级交易权重为 2，一级为 1），确保与胜率贡献的一致性。消除了“二级变化”触发器，降低了可变性并简化了资本规划。使效率具有可比性：Ticker A 的每单位（规模 1 或 1.5）回报与 Ticker B 的（一级为 1，二级为 2）回报进行比较。
• 示例：
  • Ticker A：10 笔一级交易，规模为 1 = 10 个单位。
  • Ticker B：8 笔一级交易，规模为 1 + 4 笔二级交易，规模为 2 = 8 + 8 = 16 个单位。
  • 标准化效率：利润 / 总单位（A：利润/10，B：利润/16）。

2. 限制每只股票的资本

• 当前问题： Ticker A 的规模 3 交易消耗更多资本，而 B 的可变规模使分配不可预测。
• 解决方案： 设定每只股票每期的最大资本分配（例如，生产资本的 10%）。
• 示例： 基金 = 100 万美元，70% 用于生产 = 70 万美元，每只股票 10% = 7 万美元。
  • Ticker A：7 万美元 / 每笔交易 1 千美元（规模 1）= 最多 70 笔交易。
  • Ticker B：7 万美元 /（1 千美元一级 + 2 千美元二级）= 例如，50 笔一级 + 10 笔二级 = 7 万美元。
• 原因： 确保资本在不同股票之间均匀分配，防止 A 过度分配。限制 B 因二级交易引起的敞口峰值，与保证金后备需求保持一致。简化效率：比较每只股票 7 万美元上限内的回报。
• 风险管理： 使用模块中的 max_consecutivelose 来估计上限内的潜在损失（例如，5 笔连续亏损，规模为 1 = 5 千美元风险）。根据投资组合波动性调整储备保证金后备（例如，20% = 20 万美元）。

3. 标准化基金效率指标

• 当前问题： 可变的交易规模和二级级别的存在使得难以比较效率。
• 解决方案： 使用每单位资本的回报作为主要的效率指标：
  • 对于每只股票： 利润 / (一级交易 * 规模 1 + 二级交易 * 规模 2)。
• 示例：
  • Ticker A 利润 = 5 千美元，10 笔交易，规模为 1 → 5 千美元 / 10 = 每单位 500 美元。
  • Ticker B 利润 = 8 千美元，8 笔一级，规模为 1 + 4 笔二级，规模为 2 = 16 个单位 → 8 千美元 / 16 = 每单位 500 美元。
• 原因： 标准化了交易规模差异，实现了直接比较。考虑了二级交易的更高贡献（规模 2），而无需复杂的调整。可以聚合到投资组合层面：总利润 / 总分配单位。
• 夏普比率： 计算股票层面的夏普比率：（每单位回报 - 无风险利率）/ 每单位波动率。每单位波动率：按交易规模标准化的回报标准差。通过按分配的资本权重股票来聚合到投资组合夏普比率（例如，每只股票 7 万美元）。

4. 与生产和保证金后备对齐

• 当前问题： 二级交易和较大规模的交易会挤压生产资本和保证金储备。
• 解决方案： 根据风险和效率设定生产和保证金百分比：
  • 生产资本： 将 70%（100 万美元中的 70 万美元）分配给交易，在不同股票之间平均分配（例如，10 只股票 = 每只 7 万美元）。
  • 保证金后备： 储备 20%（20 万美元）用于弥补回撤，其中 10%（10 万美元）作为新机会的缓冲。
  • 根据股票风险进行调整： 使用模块中的 max_consecutivelose 和胜率来估计每只股票的最大回撤（例如，5 笔连续亏损，规模为 1 = 5 千美元风险）。确保 20 万美元足以覆盖所有股票的风险。
• 原因： 限制生产资本以防止过度分配（例如，Ticker A 的规模 3 交易）。确保保证金后备足以覆盖最坏情况的损失，尤其是 B 的二级交易。简化计划：每只股票都在 7 万美元内运作，并有储备应对波动性。
• 动态调整： 每周/每月根据效率重新分配生产资本（例如，如果 Ticker B 的每单位回报更高，则转移 1 万美元）。如果二级交易增加了投资组合波动性（例如，由于频繁的二级变化），则增加保证金后备。

5. 监控二级影响

• 当前问题： 二级级别提高胜率，但使风险和效率复杂化。
• 解决方案： 记录二级级别对评估其价值的贡献：跟踪每只股票的一级交易和二级交易的胜率、利润和损失。
• 示例： Ticker B：一级胜率 = 80%，二级胜率 = 82%，二级交易 = 总交易的 20%。如果二级交易持续优于一级交易（例如，更高的胜率或每单位利润），则证明其规模 2 的分配是合理的。如果二级交易增加了波动性而没有提高效率，则考虑限制二级交易（例如，最多占股票总交易的 20%）。
• 原因： 量化了二级的收益，有助于判断复杂性是否值得。为风险管理提供信息：较高的二级胜率支持较大的规模，但较高的方差可能需要更多的保证金后备。

投资组合示例

让我们模拟一个简化的投资组合来说明：

• 基金：100 万美元，70% 生产（70 万美元），20% 保证金后备（20 万美元），10% 缓冲（10 万美元）。
• 股票：A（无二级），B（有二级），8 只其他股票（每只 7 万美元）。

欢迎批评指正，任何建议，批评都非常感谢。二级聚类 是在下研究结果。