主题：盛邀dianslm就技术分析理论进行PK

关于参数的“过度优化”，下面谈谈我的看法：

其实最大的“过度优化”来源于样本数据少，来源于策略“分段函数”太多，

即 3分钟K线级别“过度优化”的嫌疑，远超过 1分钟K线级别，
即 30分钟K线级别“过度优化”的嫌疑，远超过 3分钟K线级别，.........
而具有一致性的全局性参数的优化，并非“过度优化”的主因。

“参数”本就是反应事物本身特性，如果模型没有参数反而很奇怪，
有的模型看起来参数少，实际上它使用了隐形参数与默认参数，
参数的多少是根据事物本身复杂程度来决定的，
人为的减少参数或增加参数都是不可取的事情，顺其自然才是明智的选择，

所谓参数优化通常就是选择有利于获更多利润的参数，
更多的利润能保护我们的边际收益，

如果样本数据少，参数优化会过度依赖于局部的几个较大行情，
这种“过度依赖”就是过度优化，当数据量足够多时，参数优化要兼顾方方面面的行情，
由于没有那个行情有过度的利润需要优先优化，参数自然也就不会照顾那些特殊的行情，
这种具有全局一致性的不照顾特定行情的参数优化是合理的优化，其优化最优值反映客观事物本质，
这种优化不属于“过度优化”范畴。

如果策略“分段函数”太多，如果交易系统使用了太多的策略，
那么参数过度优化是必然的，原因是交易系统的策略越多，样本变相的就大幅度减少，
比如你有10万个K线数据，如果你只有一个策略，交易信号有1000个，
显然行情样本K线就是10万，交易信号样本就是1000，
但是当你有100个策略时，虽然行情样本K线是10万，但是100个策略中的不少单个策略的交易信号样本大幅度减少，
这种大幅度减少本身就属于“过度优化”范畴。

过度优化问题：

   为了避免过度优化，我们测试的前提就是：样本数要足够多，且为连续样本，行情经历了各种变化，如此得到的参数具有全局一致性，它适应行情的各种环境。在上面这种情况下，来观察未来样本外资金曲线特性，看是否与原样本内资金曲线有“一致性”表现，这里显然不是指分段优化后各资金曲线上的区别，我们这里更强调“整体特征”的相似性，历史相似性。

    如果训练的样本数不够，的确也容易因“意外”的行情，而出现资金曲线意外走势。
为了避免这类情况，我们特别强调样本数要“足够”。



    “模型只活在过去”的原因：

1、“K线样本数”不够，没有有效覆盖各种行情模式，导致过度优化
2、K线样本数虽然够了，但“交易系统信号样本数”不够，没有有效覆盖各种行情模式，导致过度优化
3、“K线样本数”够了，“交易系统信号样本数”也够了，但是因为“参数”较多即“子策略”多，导致每个“子策略”实际分配的样本数不够，造成过度优化
4、模型编程测试有问题，或用了未来函数，得出的是错误的测试报告
5、模型盈利不高，误差与随机偏差导致边际收益失去保护



      股指期货上市已经有 3年了，其样本数如下：

1、月线级别 K线样本有36个
2、日线级别 K线样本有36*30=1080个
3、15分钟级别 K线样本有36*30*18=19440个
4、5分钟级别 K线样本有36*30*18*3=58320个
5、1分钟级别 K线样本有36*30*18*3*5=291600个

   显然无论什么模型，无论参数多少，只要你使用的是月、日、15分钟级别K线样本，都属于过度优化模型，这类模型很不稳定，只有5分钟、1分钟级别的K线交易模型才有希望稳定，当然对于日线级别，如果你使用了股指期货以外某种合适的大盘分析技术，那么也会有稳定的基础，这相当于变相增加样本数。
   当然股指期货使用“1秒钟”级别K线又会怎样？显然样本数是足够了，但是交易手续费等在每手交易盈利中所占比例较大，这也会导致模型盈利的不稳定。



      几个模糊问题的说明：

1、参数多本质上是“子模型”多，如此样本数与交易信号样本数会被分摊，导致样本数不够
2、5分钟级别K线可以容纳的参数如果是8个，则1分钟级别K线参数数量可以扩大5倍，即40个
3、如果样本数10万个就够了，那么研究50万个样本显然是没有必要
4、有的模型信号只有10个，并不能简单说交易信号样本数不够，因为如果这10个信号的每一个都来源于10万个“旁系子样本”数的某些特性的统计结论，那么这10个信号也具有稳定的基础。

关于“量化技术的意义”更广泛的角度讨论：

认识一些问题，并从量化角度来解释原因

杰西.利物莫尔失败的原因：
      
       说说我的看法：
              
    “模式的精准”决定收益的“稳定性”
              
1、杰西.利物莫尔失败的原因是他的“模式”无法精准，复制不准确。
              
2、西蒙斯成功的原因是 他的“模式”精准，复制准确。
              
3、普通人的大脑靠灵感很难做到“模式的精准”
              
4、极个别的人在长期练习中能精准的形成其模式，
              
5、不少基金经理成绩不稳定就是因为他们的“模式”难以精准，靠运气形成一时的所谓成功。
      
       巴菲特那个时代类似于杰西.利物莫尔那个时代，杰西.利物莫尔玩投机，在没有电脑的情况下，他无法精准，     
       而巴菲特很聪明，他不玩投机，玩价值投资，价值投资在数据分析上不需要太精确，巴菲特能把握，
       西蒙斯成功于电脑时代，“电脑+数学模型”可以帮助他完成“精准复制”，
       徐翔的成功也是因为他生活在电脑时代，他是极少数天才人物，不需要数学模型，只是靠电脑提供的基础数据就可以“比较精准的复制”

你的分析其实有一个假定，就是认为市场可以不断的重复相似的模式，模型可以精确的复制并可以延伸到未来不变，但是这个假定对于金融市场来说，我认为不尽然的，兵无常态，水无常形，纯技术分析本身也必然有局限性，之所以说一些手动交易非常成功的人，把经验量化不成功，有一个很大原因，就是他的经验不完全是技术分析，有很多基本面和模糊判断的层面在里面。

过度优化的问题，我是这样验证的： 1.一个策略的参数组中，任何一个参数如果曲线比较平滑并且相差不大，过度优化的嫌疑就少； 2.根据金融市场的自我相似性特征，同一个策略对同一个品种的不同周期应该具有一致的测试结果，也就是一个策略如果能不调整参数适应多个周期，其过度优化的嫌疑就少； 3.对同一个品种增加测试样板远远比不上用不同的品种来增加样本数量，如果同一个策略在不同的品种上测试结果也具有一致性，其适应未来的能力也会更强； 我的经验，如果一个策略可以同时在不同品种不同周期取得一致性好的正收益，该策略是一个适应性比较好的策略，适应未来的能力也更强，实盘也会证明这一点。

看dianslm口气，应该至少有8位数流动资产吧

1、市场可以不断的重复相似的模式-------如果模式常常变，那么就失去了“量化”的基础，即“样本数”不够

 

2、兵无常态，水无常形-------对于普通人来讲的确如此，对于西蒙斯来讲“市场多年来没有变化”

 

3、一些手动交易非常成功的人，把经验量化不成功，有一个很大原因，就是他的经验不完全是技术分析，有很多基本面和模糊判断的层面在里面。

-------这种情况存在，不过他本人也不清楚，接下来他是否还能继续成功 

1.一个策略的参数组中，任何一个参数如果曲线比较平滑并且相差不大，过度优化的嫌疑就少；

---------OK

 

2.根据金融市场的自我相似性特征，同一个策略对同一个品种的不同周期应该具有一致的测试结果，也就是一个策略如果能不调整参数适应多个周期，其过度优化的嫌疑就少；

--------- “金融市场的自我相似性”这个结论没有严格证明，使用时要小心； “一个策略如果能不调整参数适应多个周期，其过度优化的嫌疑就少”即更具有普遍意义，的确如此

 

3.对同一个品种增加测试样板远远比不上用不同的品种来增加样本数量，如果同一个策略在不同的品种上测试结果也具有一致性，其适应未来的能力也会更强； 我的经验，如果一个策略可以同时在不同品种不同周期取得一致性好的正收益，该策略是一个适应性比较好的策略，适应未来的能力也更强，实盘也会证明这一点。

---------完全正确，不过这类策略收益率也不会高，但稳定这是优点

市场不变的只是它永远在变，永远的似曾相识又不会简单重复，对市场充满敬畏才是一个交易者应有的态度。

已经说过了，这些研究只是最近4年的成果，

 

还属于“实验室”性质的成果，即通过了历史“大样本”测试，

 

不少策略在进行“样本外”测试，效果还不错，其后还需要实战中进一步检验，

 

之所以谈到我们出资100万，风险投资方出资1000万，组成股份制投资公司，也是表明我们有信心