近年來，程序化交易在國內(nèi)發(fā)展迅速，采用程序化作為交易手段的投資者越來越多，國內(nèi)對程序化交易的研究也越來越深入。開發(fā)一個(gè)優(yōu)秀的程序化交易系統(tǒng)，走上穩(wěn)健獲利的投資道路，成為眾多交易者追求的目標(biāo)。

　　從開發(fā)一個(gè)優(yōu)秀的程序化交易系統(tǒng)，到使用該系統(tǒng)獲得一定的利潤是一個(gè)復(fù)雜的過程，在此過程中會遇到很多問題。比如，經(jīng)常有投資者在實(shí)際使用交易策略前，因?yàn)椴呗缘臍v史測試收益曲線圖平滑向上，對策略的盈利能力非常自信。而實(shí)盤之后，資金曲線卻拐頭向下，不盡人意。出現(xiàn)這種現(xiàn)象的一個(gè)重要原因是過度擬合。所謂過度擬合，指的是對于樣本數(shù)據(jù)，描述的準(zhǔn)確度很高，而對于樣本外數(shù)據(jù)，描述的準(zhǔn)確度卻很差。具體到程序化交易中，就是歷史行情效果很好，而在未來行情中卻失效。本文嘗試解釋造成過度擬合的原因，并提出避免過度擬合的幾種方法。

　　過度擬合產(chǎn)生的原因

　　程序化交易系統(tǒng)的設(shè)計(jì)過程包括兩個(gè)部分，這兩個(gè)部分都有可能造成過度擬合。交易系統(tǒng)設(shè)計(jì)的第一部分是形成一個(gè)完整的交易規(guī)則體系。形成交易規(guī)則一般有自上而下和自下而上兩種方法：自上而下的方法是基于對市場行情的長期觀察總結(jié)出來規(guī)律，再在規(guī)律的基礎(chǔ)之上形成數(shù)量化的交易策略，這一過程需要長時(shí)間交易經(jīng)驗(yàn)的積累；自下而上的方法是從市場數(shù)據(jù)出發(fā)，進(jìn)行統(tǒng)計(jì)分析得出市場特征而形成的交易策略。程序化交易的出現(xiàn)以及電腦技術(shù)的發(fā)展，使得自下而上的方法得到廣泛采用，交易者可以將開發(fā)出來的交易系統(tǒng)用歷史數(shù)據(jù)進(jìn)行快速測試統(tǒng)計(jì)，以觀察系統(tǒng)在歷史行情中的表現(xiàn)，形成新交易系統(tǒng)的速度得到極大提升。在測試交易系統(tǒng)的過程中，往往會根據(jù)測試結(jié)果對交易規(guī)則進(jìn)行重新訓(xùn)練形成新的交易規(guī)則，或者對這些規(guī)則進(jìn)行組合，這樣產(chǎn)生的交易系統(tǒng)很容易是對市場數(shù)據(jù)的擬合。第二部分是將這些交易規(guī)則通過數(shù)量化的方法實(shí)現(xiàn)。在數(shù)量化實(shí)現(xiàn)交易系統(tǒng)的過程中，一般會采用參數(shù)來描述系統(tǒng)。設(shè)計(jì)者會通過增加參數(shù)個(gè)數(shù)和優(yōu)化這些參數(shù)，尋找出最佳的交易系統(tǒng)。如果參數(shù)個(gè)數(shù)較多或過度優(yōu)化參數(shù)，往往就會產(chǎn)生對歷史行情的完美過度擬合，而未來的績效卻大打折扣。

　　如何避免過度擬合

　　設(shè)計(jì)交易系統(tǒng)的目標(biāo)是在未來實(shí)盤的行情中可以產(chǎn)生利潤，而不是為了追求一條漂亮的歷史測試曲線，過度擬合的交易系統(tǒng)是一個(gè)“美麗的陷阱”。如何逃離這個(gè)陷阱呢？我們認(rèn)為可以從交易規(guī)則的形成和交易系統(tǒng)開發(fā)兩大方面著手。

　　現(xiàn)代數(shù)學(xué)對金融市場的數(shù)據(jù)分析表明，時(shí)間價(jià)格序列包括兩個(gè)部分：第一部分是確定項(xiàng),可以從中找出一定的規(guī)律；第二部分是隨機(jī)項(xiàng)，沒有確定性的規(guī)律可言，出現(xiàn)某一現(xiàn)象只是概率性的。當(dāng)我們從市場歷史行情中提取交易規(guī)則時(shí)，需要分析規(guī)則的邏輯性和規(guī)律性，交易規(guī)則需要能夠反映市場的規(guī)律性，具有一定的合理性。同時(shí)交易規(guī)則的數(shù)量不宜過多，過多的交易規(guī)則如同對一個(gè)事物的描述加上太多的定語，而非事物本質(zhì)的反映，如果事物的表象發(fā)生變化，描述就失效了，只有對事物本質(zhì)的描述才是事物本身的定義。交易規(guī)則同樣必須抓住市場的本質(zhì)?？偠灾?，我們需要的是簡單而有效的交易系統(tǒng)，系統(tǒng)越簡潔，生命力就越強(qiáng)，適應(yīng)的市場范圍越廣。

　　當(dāng)交易者通過各種途徑形成交易規(guī)則后，在具體的交易系統(tǒng)設(shè)計(jì)過程中，需要注意如下問題：

　　第一，增加歷史測試數(shù)據(jù)樣本容量，避免交易次數(shù)過少。如果歷史測試數(shù)據(jù)量較少，雖然設(shè)計(jì)的系統(tǒng)在樣本內(nèi)效果良好，但是較短時(shí)間段的測試不具有說服力，系統(tǒng)未來的表現(xiàn)很難預(yù)期。而較少的交易次數(shù)往往是由于增加過多的交易規(guī)則限制，對虧損的交易進(jìn)行了強(qiáng)過濾，是一種典型的過度擬合行為。

　　第二，在測試時(shí)，將測試的數(shù)據(jù)樣本分為樣本內(nèi)和樣本外，設(shè)計(jì)系統(tǒng)的時(shí)候采用樣本內(nèi)數(shù)據(jù)，然后用樣本外數(shù)據(jù)測試得出的系統(tǒng)，如果效果大大降低，那么這種系統(tǒng)極有可能是擬合的。

　　第三，核心參數(shù)不宜過多，參數(shù)過多的系統(tǒng)是一個(gè)多自由度系統(tǒng)，在優(yōu)化多個(gè)參數(shù)之后總會得出一個(gè)漂亮的系統(tǒng)，但這種系統(tǒng)的可靠性是令人懷疑的。

　　第四，在對系統(tǒng)的參數(shù)進(jìn)行優(yōu)化時(shí)，我們需要對最優(yōu)參數(shù)附近的參數(shù)進(jìn)行考察。如果附近參數(shù)系統(tǒng)的性能遠(yuǎn)差于最優(yōu)參數(shù)的性能，那這個(gè)最優(yōu)參數(shù)有可能是一個(gè)過度擬和的結(jié)果，數(shù)學(xué)上稱為奇點(diǎn)解，是不穩(wěn)定的。如果市場的特征稍微發(fā)生變化，最優(yōu)參數(shù)可能會成為最差參數(shù)。

　　第五，將交易系統(tǒng)用于其他品種，觀察其效用。萬能的交易系統(tǒng)是少見的，但是在一個(gè)品種上表現(xiàn)優(yōu)秀的系統(tǒng)，在別的品種上至少可以獲利。如果在別的品種上不能盈利，在使用該系統(tǒng)的過程中就應(yīng)該注意其有效性，即是否過度擬合某一品種的特殊行情。