本文是基于德銀報(bào)告的一篇學(xué)習(xí)筆記，列舉了量化策略中常見的幾種錯(cuò)誤。量化是件很有意思的事情，好東西很多人不愿意拿出來無償分享，特別是一些細(xì)節(jié)，但閉門造車往往會(huì)不知不覺的犯錯(cuò)誤。說來也好笑，尚未見過回測看起來不行的策略（因?yàn)槟贸鰜斫o人看的都是收益曲線飛到天上去的），那么多紙面上的量化策略，為何一上實(shí)盤很多往往不堪一擊？回測中犯了一點(diǎn)點(diǎn)小錯(cuò)誤沒關(guān)系？不，很可能一丁點(diǎn)的疏忽，結(jié)論完全會(huì)被推翻。

一宗罪：幸存者偏差

如果用當(dāng)前Russell 3000指數(shù)成分股回測過去30年信用風(fēng)險(xiǎn)因子（用Merton distance to default來量化）的表現(xiàn)，為統(tǒng)一標(biāo)準(zhǔn)，方便回測，剔除所有數(shù)據(jù)長度短于30年數(shù)據(jù)的股票，回測結(jié)果表明：信用風(fēng)險(xiǎn)越高，回報(bào)越好。

這是最簡單的錯(cuò)誤，目前的指數(shù)成分股中只有20%的股票在過去30年中始終是Russell 3000成分股。破產(chǎn)、退市、表現(xiàn)不佳的股票定期都會(huì)被剔除出。也就是說我們?cè)谀眠^去30年中表現(xiàn)最好的那些公司進(jìn)行回測，即便當(dāng)時(shí)的信用風(fēng)險(xiǎn)高，當(dāng)你知道誰會(huì)幸存下來時(shí)，在信用風(fēng)險(xiǎn)高，陷入困境時(shí)買入，當(dāng)然收益非常高。若考慮進(jìn)那些破產(chǎn)、退市、表現(xiàn)不佳的股票后，結(jié)論完全相反，投資高信用風(fēng)險(xiǎn)企業(yè)的收益率長期遠(yuǎn)低于信用穩(wěn)健的企業(yè)。

二宗罪：前視偏差

上述的幸存者偏差實(shí)際上是前視偏差的一種特例，我們站在過去的時(shí)間點(diǎn)上無法得知哪些公司能幸存下來依舊是今天的指數(shù)成分股。在財(cái)務(wù)數(shù)據(jù)上很容易犯前視偏差的錯(cuò)誤。比如，每個(gè)公司財(cái)務(wù)數(shù)據(jù)發(fā)布的時(shí)間點(diǎn)是不同的，在回測是應(yīng)該根據(jù)每個(gè)公司數(shù)據(jù)發(fā)布的時(shí)間點(diǎn)去利用財(cái)務(wù)信息，而不是簡單的假設(shè)2季度數(shù)據(jù)在6月30日以后即全部可用，亦不可設(shè)置一個(gè)統(tǒng)一的發(fā)布滯后時(shí)間。

更隱蔽的不容易發(fā)現(xiàn)的錯(cuò)誤是財(cái)務(wù)/經(jīng)濟(jì)數(shù)據(jù)的修正。我們?cè)谙螺d歷史宏觀數(shù)據(jù)時(shí)往往得到的是終值，但很多發(fā)達(dá)國家GDP數(shù)據(jù)發(fā)布后要經(jīng)過兩次調(diào)整，各大公司財(cái)報(bào)的修正也是非常常見的。我們?cè)诨販y的時(shí)間點(diǎn)上是無法得知終值的，只能利用初始值。這個(gè)情況在國內(nèi)可能更少見些，也反映了數(shù)據(jù)質(zhì)量上國外應(yīng)該做得更好，在事后能進(jìn)行大量修正。這么一點(diǎn)小修正不會(huì)影響結(jié)論？不，很多宏觀數(shù)據(jù)初值拿來做回歸都是不顯著的，公司財(cái)務(wù)數(shù)據(jù)與否直接影響選股結(jié)果。

現(xiàn)實(shí)中還存在更為隱蔽的前視偏差。例如，美股中管理層可能決定進(jìn)行裂股（也就是A股的高轉(zhuǎn)送）來解決股價(jià)過高導(dǎo)致的流動(dòng)性問題。也可能是縮股（若干股合成一股）來美化每股盈利等指標(biāo)（EPS）。如果回測一個(gè)簡單的策略，買標(biāo)普500指數(shù)成分股中股價(jià)最低的50個(gè)股票，則過去25年的收益喜人，由此我們是否能得出低價(jià)“便宜”股未來收益更高呢？這個(gè)原理在A股有理論依據(jù)啊:牛市時(shí)大媽逐步消滅2元股，3元股，4元股…在大媽看來價(jià)格的絕對(duì)值一定程度上代表便宜程度。答案當(dāng)然是否定的，如果要對(duì)這個(gè)策略進(jìn)行回測，必須使用復(fù)權(quán)調(diào)整后的股價(jià)數(shù)據(jù)，下圖中可以看到，這個(gè)策略基本無用，和標(biāo)普指數(shù)走平。

三宗罪：講故事

很多人喜歡沒有任何數(shù)據(jù)開始講故事，做量化的人喜歡拿著數(shù)據(jù)和結(jié)果講故事。這兩種情況很多時(shí)候是類似的，因?yàn)橄矚g故事和解釋的人，在做數(shù)據(jù)之前往往就已經(jīng)有一個(gè)劇本，他要做的不過是找出演好劇本的“演員”（數(shù)據(jù)）罷了。我本身是做宏觀的，深知故事的危害，要講的故事，何愁找不出數(shù)據(jù)支持？

假如時(shí)間倒回1997，你在做策略，然后發(fā)現(xiàn)利潤率這個(gè)指標(biāo)非常靈驗(yàn)，只要買Russell3000成分股中高利潤率的公司，過去10年躺著也能賺錢。量化太簡單了!

按照這個(gè)策略投了2年，很不幸本金一不小心虧了70%。然后有人會(huì)告訴你，還看什么利潤率，新經(jīng)濟(jì)將改變世界，買互聯(lián)網(wǎng)公司就是賺錢，你這個(gè)策略早就不管用了。

于是你信以為真，買了互聯(lián)網(wǎng)公司，結(jié)果是：繼續(xù)虧。然后2年后又有人告訴你，互聯(lián)網(wǎng)公司是泡沫，都一地雞毛了，你還是應(yīng)該重回經(jīng)典，利潤率還是要看的，過去2年這個(gè)指標(biāo)不錯(cuò)啊，2年翻了6倍，泡沫破裂股災(zāi)階段這個(gè)業(yè)績亮瞎眼。

然后你又重回經(jīng)典，決定矢志不渝的堅(jiān)守利潤率這個(gè)因子。然后過了10年，你發(fā)現(xiàn)你的收益曲線近乎是一條直線。

每天都在發(fā)現(xiàn)新的“好因子”，每天市場里都有人在尋找永動(dòng)機(jī)，都是在浪費(fèi)時(shí)間。所有發(fā)布出來的策略我還沒見過表現(xiàn)回測不好的（回測表現(xiàn)都不好，自然不會(huì)拿出來）但這些故事對(duì)過去的解釋非常動(dòng)聽，對(duì)未來的預(yù)測幾乎沒用。當(dāng)我們做出和常識(shí)相悖亦或是和原來判斷相符的結(jié)果時(shí)，最好別去講故事，除非你想出去忽悠人。相關(guān)性和因果性在金融經(jīng)濟(jì)的世界里從來沒有人能分清楚。講故事的害處是越講自己越信，最后發(fā)現(xiàn)掉溝里的人是自己。

四宗罪：高換手率

高換手率和信號(hào)短暫不穩(wěn)定（閃爍信號(hào)）有關(guān)。很多人竊以為，高換手率有什么不好啊，說明策略靈敏，能捕捉到短線的機(jī)會(huì)，這不就是傳說中的高頻交易嘛，原來這么簡單，回測來看確實(shí)收益高的下班半輩子都不用愁了。

凡是高于周為頻率的策略都需要檢查下這個(gè)問題，高換手率得出的回測結(jié)果可以做下壓力測試，看下多少的沖擊交易成本就會(huì)抹掉全部收益。即使是月這樣的交易頻率，高換手率也足以顛覆策略結(jié)果。看一則例子：每個(gè)月買入日本股市中分紅率最高，且過去一個(gè)月表現(xiàn)最差的股票，同時(shí)做空分紅率最低，且過去一個(gè)月表現(xiàn)最好的股票，這個(gè)策略在0交易成本下年化收益高達(dá)11%，0.1%的交易成本下降為7%，0.3%的交易成本下收益直接全部被抹掉，而且還是虧錢的。這個(gè)策略的問題就在于盡管是每個(gè)月交易，但是每個(gè)月股票池股票全不一樣，換手率接近100%。

很多人會(huì)說：A股的手續(xù)費(fèi)不是萬三嘛，0.3%這個(gè)假設(shè)太猛了，不科學(xué)。假設(shè)一個(gè)A股的股票5塊錢，最小報(bào)價(jià)單位0.01，也就是0.2%，這么說來，一點(diǎn)都不小。尤其是我們還未考慮更多的情形，如果你是基金經(jīng)理，大單買入會(huì)對(duì)價(jià)格產(chǎn)生很大沖擊，拆單買入很可能交易成本控制不太好，且需要一定時(shí)間完成交易，遇到市場單邊波動(dòng)怎么辦？如果你在國外交易小盤股，流動(dòng)性差的一周只有幾筆成交怎么辦？

那這是不是說我們交易頻率越長越好？比如來個(gè)一年定期換一次股？這換手率總算低了吧？當(dāng)然不是，市場變化瞬息萬變，明知道某股票已經(jīng)不符合某些條件，應(yīng)當(dāng)及時(shí)調(diào)出組合。每月交易一次，每次更換組合中3%的股票，比一年交易一次，每次更換36%的股票要好得多，雖然兩者的年換手率均為36%。

再來看一個(gè)高換手率交易的典型問題：每天收盤時(shí)買入當(dāng)天表現(xiàn)最差的100個(gè)股票，賣出過去的持倉，持續(xù)每日交易，回報(bào)率喜人。這里的錯(cuò)誤也是前視偏差，還沒收盤我們不知道當(dāng)天哪些股票表現(xiàn)最差，即使用程序化交易，這種策略也是停留在紙面。我們能做的是以每天開盤價(jià)買入昨天表現(xiàn)最差的100個(gè)股票。兩個(gè)策略結(jié)果一對(duì)比，以開盤價(jià)買入的策略幾乎一條直線。

五宗罪：數(shù)據(jù)挖掘

Paul Romer在14年發(fā)了篇文章，歷數(shù)經(jīng)濟(jì)學(xué)中的過度數(shù)學(xué)化，量化中又何嘗不是，有時(shí)候?yàn)榱藬?shù)據(jù)平整而平整，強(qiáng)制把數(shù)據(jù)做平，出來的東西已經(jīng)失去解釋意義。神經(jīng)網(wǎng)絡(luò)迭代式能完整寫下來的人有多少？不應(yīng)該因?yàn)槁犐先ジ叽笊夏芎鲇迫司椭苯犹子肵算法Y算法的去預(yù)測股價(jià)。當(dāng)然除了這種過度數(shù)學(xué)化，也有犯低級(jí)數(shù)據(jù)挖掘錯(cuò)誤的，還別說，國內(nèi)券商的量化研報(bào)里還真的見過做樣本內(nèi)回測的。例子很簡單，有100個(gè)因子，2009-2014年5年數(shù)據(jù)，逐個(gè)回測因子，選出6個(gè)表現(xiàn)最好的，等權(quán)重合成一個(gè)策略，再回測那5年數(shù)據(jù)，結(jié)果自然喜人。但如果在09年初，挑選出6個(gè)在04-09年表現(xiàn)最好的因子合成一個(gè)策略，用09-14年進(jìn)行樣本外回測后發(fā)現(xiàn)：直線一條。

六宗罪：異常值偏差

在計(jì)算行業(yè)或者指數(shù)的一些指標(biāo)時(shí)我們常常用成分股各自的指標(biāo)取平均值。但這樣的做法往往會(huì)受異常值的干擾，比如下圖中的標(biāo)普BMI韓國指數(shù)成分股的利潤率。如果用平均值和剔除1%，2%極值的結(jié)果相差甚大。這是宏觀數(shù)據(jù)中常有的問題，少數(shù)極值若不做預(yù)處理，會(huì)嚴(yán)重影響回歸結(jié)果。

但去除極值往往損失一些信息，因此最好的辦法是對(duì)數(shù)據(jù)進(jìn)行微觀層面的聚合然后再算總的指標(biāo)。

我們常看文章說香港市場低估，擺出全市場PB等歷史數(shù)據(jù)加以佐證。乍一看似乎是很低，但兩個(gè)問題值得問：PB是全市場各個(gè)公司PB的平均還是全市場的市值除以全市場公司的的賬面價(jià)值？這兩種算法的結(jié)果完全不同。如果是圖省力的第一種做法，那對(duì)極值是如何處理的？

一種處理極值的通常做法是Inter-Quartile Range (IQR): 將數(shù)據(jù)三等分，設(shè)k=0.5，Q1，Q3分別為等分點(diǎn)，任何小于Q1? k(Q3 ? Q1) , 或大于Q3 + k(Q3? Q1)的點(diǎn)均定義為極值。下圖中用IQR處理過后的港股PB值在07年比互聯(lián)網(wǎng)泡沫時(shí)期更貴，而普通處理的PB則在當(dāng)時(shí)顯得非常便宜。

七宗罪：非對(duì)稱性

做策略時(shí)往往假設(shè)2倍杠桿，即做多一組的同時(shí)做空另一組，以達(dá)到增加因子曝光的目的。但現(xiàn)實(shí)中做多和做空帶來的收益是不對(duì)稱的。以下圖中美股的這些因子為例，多數(shù)因子多空的收益表現(xiàn)出非對(duì)稱性。撇開做空的成本和現(xiàn)實(shí)可能性，在做策略時(shí)依然值得自問：是否值得做空？