Walk-forward аналіз бектесту: вікна, leakage і результат поза добором
Walk-forward багаторазово добирає параметри на попередніх даних і оцінює їх на пізнішому блоці. Перевіряється процедура оновлення, а не лише останній набір параметрів. Календар, критерій вибору й правила при рівності слід визначити до перегляду тестових результатів.
Задайте процедуру до тестування
Зафіксуйте довжини калібрування й оцінки, крок оновлення, кандидатів, критерій, правило tie та дію, коли ніхто не проходить. Максимізація прибутку — вибір, не нейтральна норма; однаково рахуйте витрати, експозицію і кількість спостережень. Пошук багатьох варіантів може вибрати шум. Високі win rate або profit factor самі не доводять ні переваги, ні підгонки. Якщо розбиття обрано після перегляду OOS, процедура теж підганялася. Перекриті тренувальні вікна й залежність ринку не роблять OOS кроки незалежними.
Навчальна схема
Механіка ковзних вікон
Умовний календар: навчання 2018–2021, заморожені параметри на 2022; далі навчання 2019–2022, перевірка на 2023. Отже за 2018–2023 із чотирирічним навчанням і однорічною перевіркою є лише два повні оцінювальні роки. Об’єднуйте OOS угоди хронологічно і резервуйте окремий незайманий блок, якщо дизайн змінювали за попередніми результатами. Для label, що використовує закриття t+1 і t+2, коли перший тест — період 10, fitting після закриття 9: gap=1 лишає тренувальний зразок 8, чий label потребує закриття 10, отже leakage; gap=2 лишає зразок 7, label якого закінчується в 9. Перевіряйте горизонт усіх ознак і label; універсального gap=2 немає.
Rolling та anchored — дві схеми
Rolling зберігає сталу довжину: 2018–2021, 2019–2022, 2020–2023. Expanding/anchored лишає початок: 2018–2021, 2018–2022, 2018–2023. Перший відкидає старі режими, але має меншу пам’ять; другий утримує більше даних, іноді неактуальних. Ні trend-following, ні mean reversion не мають універсально правильного варіанта. Імпутацію, нормалізацію та вибір ознак навчайте лише на дозволеному train. Навіть зразок до тестового індексу може мати майбутній label. scikit-learn TimeSeriesSplit gap прибирає кінцеві train-зразки, але не знаходить усі види leakage; рівновіддалені спостереження потрібні для порівнянних тривалостей fold.
Walk-forward efficiency
У конвенції TradeStation WFE порівнює річний OOS return із річним IS return за узгодженими витратами, розміром і визначенням return. Умовно 10%/20%=0,5 або 50%; нульовий знаменник робить частку невизначеною, а −5%/−10%=0,5 за двох збитків. WFE понад 1 не доводить leakage, 50% у документації — евристика, не дозвіл на реальні кошти. Окремо перевіряйте повний net, drawdown, розподіл результатів і чутливість до параметрів.
Дві стратегії в умовному порівнянні
Окремі умовні IS/OOS річні результати 30%/12% і 25%/20% дають WFE 0,4 та 0,8; це не доказ, що друга має тривалу перевагу. Контрприклад tie: у двох кроках A і B мають однаковий train-критерій; правило, задане до тесту, обирає A. Пізніші net OOS A: +5 і −2, B: −1 і +6; сума за правилом A дорівнює +3. Вибір переможця після кожного OOS дає +5+6=+11, але це вже підглядання; вибір B за всією історією дає −1+6=+5. Зберігайте повний tied set і вибраний ID до кожної оцінки. Оновлене правило потребує нових пізніших даних.
Чого walk-forward не виправляє
Для відкритих позицій на межі вікон заздалегідь оберіть закриття з витратами або визначене продовження. Не обнуляйте відкритий збиток і не рахуйте перекритий тестовий ризик двічі. Drawdown рахуйте зі з’єднаної OOS equity, а не як середнє drawdown окремих вікон. Зберігайте нульові за угодами періоди, концентрацію прибутку і заздалегідь обраний baseline з тим самим sizing. MT5 Forward mode перевіряє параметри на пізнішій частині історичного інтервалу; це не автоматично багатовіконний walk-forward або майбутній demo. Симуляція перестановок змінює порядок наявних результатів, не моделює всі режими.
Що зробити завтра
П’ять років дозволяють один повний крок 4+1; п’ять річних кроків потребують дев’яти років: чотири початкові тренувальні та п’ять оцінювальних. Перед тестом версіонуйте календар, кандидатів, tie, costs, позицію на межі й критерій. Для 2018–2023 перевірте лише 2022 та 2023, збережіть усі net, не переналаштовуйте за ними той самий OOS. Розрахуйте WFE, але дивіться і на абсолютний результат, drawdown та чутливість. Незайманий фінальний блок лишається незайманим, лише доки його результат не вплинув на новий вибір.
Перевірте себе
Label зразка t потребує закриття t+1 і t+2; тест починається 10, fit після закриття 9. Який останній train-зразок допустимий?
- 9
- 8
- 7
Показати відповідь
7