Ошибка выжившего в трейдинге: видимые и пропущенные результаты

Рейтинг может показывать лишь действующие счета, а реклама — отдельных выпускников курса. Прежде чем оценивать успех группы, определите исходную выборку и отсутствующие случаи. Подлинность видимого результата не доказывает его представительность.

Что такое ошибка выжившего

Она возникает, когда вывод обо всей группе строится на тех случаях, которые остались видимыми, а исчезнувшие ранее исключаются. Отбор лучших дней действующего счета и самоотбор в опрос — другие механизмы, хотя они могут сочетаться с ошибкой выжившего. Не считайте каждого отсутствующего убыточным: человек может закрыть счет или прекратить публикации по разным причинам. Неизвестный результат — не ноль и не убыток.

Работа Brown, Goetzmann, Ibbotson и Ross 1992 года рассматривает результаты и волатильность в выборке фондов, усеченной по признаку выживания. Она не измеряет нынешний успех трейдеров Forex и не подтверждает популярную историю о самолетах.

Где искать отбор в торговле

В рекламе, рейтингах и публикациях проверьте критерии включения, период, расходы, денежные потоки и открытую экспозицию. В историческом тесте акций использование только нынешнего состава индекса может исключить прежние инструменты. Для заранее определенной валютной пары не обязательно добавлять все когда-либо существовавшие валюты. Выбор пары, периода или параметров после просмотра результатов — отдельная проблема отбора.

Условная когорта: из 20 видимых счетов 16 положительны и 4 отрицательны после расходов — 80% положительных. В полном реестре еще 80 счетов: 14 положительны, 66 отрицательны. Всего 30 из 100 положительны — 30%; разница 50 процентных пунктов. Отсутствие не означает, что все пропущенные счета убыточны. Если исходы пропущенных счетов неизвестны, эти числа подставлять нельзя.

Неизвестные результаты: границы вместо догадки

В другой вымышленной группе из 20 человек известны 6 положительных и 6 неположительных результатов; остальные 8 неизвестны. Среди известных доля 6/12 = 50%, но во всей группе допустимые границы — от 6/20 = 30% до (6 + 8)/20 = 70%.

На узком экране прокрутите схему по горизонтали.

Границы доли положительных результатовИз двадцати результатов шесть положительных, шесть неположительных и восемь неизвестных. Минимум шесть из двадцати, максимум четырнадцать из двадцати.Полная группа: 20 человек6 положительных6 неположительных8 неизвестных0%50%100%Минимум: 6/20 = 30%Максимум: (6 + 8)/20 = 70%
Вымышленные данные: выделенный диапазон — границы возможного заполнения, не доверительный интервал и не прогноз.

Минимум предполагает, что все восемь неизвестных неположительны; максимум — что все положительны. Для более узких границ нужны данные. У каждого человека один результат за один период и одинаковый критерий; механизм пропусков не предполагается.

Дополнительный условный шаг: из восьми неизвестных выяснились два результата — один положительный и один неположительный. Теперь известно 7 положительных, 7 неположительных и 6 неизвестных; границы сузились до 7/20 = 35% и 13/20 = 65%. Это дополнение тех же вымышленных данных, а не статистический доверительный интервал.

Как отбор меняет ожидания

Задайте группу, период и критерий результата до оценки примеров. Условная модель: 16 человек независимо выполняют по четыре испытания, вероятность успеха каждого испытания 1/2; независимость также задана между людьми. Для заранее выбранного человека четыре успеха имеют вероятность (1/2)⁴ = 1/16 = 6,25%. Вероятность отсутствия такой серии у всех 16 равна (15/16)¹⁶ ≈ 35,61%, поэтому хотя бы одна серия имеет вероятность около 64,39%. При заданных предпосылках следующая вероятность выбранного человека остается 1/2. Это не оценка Forex и не доказательство отсутствия преимущества у реальных методов.

Доля убыточных счетов и доля прибыльных сделок различаются

В сообщении ESMA от 27 марта 2018 года приведены исторические анализы национальных органов ЕС: обычно 74–89% розничных CFD-счетов в изученных выборках были убыточными. Это не текущая мировая доля и не личная вероятность. Для предупреждения конкретного поставщика проверяйте субъект, продукт, период и применимые правила.

Условный пример без расходов: 98 сделок дают по +1 единице, две — по −100. Доля прибыльных сделок 98%, но общий результат 98 − 200 = −102 единицы. Доли счетов и сделок имеют разные знаменатели; предупреждение само не доказывает, что конкретная учетная запись нечестна или что успех вызван удачей.

Проверка исходной группы

Ищите группу, определенную до результатов, общий период и описание пропущенных данных. Коллекция только громких неудач тоже является отбором. Проверка истории одного счета не объясняет, почему выбран именно он; анекдоты не устанавливают вероятность успеха.

Для теста используйте отдельные данные оценки и исторически допустимый набор инструментов; сохраняйте неудачные варианты. Работа Bailey и соавторов обсуждает риск подгонки при множественном тестировании. Повторное обращение к одному и тому же отложенному набору ослабляет его независимость; он не исправляет неполный исходный набор.

Что проверить на этой неделе

Для одного рейтинга или объявления запишите пять полей: исходная группа, правило отбора, период, определение результата и число отсутствующих наблюдений. Отметьте неизвестные ответы; отдельно уточните расходы, ввод и вывод средств и открытые позиции. «Этот счет был положительным за данный период» отличается от «метод делает большинство участников прибыльными». Проверять доказательства можно без копирования сделок.

Следующий шаг

Процесс и результат: сопоставьте уверенность оценки с объемом доступных данных.

Связанные материалы: доля прибыльных сделок, стадное поведение, цели и бюджет, чрезмерная уверенность (на английском), раздел психологии (на английском) и ESMA (на английском).

Проверьте понимание

Из 20 человек 6 результатов положительны, 6 неположительны, 8 неизвестны. Каковы границы доли положительных во всей группе?

Ответ и объяснения без JavaScript

Правильный ответ: От 30% до 70%.

Ровно 50%.

6/12 = 50% относится только к известным результатам и не определяет остальные восемь.

От 30% до 70%.

Верно: минимум 6/20, максимум (6 + 8)/20. Это границы заполнения, не доверительный интервал.

Ровно 30%, поскольку отсутствующие наверняка потеряли.

30% — минимум; данные не позволяют приписывать всем неизвестным убыток.

Вопросы и ответы

Все ли отсутствующие случаи убыточны?

Нет. Причины отсутствия и результаты могут различаться; неизвестное не равно нулю или убытку.

Где может возникнуть ошибка?

Проверяйте исходную группу и правило исключения в рейтингах, рекламе и исторических тестах. Выбор лучших дней отличается от исключения исчезнувших участников.

Можно ли сравнивать долю убыточных счетов с win rate?

Нет без учета разных единиц и знаменателей. Исторический диапазон ESMA 2018 года относится к анализам розничных CFD-счетов ЕС, не к текущей мировой вероятности.

Как снизить риск неверного вывода?

Зафиксируйте исходную группу, период, правило отбора, расходы и пропущенные наблюдения. Проверка одного счета не устраняет отбор победителя.

Источники и пределы применения

  1. Brown, Goetzmann, Ibbotson и Ross — Survivorship Bias in Performance Studies

    Статья 1992 года о выборе выживших фондов; не измерение нынешних результатов Forex.

  2. ESMA — сообщение о CFD, 27 марта 2018 года

    Исторические анализы ЕС и меры того времени; не утверждение об актуальных правилах другой юрисдикции.

  3. Bailey и соавторы — Backtest Overfitting

    Аннотация исследования 2014 года о многократном подборе конфигураций; не гарантия результата конкретного теста.

Общие гипотетические примеры. Диапазон ESMA относится к историческим анализам розничных CFD-счетов ЕС, не к текущей глобальной статистике или индивидуальной вероятности.