Выбор редакции

О шансах выбрать хорошую стратегию

В этой статье мы оценим вероятности выбрать хорошую (или плохую) стратегию, в случае когда решение принимается на основании результатов нескольких тестов.

Зачем это надо? Чтобы не быть излишне оптимистичным, когда тесты расходятся в мнениях относительно стратегии, и реалистично представлять свои шансы найти хорошую стратегию.

Постановка задачи

Пусть О шансах выбрать хорошую стратегию — вероятность того, что очередная придуманная стратегия окажется плохой (нерабочей). Тогда О шансах выбрать хорошую стратегию — вероятность того, что стратегия окажется хорошей (рабочей).

Допустим, у нас есть один или несколько (О шансах выбрать хорошую стратегию) тестов для стратегий, качество которых можно охарактеризовать О шансах выбрать хорошую стратегию — вероятностью (корректно) отклонить плохую стратегию и О шансах выбрать хорошую стратегию — вероятностью (ошибочно) отклонить хорошую стратегию. Для простоты примем, что качество всех имеющихся в нашем распоряжении тестов одинаково (т.е. одинаковы выше указанные вероятности), а также что тесты независимы.

Нас интересуют совсем другие вероятности:
1) О шансах выбрать хорошую стратегию — вероятность того, что выбранная стратегия окажется хорошей;
2) О шансах выбрать хорошую стратегию — вероятность того, что отклонённая стратегия окажется хорошей;
3) О шансах выбрать хорошую стратегию — вероятность того, что выбранная стратегия окажется плохой;
4) О шансах выбрать хорошую стратегию — вероятность того, что отклонённая стратегия окажется плохой.

Для того, чтобы найти эти вероятности мы воспользуемся теоремой Байеса. Но сначала нам нужно будет досчитать некоторые вероятности и скорректировать их на основе того, как мы интерпретируем расхождения в мнениях тестов относительно стратегии.

Тривиальный случай

Пусть О шансах выбрать хорошую стратегию, т.е. в нашем распоряжении имеется всего один тест для стратегии. Очевидно, в этом случае никаких неоднозначностей в результатах тестов быть не может.

Досчитаем недостающие вероятности, характеризующие качество теста:
О шансах выбрать хорошую стратегию — вероятность принять плохую стратегию;
О шансах выбрать хорошую стратегию — вероятность принять хорошую стратегию.

Найдём полные вероятности того, что мы примем или отклоним стратегию:
О шансах выбрать хорошую стратегию;
О шансах выбрать хорошую стратегию.

Теперь при помощи теоремы Байеса мы легко найдём нужные вероятности:
О шансах выбрать хорошую стратегию;
О шансах выбрать хорошую стратегию;
О шансах выбрать хорошую стратегию;
О шансах выбрать хорошую стратегию.

Остаётся взять конкретные значения О шансах выбрать хорошую стратегиюО шансах выбрать хорошую стратегиюО шансах выбрать хорошую стратегию и сосчитать.

Оптимистичный выбор стратегий

Теперь допустим, что О шансах выбрать хорошую стратегию. Будем оптимистами и примем стратегию, если хотя бы один из тестов не отвергает её. Мы можем свести этот случай к предыдущему, но для этого нам придётся пересчитать вероятности отклонения хороших и плохих стратегий, а также вероятности принятия хороших и плохих стратегий. Сделаем это!

О шансах выбрать хорошую стратегию;
О шансах выбрать хорошую стратегию;
О шансах выбрать хорошую стратегию;
О шансах выбрать хорошую стратегию.

Используя эти скорректированные вероятности находим полные вероятности принятия и отклонения стратегии, а также все интересующие нас вероятности по теореме Байеса.

Пессимистичный выбор стратегий

Вновь допустим, что О шансах выбрать хорошую стратегию. Но на этот раз мы будем отклонять стратегию, если её отклонил хотя бы один тест. Как и в прошлый раз — сведём задачу к тривиальному случаю, пересчитав вероятности:

О шансах выбрать хорошую стратегию;
О шансах выбрать хорошую стратегию;
О шансах выбрать хорошую стратегию;
О шансах выбрать хорошую стратегию.

Насколько всё плохо

Проведём вычисления для нескольких вариантов сочетаний вероятностей О шансах выбрать хорошую стратегиюО шансах выбрать хорошую стратегию и О шансах выбрать хорошую стратегию. Рассмотрим все три случая отбора стратегий: тривиальный (О шансах выбрать хорошую стратегию), оптимистичный и пессимистичный, положив О шансах выбрать хорошую стратегию:
О шансах выбрать хорошую стратегию

Из таблицы видно:
1) Уменьшение вероятности О шансах выбрать хорошую стратегию отклонения хороших стратегий несёт гораздо меньше пользы, чем увеличение вероятности О шансах выбрать хорошую стратегию отклонения плохих стратегий;
2) Оптимистичный выбор стратегий сильно повышает вероятность О шансах выбрать хорошую стратегию принять хоть какую-то стратегию, однако в этом случае принятая стратегия с большой вероятностью О шансах выбрать хорошую стратегию окажется плохой;
3) Пессимистичный выбор стратегий снижает вероятность О шансах выбрать хорошую стратегию принять хоть какую-то стратегию, однако при этом резко возрастает вероятность О шансах выбрать хорошую стратегию того, что выбранная стратегия окажется хорошей.

Очевидно, на чём стоит сфокусировать усилия, а также по какому принципу не стоит отбирать стратегии (либо у вас должна быть весомая причина пренебречь результатами отдельных тестов для конкретной стратегии).
НОВОСТИ ПО ТЕМЕ
ВЫБОР РЕДАКЦИИ