Являются ли результаты сотен академических исследований на Западе в финансовой и других сферах подделкой?

Аватар пользователя Инженер2010

Кэмпбелл Харви, профессор финансов университета Дьюка, который считает, что, по меньшей мере, половина из 400 стратегий, считающихся  успешными для выхода на рынок, рассмотренных в ведущих финансовых журналах за эти годы, являются поддельными.

Скрытый "кризис репликации" в финансовой сфере

Являются ли ряды престижных финансовых академических исследований статистически ложными?

15.11.2021

Это может выглядеть как малобюджетный плагиат с фильма Blade Runner, но в последнее десятилетие научный мир был охвачен “кризисом репликации” - результаты многих фундаментальных исследований невозможно повторить, что имеет огромные последствия. Страдает ли сфера инвестиций от чего-то подобного?

Это мятежный аргумент Кэмпбелла Харви, профессора финансов университета Дьюка [Частный исследовательский университет, расположенный в городе Дарем, Северная Каролина, США - прим.пер.]. Он считает, что, по меньшей мере, половина из 400 стратегий, считающихся  успешными для выхода на рынок, рассмотренных в ведущих финансовых журналах за эти годы, являются поддельными. Хуже того, он опасается, что многие коллеги-ученые сознательно отрицают это.

“Это огромная проблема", - говорит он. “Первый шаг в борьбе с кризисом репликации в финансовой сфере - это признать, что кризис существует. И прямо сейчас многие мои коллеги еще не готовы это сделать".

Харви - не какой-то малоизвестный аутсайдер или бунтарь-любитель перфомансов, пытающийся привлечь внимание посредством ненужных споров. Он бывший редактор научного журнала The Journal of Finance, бывший президент Американской финансовой ассоциации, советник инвестиционных фирм, таких как Research Affiliates и Man Group.

Он написал более 150 статей по финансовым вопросам, некоторые из которых получили престижные премии. Фактически, диссертация PhD Харви 1986 года впервые показала, как кривые рынка облигаций могут предсказывать рецессии. Другими словами, это не похоже на ситуацию, когда ребенок говорит, что король голый. Харви усиливает критику строгости финансовой науки с 2015 года, что больше похоже на короля, с сожалением заявляющего о своей наготе.

Чтобы понять, что такое "кризис репликации", как он возник и каковы его последствия для финансовой сферы, полезно начать рассмотрение его генезиса с более широкого угла.

Line chart showing how live performance of many ETFs fails to live up to model's promise

В реальности результативность многих биржевых фондов не соответствует обещаниям модели.

В 2005 году профессор медицины Стэнфорда Джон Иоаннидис опубликовал ошеломляющее эссе под названием “Почему большинство опубликованных результатов исследований являются ложными”, в котором отмечалось, что результаты многих медицинских исследований не могут быть воспроизведены другими исследователями. Впоследствии несколько других областей деятельности обратили суровый взгляд на себя и пришли к аналогичным выводам. В основе проблемы лежит явление, которое исследователи называют “p-хакерством”.

В статистике p-значение — это вероятность того, что открытие может быть результатом чистой случайности — простой странности данных, такой как корреляция фильмов Николаса Кейджа с количеством утоплений в бассейнах в США, - или оно “статистически значимо”. P-значения показывают, действительно ли помогает определенный препарат, или дешевые акции действительно со временем дают наибольшую прибыль.

Р-хакерство - это когда исследователи открыто или подсознательно искажают данные, чтобы найти внешне убедительную, но, в конечном счете, ложную связь между переменными. Это можно сделать, выбирая, какие метрики подвергнуть измерениям, или слегка изменяя рассматриваемый период времени. Просто потому, что что-то является узко статистически значимым, не означает, что это действительно значимо. Торговая стратегия, которая выглядит золотым самородком на бумаге, может оказаться ничем иным, как куском угля, когда она будет реализована в жизни.

Харви приписывает бедствие p-хакерства стимулам в академических кругах. Публикация статьи с сенсационным открытием в престижном журнале может принести амбициозному молодому профессору высшую награду — пожизненное пребывания в должности. Напрасная трата месяцев работы над теорией, которая не выдерживает критики, расстроит любого. Поэтому возникает соблазн подвергать данные пыткам до тех пор, пока они не дадут что-то интересное, даже если другие исследователи позже не смогут повторить результаты.

Очевидно, что ставки в кризисе репликации намного выше в медицине, где ставки таковы, что могут пострадать жизни. Но это не то, что ограничено башнями из слоновой кости бизнес-школ, поскольку инвестиционные группы часто не упускают возможности продавать продукты, основанные на явно успешных для выхода на рынок стратегиях, утверждает Харви. “Это проникает в реальный мир", - говорит он. “Это определенно проникает в портфели активов людей”.

AQR, известная финансовая инвестиционная группа, также скептически относится к тому, что существуют сотни устойчивых и успешных факторов, которые могут помочь инвесторам добиться успеха на рынках, но утверждает, что шумиха вокруг “кризиса репликации” преувеличена. Ранее в этом году она опубликовала статью, в которой был сделан вывод, что большинство рассмотренных ей исследований не только могут быть воспроизведены, но и по-прежнему работают “вне первоначальной выборки” — в существующей реальной торговле, и, фактически, дополнительно подтверждены международными данными.

Харви не убедили возражения, и он собирается расквитаться с авторами статьи AQR на ежегодном собрании Американской финансовой ассоциации в начале января. “Это будет очень интересная дискуссия", - обещает он.

Многие из самых одиозных представителей индустрии потирают руки в предвкушении гладиаторской, хотя и умственной, схватки, на старте 2022 года.

Авторство: 
Авторская работа / переводика

Комментарии

Аватар пользователя Андрей Кузнецов

Краем уха слышал историю про лауреатов нобелевской премии по экономике: за разработку стратегии торговли акциями на бирже. После чего им доверили несколько млрд. "зелени" - и они за весьма короткое время всё профукали. Если бы это произошло в России в конце 90х, их бы на куски порезали (реальный случай).

Аватар пользователя Планктон
Планктон(4 года 1 неделя)

В игре не может быть универсальной стратегии.

Как в шахматах - там есть дебюты и контр-дебюты на одну стратегию есть контр-стратегия и ни одна стратегия не гарантирует победы.

Но это не значит, что дебюты не нужны и их не надо изучать - они нужны не для того, чтоб гарантированно выиграть, а для того, чтоб гарантированно не проиграть (когда противник знает дебют, которого ты не знаешь он легко выигрывает).

Т.е. экономические стратегии также не обязаны гарантировать успех, они должны гарантировать, что не будет быстрого проигрыша и будет время на то чтоб изменить стратегию, когда она начинает приносить убытки - но небольшие убытки.

Аватар пользователя Мурман
Мурман(9 лет 10 месяцев)

..Энтропия, Сэр!

Аватар пользователя vasya_
vasya_(6 лет 4 месяца)

Я лично пытался реплицировать одну очень важную статью по финансам с сотнями цитат, не получилось, хотя у меня был доступ и к оригинальным данным и описание того как эти данные обрабатывались. Такой же опыт был и у моих коллег. И это только касательно данных.

Аналогичная ситуация и в компьютерном моделировании, где один только способ интерполяции может значительно повлиять на результаты.

Многие статьи пытаются избежать проблем с данными и пишут что-то вроде "in line with the contemporary literature we assume", что с научной точки зрения есть совершенная капитуляция.

Вишенкой на торте выступает диктат A+ журналов с полумафиозными группами перекрестного цитирования.

Аватар пользователя Инженер2010
Инженер2010(8 лет 4 месяца)

Короче, все в доле.

Аватар пользователя vasya_
vasya_(6 лет 4 месяца)

Если Вам покороче, то это называется "publish or perish"

Аватар пользователя Инженер2010
Инженер2010(8 лет 4 месяца)

Нет, короче - это что-то вроде крылатого выражения в одно слово, а мне подлиннее больше нравится. 

Для других читателей:

«Publish or perish - Публикуй или погибни» - это афоризм, описывающий давление, оказываемое на учёного с целью скорейшей публикации академической работы для достижения успеха в академической карьере. Такое институциональное давление обычно сильнее всего в исследовательских университетах. Некоторые исследователи определили, что среда publish or perish является фактором, способствующим кризису репликации.
Успешные публикации привлекают внимание к ученым и учреждениям, спонсирующим их, что может способствовать продолжению финансирования и их карьере.

В нашем институте много сотрудников из восточного ЕС, которые приезжают по международному сотрудничеству. Сужу по ним, что им надо вырви глаз через три года после появления, а это молодые ребята после окончания тамошних вузов, уже быть готовыми к защите. Иначе никаких дальнейших вариантов.

Аватар пользователя alx_me
alx_me(9 лет 10 месяцев)

Проблемы Харви решаются одним верным утверждением: - Экономика не является наукой. Вуаля! Сразу же не требуется от экономики ни обезличенности, ни матаппарата, ни повторяемости, ни прочих признаков, которые обязаны быть в любой деятельности человека, претендующей хоть каким-либо боком на звание науки. Вороти - куда хошь! Свобода!

Аватар пользователя Слепой и Пью
Слепой и Пью(3 года 2 месяца)

Поиск корреляций между различными событиями занятие очень увлекательное! Мы этим баловались ещё будучи студентами. Причём по всем канонам тервера. Только наука ли это? smile37.gifВсё больше убеждаюсь во мнении, что экономики, как науки, не существует... smile44.gifПо крайней мере в том виде, к какому мы привыкли, когда речь идёт о т. н. естестественных науках. Слишком велик субъективный фактор - как по мне... 

Аватар пользователя GodVeg3
GodVeg3(2 года 10 месяцев)

 «Религия отжила, верить во что-нибудь, кроме науки, есть невежество.
 Наука устроит всё, что надо, и руководствоваться в жизни надо только одной наукой», думают и говорят как сами учёные, так и те люди толпы, которые, хотя и очень далеки от науки, верят учёным и вместе с ними утверждают, что религия есть пережитое суеверие и в жизни нужно руководиться только наукой, т. е. собственно ничем, потому что наука по самой цели своей — исследования всего существующего — не может дать никакого руководства в жизни людей.

Комментарий администрации:  
*** отключен (разновидность спама) ***
Аватар пользователя Слепой и Пью
Слепой и Пью(3 года 2 месяца)

наука по самой цели своей — исследования всего существующего — не может дать никакого руководства в жизни людей.

Так-то да. Но наука в конце концов становится практикой, которой ,собственно, и стоит руководствоваться. 

Аватар пользователя entrance79
entrance79(4 года 11 месяцев)

У виртуальной реальности должна быть виртуальная теория её объясняющая. Проблема только в том, что когда детки заигрались в компьютер, приходит папа из реальность и выдергивает вилку из розетки. И все их виртуальные ордена и медаль теряют всякий смысл. А тут вообще электричество кончилось, даже не нужно ничего выдергивать.

Аватар пользователя Tarita
Tarita(5 лет 11 месяцев)

Почему только в финансах? Проблема воспроизводимости эксперимента в естественных науках с конца 90-х прогрессирует. Плохо работают или много врут - науке неизвестно.

Аватар пользователя Инженер2010
Инженер2010(8 лет 4 месяца)

Так ведь не только, в статье об этом есть.

Аватар пользователя udginee
udginee(4 года 9 месяцев)

если я все правильно прочитал, автор толкует о невидимой руке рынка, верно?

Аватар пользователя СмузиХ12
СмузиХ12(3 года 10 месяцев)

Простой ответ--практически все являются подделкой, как и большинство исследований в социологии и прочих общественных дисциплинах. Масштаб данной катастрофы, иначе не назовёшь, в России понимают слабо, потому что о ней судит точно такой-же контингент "академиков", начитавшихся Modern Monetary Theory (MMT) и оперирующими только монетаристкими понятиями и laissez-faire. Достаточно посмотреть на позорнейший провал практически всей Западной геополитической псевдоакадемии, от фанатика Бжезинского до дурачка Фукуямы, до прочих Хантингтонов с Люттваками, которые и базировали свои "видения" на "экономических постулатах" Запада и которые под эгидой "политических" псевдо наук оставили фолианты лютого бреда. В России у этих "учёных" тоже немало последователей, увы.