Тренды урожайности зерновых в России за последние двести лет. (часть 1)

В опубликованных на этом ресурсе статьях неоднократно встречаются отсылки к урожайности зерновых в России, во всевозможном контексте (обычно говорится о низкой урожайности, чаще всего без сравнения с предыдущими периодами). Думаю, этот вопрос стоит рассмотреть подробно, тем более что при этом можно сделать несколько весьма интересных выводов.

Динамика урожайности зерновых в России прекрасно описана в работе экономистов (Растянников В.Г., Дерюгина И.В. Урожайность хлебов в России. 1795 — 2007, http://library6.com/3596/item/314111 )

Данный труд стал уже классическим исследованием нашего вопроса, в нем проделана огромная работа по сбору и анализу данных, но вот со сделанными в нем выводами я не могу согласиться. Давайте ознакомимся с этим исследованием:

рисунок 1

На графике приведены исторические этапы динамики урожайности зерновых в нашей стране. На график урожайности наложены прямые, соответствующие выделяемым авторами периодам. В цифрах это выглядит так:

Под катом краткий рассказ о линейных моделей для тех, кто никогда о них не слышал.

Авторы выделяют периоды стагнации урожайности, это временной отрезок до 1867 года и период 1915-1949 годов, и периоды роста, умеренного с 1867 по 1915 и интенивного с 1949 по конец семидесятых.

Оговорюсь, что период со второй половины 80-х до настоящего времени достоин отдельного рассмотрения, и в моих заметках рассматриваться не будет.

Сразу же выделяется четвертый период, начинающийся в 1949 году, наблюдаемый с этого момента рост урожайности резко выпадает из общего фона, уже к началу 60-х годов урожайность в неурожайные годы превосходит таковую в урожайные годы прошлых периодов. С этого момента продовольственная проблема в СССР перестает быть по настоящему острой. Причины такого развития событий вполне очевидны — это научная организация труда, механизация, развитие агротехники и отдача от систематической селекционной работы. Как иллюстрацию можно привести таблицу производства минеральных удобрений:

Вернувшись к периодизации исторический этапов динамики урожайности, нельзя обойти вниманием вопрос разграничения временных периодов, так как некоторые из них не очевидны. Авторы решают этот вопрос следующим образом:

Метод «разорванного»

тренда предполагает, что линия тренда описывается не одним урав-

нением на протяжении всего исследуемого периода, а имеет разные

уравнения (линейного типа) и, соответственно, на графике – различ-

ный наклон, зависящий от интенсивности изменения урожайности.

Предложенный в работе метод состоит в следующем. На первом этапе, при-

бегнув к экспертному анализу, мы выделяли возможные 5-летние

области, в рамках которых предположительно могла находиться

точка перелома тренда. Таким образом, график натуральных вели-

чин как бы разбивался на две части с одной общей 5-летней обла-

стью, но так как исследовалось сразу несколько предполагаемых

областей перелома, то и вариантов разбивок было несколько. Для

каждого варианта разбивки на стороне каждой из двух частей гра-

фика рассчитывались (по методу наименьших квадратов) две пере-

секающиеся линии тренда. Критерием выбора нужного варианта

разбивки были два необходимых условия: во-первых, точка пересе-

чения тренда должна была находиться в 5-летней области перелома,

ранее предположенной именно для данного варианта разбивки; и,

во-вторых, стандартная ошибка отклонения пересекающихся трен-

дов от реального ряда показателей для данного варианта (по сравне-

нию с другими вариантами) должна была быть минимальна.

Страница 94 рассматриваемой работы.

Если изложить это короче и своими словами, то точки перелома тренда определялись волевым решением экспертов, а построенные на них прямые - линии тренда должны сшиваться по возможности с минимальным зазором. Посмотрим, как авторы справились с этим. Для начала попробуем воспроизвести графики из данной работы с помощью приведенных в ней данных.

рисунок 4

Очевидно, что график воспроизводится корректно.

Попробуем воспроизвести линии тренда:

Похоже, но визуально картинка отличается. Под катом приведу восстановленные коэффициенты линейных уравнений, они cхожи, но есть заметная разница для третьего периода.

Длительность периода 67
свободный член 5.2868385346 
угловой коэффициент -0.0003591667 
R квадрат -0.01528747

Длительность периода 48
свободный член 5.38005319 
угловой коэффициент  0.2692402
R квадрат 0.2692402

Длительность периода 34
свободный член 7.32406417 
угловой коэффициент  -0.02708938
R квадрат 0.01685177

Длительность периода 42
свободный член 7.2948897 
угловой коэффициент   0.2329066
R квадрат 0.7736822

Рассмотрим внимательнее третий период. Авторы исследования пишут о нем так:

Итак, считается, что в этот период урожайность зерновых непрерывно падает. Насало падению положено Первой мировой войной, а дальнейшее установление Советской власти только ухудшает, по мнению авторов исследования, ситуацию:

Но, легко убедиться, что авторы исследования включают в третий период такое исключительное событие, как Великая Отечественная война. Это удивительно, потому что считать положение дел сельском хозяйстве во время войны обычным или похожим на предыдущие и последующие годы совершенно невозможно по понятным всем соображениям. Подобная ситуация в статистике именуется «выбросом», результатом измерений, резко выделяющимся из общей выборки. Величину этого выброса можно наблюдать на рисунке 4, а его влияние мы попробуем оценить, исключив годы войны и послевоенной засухи и неурожая из рассмотрения:

Тут же оказывается, что реальная ситуация в сельском хозяйстве полностью отличается от выводов авторов исследования, в третий исторический период мы видим замедление роста , но никак не падение урожайности.

После такого удивительного открытия стоит внимательнее присмотреться и к левому краю графика на рисунке 1, так как он не вполне соответствует картине, вырисовывающейся при рассмотрении его же, но в очищенном от линий тренда виде (рисунок 4). Если применить сглаживание к нашим данным, то можно получить подобный график:

Как мы видим, отнесение начала 2 периода к 1867 году имеет ту же природу, что и «падение» урожайности в третьем периоде — чисто идеологическую. Отмена крепостного права в 1861 году слишком удобная точка, перелом тренда после нее выглядит логично и обоснованно. Изменение же тренда урожайности в конце 40 годов 19 века от авторов не ускользнуло, о чем говорит следующий их пассаж:

Судя по всему авторы исследования еще до его начала уже представляли, какие выводы они сделают.

Давайте взглянем на всю картину непредвзято. Первый период, который авторами исследования считается периодом медленной стагнации урожайности ровно с таким же успехом можно считать периодом стабильности. Падение на одну тысячную процента в год слишком мало, чтобы уго можно было уверенно считать именно падением, а не случайным стечением обстоятельств. Окончание периода стабильности (или медленного падения) урожайности закончилось в конце 40-начале 50 годов 19 века, после чего начался длительный период роста урожайности. Выделение авторами исследования четвертого (1915-1949 г.г.) периода, периода стагнации урожайности, основано на включении в него периода Великой Отечественной войны, исключительного события, резко выделяющегося на общем фоне. Таким образом, выделяемые авторами исследования второй и третий периоды можно объединить в один, период постоянног слабого роста урожайности. Графически это выглядит так:

Под катом полученные коэффициенты линейных уравнений:

Длительность периода 49
свободный член  5.35994898 
угловой коэффициент 0.00427551  
R квадрат -0.014

Длительность периода 100
свободный член  5.3552727 
угловой коэффициент 0.0190243  
R квадрат 0.218

Длительность периода 42
свободный член  7.2948897 
угловой коэффициент 0.2329066  
R квадрат 0.7736822

Чем же так выделяется 1850-й год, год слома тренда урожайности? Его основная особенность в том, что он ничем не выделяется. 
То есть, мы наблюдаем столетний тренд медленного роста урожайности, начавшийся без видимых причин и существовавший независимо от политических и экономических событий в стране. Изменялось политическое устройство, экономические формации, проходили войны, стальной конь приходил на смену крестьянской лошадке, а в урожайности российских зерновых наблюдалась одна и та же тенденция к медленному неуклонному росту.