Инструментарий стратегического прогнозирования
19 м. | 2021-03-22П олитики, ответственные за национальную безопасность своей страны, сталкиваются со множеством проблем, когда они проводят её внешнюю политику и планируют крупные инвестиции в системы безопасности, на разработку и приобретение которых часто уходят десятилетия, с предположительным полезным сроком службы от 25 до 50 или более (до конца века) лет. Это требует от них обладанием необходимой дальновидности. А чтобы добиться этого, должна проводиться, в постоянном режиме, огромная работа по мониторингу развивающейся ситуации и складывающихся условий в международных (глобальных и региональных) отношениях, на предмет, чтобы выявить и раскрыть признаки, характерные по возникающим (формирующим) проблемам в военно-политических и экономических отношений. Когда они появляются, лица, проводящие государственную политику, должны определить ответные шаги и прогнозировать, по ним, потенциальные последствия различных вариантов.
Это то, что и называется стратегическим военно-политическим (и экономическим) прогнозированием.
Это сложная задача в наше время, когда процессы глобализации и глобальной регионализации, распространения технологий, рост населения и миграция, нарастающий процесс реструктуризации международной системы ставит перед разработчиками/стратегами политики и вводит в оборот их практической деятельности ряд таких существенных неопределенностей, которые невозможно было вообразить 10-15 лет назад, и даже в период холодной войны.
Аналогичные задачи стоят перед политиками нашей страны, которым следует спрогнозировать возможные направления, по которым могут развиваться военно-политические, экономические межстрановые отношения ближневосточного и южно-кавказского региона.
Американский политолог, основатель и директор разведывательно-аналитической организации «Stratfor». Дж.Фридман в своей статье “Стратегическое прогнозирование: объективное измерение разведывательной деятельности” отмечает:
Стратегическое прогнозирование относится к той части разведывательной деятельности, в фокусе которой находятся события, оказывающие глубокое, фундаментальное воздействие на международную систему... Такие стратегические события имеют долгосрочные последствия и оказывают влияние на действие основополагающих механизмов мировой системы.
Свою лепту в разработку концепций для понимания моделей на будущее в военно-политических, экономических отношениях могут внести политологи, социологи и экономисты. Цель - построение моделей, которые, с большой степенью вероятности (высокой надежностью) предупредят об изменениях и прогнозируют потенциально возможные складывающие ситуации в международной системе, в переживаемый нами период высоких неопределенностей.
Интересными наблюдениями делиться в вопросе “политического прогнозирования” Stanley A. Feder [1]. Как он пишет, опыт научил его «прагматично и скептически относиться к методам прогнозирования. Основной вопрос при оценке метода прогнозирования не в том, «Может ли он сказать нам, что произойдет?» Вопрос первостепенной важности при разработке политики заключается в следующем: «Может ли это не вызвать у нас удивления?»
Не углубляясь конкретно, в проблематику военно-политического, экономического прогнозирования [2], тематики которых мы еще отдельно обсудим, отметим лишь, что эффективность мониторинга условий (см. выше), зависит от того, как ищется и просматривается информация, как она воспринимается. Во многом это определяется культурой мышления, заложенной в организации, её способностью развивать свой собственный подход по аналитике на складывающую ситуацию. Образ мышления - это «фиксированное отношение или состояние ума», которое обеспечивает контекст для интерпретации данных или событий или для принятия решений» (определение из словаря Webster's Collegiate Dictionary).
Образ мышления (система взглядов) был основной причиной провалов политики и разведки на протяжении последних 50 лет [3]. В 1978 году политические, разведывательные и академические круги были удивлены свержением шаха Ирана. Спустя почти два десятилетия эти три круги снова были удивлены распадом Советского Союза. Одна из немногих организаций, речь идет о Royal Dutch / Shell Oil, которая к началу 1980-х годов рассматривала возможность радикальных изменений в СССР. Они искали доказательства того, что такое событие возможно, а понимание к Shell пришло “поскольку она поставила правильный вопрос”, которое сформировалось из её способности рассмотрения более одного сценария [4], идею которого мы обсудим ниже.
За прошедшие годы в политике и разведке различных стран были неудачи, но также было много успехов, что во многом определялось способностью их политиков, аналитиков к восприятию наблюдаемых противоречий в военно-политических, экономических сферах, профессиональным любопытством к разнообразным, в том числе, “аномальным” данным и готовностью заниматься аналитикой, не брезгуя и “спекулятивным” мышлением. Аналитические и прогнозные методы, построенные на них модели могут усилить или ослабить эти способности. В современных условиях кризисной трансформации миропорядка и социально-экономических отношений, особо значимо эффективно определенные по ним вопросы и правильно выбранные методологии стратегического прогнозирования, моделирования и планирования будущего.
В более общем контексте, прогностические модели, которые включают в себя политические модели стратегического прогнозирования, используются для изучения всех типов конфликтов и политического давления (гражданские войны, международные конфликты, терроризм, геноцид и протесты и т.д.). С их помощью, на основе полученных модельных результатов, исследователь оценивает сформулированную экспертами прогноз на точность и надежность. В практике, их применение привело к многочисленным существенным, эффективным с точки зрения военно-политической, экономической деятельности, выводам.
Имея дело с неопределенностью
С уществует относительно небольшая, но содержательная литература по проблематике военно-политического прогнозирования, которые выделяется масштабом и качеством охвата, с разных точек зрения, вопросов теории, критериев оценочных прогнозов и ряда методов прогнозирования. Однако, что характерно для них, когда дается прогноз на будущее, то, чаще всего принимают возможным вариантом развития только один путь.
Аналитические отчеты, подготовленные в разведывательном сообществе показали, что [5] основным фактором неудачных оценок было чрезмерно осторожное, чрезмерно консервативное прогнозирование с единичным исходом... Эта склонность к прогнозированию с выбором единственного результата сильно уменьшила оценочные шансы, и тем самым, практически отвергла пройденные исторические события прошлого. Это усилило некоторые из худших аналитических опасностей, а именно, - предвзятость и предубеждение в отношении преемственности предыдущих тенденций.
Прогнозы с одним исходом не уменьшают неопределенности. Они только увеличивают границы неожиданности.
Однако проблема не только в этом. Важно понять, что ни один прогноз не является абсолютно надежным. Серьезной проблемой для политиков может стать неполная или неточная информация. Но политики сталкиваются и с другими формами неопределенности. К ним относятся не вполне адекватно выбранные концептуальные рамки парадигмы исследования, слабые теоретические основы понимания изучаемых, в основном, незнакомых ситуаций.
Сценарий “О перспективах Израиля создать свой вариант НАТО на Ближнем Востоке”
Идея ближневосточного НАТО впервые была высказана Трампом в 2017 году и тогда дружно была поднята на смех экспертным сообществом. Но сейчас становится очевидным, что она не так уж и невероятна.
Наблюдаются тектонических сдвиги в геополитической карте Ближнего Востока, в отношениях между Израилем и арабским миром.
Но, вся суть приведенного примера заключается в том, что, как изначально прогнозировалось с позиции установления союзников, в реальности все оказалось наоборот.
К концу шестидесятых Израиль успешно сотрудничал с неарабскими странами региона - военное сотрудничество с Турцией и дружба с Ираном. А сейчас все переменилось. Тегеран стал главным врагом Израиля, а арабский мир идет на дружбу с Израилем.
Модели прогнозирования
П рогнозное моделирование становится одной из стандартных практик во многих сферах общественной деятельности, и сфера международных отношений не исключение. Все это сопровождается возросшими ожиданиями политического сообщества, что подобные исследования могут, на раннем этапе, предупредить о возможности возникновения конфликтов, и не только.
Растущее число успешных, одновременно имеющих сложную конструкцию, военно-политических, экономических и финансовых прогнозных моделей показывает, что дисциплина достигла определенного уровня зрелости. Особенно обнадеживающим является множество схем и методов, разработанных учеными за последние годы для улучшения предсказательной способности (раннего предупреждения) таких моделей [6].
При выборе модели прогнозирования организации сталкиваются с возможностями их выбора из множества вариантов. Вы можете отдать предпочтение простым вариантам прогнозирования или сложным методам, требующими учёта различных возможностей. Каждый подход имеет свои сильные и слабые стороны.
В настоящее время, по оценкам ученых насчитывается около 150 различных методов для прогнозного моделирования, однако на практике наиболее часто используется только 15—20 методов.
Методы прогнозирования можно классифицировать по-разному. Здесь мы представим два подхода, которые позволят ясно представить все её разнообразие.
При первом способе классификации, мы исходим из понимания, что некоторые военно-политические, экономические, научные и в других сферах события трудно спрогнозировать, хотя, имеется вполне естественное желание их идентификации среди класса ожидаемых, которые несут в себе элементы неопределенностей. Подобная неопределенность может спровоцировать структурные сдвиги и внезапные изменения в анализируемых сферах, что вполне естественно может сказаться на прогнозных результатах, особенно, если, он основан на исторических данных, которые изменяются медленно в течении времени и поэтому подходят, как информация, только для изучения таких событий, которые характеризуются незначительными изменениями. Проблема решается не только основываясь на имеющихся знаниях и систематически собираемых данных, но с принятием во внимание мнений экспертов.
При втором подходе классификации, мы разделяем методы прогнозирования на две категории: качественные и количественные. Это достаточно простой способ классификации, в виде перечисления методов, что несколько облегчает краткое обозрение их множества.
Сначала представим первый тип классификации и обсудим три различных подхода.
Во-первых, начнем со структурного метода, с помощью которого предсказываются результаты протекающих общественных процессов на уровне страны, региона, города. Этот традиционный подход использует эконометрический инструментарий и алгоритмы нейронных сетей. Вносимые, в последнее время нововведения повысили точность прогнозирования структурных моделей. Но высокий уровень временной или пространственной агрегации ограничивает его возможности, особенно потому, что описывающие их переменные (ковариаты) могут изменятся очень медленно. Соответственно, структурный подход не может реально преодолеть проблему, заключающуюся в том, что он полагается на макропоказатели для прогнозирования относительно редких событий, особенно, если происходят они на местном уровне.
Требование на наличие надежной эмпирической основы для любого прогноза особенно актуально при изучении ключевых социальных или экономических тенденций, на которые влияют множество событий, с неопределенными характеристиками явлений. Модели на основе ограниченной/неполной эмпирики как результат могут дать неточные/ненадежные прогнозы.
Во-вторых, чтобы обойти некоторые проблемы структурного подхода, ученые часто прибегают к временным рядам. Основным преимуществом моделей временных рядов является возможность моделировать динамику процесса, развивающаяся внутри конкретного конфликта. В случаях, когда сезонные или другие тенденции могут повлиять на прогнозы, этот метод позволяет корректировать исторические данные на основе этих тенденций. Преимущество её применения возрастает, если включить в неё экспертные заключения в форме “байесовских априорных оценок” (статистическая оценка, минимизирующая предполагаемое ожидание потерь), основанных на существующих теоретических и эмпирических исследованиях динамики конфликтов. Для этого используют два байесовских метода оценок: байесовскую векторную авторегрессию (BVAR) и байесовскую векторную авторегрессию с переключением Маркова (MS-BVAR), которые учитывают фазовые сдвиги в поведении участников конфликта.
И в третьих, теоретическая игра Брюса Буэно де Мескита [7], которая может включить в прогнозную модель информацию о драматических событиях фиксируемых в международных отношений, задаваемая в виде экспертного мнения. Используемы в качестве входных данных для стратегической модели, с их помощью рассчитывают прогнозы по возможным исходам изучаемых политических конфликтов. Этот подход особенно хорошо подходит для разработки сравнительных оценок моделей.
Учитывая все плюсы и минусы предлагаемых методов в данной классификация, со всей очевидностью можно утверждать, что ни один из этих подходов не может дать наилучшего решения. На наш взгляд, это подчеркивает ту основополагающую идею, что, хотя все три представленных здесь подхода имеют определенные преимущества в конкретном контексте, нет необходимости использовать их изолированно друг от друга.
Теперь перейдем к второму типу классификации.
Количественные методы прогнозирования
К оличественное прогнозирование применяется в виде математической функции от исторических данных, с условием, что сохранится наблюдаемая динамика на будущее.
Среди методов, которые широко используются для построения моделей прогнозирования, отметим, в первую очередь, статистические подходы, с условием, что корреляции, отмеченные в прошлом, сохранятся и на будущее.
Вот, только некоторые из наиболее часто используемых количественных моделей, которые представлены в таблице “Методы и характеристики прогнозирования”.
Метод линейного прогнозирования - один из доступных в реализации, требующий не сложных математических расчетов и обеспечивающий разумные оценки того, что можно ожидать в будущих сценариях.
Скользящее среднее - средняя величина определенного показателя, используется для оценки месячных временных рамок. Она может помочь понять пики и спады, которые происходят от одного месяца к другому.
Линейная регрессия – на основе имеющейся взаимосвязи между переменными x и y строится линия тренда, которая используется для прогнозирования будущих результатов.
Временные ряды - стратегия, лежащая в основе этого метода прогнозирования, предполагает выявление закономерностей в исторических данных, которые могут повториться в будущем.
Экстраполяционные методы прогнозирования – сущность методов экстраполяции заключается в изучении и переносе на будущее сложившихся тенденций развития системы. Метод экстраполирования предполагает инерционные сценарии развития имеющихся тенденций в будущем, и не учитывает возможные очень сильные нелинейные изменения, события чрезвычайного характера.
Качественные методы прогнозирования
К ачественное прогнозирование использует “мягкие” данные, в форме экспертных оценок (субъективные мнения и суждения).
Вот некоторые из качественных моделей, которые представлены в таблице “Методы и характеристики прогнозирования”.
Экспертные (эвристические) методы прогнозирования (экспертные оценки) используются в случаях, когда невозможно учесть влияние многих факторов из-за значительной сложности объекта прогнозирования, когда имеется высокий уровень неопределенности и нестабильности его функционирования. В этих случаях прибегают к опросу экспертов (на индивидуальном или коллективном уровне). Полученные оценки используют как конечные прогнозы или в качестве исходных данных прогнозирования.
Метод коллективной экспертизы получили весьма широкое распространение. Одним из таких подходов является «мозговая атака», суть которой состоит в проведении совместных заседаний экспертов по определенным правилам.
Метод прогнозирования Delphi - проводится индивидуальный опрос экспертов в форме анкет, для выяснения относительной важности и сроков совершения гипотетических событий. Собранная информация подвергается статистической обработке, на основе которого формируется групповое коллективное мнение группы, одновременно, доводят их до сведения экспертов. Если они не согласны с коллективным мнением, их просят пересмотреть оценки и объяснить причины своего несогласия. Процедура повторяется три-четыре раза. В результате происходит сужение диапазона оценок.
Маркетинговые исследования рынка широко используются в деловом мире для оценки потенциальных сценариев.
Необходимость переосмысления концепций
К ак показывает практика, стратегическое прогнозирование пока не стала панацеей для предвидения в международных событиях вероятных внезапных изменений. Вполне естественно поставить вопрос, действительно ли применяемые теоретические конструкции способствуют нашему пониманию того, почему произошли определенные события, и точному предсказанию события в будущем?
Многие из рассмотренных выше моделей работали достаточно хорошо после Второй мировой войны, на фоне наблюдаемой стабильности. Но сегодня эта парадигма, основанная на ньютоновской механистической концепции, уже недостаточна для понимания мира и управления в условиях политической неопределенности. Нам необходимо изменить метод, который мы используем для осмысления стратегии.
Одним из наиболее надежных способов выход из ситуации является разработка проблематики прогнозирования будущего в контексте анализа функционирования сложных систем, то, что математики называют теорией сложности, а также более широкого применения сценарного планирования возможных вариантов развития обществ.
Стивен Манн, американский идеолог геополитической технологии «управляемого хаоса» (бывший дипломат и советолог, координатор «цветных революций» в некоторых постсоветских странах, бывший американский сопредседатель Минской группы ОБСЕ по Нагорному Карабаху) отмечает [8] «Мир становится всё более сложным, традиционные теории менее способны на объяснения… Классическое стратегическое мышление пытается описать конфликт в линейных, причинно-следственных терминах, оно вынуждает нас упростить сложные ситуации приводя их к нескольким основным вариантам».
Есть проблемы, которые невозможно решить в каких-то определенных рамках, и мы должны отдать должное нелинейности (нелинейной динамике), различным сценариям, иррациональному, и выход из старой, классической стратегии вырисовывается из этой интуитивной сердцевины. Если мы открыты для разнообразных научных установок, мы можем выработать более дееспособные принципы стратегии, чем те, которыми мы пользуемся сейчас.
Сотрудник Центра Карнеги Томас де Вааль предлагает нам «… думать о будущем, а не о прошлом… У Армении как у маленькой страны есть условия, чтобы быстро меняться. Ей нужно прекратить тратить драгоценные ресурсы на внутриполитическую борьбу и направить их на развитие человеческого капитала, искать любые возможности для развития и роста. Хочу сказать, что невозможно изменить Азербайджан, сидя только в Ереване, зато можно изменить Армению».
Теория сложностей, нелинейная динамика и стратегическое мышление
Т еория сложности описывает системы автономных субъектов, которые могут демонстрировать нелинейное поведение. Очень небольшие изменения одной переменной могут иметь огромные последствия для всей системы, которое выражается в процессное движения в форме чередования периодов динамического равновесия и нестабильности, после чего она перейдет уже в состояние динамического равновесия. Но, следует принять во внимание, что в наблюдаемые периоды нестабильности система может в своем развитии идти любым из нескольких возможных путей.
Специалисты, работающие в социальных и экономических науках, в политике осознают, что основные их проблемы отличаются сложностью и нелинейностью. Линейное мышление хорошо работает лишь в ограниченных условиях.
Теория сложности полезная эвристика для политических исследований. Вместо классического взгляда на науку, устраняющую неопределенность, новая научная парадигма принимает неопределенность как неизбежность. Но настоящая ценность нелинейной динамики находится именно в сфере национальной стратегии, а интригующее место теории нелинейной динамики — “самоорганизованная критичность” — превосходно соответствует ей в качестве анализа. Самоорганизованная критичность показывает нам огромное разнообразие акторов в критическом состоянии, которое неизбежно будет прогрессировать в сторону временной стабильности после катастрофического переустройства. Здесь нет необходимости в стабильности в отношении применения модели.
Традиционная, классическая модель международных отношений, предназначенная для оценки наших возможностей влиять на события, может, по результатам прогноза, указать на низкую вероятность нашего воздействия на события, в тоже время, оставляя для других основных игроков широкие возможности влиять на события. Тогда, как, если мы обратимся к нелинейным моделям, парадигма самоорганизованной критичности выявит возможности существования диспропорционных эффектов, которые могут задействовать небольшие акторы (небольшие страны, вроде Армении).
Сценарное планирование и стратегическое прогнозирование
С точки зрения практического использования, наиболее значимым методом прогнозирования будущего, является сценарное планирование.
Тогда, стратегическое предвидение, множество вариантов будущего, можно получить рассматривая её с нескольких точек зрения, иными словами, имея несколько сценариев и планируя их. Сценарии - это альтернативные варианты будущего, в которых могут быть реализованы сегодняшние решения.
Сценарный анализ мало используется в академической политологии. Это несколько досадно, поскольку она представляет из себя качественную форму моделирования, хорошо подходящую для изучения потенциальных событий в широком диапазоне областей.
Имеются поучительные примеры использования этого подхода. В конце 1960-х годов Пьер Вак (Pierre Wack) из Royal Dutch/Shell Oil возглавил группу планирования, которая усовершенствовала методологию и сделала ее ценным инструментом для долгосрочного планирования. В своих публикациях (Harvard Business Review за 1985) он описывает, как использование его командой сценариев позволило Shell предвидеть нефтяной кризис 1973 года. [9]
В политическом, менеджерском, разведывательном сообществах имеются аналитические группы, которые успешно используют сложные методы сценарного анализа. [10]
Сами по себе сценарии не определяют стратегию больше, чем прогнозные результаты. Стратегия должна быть разработана с учетом набора сценариев, и принимая их во внимание, можно будет пройти, несколькими маршрутами, путь сценария к стратегии. Вместо того, чтобы выбирать один сценарий и делать на ней ставку, правильнее будет, найти стратегию, которая представляется надежной по всему диапазону сценариев. Иногда соответствующие сценарии настолько разнообразны, что ни одна стратегия не может преобладать во всех из них. В таких случаях, надо предусмотреть по стратегии для каждого сценария, а затем, на начальном этапе сценарного анализа, очень внимательно отслеживать за индикаторами (которые характеризуют сценарий), что поможет выявить наиболее вероятный среди всех сценарий.
В практике сценарного планирования есть много здравого смысла. Но есть много способов ошибиться.
Заключение
С егодня объективно необходимо, чтобы соответствующие государственные структуры, научные и общественные организации, в задачи которых входит проблематика стратегического прогнозирования и планирования, сфокусировали внимание на обеспечении реализации конкретных решений по предотвращения наихудших сценариев развития.
Обеспечивая связь между научно-практическими исследованиями и политической волей руководителей исполнительной власти, можно будет прийти к принятию политических решений, ключевая идея которой заключается в поддержании устойчивого развития мира в Армении и регионе.
Важным психологическим препятствием на пути научного прогнозирования являются многочисленные примеры не оправдавшихся видений на будущее [11]. Выявление намечающихся негативных тенденций социально-экономической и политической эволюции в условиях их неочевидности и нежелания воспринимать эти изменения, демонстрируемого со стороны членов как общества, так, и государственного аппарата – объективно непростая задача.
Вопрос стратегического планирования будущего, на основе полученных прогнозов, вопрос безусловно идеологический, так как затрагивает проблемы управления изменениями, которые не вписываются в сложившуюся либерально-рыночную парадигму социально-экономического и политического анализа. Объективно назревшая необходимость внедрения идеологии планирования прежде всего сталкивается с препятствиями мировоззренческого, идейного порядка.
Литература
- Forecasting for policy making in the post-cold war period. Stanley A. Feder. Annual Reviews Polit. 2002. 5:111–25
- Политическое прогнозирование в дипломатической деятельности. Владислав Терехов, Чрезвычайный и Полномочный Посол, профессор кафедры дипломатии МГИМО(У) МИД России. Право и управление. XXI век.
Прогнозирование социально-политических процессов и конфликтов в странах Запада и в России. Редкол.: В.И. Пантин (отв. ред.), И.С. Семененко (отв. ред.), В.В. Лапкин, К.Г. Холодковский. М.: ИМЭМО РАН, 2016, 183 с.
Урри Дж. Как выглядит будущее? Издательский дом «Дело» РАНХиГС. 2018
- Stanley A. Feder. Overcoming “mindsets”: what corporations can learn from government intelligence failures. Intell. Rev. 2000. 11:28–36
- Schwartz P. 1991. The Art of the Long View: Planning for the Future in an Uncertain World. New York: Doubleday. 258 pp.
- Armstrong WC, Leonhart W, McCaffrey WJ, Rothenberg HC. 1995. The hazards of single-outcome forecasting. See Westerfield 1995, pp. 238–54
Choucri N, Robinson TW, eds. 1978. Forecasting in International Relations: Theory, Methods, Problems, Prospects. San Francisco: Freeman. 468 pp
- Forecasting in International Relations: One Quest, Three Approaches. Gerald Schneider, Nils Petter Gleditsch, Sabine Carey. First Published March 4, 2011 Research Article.
- Axelrod R. 1997. The dissemination of culture: a model with local convergence and global polarization. Confl. Resolut. 41(2):203– 26
Jervis R. 1997–1998. Complexity and the analysis of political and social life. Polit. Sci. Q. 112(4):569–93
Bueno de Mesquita B. 1998. The end of the Cold War: predicting an emergent property. J. Confl. Resolut. 42(2):131–55
- Wack P. 1985a. Scenarios: uncharted waters ahead. Bus. Rev. 5:72–89
Wack P. 1985b. Scenarios: shooting the rapids. Harv. Bus. Rev. 6:139 – 50
Yergin D, Gustafson T. 1993. Russia 2010 and What It Means for the World. New York: Random House. 302 pp.
- Armstrong WC, Leonhart W, McCaffrey WJ, Rothenberg HC. 1995. The hazards of single-outcome forecasting. See Westerfield 1995, pp. 238–54
Choucri N, Robinson TW, eds. 1978. Forecasting in International Relations: Theory, Methods, Problems, Prospects. San Francisco: Freeman. 468 pp.
Scenario Planning and Strategic Forecasting. Jay Ogilvy. 2015.
- Стиглиц Дж. Ревущие девяностые. Семена развала. - М.: Современная экономика и право, 2005.
Гэмбл Э. Кризис без конца?: крах западного процветания. - М.: Издательский дом Высшей школы экономики, 2018.
Травин Д., Маргания О. Европейская модернизация: в 2 т. - М.: АСТ; СПб.
Талеб Н.Н. Чёрный лебедь: под знаком непредсказуемости. Изд. 2-е, доп. - М.: КоЛибри; Азбука-Аттикус, 2018
Поппер К.Р. Нищета историцизма. - М.: Прогресс: VIA, 1993. – 185 с.