Выпускная квалификационная работа бакалавра и магистерская диссертация: общее и особенное 9 глава
Отступление 1.30. Важность определения проблем и постановки задачи при построении математических моделей Один из древних философов сказал, что правильно определить проблему, значит наполовину решить ее. Другой, уже современный мыслитель, по этому же поводу совершенно справедливо заметил, что лучше не до конца решить правильно определенную проблему, чем до конца не правильно определенную. Альберт Эйнштейн, в связи с этим же, остроумно заметил, что правильная постановка задачи важнее даже, чем ее решение. Для нахождения приемлемого или оптимального решения задачи нужно знать, в чем она состоит. Как ни просто и прозрачно данное утверждение, чересчур многие специалисты в науке управления игнорируют очевидное, что и приводит их к весьма значительным потерям. Миллионы долларов расходуются ежегодно на поиск элегантных и глубокомысленных ответов на неверно поставленные вопросы. Не застрахованы от таких ошибок и соискатели различных ученых степеней. Они – эти ошибки – проявляются не только при постановке задач в процессах построения различного рода моделей для проведения модельных экспериментов. Они часто возникают и при формулировании тем диссертационных работ, а также их целей, задач, гипотез и т.п. Поэтому, проводя научное исследование в рамках выполнения диссертационной работы, в том числе и многочисленных испытаний на моделях, соискатель должен, по возможности, сверять получаемые результаты с теми, которые могут быть на практике, советоваться со своим научным руководителем, с экспертами. Источник: Мескон М.Х. и др. Основы менеджмента. М.: Дело, 1992. С. 226.
На этапе построения модели формулируются ее основные цели, объем и точность входной информации. Исследователи-экономисты придают ей соответствующую форму, т.е. строят математические зависимости, отражающие существо проблемы, проверяют связь между ними и т.п. После построения модели ее проверяют на достоверность, на соответствие параметров реальной действительности. Наиболее надежным способом проверки модели является апробация ее на ситуациях из прошлого. В модель вводятся данные, имевшие место в прошлом, производятся расчеты, результаты которых сравниваются с имевшими место в действительности. Если отклонения велики, выясняются их причины, а затем производится корректировка модели. И так до тех пор, пока отклонения не станут приемлемыми.
Безусловно, применение математического моделирования в экономических исследованиях требует специальных и глубоких знаний в области экономики, математики, компьютерных технологий. Овладение ими и профессиональное применение, как показывает практика (отечественная и зарубежная), способно повысить эффективность и результативность производства новых знаний. Непрофессиональное же применение математики, или чрезмерное увлечение ею при игнорировании содержательных аспектов изучаемого явления, приводит к ошибкам. Об этом хорошо и убедительно написал в своей книге [32] доктор экономических наук, профессор МГУ Анатолий Александрович Пороховский (см. отступление 1.31).
Отступление 1.31. Проблемы и последствия непрофессионального применения математики в экономике «…Использование элементарной математики всегда присутствовало в экономическом анализе. Однако с середины ХХ в. и в особенности в связи с широким внедрением ЭВМ и математического моделирования без высшей математики в экономической теории оказалось не обойтись. В самой экономике настолько усложнились взаимосвязи, что широкое внедрение математического аппарата в экономические исследования объективно стало необходимо. Это привело в ряде случаев к абсолютизации математических методов, чрезмерной формализации анализа и вытеснению системного подхода.
Дело в том, что элементы математического метода представляют собой как раз те абстракции, которые сами по себе никакого отношения к предмету экономического исследования не имеют. Происходит как бы наложение математического «шаблона» на какую-то часть экономических взаимосвязей, а все многообразие связанных с этим отношений игнорируется. Известно, что в реальной жизни все процессы многофакторны. А любая математическая формула, модель, функция «работают» при заранее оговоренных ограничениях. И если этого не понимать, то вместо помощи благодаря математике можно получить, во-первых, искаженную картину экономических процессов и, во-вторых, подготовить специалистов, умеющих оперировать математическим аппаратом без должного понимания сути экономических явлений. Так вместе с позитивом математика привнесла в экономический анализ угрозу сугубо абстрактного восприятия реальных процессов. А ведь наступивший XXI в. добавляет все больше многообразия в хозяйственную жизнь и тут без системного, аналитического подхода никак не обойтись. Одни и те же математические методы могут служить разным наукам. Важно, чтобы математический инструментарий экономического исследования был важной, но не единственной составляющей системного анализа постоянно изменяющейся экономики. Достоинства математики не должны превращаться в свою противоположность в руках экономистов. В равной мере это относится как к экономической теории вообще, так и к отраслевым экономическим наукам». Источник: Пороховский А.А. Вектор экономического развития. – М.: ТЕИС, 2002. С. 26 – 27.
Об этом же самом говорит и доктор экономических наук, профессор Солтан Сафарбиевич Дзарасов [13], когда сопоставляет насыщенную математикой современную экономикс, родоначальником которой является А. Маршалл, с классической политической экономией (см. отступление 1.32).
Отступление 1.32. Политическая экономия и экономикс «…Вместо анализа экономических отношений между людьми Маршалл выдвинул в центр внимания науки функциональные зависимости технико-экономического характера, которые имеют значение, но которые до конца не объяснимы вне своей социальной сущности. Поэтому к маршаллианской режиссуре и выходящим с тех пор экономикс больше всего применимы слова Шумпетера, что они равноценны таким постановкам «Гамлета», в которых нет самого Принца Датского. В них отсутствует то главное, для изучения чего была создана политическая экономия, – анализ экономических отношений по поводу производства и распределения общественного продукта. И это потому, что с изменением названия свет прожектора экономикс охватывает не всю изучаемую площадь, не весь комплекс отношений между людьми, а только ту ее часть, где мы можем видеть всего лишь безличные вещественно-функциональные связи.
Источник: Дзарасов С.С., Меньшиков С.М., Попов Г.Х. Судьба политической экономии и ее советского классика. – М.: Альпина Бизнес Букс, 2004. С. 208.
Таким образом, С.С. Дзарасов, понимающий под «функциональными зависимостями технико-экономического характера» и «безличными вещественно-функциональными связями» чрезмерное увлечение математикой в экономических исследованиях, причем в ущерб анализу экономических отношений, также как и А.А. Порховский, обеспокоен возможным искажением содержания и сути базовых экономических категорий, без которых экономики просто нет и быть не может. И их обеспокоенность вполне понятна и оправдана. Так что применение математических методов в экономических исследованиях предполагает хорошее знание не только математики, как это может показаться с первого взгляда, но и, прежде всего (!), отличное знание экономики. Одним из специфических направлений в области математического моделирования в сфере экономики является получение прогнозной информации, о чем речь идет в параграфе 1.15 данной главы.
Бутакова М.М. 1.15. Прогнозирование в магистерских диссертациях
Результатом исследования магистранта могут стать не только предложения по поводу применения новых методов, форм деятельности объектов исследования, но и предположения о возможных путях их развития, о тенденциях, складывающихся на рынках, и т.п. Все это может найти и находит отражение в прогнозах, которые также могут представлять собою элементы научной новизны в магистерских диссертациях.
Научная литература по вопросам социально-экономического прогнозирования предлагает несколько сотен методов разработки прогнозов. Как решить, какой из них следует выбрать? Ответ на этот вопрос зависит от нескольких обстоятельств. Значительная часть из них связана с информацией о состоянии объекта исследования в прошлом. Во-первых, объект может быть совершенно новым и соответственно информации о прошлом просто не будет, т.к. не было и самого прошлого. Во-вторых, информация о прошлом может быть недоступна исследователю, т.к. представляет коммерческую тайну либо не сохраняется в форме, необходимой исследователю. В-третьих, информация о прошлом рисует безрадостную для исследователя картину – отсутствие каких-либо закономерностей, нестабильность, высокую степень изменчивости. Во всех вышеназванных случаях диссертанту придется использовать методы экспертных оценок для прогнозирования будущего. Отличительной особенностью данных методов является использование суждений экспертов в качестве источников информации. Суждения эти основаны на знаниях, интуиции, опыте, высокой квалификации людей, привлекаемых в качестве экспертов. Разумеется, экспертные оценки будут субъективны, но именно они позволят ответить на вопросы о будущем. Однако только в том случае, если соискателю удастся привлечь для разработки прогноза высококвалифицированных специалистов, лично не заинтересованных в определенном исходе событий. Процедуры формирования групп экспертов, способных предоставить профессиональные и нетенденциозные оценки, довольно подробно описаны в параграфе 1.12. В зависимости от количества опрашиваемых экспертов методы интуитивного прогнозирования подразделяют на индивидуальные экспертные оценки и коллективные экспертные оценки. Индивидуальные экспертные оценки – методы прогнозирования, основанные на использовании в качестве источника информации одного эксперта. Их целесообразно применять только в том случае, когда есть очень компетентный специалист в области, подлежащей прогнозированию и когда объект прогнозирования достаточно узок. Среди индивидуальных экспертных оценок можно выделить прямой опрос (интервью) и анонимный опрос. Прямой опрос (интервью) – прогноз составляется по результатам беседы прогнозиста (интервьюера) с экспертом, в ходе которой прогнозист задает вопросы в соответствии с заранее разработанной программой. Качество такой оценки зависит от корректности поставленных вопросов и от способности эксперта экспромтом давать заключения по различным вопросам.
Анонимный опрос – предполагает самостоятельную творческую работу эксперта по поставленной проблеме. По методике проведения анонимный опрос может включать как ответы на анкетные вопросы, так и написание аналитических докладных записок по исследуемой проблеме. Аналитические докладные записки – прогнозная информация, представленная в форме докладной записки, является результатом длительной, тщательной самостоятельной работы эксперта над анализом прогнозируемого объекта. Коллективные экспертные оценки – методы прогнозирования, основанные на выявлении обобщенной объективизированной оценки экспертной группы в результате обработки индивидуальных независимых оценок, вынесенных экспертами, входящими в группу. В зависимости от того, предполагается ли совместная работа экспертов или эксперты будут работать отдельно, а рабочая группа обобщит результаты этой работы, коллективные экспертные оценки делятся на две группы: зависимый интеллектуальный эксперимент – проводится путем коллективного обсуждения исследуемой проблемы,независимый интеллектуальный эксперимент – проводится с помощью анкетирования. Зависимый интеллектуальный эксперимент рекомендуется использовать при прогнозировании качественно различных альтернатив будущего состояния объекта: при формировании портфеля заказов, при решении вопросов, связанных с инновациями, с выходом на новый рынок. К методам данной группы могут быть отнесены метод комиссий (совещание), метод суда, метод мозговой атаки. Метод комиссий является наиболее простым и традиционным методом коллективного обсуждения. Он предполагает проведение общей дискуссии, которая может быть организована как открытое обсуждение и голосование, открытое обсуждение и тайное голосование, свободное высказывание мнений без обсуждения и голосования. Данный метод позволяет выработать коллективное мнение (прогнозную оценку) по рассматриваемой проблеме, снижает субъективизм отдельных экспертов. Существенным недостатком данного метода является психологическая зависимость экспертов друг от друга (мнение признанных авторитетов, большинства, лидеров). Попыткой преодолеть недостатки метода комиссий явился метод мозговой атаки, который также называют коллективной генерацией идей, т.к. творческая работа в коллективе по определенным правилам позволяет генерировать интеллект экспертов и выработать большее количество идей по сравнению с независимой работой такого же количества экспертов. Организуя разработку прогноза методом мозговой атаки, необходимо помнить, что основная особенность данного метода – создание микроклимата, благоприятного для плодотворного поиска путей решения проблемы. Независимый интеллектуальный эксперимент – проводится заочно с помощью анкетирования. К числу методов независимого интеллектуального эксперимента могут быть отнесены социологические опросы, анкетирование методом Дельфи, метод ранговой корреляции и др. Среди экспертных методов прогнозирования в последние годы большую популярность получили так называемые предпрогнозные исследования. Не являясь прогнозами в классическом смысле этого слова, предпрогнозные исследования дают описание возможных вариантов развития, взаимосвязей и последствий тех или иных действий. Данные методы позволяют упорядочить информацию о будущем, что особенно ценно в условиях неопределенности, нестабильности экономического и социального развития, многоальтернативности возможных вариантов управленческих решений. Обычно предпрогнозные исследования содержат значительное количество альтернативных вариантов развития. При оценке вероятности реализации вариантов предпрогнозные исследования могут превратиться в прогнозы. В данную группу методов могут быть включены метод построения сценариев и его различные модификации, метод написания аналитических докладных записок, метод анализа взаимосвязей и другие. Если же объект исследования существует достаточно долго, информация о нем доступна для исследователя и позволяет говорить о стабильном развитии объекта, убеждает в наличии закономерностей в его поведении, то соискатель может использовать богатый арсенал формализованных методов прогнозирования, в числе которых можно назвать прогнозную экстраполяцию и корреляционно-регрессионный анализ как наиболее часто используемые на практике статистические методы прогнозирования, а также методы аналогий, имитационного моделирования, о чем уже шла речь в предыдущих параграфах этой главы, опережающей информации и другие. Экстраполяция – метод прогнозирования, основанный на анализе динамики объекта прогнозирования в ретроспективном периоде. Метод привлекает исследователей простотой сбора информации и расчетов, легкостью интерпретации полученных результатов. Но, намереваясь использовать данный метод, магистрант должен помнить, что экстраполяция может дать достоверный прогноз только в стабильных условиях, при устойчивой основной тенденции развития изучаемой характеристики. Следует отметить, что в процессе экстраполяции не учитываются уже происшедшие или назревшие изменения условий прогнозного фона, нет возможности предсказать результат при нестабильности, изменчивости условий в будущем. Корреляционнo-регрессионный анализ – используется для исследования форм связи, устанавливающих количественные соотношения между случайными величинами изучаемого процесса. В социально-экономическом прогнозировании этот метод применяют для построения условных прогнозов. При этом значение независимой переменной (Х) нам известно по предположению. В процессе прогнозирования оно может быть использовано нами для оценки зависимой переменной (Y). Функция регрессии Y = f(X1, X2, X3, X4,…Xm) показывает, каким будет в среднем значение переменной Y, если переменные X примут конкретное значение. В зависимости от количества исследуемых переменных различают парную и множественную корреляцию. Парная корреляция – это корреляционные связи между двумя переменными. Примерами парной корреляции могут служить зависимости между уровнем образования и производительностью труда, между ценой товара и спросом на него, между качественными параметрами товара и ценой. Экономико-математические модели, построенные с учетом такого рода взаимосвязи, называют однофакторными моделями. Следует отметить, что в практике прогнозирования экономических явлений однофакторные модели занимают значительное место, что определяется простотой вычислительного процесса и ясностью экономической интерпретации результатов. Множественная корреляция – корреляционные взаимосвязи между несколькими переменными. В качестве примеров множественной корреляции можно привести зависимость спроса на товар от цены, уровня доходов населения, расходов на рекламу; зависимость объема выпускаемой продукции от размера инвестиций, технического уровня оборудования, численности занятых в процессе производства. О практическом использовании корреляционных зависимостей смотрите в отступлении 1.33.
Отступление 1.33. Практическое использование корреляционных зависимостей в прогнозировании социально-экономических явлений Ярким примером использования корреляционных зависимостей в экономической практике может служить кривая спроса. С ее использованием, в частности, строятся модели, описывающие изменения цен. В конце XIX в. немецкий статистик Э. Энгель сформулировал законы и построил кривые, согласно которым с ростом дохода доля расходов на питание сокращается, доля расходов на одежду и жилище остается неизменной, а доля расходов на образование и лечение – увеличивается. Данные кривые послужили исходным пунктом построения различных моделей, описывающих поведение покупателей при изменении их доходов используемых при прогнозировании спроса на товары и услуги. В конце 1960-х гг. ХХ в. эмпирическим путем была установлена закономерность снижения переменных издержек на производство единицы продукции на 10 – 30% при каждом удвоении объемов производства. Данная зависимость получила название кривой опыта. Она лежит в основе многих концепций прогнозирования стратегий развития предприятий. Источник: Бутакова М.М. Методы социально-экономического прогнозирования. Барнаул: изд-во АлтГУ, 2003. С. 45.
Научный прогноз должен быть проверяемым, то есть должна существовать реальная возможность проверить, оказался прогноз правильным или нет, причем должна существовать вероятность для обоих исходов. Остановимся на наиболее распространенных причинах ошибок, которые может допустить магистрант при построении прогнозов. Знание этих типичных ошибок, уже многократно совершенных предыдущими исследователями, позволит соискателям магистерских степеней избежать их и сделать свои прогнозы более качественными. 1. Недоучет условности прогнозов. Перед прогнозированием ставится невыполнимая задача точных количественных оценок будущего, то есть игнорируется вероятностный характер прогнозной информации. Избежать этой ошибки можно, если разрабатывать условные прогнозы. При условной форме прогнозирования утверждается, что прогнозируемое событие наступит не в любом случае, а только при определенном состоянии прогнозного фона. Существенную роль играет в этом контексте принцип вариантности прогнозирования, обеспечивающий разработку вариантов прогноза, отличающихся условиями развития прогнозного фона. 2. Противоречие между требованиями определенной точности и достоверности прогноза, с одной стороны, и сложностью поставленной задачи и глубиной прогнозирования, с другой. Чем более сложная задача ставится при прогнозировании, чем более отдалено от нас во времени предсказываемое событие, тем менее точным и достоверным становится предвидение. Увеличение ошибки долгосрочных прогнозов есть отражение их качественного изменения по сравнению с прогнозами краткосрочными. Эти изменения объективны, они обусловлены разницей в целях обоих типов прогнозов, особенностями использования их результатов. Очевидно, что долгосрочный прогноз должен учитывать большее число альтернативных направлений развития объекта прогнозирования и в этом смысле увеличение его ошибки можно рассматривать как количественное отражение роста этих альтернатив. По оценкам специалистов, ошибка прогноза пропорциональна квадрату периода его упреждения, т.е. с увеличением периода упреждения прогноза возрастает степень его неопределенности, или, другими словами, увеличивается доверительный интервал прогноза при той же вероятности его осуществления. 3. Неполнота, недостаточная разработанность теории, на которой разработан прогноз. Качественное экономическое и социальное прогнозирование невозможно без теоретического осмысления сущности прогнозируемых процессов, выявления оценки логики их протекания, выявления взаимосвязей и взаимозависимостей. Эта причина существенна для прогнозирования многих процессов в российской экономике. 4. Сложность объекта прогнозирования. Трудно прогнозируемыми являются события нерегулярные, протекающие без определенных закономерностей. 5. Ошибки исходных данных, которые могут быть связаны с неточностью экономических измерений, не типичностью выборки, искажением данных при их агрегировании. Оценка качества прогнозов позволит не допускать ошибок в выводах и рекомендациях соискателя, которые он вынесет на защиту в качестве элементов научной новизны. Такими элементами могут стать результаты социологических исследований, о которых, на примере строительных организаций, речь идет в следующем параграфе данной главы.
Беляев В.И., Лобова С.В. 1.16. Методы научного познания
В основе познания объективной реальности лежит метод. Под методом, в общем и целом, принято понимать путь исследования, способ достижения цели, решения конкретной задачи [34]. Как путь исследования метод представляет собой совокупность конкретных правил и приемов познавательной деятельности, сочетание которых между собою в реальном исследовании во многом обусловливается природой и закономерностями исследуемого объекта [40]. Различают три уровня познания реальной действительности: обыденное, философское и научное [29, 40]. Обыденное познание опирается на жизненный опыт и здравый смысл. Оно является обобщением повседневной практики отдельных людей, отличается поверхностностью, подчиненностью сугубо личным целям, субъективизмом. Но, вместе с тем, обыденное знание содержит и отдельные стороны верного отражения действительности, служит людям в решении их повседневных проблем. А коль скоро это так, то обыденное знание способно расширяться и накапливаться. По мере же накопления обыденного знания в его структуре постепенно создаются условия для вызревания и отдельных элементов философского и научного знания. Так что игнорировать обыденное знание в научных исследованиях никак нельзя, хотя и абсолютизировать его тоже, безусловно, не стоит. На основе обыденного знания возникает философское. Первоначально оно представляло собой примитивное миропонимание, отличающееся крайней фантастичностью и субъективизмом. Однако по мере накопления человечеством обыденных, философских, пусть и примитивных, а также и первоначальных научных знаний, философское знание развивалось, постепенно освобождаясь от субъективизма и приобретая, таким образом, более правильное понимание человеческого бытия и сознания. Роль и значение современного философского знания обусловливается, с одной стороны, ограниченностью научных знаний, получаемых в ходе научных исследований, и, с другой стороны, бесконечностью мира вообще, тем, что он познаваем, но до конца никогда не может быть познан. Таким образом, на любом конечном этапе познания мира существуют объективные явления и законы, еще не познанные людьми, не описанные наукой. Как судить о них на этом конечном этапе познания объективной реальности? Очевидно, что делать это только на основе обыденных знаний никак нельзя, поскольку такое суждение непременно приведет к примитивному миропониманию, как было на заре развития человечества. Следовательно, о непознанном, пока нет достоверных научных знаний, можно судить на основе философского знания, но при условии, что такие рассуждения должны быть согласованы со всей суммой уже имеющихся у человечества знаний вообще: обыденных, философских и научных. Таким образом, и философское знание не должно игнорироваться учеными в своих исследованиях. Оно может объяснить некоторые еще не познанные наукой явления и процессы, или навести ученого, ведущего поиск, на правильный путь в установлении истины. Научные знания, по сравнению с обыденными и философскими, являются более глубокими, полными и точными. Они приобретаются на основе использования учеными различных методов в проводимых ими научных исследованиях. Научные знания способствуют развитию обыденного и философского знания. Выпускники магистратуры должны знать о методах научных исследований и должны уметь применять их в производстве ими новых знаний. В своих магистерских диссертациях, и при их защите, они должны продемонстрировать эти знания и умения. Современная система методов науки столь же разнообразна, как и сама наука. Существует множество различных классификаций методов научных исследований. Например, говорят о методах проведения научных экспериментов, методах наблюдений (в биологии и многих других науках эти методы являются основными; в экономике они также занимают весьма существенное место), методах сбора и обработки эмпирических данных, методах построения гипотез, методах построения теорий. Для современной науки немаловажное значение имеет подразделение методов по формам причинности – однозначно-детерминистские и вероятностные методы. Есть и другие подходы к классификации методов научных исследований. Их трудно перечислить. Однако на некоторых из этих методов, с тем чтобы пояснить их суть, следует остановиться более подробно. Но прежде следует обратить внимание на одно важное обстоятельство, подчеркивающее универсальность методов научных исследований. Хотя каждая отрасль науки накапливает собственный арсенал средств научного познания, вместе с тем, по справедливому суждению Альфреда Маршалла, «не существует какого-либо метода исследования, который можно было бы признать методом одной только экономической науки…» (см. отступления 1.13, 1.14). Так, например, метод классификации, с применения которого почти всегда начинается познание того или иного нового объекта, предмета (естественно после сбора данных о нем), используется учеными во всех отраслях науки – и в биологии, и в экономике, и в других. Классификация (от лат. classis, что означает «разряд» и facere, что означает «делать») – это распределение изучаемых объектов, явлений, процессов, причин и т.п. по классам (разрядам, отделам, типам и т.п.) на основе их общих и отличающих признаков. Одной из самых известных классификаций, всем хорошо знакомой еще со средней школы, является классификация животного и растительного мира в биологии. Применение метода классификации позволяет исследователю глубже (лучше) понять изучаемую совокупность и описать ее поведение, выявить общие признаки в этом поведении и т.п. Первоначально при применении метода классификации выделяются критерии (признаки), по которым будет производиться подразделение на отдельные группы, затем производится само подразделение, а затем описывается каждый выделенный исследователем класс (группа). В диссертациях классификация может выступать в качестве метода и в качестве результата, элемента научной новизны, если соискателю удалось выделить такие классы в изучаемом предмете, которые раньше никем не были описаны и которые имеют практическую значимость. В последние десятилетия наблюдается усиление и углубление взаимосвязей различных отраслей науки, что приводит к тому, что результаты, модели и методы одних наук начинают еще более широко применяться для получения новых знаний в других науках. Это, зачастую, уже само по себе содержит элементы научной новизны и может составлять предмет защиты диссертации. Кроме того, универсальность методов научных исследований позволяет вести научный поиск на стыке различных наук, что способно привести не просто к получению новых знаний, но и к созданию новых отраслей науки. Всякая диссертация представляет собой результат теоретического и эмпирического исследований обозначенной проблемы с целью получения теоретического или практического знания изучаемого предмета в соответствии с поставленными задачами (см. отступление 1.4). Рассмотрение методов эмпирического и теоретического исследования имеет большое значение для познания экономических явлений и процессов. Поэтому более подробно следует остановиться на рассмотрении таких методов познания, как анализ и синтез, индукция и дедукция, обобщение и абстрагирование, сравнение и аналогия, моделирование, статистический анализ, последовательное сочетание которых в рамках экономического исследования обеспечит системный подход к его изучению.
Воспользуйтесь поиском по сайту: ©2015 - 2024 megalektsii.ru Все авторские права принадлежат авторам лекционных материалов. Обратная связь с нами...
|