Урок ответы на вопросы системного анализа анонс
УРОК-2. ОТВЕТЫ НА ВОПРОСЫ СИСТЕМНОГО АНАЛИЗА
Анонс. Наглядность результата системного анализа, прогнозируемого результата поведения сложных систем – мечта талантливого управленца. Представляем метод её реализации в виде ответов на вопросы.
102. Если выявлены аксиомы - критерии научной достоверности в точных науках, существующие помимо нашей воли, то, видимо, есть критерии для оценки плодотворности деятельности нашего мозга в принятии управленческих решений? Критерии для оценки плодотворности деятельности нашего мозга в принятии управленческих решений выявлены в результате анализа процесса принятия нашим мозгом решений по управлению сложными системами.
103. Какая система считается наиболее сложной для принятия человеческим мозгом решений по управлению поведением такой системой? Наиболее сложной системой для человеческого мозга, на которой он уже основательно опробовал его возможности добиваться оптимального управления её развитием, является государство.
104. Как определяется уровень сложности системы? Первым критерием сложности системы является количество простых элементов, входящих в такую систему. Вторым критерием сложности системы является уровень сложности взаимосвязей между элементами системы. Взять, например, автомобиль. Это техническая система с множеством деталей и узлов, связи между которыми определяются её поведением в процессе её движения, управляемого человеком. С точки зрения простого человека, не имеющего глубоких знаний по устройству этой системы, она считается сложной. С точки зрения учёного, автомобиль – не сложная система, потому что есть более сложные технические системы. Самолёт, например, или ракета.
Учёные недавно начали пытаться системно анализировать поведение более сложных систем, состоящих из живых элементов – людей. Оказалось, что наука ещё не разработала методы оптимального управления совокупностью людей, объединённых в систему, называемую государством. Это самая сложная система для человеческого ума, по управлению которой накоплен только исторический опыт.
105. Можно ли показать на исторических примерах, как мозг человека принимает решения по управлению поведением самой сложной системой - государством? Можно. Тут мы явно видим, как мозг руководителя пытается найти главный фактор, от которого зависит благополучие такой системы и устойчивость её поведения. Известно, что у Сталина главным критерием безопасности государства, которым он управлял накануне Великой Отечественной войны, была уверенность в том, что Гитлер не нападёт на Советский Союз. Цена, которую заплатили народы Советского Союза за эту элементарную интуитивную ошибку руководителя государства, известна.
Второй пример. Необходимость изменения метода управления государством - Советский Союз, чувствовали многие. Но почти никто не понимал, как реализовать это изменение. Беда усиливалась ещё и тем, что инициатором этой затеи был руководитель партии и государства с нулевыми знаниями в области управления поведением сложных систем. На первое место в намеченной реорганизации он поставил фактор демократизации, не понимая, как управлять процессом реализации этого фактора. Результат оказался полностью противоположным его намерениям. Советский Союз развалился, и на его территории возникли почти неуправляемые процессы дестабилизации жизни всех его обитателей. Следующий политик многократно усилил процесс дестабилизации, заявив перед своими выборами примерно так: «Берите себе свободы столько, сколько хотите» [2].
106. В приведённых примерах нас интересует один вопрос: как мозги этих политиков выбирали главные факторы, реализация которых, по их мнению, разрешит все назревшие проблемы? Оказывается, что процесс принятия их мозгом решений базируется на выявлении главного фактора, который, с их точки зрения, больше других факторов влияет на результат принимаемого решения. Это видимо, естественный процесс, но для правильной его реализации необходимы всесторонние знания о факторах, влияющих на поведение системы и методах определения главных из них. История уже зафиксировала, что у политиков, о которых мы упомянули, таких знаний не было.
107. Значит ли это, что наш мозг руководствуется интуицией при принятии решений? Ответ однозначный – Значит.
108. Что же такое интуиция? Догадка на основе знаний, заложенных в голове гадальщика. Интуитивная ошибка - это следствие отсутствия элементарных знаний у того, кто совершал такие ошибки.
109. Чем же отличается научный процесс принятия решений от интуитивного процесса? Научный процесс принятия решения предусматривает предварительный анализ влияния на результат этого решения всех факторов, а человеческий мозг при быстром принятии решения не способен к такому анализу, поэтому он пытается установить лишь главный фактор, влияющий, по его мнению, на этот результат, и учитывая лишь один этот фактор, принимает решение. Такой процесс принятия решения называется интуитивным.
110. Почему наш мозг неспособен оценивать эффективность принимаемого решения? Потому что он может учесть не более двух-трёх факторов, влияющих на результат принимаемого решения, который обычно зависит от десятков, сотен, а то и тысяч факторов. Чтобы решение получилось оптимальным, надо не только знать эти факторы, но и закономерности их влияния на принимаемое решение.
111. Значит ли это, что главным фактором, определяющим эффективность интуитивно принимаемого решения, является совокупность знаний, которыми владеет человек, принимающий решения? Ответ однозначный. Значит. Человек, голова которого заполнена обилием знаний, легче и точнее находит правильное интуитивное решение.
112. Какой вывод для политиков следует из того, что изложено? Он очевиден – не спешить с принятием глобальных решений по управлению сложными системами и обязательно иметь грамотных экспертов по оценке эффективности этих решений.
113. Следует ли из этого необходимость заранее готовить политических лидеров к их предельно сложной и предельно ответственной управленческой деятельности? Конечно, следует, и кое-что делается в этом направлении. Существует система выявления талантливых управленцев и назначения их на руководящие должности. Давно пора дополнить эту процедуру обучением выявленных талантливых управленцев их будущему нелёгкому труду и научить научному, системному анализу эффективности принимаемых ими решений.
114. Есть ли высказывания учёных о методах выявления талантливых управленцев? Начало анализу этой проблемы заложил великий греческий мыслитель древности – Сократ. В беседе с афинянами о выборах правителей с помощью бобов (теперь это бюллетени) он рассуждал, примерно, так: «Афиняне! Я не понимаю Вас, почему Вы выбираете себе правителя с помощью бобов? И почему Вы не выбираете с помощью бобов стратега, кормчего или флейтиста? Тогда, как ошибка при выборе правителя с помощью бобов обойдётся Вам значительно дороже, чем ошибка выбора кормчего или флейтиста». Так что необходимость не выбора, а назначения на руководящую должность была понята Сократом более 2-х тысяч лет назад [2].
115. Ведущие университеты страны имеют кафедры управления. Есть и вузы, занимающиеся обучением искусству управления. Разве этого мало? Этого не мало, но у этих учебных заведений нет преподавателей, владеющих необходимыми для этого знаниями. Можно сказать, что теория управления находится в зачаточном состоянии. Тут можно привести письмо одного нашего читателя, попросившего помощи в решении элементарной управленческой задачи. Вот что он пишет.
«Уважаемый Филипп Михайлович! Аспирант Д. Ю., зав. каф физики В. Д. П. и, конечно, я искренне благодарим вас за консультацию по системному анализу. Мы не имели никакого опыта в таком анализе. Обратились на кафедру математики к лектору, который читает этот анализ студентам. Но он, кроме общих рассуждений и указания на важность такого анализа в народном хозяйстве, ничего существенного не сообщил нам. Он просто не ловит мышей. Так мы говорили о своих однокурсниках, которые умели красиво говорить, но не умели делать. Статью отправили сегодня. С «молитвой» в ваш адрес. В.Я.З. 30.03.09». [2]
116. Значит ли это, что до сих пор нет достойного учебника по управлению сложными системами для будущих управленцев? Значит. И не видно пока автора способного написать такой учебник. Слишком широкий научный кругозор надо иметь, чтобы отразить в этом учебнике главное: с чем приходиться сталкиваться управленцу ежедневно. Нет ещё понимающих, как интуитивный метод управления, которым пользуются все управленцы, обогащать хотя бы элементами научного анализа эффективности принимаемых решений.
117. В чём главная причина в столь скромных научных достижениях по анализу поведения сложных систем? Современные научные достижения – результат решения, главным образом, задач анализа. Успехи в решении задач синтеза скромнее и это закономерно, так как разложить процесс поведения сложной системы на элементы проще, чем выявить закономерность её поведения, формируемую большим количеством разнообразных факторов со сложными взаимосвязями, которые ведут её к цели.
Факторы, действующие на систему, могут иметь не только разную размерность, но трудно определяемые количественные характеристики, поэтому их изменения и взаимосвязи в большинстве случаев не удаётся выразить в виде функциональных зависимостей. Это - главная причина отсутствия в анализе поведения сложных систем, сложившихся достаточно надёжных методов научного прогнозирования [2].
118. Что же может наука предложить в решении столь сложной проблемы? Российская наука уже имеет научные методы системного анализа поведения сложных систем.
119. В чём сущность нового научного подхода в анализе поведения сложных систем? Новый метод системного анализа поведения сложных систем основан на учёте любого количества факторов, влияющих на поведение таких систем.
120. В каком виде и как представляется в этом случае сама система, поведение которой анализируется? Сама система в данном случае представляется в виде связанной обособленно совокупностью большого числа элементов, изменения которых ведут систему к определённой цели.
121. Какой критерий определяет состояние системы и достаточно ли он прост для понимания сути и результата анализа поведения системы? Одним из вариантов получения достоверного прогноза о характере поведения системы в результате воздействия на её движение различных вариантов принимаемых решений является метод сведения всей информации о поведении системы к единому обобщающему показателю эффективности, значения которого лежат в интервале 0……1. В результате выясняется показатель условной эффективности принимаемого решения в долях единицы. Такой подход даёт количественную оценку эффективности любому варианту принимаемого решения и, таким образом, значительно облегчает выбор наиболее эффективного из них [1], [2], [5].
122. Какие наиболее важные понятия вводятся для описания сути анализа поведения сложных систем и его результата, и повышают ли они уровень научности вырабатываемого административного решения? Для оценки любого вырабатываемого решения, направленного на изменение поведения сложной системы в нужном направлении вводится понятие условная эффективность, означающее возможность выбора решения не на основе интуиции, а на основе количественной оценки каждого варианта решения, эффективность которого выражается в долях единицы, легко переводимых в проценты.
123. Какая математическая функция взята за основу при разработке математической модели, учитывающей влияние каждого фактора в отдельности на эффективность движения системы к цели, как обосновывается показатель условной эффективности, и в каких интервалах он изменяется? Эффективность любого решения оценивается в этом случае показателем условной эффективности


график, которой представлен на рис. 5, а. Недостатком этого графика является отсутствие возможности видеть, какие же факторы увеличивают конечный результат, а какие уменьшают его. Нужен такой график, который бы позволял видеть, какой фактор отрицательно влияет на эффективность поведения системы, а кокой положительно. Этому требованию удовлетворяет функция с двойной экспоненциальностью (рис. 5, b) [5]

Поскольку она имеет два экспоненциальных приближения: верхнее – к единице и нижнее – к нулю, то этой функции можно придать смысл функции, описывающей закономерность изменения показателя условной эффективности, который бы отражал численно, в долях единицы, эффект принимаемого решения. Это сразу переводит процесс принятия управленческого решения в состояние наглядности его влияния на конечный результат, которому можно придать соответствующий словесный смысл. Совокупность этих вариантов представлена в табл. 1 [5].
![]() a) | ![]() b) |
Рис. 5: а) график экспоненциальной функции;
b) график функции условной эффективности
На оси ОУ (рис. 5, b) строится шкала значений условной эффективности




Таблица 1. Значения показателей эффективности

Уровни эффективности ![]() | Характеристики конечного результата |
1,00 | Максимально возможный уровень качества. Добиться его практически невозможно или очень сложно |
1,00-0,80 | Превосходный уровень |
0,80-0,60 | Хороший уровень |
0,60-0,37 | Достаточный уровень |
0,37-0,20 | Обычно получаемый уровень качества |
0,20-0,00 | Недопустимо низкий уровень |
0,00 | Нежелательный уровень |
Таблица 2. Данные для построения графика функции
условной эффективности (рис. 5)
![]() | ![]() | ![]() | ![]() |
-4 | 54,5980 | 0,0000 | 0,00 |
-3 | 20,0860 | 0,0000 | 0,00 |
-2 | 7,3891 | 0,0006 | 0,00 |
-1 | 2,7183 | 0,0659 | 0,07 |
0 | 1,0000 | 0,3670 | 0,37 |
1 | 0,3679 | 0,6907 | 0,70 |
2 | 0,1353 | 0,8740 | 0,87 |
3 | 0,0498 | 0,9512 | 0,95 |
4 | 0,0183 | 0,9802 | 0,98 |
Исследователями установлено, что процесс вычисления показателя условной эффективности


Таким образом, предлагаемая методика становится инструментом оценки эффективности




где


Рис. 6. Нормализованный график функции условной эффективности
124. Прошла ли проверку разработанная методика оценки эффективности, принимаемого управленческого решения? Автор этой методики оставил потомкам методику её использования при оценке эффективности экспериментальной проверки ожидаемых результатов. Она изложена в книге «История одного поиска» [3].


Рис. 7. Исторические фрагменты об эксперименте по разработке
индустриальной технологии уборки зерновых культур
125. Можно ли привести простой пример и показать методику решения задачи по получению показателей эффективности? Рассмотрим пример, который был начальным при разработке этого метода в середине 80-х годов прошлого века и описан в книге [3] и видеофильме [4] (рис. 7 и 8).
a)


с)


e)


к)


Рис. 8: а), b) полевая машина МПУ в работе; с), d)тележки

e), j) рисунок и макет стационарного комплекса; к) хранилище половы и
л) складирование соломы
Сразу отметим, что в документальном фильме того времени нет ни слава о научном руководителе этого эксперимента [4]. Автор понимал причину этого и поэтому тогда же написал книгу «История одного поиска» [3].
Суть эксперимента представлена на рис. 8. Вся биологическая масса урожая скашивается в поле (рис. 8, а и b), грузится в тележку и перевозится (рис. 8, с и d) на стационарный комплекс (рис. 8, е и j), где разделяется на зерно, полову, по питательности эквивалентную сену, и солому. Полова направляется в крытое хранилище (рис. 8, к), а солома складируется (рис. 8, л) для дальнейшего использования.
Пусть требуется выявить влияние различных факторов на экономическую эффективность двух технологий уборки урожая: комбайновой и индустриальной. Индустриальная технология предусматривает вывоз на стационар всей скашиваемой биомассы и разделение её на компоненты: зерно, кормовую часть стебельной массы (полову) и использование остальной части биомассы для формирования биологического удобрения, в виде, так называемого, навоза, с получением биогаза. Методика анализа должна позволять учитывать влияние на эффективность технологии любого количества факторов. При этом надо учитывать, что все они делятся на две группы:
1. Первая группа - увеличение численного значения фактора улучшает конечный результат, например, сбор семян сорняков при уборке зерновых:

где


Таблица 3. Факторы и их статистические значения
Факторы | Ограни- чения | Границы факторов | ![]() | Стат. знач. факторов | |
![]() | ![]() | ||||
1. Энергоёмкость процесса, кВтч/га | О | 300-500 | 101,01 | 420 | 350 |
2.Затраты труда на единицу продукции, чел.час./га | О | 4-10 | 3,03 | 8,0 | 5,0 |
3.Кол-во часов работы в сутки, час. | П | 0-22 | 11,11 | 13 | 20 |
4. Потери зерна в поле, % | О | 0,5-15 | 7,32 | 10 | 2,0 |
5. Сбор семян сорняков в поле, % | П | 10-95 | 42,93 | 20 | 95 |
6. Потери продуктивной влаги в почве, % | О | 10-90 | 40,40 | 80 | 10 |
7. Квалиф. комбайнера, % | О | 30-100 | 35,35 | 95 | 40 |
8. Коэф. надёжности, (0…1) | П | 0,40-0,98 | 0,29 | 0,5 | 0,9 |
9. Вес машины в поле, (тон.) | О | 5-18 | 6,56 | 13,7 | 8,0 |
10.Себест. зерна, руб./тонну | О | 30-120 | 50,50 | 90,0 | 60,0 |
Примечание: О – обратный; П – прямой;

Указанную зависимость результата от численного значения фактора назовём прямой, а сам фактор – прямым фактором (П).
2. Вторая группа - увеличение численного значения фактора ухудшает конечный результат, например, себестоимость (в то время) единицы основной продукции - зерна:

Вторую зависимость результата от численного значения фактора назовём обратной, а фактор – обратным (О). Поскольку численные значения факторов могут изменяться в противоположных направлениях, то методика влияния их на эффективность конечного результата должна учитывать эту особенность [5].
Строим график функции эффективности (рис. 6) по уравнению (14). Так как максимально хорошего уровня эффективности достичь очень сложно, а достижение худшего - нежелательно, то принимаем следующие границы изменения значений показателей эффективности:

После этого находим координаты точек на кривой эффективности, соответствующие этим (16) значениям (рис. 6). Координаты точки А, характеризующей наименьшую из допустимых эффективностей:


Координаты точки В, характеризующей максимально возможную эффективность:


Для согласования значений факторов


Для того, чтобы проводимое сравнение было объективным, наименования факторов по обеим технологиям и границы их изменения берутся одинаковые. Так например, сбор семян сорных растений (5-й фактор в табл. 3) в поле при обеих технологиях берётся в границах: 10-95%. Нижняя граница принадлежит комбайновой технологии, а верхняя – индустриальной, так как лучший сбор сорняков, при испытании этих технологий был достигнут при индустриальной технологии. Тогда последовательность методических действий будет такой.
Масштабный коэффициент







Процесс согласования статистических значений, например, прямого 5-го фактора


а для обратного, например, 10-го фактора


Полученные статистические значения






Чтобы упростить вычисления, обозначим [5]

Обратим внимание на то, что величина







Для придания наглядности полученным результатам, характеризующим эффективность каждой технологии уборки, определим средние арифметические значения показателей эффективности для каждой технологии по формуле

где

Это обобщённые показатели эффективности для любого количества факторов по каждой технологии. Данные для расчёта по формуле (24) для десяти факторов представлены в (табл. 4).
Таблица 4. Основные информационные характеристики технологий
Факторы | Вид ограничения | Границы факторов, ![]() | ![]() | Стат. знач. факторов | Показ. эффект. | ||
![]() | ![]() | ![]() | ![]() | ||||
1 | О | 300-500 | 101,01 | 4,32 | 5,00 | 0,48 | 0,69 |
2 | О | 4,0-10 | 3,03 | 4,17 | 5,17 | 0,43 | 0,73 |
3 | П | 0,0-22 | 11,11 | 4,70 | 5,32 | 0,61 | 0,77 |
4 | О | 0,5-15 | 7,32 | 4,20 | 5,29 | 0,44 | 0,76 |
5 | П | 10-95 | 42,93 | 3,75 | 5,39 | 0,28 | 0,78 |
6 | О | 10-90 | 40,40 | 3,77 | 5,50 | 0,28 | 0,80 |
7 | О | 30-100 | 35,35 | 3,66 | 5,22 | 0,25 | 0,74 |
8 | П | 0,40-0,98 | 0,29 | 3,87 | 5,23 | 0,32 | 0,75 |
9 | О | 5,0-18 | 6,56 | 4,18 | 5,05 | 0,43 | 0,70 |
10 | О | 30-120 | 50,50 | 4,31 | 4,91 | 0,48 | 0,67 |
Обобщённый показатель эффективности ![]() | 0,40 | 0,74 |
126. Можно ли усилить наглядность полученных результатов путём отражения их на графике? Такой график представлен на рис. 9. На нём показаны значения общих показателей эффективности





Далее, наглядно видно неодинаковое возмущающее воздействие факторов на разные технологии. Так, например, коэффициент вариации у комбайновой технологии 25%, а у индустриальной лишь 6%. Из этого следует меньшая зависимость индустриальной технологии от внешних условий, например, погодных, которые могут изменить число часов работы машин от 0 до 15 часов в сутки и общие потери зерна.

Рис. 9. Ранжированный график значений частных предпочтений факторов и их общих средних арифметических значений на способы уборки зерновых [5]
Значительное отклонение отдельных факторов (например, №3 и №7) у комбайновой технологии от среднего арифметического

127. Значит ли это, что обобщённый показатель условной эффективности

128. В чём сущность научного смысла показателя условной эффективности? Он оценивает уровень предпочтения принимаемого решения в долях единицы. Чем ближе его величина к единице, тем эффективнее будет результат реализации принимаемого решения.
129. Почему этот новый достаточно ценный метод системного анализа поведения сложных систем не публиковался так долго в академических изданиях? Сложно ответить на этот вопрос однозначно. Приведём дополнительную информацию, которая поможет интересующимся найти ответ на этот вопрос. На рис. 10 – ранжированные графики влияния 32 факторов на поведение системы «Уборка урожая зерновых».

Рис. 10. Из графика влияния факторов на эффективность уборки урожая следует, что обобщённый показатель эффективности у
комбайновой технологии равен 0,35, а у индустриальной – 0,70
Они - из нашего научного отчёта по результатам описываемого эксперимента за 1988г. объёмом около 180 страниц. Он был отпечатан на пишущей машинке в 6-ти экземплярах. Один хранился в сейфе кафедры «Теоретическая механика», которой я заведовал тогда. Второй был передан в научный отдел, который передаёт такие отчёты в архив института. Третий передан тогдашнему колхозу им. Калинина Каневского района, где проводился эксперимент. Четвёртый - Таганрогскому комбайновому заводу, который изготовлял экспериментальные полевые машины и стационарные линии для этой технологии. Пятый был передан Ростсельмашу, который также участвовал в этом эксперименте. Шестой - Куб.НИИтиму, который участвовал в испытаниях всего комплекса экспериментальных машин для этой технологии.
Прошло время. Один из наших аспирантов решил завершить оформление кандидатской диссертации и попросил у меня отчёт за 1988г. Лаборант кафедры сообщил, что кафедральный экземпляр отчёта исчез из сейфа, и он не знает, как и почему. Аспирант пошёл в научный отдел института. Там сообщили, что отчёт сдан в архив для хранения, но его там не оказалось. Поехал аспирант в колхоз, где проводился эксперимент. Бухгалтер сообщила: был, мы его смотрели, но куда-то исчез и не можем найти. Поехал аспирант в Таганрог и Ростов, и там не оказалось отчёта. Аналогичная ситуация - и в Куб.НИИтиме.
130. Каковы общие выводы по результатам испытаний стационарного комплекса обмолота зерновых колосовых культур? 1988год был самым удачным, а научный отчёт за тот год – самым насыщенным экспериментальной информацией. Отчёт писал лично я, как научный руководитель столь объёмного и сложного эксперимента, который обошёлся государству около 10млн. рублей. Это немалая сумма по тем временам. Но мне достался от этого отчёта лишь рисунок 10. Вся информация по расчётам к этому рисунку исчезла вместе с отчетом. Информацию об этом я оставил в краевом архиве, где хранится Обобщенный отчет по этим экспериментам за 1990г, который я писал, не имея отчета по результатам самого эффективного года уборки. Тайна исчезновения указанного отчёта имеет пока лишь два гипотетических объяснения, которые я пока не могу изложить здесь, так как это дело спецслужбы не только СССР.
Желающие иметь информацию о том, как проводился эксперимент, могут найти её в книге «История одного поиска». Книга эта издана Краснодарским книжным издательством в 1989г. Её копия в Интернете по адресу [3], а видео – по адресу [4].
131. Что нужно сделать ещё, чтобы повысить уровень достоверности, данного метода анализа поведения сложных систем? Чтобы повысить уровень достоверности результата системного анализа поведения сложных систем, надо дополнить уже разработанный метод методикой приведения количественных значений всех факторов к единому измерителю – рублю.
132. В чём суть итогового заключения? Суть в том, что, предложенный метод графоаналитического анализа поведения сложных систем позволяет оценить количественно эффективность разных вариантов принимаемых решений по повышению их эффективности и наглядно увидеть эту эффективность при принятии решения, а также - проанализировать влияние на поведение системы каждого фактора в отдельности.
133. Кратко о сути рекомендаций талантливым управленцам по применению этого метода на практике. Создать минимум две независимые группы исследователей. Рассказать им о сути планируемого решения, сформулировать планируемую цель и согласовать с исследователями срок докладов по результатам системного анализа двух и более вариантов планируемого достижения цели. Выслушать их доклады. Из них будет следовать наиболее эффективный вариант, который и принимается для реализации.
ЗАКЛЮЧЕНИЕ
Новая методика системного научного анализа эффективности принимаемых управленческих решений принадлежит российской науке. Жаль, что об этом не знают в РАН и в Правительстве уже более 20 лет.
Источники информации
1. Канарёв Ф.М. Персональный научный сайт. http://www.micro-world.su/
2. Канарёв Ф.М. Монография микромира.
http://www.micro-world.su/index.php/2010-12-22-11-45-21/663-2012-08-19-17-07-36
3. Канарёв Ф.М. История одного поиска. Краснодар. Краснодарское книжное издательство. 1989. 171с.
http://www.micro-world.su/index.php/2010-12-22-11-44-44/143-2010-12-22-14-49-03
4. Видео – «СТАРОЕ - ПО НОВОМУ».
http://www.micro-world.su/index.php/2010-12-22-11-39-37/615-2012-05-29-10-09-53
5. Канарёв Ф.М. Методика расчёта показателей эффективности управления сложными системами. http://www.micro-world.su/index.php/2010-12-22-11-46-00/761-2012-12-22-15-08-24
страница 1
скачать
Другие похожие работы: