Имитационное моделирование экономических процессов

ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ ЭКОНОМИЧЕСКИХ ПРОЦЕССОВ Учебное пособие для слушателей программы eMBI Москва 2005 СОСТАВИТЕЛЬ: кандидат экономических наук, доцент Н.Н. ЛЫЧКИНА Государственный университет управления, 2005. – 164 с. ЛЕКЦИЯ 6 ИСПЫТАНИЕ И ИССЛЕДОВАНИЕ СВОЙСТВ ИМИТАЦИОННОЙ МОДЕЛИ. . . . . . . . . . . . . . . . . . . .102 6.1 Комплексный подход к тестированию имитационной модели. . .102 6.2 Проверка адекватности модели. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105 6.3 Верификация имитационной модели. . . . . . . . . . . . . . . . . . . . . . . . . . .108 6.4 Валидация данных имитационной модели. . . . . . . . . . . . . . . . . . . . . .109 6.5 Оценка точности результатов моделирования. . . . . . . . . . . . . . . . . .110 6.6 Оценка устойчивости результатов моделирования. . . . . . . . . . . . . .111 6.7 Анализ чувствительности имитационной модели. . . . . . . . . . . . . . . .112 6.8 Тактическое планирование имитационного эксперимента. . . . . .114 6.1 Комплексный подход к тестированию имитационной модели. После того, как имитационная модель реализована на ЭВМ, необходимо провести испытание, проверку модели. Это является чрезвычайно важным и ответственным моментом в имитационном моделировании. Проверка, выполненная не тщательно, может привести к неизвестным последствиям. Поскольку моделирование связано с решением реальных задач, мы должны, прежде всего, быть уверены, что конечные результаты моделирования точно отражают истинное положение вещей, что модель не абсурдна, не дает нелепых ответов, оценить насколько модель и данные, полученные на ней, полезны и могут быть использованы при принятии решений, насколько точна разработанная модель. Считается, что имитационные модели обладают высокой степенью изоморфизма (изоморфизм– сходство модели с объектом), т.к. существует взаимно однозначное соответствие между элементами модели и реального объекта моделирования, а также сохраняется характер взаимодействия между элементами (вы знаете, что имитационная модель призвана отражать структуру и внутренние связи моделируемой системы). Считается, что область пригодности модели тем обширнее, чем ближе структура модели к структуре системы и чем выше уровень детализации. Однако, большинство моделей все же гомоморфны. При построении любой модели используют упрощения, абстракции реальной системы, поэтому модель не является абсолютно точной в смысле однозначного соответствия её реальной системе. Кроме того, при описании системы, несмотря на наше стремление к объективности, действует субъективный фактор. Основной вопрос – насколько модель может быть в известной степени гомоморфной, и в то же время точной. Таким образом, на этапе исследования имитационной модели мы должны укрепить свое доверие к модели, убедиться, что модель функционально надежна, оценить ее достоверность. Исследователь должен провести серию проверок, и в процессе проверки модели достигнуть приемлемого уровня уверенности, что выводы, сделанные на основе моделирования, будут правильными и применимыми для реальной системы Это сложная, философская проблема. Моделирование является методом научного познания окружающей действительности. Исторически существует несколько направлений в науке об отношениях к методам научного познания: эмпиризм, рационализм, абсолютный прагматизм. На одном конце философского спектра находится эмпиризм, критерий которого – практика. Эмпирик считает, что должна быть проведена эмпирическая проверка любой испытуемой гипотезы (с помощью эксперимента, или на основе анализа эмпирических данных). Рационализм основывается на применении методов формальной логики. Приверженцы рационализма считают, что модель есть совокупность правил логической дедукции (типа “если, то”), которые могут привести от предпосылок к объективным выводам. Получается, что согласиться с правильностью модели, значит согласиться с основными предпосылками и логикой построения такой модели. (А вдруг исходные предпосылки необоснованны, ошибочны? Что, если мы моделируем всего лишь собственные мысли, имеющие мало отношения к реальной действительности? Такие вопросы всегда задает себе начинающий системный аналитик). Третий философский подход – философия абсолютного прагматиз$ ма, у которого основной критерий – полезность, утверждает, что, модель должна с определенной точностью позволять достигать некоторых целей и давать полезные результаты, поэтому прагматика не интересует внутрен' ность модели – “черного ящика”, его интересуют лишь соотношения между входами и выходами модели. Но истина, как говорят философы, посередине. Поэтому должна быть произведена всесторонняя проверка пригодности модели, комплексная оценка модели, отражающая все философские точки зрения. В мировой практике имитационного моделирования к настоящему времени сформировались определённые концепции и сложились вполне устоявшиеся подходы к решению проблемы оценки достоверности имитационных моделей. Следует заметить, что оценка достоверности относится к числу “вечных” проблем имитационного моделирования. Такое положение обусловлено прежде всего спецификой применения имитационного моделирования как инструментария исследования, который в отличие от классических методов математического моделирования не обеспечивает проектировщиков и исследователей сложных систем соответствующими формализованными средствами определения (описания) таких систем. Однако нелишне заметить, что простота реализации некоторых процедур исследования в имитационном моделировании, например, анализа чувствительности, делают метод имитационного моделирования привлекательным и доступным. Исследованию различных аспектов проблемы оценки достоверности уделяли и уделяют много внимания известные учёные и специалисты в области имитационного моделирования Р.Шеннон [54], Н.П.Бусленко [11], Дж.Клейнен [20], В.В.Калашников [18], А.А.Вавилов, С.В.Емельянов [47], и др. В середине 90'х годов прошлого века американские специалисты выполнили цикл работ применительно к проблеме оценки достоверности. Наиболее известными являются методологические схемы О.Балчи и Р.Сэджента [1'3,7] сформулированные как своего рода методолого' технологические стандарты решения указанной проблемы, согласно которым реализация задачи оценки достоверности есть многоэтапный итерационный процесс получения доказательства правильности и корректности выводов (или, по крайней мере, достижение приемлемого уровня уверенности в правильности таких выводов) относительно поведения исследуемой (проектируемой) системы. Вопросы практического использования этих стандартов рассматриваются в [4, 6, 56]. На практике выделяют 3 основные категории оценки: • Оценка адекватности или валидация модели. В общем случае валидации предполагает проверку соответствия между поведением имитационной модели и исследуемой реальной системы. Валидация модели (validation) есть подтверждение того, что модель в пределах рассматриваемой области приложений ведет себя с удовлетворительной точностью в соответствии с целями моделирования. • Верификация модели. Это проверка на соответствие поведения модели замыслу исследователя и моделирования. Т.е. процедуры верификации проводят, чтобы убедиться, что модель ведет себя так, как было задумано. Для этого реализуют формальные и неформальные исследования имитационной модели. Верификация имитационной модели предполагает доказательство возможности использования создаваемой программной модели в качестве машинного аналога концептуальной модели на основе обеспечения максимального сходства с последней. Цель процедуры верификации – определить уровень, на котором это сходство может быть успешно достигнуто. Валидация и верификация имитационной модели связаны с обоснованием внутренней структуры модели, в ходе этих процедур проводятся испытания внутренней структуры и принятых гипотез, исследуется внутренняя состоятельность модели. Валидация данных. Валидация данных (data validity) направлена на доказательство того, что все используемые в модели данные, в том числе входные, обладают удовлетворительной точностью и не противоречат исследуемой системе, а значения параметров точно определены и корректно используются. Эти проверки связаны с проблемным анализом, т.е. анализом и интерпретацией полученных в результате эксперимента данных. Проблемный анализ – это формулировка статистически значимых выводов на основе данных, полученных в результате эксперимента на имитационной модели. Проверяется правильность интерпретации полученных с помощью модели данных, оценивается насколько могут быть справедливы статистические выводы, полученные в результате имитационного эксперимента. С этой целью проводят исследование свойств имитационной модели: оценивается точность, устойчивость, чувствительность результатов моделирования. Эти проверки связаны с выходами модели, сама имитационная модель рассматривается как черный ящик. Таким образом, на этапе испытания и исследования разработанной имитационной модели организуется комплексное тестирование модели (testing) – планируемый итеративный процесс, направленный главным образом на поддержку процедур верификации и валидации имитационных моделей и данных. Некоторые полезные процедуры тестирования рассмотрим ниже. Более широкое изложение методов тестирования имитационных моделей можно найти в специальной литературе [20, 33, 56]. 6.2 Проверка адекватности модели. При моделировании исследователя прежде всего интересует, насколько хорошо модель представляет моделируемую систему (объект моделирования). Модель, поведение которой слишком отличается от поведения моделируемой системы, практически бесполезна. Различают модели существующих и проектируемых систем. Если реальная система (или ее прототип) существует, дело обстоит достаточно просто. Поэтому для моделей существующих систем исследователь должен выполнить проверку адекватности имитационной модели объекту моделирования, т.е. проверить соответствие между поведением реальной системы и поведением модели. На реальную систему воздействуют переменные G*, которые можно измерять, но нельзя управлять, параметры Х*, которые исследователь может изменять в ходе натурных экспериментов. На выходе системы возможно измерение выходных характеристик Y*. При этом существует некоторая неизвестная исследователю зависимость между ними Y*=f* (Х*, G*). Имитационную модель можно рассматривать как преобразователь входных переменных в выходные. В любой имитационной модели различают составляющие: компоненты, переменные, параметры, функциональные зависимости, ограничения, целевые функции. Модель системы определяется как совокупность компонент, объединенных для выполнения заданной функции Y=f (Х, G). Здесь Y, Х, G – векторы соответственно результата действия модели системы выходных переменных, параметров моделирования, входных переменных модели. Параметры модели Х исследователь выбирает произвольно, G – принимают только те значения, которые характерны для данных объекта моделирования. Очевидный подход в оценке адекватности состоит в сравнении выходов модели и реальной системы при одинаковых (если возможно) значениях входов. И те, и другие данные (данные, полученные на выходе имитационной модели и данные, полученные в результате эксперимента с реальной системой) – статистические. Поэтому применяют методы статистической теории оценивания и проверки гипотез. Используя соответствующий статистический критерий для двух выборок, мы можем проверить статистические гипотезы (Но) о том, что выборки выходов системы и модели являются выборками из различных совокупностей или (Н1), что они “практически” принадлежат одной совокупности. Могут быть рекомендованы два основных подхода к оценке адекватности: • 1 способ: по средним значениям откликов модели и системы. Проверяется гипотеза о близости средних значений каждый n-й компоненты откликов модели Yn известным средним значениям n-й компоненты откликов реальной системы Y*n. Проводят N1 опытов на реальной системе и N2 опытов на имитационной модели (обычно N2>N1). Оценивают для реальной системы и имитационной модели математическое ожидание и дисперсию, Yn’, Dn’ и Yn, Dn соответственно. Гипотезы о средних значениях проверяются с помощью t-критерия Стьюдента, можно использовать параметрический критерий Манна-Уитни и др. Например, продемонстрируем использование t-статистики. Основой проверки гипотез является En = (Yn -Yn’), оценка её дисперсии: Берут таблицу распределения t-статистики с числом степеней свободы: c=N1+N2$2 (обычно с уровнем значимости a=0.05). По таблицам находят критическое значение tкр. Если tn # tкр, гипотеза о близости средних значений n-й компоненты откликов модели и системы принимается. И т.д. по всем n' компонентам вектора откликов. • 2 способ: по дисперсиям отклонений откликов модели от среднего значения откликов систем. Сравнение дисперсии проводят с помощью критерия F (проверяют гипотезы о согласованности), с помощью критерия согласия ?2 (при больших выборках, n>100), критерия Колмогорова-Смирнова (при малых выборках, известны средняя и дисперсия совокупности), Кохрена и др. Проверяется гипотеза о значимости различий оценок двух дисперсий: D*n и Dn. Составляется F'статистика: F=Dn/D*n, (задаются обычно уровнем значимости a=0,05, при степенях свободы c1=c2=N1=N2), по таблицам Фишера для F-распределения находят Fкр. Если F>Fкр, гипотеза о значимости различий двух оценок дисперсий принимается, значит – отсутствует адекватность реальной системы и имитационной модели по n' ой компоненте вектора отклика. Процедура повторяется аналогичным образом по всем компонентам вектора отклика. Если хотя бы по одной компоненте адекватность отсутствует, то модель неадекватна. В последнем случае, если обнаружены незначительные отклонения в модели, может проводиться калибровка имитационной модели (вводятся поправочные, калибровочные коэффициенты в моделирующий алгоритм), с целью обеспечения адекватности. А если не существует реальной системы (что характерно для задач проектирования, прогнозирования)? Проверку адекватности выполнить в этом случае не удается, поскольку нет реального объекта. Для целей исследования модели иногда проводят специальные испытания (например, так поступают при военных исследованиях). Это позволяет убедиться в точности модели, полезности ее на практике, несмотря на сложность и дороговизну проводимых испытаний. Могут использоваться и другие подходы к проведению валидации имитационной модели [56], кроме статистических сравнений между откликами реальной системы и модели. В отдельных случаях полезна валидация внешнего представления, когда проверяется насколько модель выглядит адекватной с точки зрения специалистов, которые с ней будут работать, так называемый тест Тьюринга (установление экспертами различий между поведением модели и реальной системы). В процессе валидации требуется постоянный контакт с заказчиком модели, дискуссии с экспертами по системе. Рекомендуется также проводить эмпирическое тестирование допущений модели, в ходе которого может осуществляться графическое представление данных, проверка гипотез о распределениях, анализ чувствительности и др. Важным инструментом валидации имитационной модели является графическое представление промежуточных результатов и выходных данных, а также анимация процесса моделирования. Наиболее эффективными являются такие представления данных, как гистограммы, временные графики отдельных переменных за весь период моделирования, графики взаимозависимости, круговые и линейчатые диаграммы. Методика применения статистических технологий зависит от доступности данных по реальной системе. 6.3 Верификация имитационной модели. Верификация модели – есть доказательство утверждений соответствия алгоритма ее функционирования замыслу моделирования и своему назначению. На этапе верификации устанавливается верность логической структуры модели, реализуется комплексная отладка с использованием средств трассировки, ручной имитации, в ходе которой проверяется правильность реализации моделирующего алгоритма. Комплексные процедуры верификации включают неформальные и формальные исследования программы-имитатора. Неформальные процедуры могут состоять из серии проверок следующего типа: • проверка преобразования информации от входа к выходу; • трассировка модели на реальном потоке данных (при заданных Gи X): ' X изменяется по всему диапазону значений – контролируется Y; ' можно посмотреть, не будет ли модель давать абсурдные ответы, если ее параметры будут принимать предельные значения; ' “проверка на ожидаемость”, когда в модели заменяют стохастические элементы на детерминированные и др. Полезным при решении указанных задач могут быть также следующие приёмы [56]: • обязательное масштабирование временных параметров в зависимости от выбранного шага моделирования (валидация данных); • валидация по наступлению “событий” в модели и сравнение (если возможно) с реальной системой; • тестирование модели для критических значений и при наступлении редких событий; • фиксирование значений для некоторых входных параметров с последующим сравнением выходных результатов с заранее известными данными; • вариация значениями входных и внутренних параметров модели с последующим сравнительным анализом поведения исследуемой системы; • реализация повторных прогонов модели с неизменными значениями всех входных параметров; • оценка фактически полученных в результате моделирования распределений случайных величин и оценок их параметров (математическое ожидание и дисперсия) с априорно заданными значениями; • сравнение исследователями поведения и результатов валидируемой модели с результатами уже существующих моделей, для которых доказана достоверность; • для существующей реальной исследуемой системы предсказание её будущего поведения и сравнение прогноза с реальными наблюдениями. Формальные процедуры связаны с проверкой исходных предположений (выдвинутых на основе опыта, теоретических знаний, интуитивных представлений, на основе имеющейся информации). Общая процедура включает: • построение ряда гипотез о поведении системы и взаимодействии ее элементов; • проверка гипотез с помощью статистических тестов: используют методы статистической теории оценивания и проверки гипотез (методы проверки с помощью критериев согласия (?2, Колмогорова' Смирнова, Кокрена и др.), непараметрические проверки и т.д., а также дисперсионный, регрессионный, факторный, спектральный анализы). 6.4 Валидация данных имитационной модели Валидация данных имитационной модели предполагает исследование свойств имитационной модели, в ходе которого оценивается точность, устойчивость, чувствительность результатов моделирования и другие свойства имитационной модели. Наиболее существенные процедуры исследования свойств модели: • оценка точности результатов моделирования; • оценка устойчивости результатов моделирования; оценка чувствительности имитационной модели. Получить эти оценки в ряде случаев бывает весьма сложно. Однако без успешных результатов этой работы, доверия к модели не будет, невозможно будет провести корректный проблемный анализ и сформулировать статистически значимые выводы на основе данных, полученных в результате имитации. 6.5 Оценка точности результатов моделирования Экспериментальная природа имитации требует, чтобы мы учитывали случайную вариацию оценок, получаемых на модели характеристик. В ходе этих испытаний исследователь интересуется выходами модели, прежде всего его интересует: • какой разброс данных на выходе имитационной модели или точность имитации; • какие выводы можно сделать по полученным результатам моделирования. Точность имитации явлений представляет собой оценку влияния стохастических элементов на функционирование модели сложной системы. Всем стохастическим элементам имитационной модели присущи флуктуации. Данные одного имитационного прогона представляют собой единичную выборку, т.е. результаты прогонов на имитационной модели могут рассматриваться как случайные величины – и к ним должны быть применены все определения и правила математической статистики. Ясно, для того, чтобы увеличить точность имитации (уменьшить разброс данных) необходимо выборку сделать большой (представительной). Поэтому, для достижения заданной точности результатов эксперимента, либо повторяют эксперимент несколько раз, либо имитируют более продолжительный период времени и оценивают полученные результаты (см. основные задачи тактического планирования: определение продолжительности имитационного прогона, анализ установившегося состояния). Для повышения точности используют специальные методы понижения дисперсии. Степень точности определяется величиной флуктуации случайного фактора (дисперсией). Мерой точности является доверительный интервал. Для определения точности результатов имитации оцениваем доверительные интервалы. Если мы имеем оценку истинного среднего µ совокупности, мы определяем верхнюю и нижнюю границы интервала, так, чтобы вероятность попадания истинного среднего в интервал, заключенный между этими границами, равнялась некоторой заданной величине (a – доверительная вероятность) следующим образом: Р {µ – d < < µ+d} = 1- a, где (6.5) – выборочное среднее, 1 – a – вероятность того, что интервал µ ± d содержит Х. 6.6 Оценка устойчивости результатов моделирования. Под устойчивостью результатов имитации будем понимать степень нечувствительности ее к изменению условий моделирования. Универсальной процедуры для такой проверки не существует. Устойчивость результатов моделирования характеризуется сходимостью контролируемого параметра моделирования к определенной величине при увеличении времени моделирования варианта сложной системы. На практике, рекомендуется устойчивость результатов моделирования оценивать дисперсией значений отклика (по выбранной компоненте). Если эта дисперсия при увеличении времени моделирования Тмод не увеличивается, значит, результаты моделирования устойчивы. Может быть рекомендована следующая методика оценки устойчивости. В модельном времени с шагом t контролируются выходные параметры Y. Оценивается амплитуда изменений параметра Y. Рост разброса контролируемого параметра от начального значения при изменении t + Dt указывает на неустойчивый характер имитации исследуемого процесса. Для проверки статистической гипотезы о равенстве дисперсий значений откликов имитационной модели ( ) для испытаний с различными длительностями прогонов может быть использован критерий Бартлетта: , где Методика несмещенной оценки к' дисперсий нормальных генеральных совокупностей: 1. Устанавливается длительность прогона (0, tмод) 2. Выбирается контролируемая компонента вектора отклика уi 3. Задается шаг Dt, На каждом шаге контролируется уi, оценивается дисперсия и т.д. Формулируется нулевая статистическая гипотеза: о равенстве дисперсий и проверяется с помощью критерия Бартлетта. Врасч сравнивается с тестовой. Если В>|2, то Н0 принимается. Считается, что модель устойчива по i$ компоненте вектора отклика. и т.д. по всем компонентам В случае удачной проверки, считается, что модель устойчива по всему вектору выходных переменных. 6.7 Анализ чувствительности имитационной модели. Анализ чувствительности модели определяет оценку влияния колебаний значений входных переменных на отклики (выходные переменные) модели. Необходимо установить, при каком разбросе входных данных сохраняется справедливость основных выводов, сделанных по результатам моделирования. Под анализом чувствительности понимаем определение чувствительности наших окончательных результатов моделирования к изменению используемых значений параметров. Анализ означает, как меняется выходная переменная Y при небольших изменениях различных пара' метров модели или ее входов X. Простота проведения анализа чувствительности в имитационном моделировании – одно из преимуществ этого метода. Оценка чувствительности является исключительно важной процедурой и подготовительным этапом перед планированием имитационного эксперимента. Дело в том, что величины параметров систематически варьируются в некоторых представляющих интерес пределах (Хmin – Хmax) и наблюдается влияние этих вариаций на характеристики системы (Ymin – Ymax). Если при незначительных изменениях величин некоторых параметров результаты меняются очень сильно, то это – основание для затраты большого количества времени и средств с целью получения более точных оценок. И наоборот, если конечные результаты при изменении величин параметров в широких пределах не изменяются, то дальнейшее экспериментирование в этом направлении бесполезно и неоправданно. Поэтому очень важно определить степень чувствительности результатов относительно выбранных для исследования величин – параметров. Исследование чувствительности является предварительной процедурой перед планированием эксперимента, и позволяет определить стратегию планирования экспериментов на имитационной модели. Этой информации бывает достаточно для ранжирования компонент вектора параметров модели Х по значению чувствительности вектора отклика модели. Если модель оказывается малочувствительной по какой-либо q-й компоненте вектора параметров модели Хq, то зачастую не включают в план имитационного эксперимента изменение Хq, чем достигается экономия ресурса времени моделирования. Анализ чувствительности поможет также внести коррективы в разрабатываемую модель – упростить, например, перейти от использования закона распределения к использованию среднего значения переменной, а некоторые подсистемы вообще отбросить (или процессы не детализировать). И наоборот, анализ чувствительности может показать, какие части модели было бы полезно разработать более детально. Чувствительность имитационной модели представляется величиной минимального приращения выбранного критерия качества, вычисляемого по статистикам моделирования, при последовательном варьировании параметров моделирования на всем диапазоне их изменения. Методика (процедура) оценки чувствительности [33]: По каждому фактору Х определяется интервал изменения (minXq, maxXq). Остальные компоненты вектора Х не изменяются и соответствуют центральной точке. Проводят пару модельных экспериментов и получают отклики модели (min Y, max Y соответственно). Для оценки чувствительности используют абсолютные значения или относительные. В последнем случае вычисляют приращение вектора параметров и вычисляют приращение вектора отклика Выбирают . Итак, чувствительность модели по q-компоненте вектора параметров Х определяют парой значений . Все рассмотренные процедуры в комплексе дают необходимую информационную базу обеспечения доверия к разработанной имитационной модели и перехода к следующим этапам работы с моделью. 6.8 Тактическое планирование имитационного эксперимента. Процедуры верификации и валидации собственно имитационной модели и её программного кода требуют проведения широкого спектра тестовых имитационных экспериментов согласно сценариям, разработанным в процессе как тактического, так и стратегического планирования. Стратегическое планирование (подробно рассматривается в следующей лекции) направлено на решение задач анализа чувствительности имитационной модели и определение комбинации оптимизирующих исследуемую систему параметров. Тактическое планирование позволяет определиться с условиями проведения каждого прогона в рамках составленного плана эксперимента и связано с вопросами эффективности и определением способов проведения испытаний (прогонов), намеченных планом экспериментов. Тактическое планирование направлено на решение проблемы точностного оценивания имитационных моделей и связано с тем, что в условиях стохастической модели, чтобы достигнуть заданной точности результатов экспериментов стремятся повторять реализации (проводить многочисленные прогоны). Время на серию машинных прогонов сложного модельного эксперимента может быть большим, а выделенное на эксперимент машинное время ограничивается имеющимися временными и машинными ресурсами. Поэтому необходимо стремиться к получению максимальной информации с помощью небольшого числа прогонов. Основное противоречие – между точностью результатов и ограничением на ресурс (затратами на машинное время и на проведение серии экспериментов). На практике ищется компромисс. Выше мы обсуждали, что экспериментатор должен не только получить данные, но и оценить их точность, т.е. степень доверия к тем выводам, которые будут сделаны на основе этих результатов. Поэтому он стремится увеличить продолжительность прогона или число прогонов (размер выборки), т.к. от этого зависит точность результатов. Основные вопросы (задачи) тактического планирования, которые решаются в связи с этим: • Определение продолжительности имитационного прогона или требуемого числа повторений каждого прогона (размера выборки), обеспечивающего заданную точность результатов моделирования; • Определение длительности переходного режима (анализ установившегося состояния), задание начальных условий (начального состояния). Здесь решаются также такие задачи: • выбор корректного шага моделирования, поскольку именно от шага моделирования зависит точность воспроизведения в имитационной модели имеющих место в реальной системе цепочек событий; • контроль повторяемости результатов; • установление правил остановки, • уменьшении дисперсии выходов (используются специальные методы понижения дисперсии), • снижение погрешности имитации, обусловленной наличием в имитационной модели генераторов псевдослучайных чисел, • и многие другие. Рассмотрим основные задачи тактического планирования. Определение необходимого числа прогонов. Основные методы организации прогонов: повторные прогоны, метод подинтервалов (прогоны делятся на группы, вычисляется среднее). Чтобы сделать статистический анализ по всей последовательности моделируемого случайного процесса, либо повторяют имитацию несколько раз (метод повторных прогонов), либо имитируют более продолжительное время (метод удлиненных прогонов). Основные методы задания продолжительности имитационного прогона: • Часто задается момент времени завершения моделирования; • Метод, управляющий размером выборки (применяются правила автоматической остановки): • задание определенного числа компонентов, поступающих на вход модели, • задание числа компонентов, обрабатываемых в системе и др. Чтобы результаты, полученные на имитационной модели, были статистическими значимы, стремятся повысить точность результатов моделирования, повторяя эксперимент и усредняя полученные результаты. Этот способ неэффективен, т.к.: , где n – число повторений. Вопрос: как много выборочных значений следует взять, чтобы обеспечить статистическую значимость результатов моделирования. Задача состоит в том, чтобы определить при заданной точности необходимое число прогонов. Задача является обратной рассмотренной выше задачи оценивания точности методом доверительных интервалов. Задача состоит в определении необходимого для выполнения (6.5) объема выборки n. В предположении нормальности распределения выборочных значений из генеральной совокупности можно показать, что , где Zα/2 - двусторонняя стандартная нормальная статистика. Для решения n необходимо знать σ, Zα/2, d. На практике проводят пробные прогоны и поступают следующим образом: , , где n – необходимое число прогонов; n0 – количество пробных прогонов; d0 – доверительный интервал, оцененный по результатам пробного прогона; d – требуемая точность. Анализ установившегося состояния. Определение участка разгона (разогрева) модели для исключения неустановившихся режимов функционирования системы. Установившимся (стационарным) называется такое состояние модели, когда последовательные наблюдения отклика в установившемся состоянии имеют некоторое предельное стационарное распределения вероятностей, не зависят от времени. Стационарность режима моделирования характеризует собой некоторое установившееся равновесие процессов в модели системы Часто говорят, что динамическая система находится в равновесии (стационарном состоянии), если её функционирование происходит в соответствии с параметрами предельного стационарного распределения, которое не зависит от времени (т.е. если имитировать и дальше, то новой информации не получишь и продолжение имитации будет являться бессмысленной тратой времени). Обычно имитационные модели применяются для изучения системы в типичных условиях. Установившееся состояние обычно характерно для типичных условий функционирования (для систем массового обслуживания не естественны начальные состояния (0,0) – “пуст и свободен”), например, процессы обслуживания в аэропорту, на транспорте, в больнице. В некоторых стохастических моделях требуется некоторое время для достижения моделью необходимого установившегося состояния, имитационная модель не сразу выходит в стационарный режим работы. Необходимо определить момент достижения стационарного режима моделирования и позаботиться об уменьшении влияния начального периода моделирования или его исключения из результатов моделирования. Очевидно, что если исследовать только установившийся режим, то качество статистических оценок повысится. Чтобы исключить влияние начального периода на результаты моделирования можно предложить: • Использование длинных прогонов модели (если позволяет машинное время) для достижения статистического равновесия. Недостаток такого подхода – требуется много машинного времени. • Исключение из рассмотрения начального периода прогона. Продумывают процедуры отсечения, когда имитационная модель выходит в установившийся режим, в этот момент уничтожают предыдущую статистику. Недостаток – надо контролировать результаты моделирования, при этом сложно определить установившееся состояние в условиях стохастической модели, кроме того машинное время тратится не на имитацию, а на анализ установившегося режима. • Выбор такого начального условия, которое ближе всего к типичному, тем самым достигается существенное уменьшение длительность переходного режима в модели. Для этого проводят пробный прогон, чтобы определить момент выхода системы в стационарный режим. Однако рассмотренной процедурой надо пользоваться аккуратно, т.к. для некоторых исследуемых процессов переходный режим может представлять самостоятельный интерес. Обсуждение других задач тактического планирования можно найти в специальной литературе [20,33]. ТЕХНОЛОГИЯ ПОСТАНОВКИ И ПРОВЕДЕНИЯ НАПРАВЛЕННОГО ВЫЧИСЛИТЕЛЬНОГО ЭКСПЕРИМЕНТА НА ИМИТАЦИОННОЙ МОДЕЛИ. 7.1 Направленный вычислительный эксперимент на имитационной модели и его содержание. Мы уже обсуждали с Вами, что компьютерное моделирование рассматривает вычислительный эксперимент как новую методологию научного исследования. В лекции 2 мы определяли метод имитационного моделирования как экспериментальный метод, предполагающий экспериментирование с помощью модели с целью получения информации о реально действующей системе. Вычислительный эксперимент здесь рассматривается как целенаправленное исследование, организованное на имитационной модели, которое позволяет получить информацию, необходимую для принятия решений. Имитационные модели, отмечали мы там же, не расчетные, а прогонного типа. Одна реализация исследования на имитационной модели, эксперимент состоит из серии прогонов, в ходе которого осуществляется оценка функционирования системы при заданном (фиксированном) наборе условий, при определенном наборе исходных данных и управляемых параметров (здесь мы временно отвлечемся от стохастичной природы имитации и будем подразумевать детерминированный случай). Характерной чертой имитационной модели является то, что каждый машинный прогон имитационной модели дает результаты, которые действительны только при определенных значениях параметров, переменных и структурных взаимосвязей, заложенных в имитационную программу, т.е. для различных исследуемых вариантов могут изменяться параметры, переменные, операционные правила, структурные отношения, которые характеризуют определенный вариант. Цель имитационных исследований – снабжать данными при изменении входных условий. Имитационный эксперимент, содержание которого определяется предварительно проведенным аналитическим исследованием (являющимся составной частью вычислительного эксперимента), результаты которого достоверны и математически обоснованы, назовем направленным вычислительным экспериментом. Приведенное выше определение отражает две части и основные задачи исследователя при организации и проведении вычислительного эксперимента на имитационной модели. Эти задачи включают: • Стратегическое планирование вычислительного эксперимента; • Выбор (математического) метода анализа (обработки) результатов вычислительного эксперимента. Рассмотрим первую задачу. Проблемы стратегического планирования в имитационном исследовании мы обсуждали ранее. Стратегическое планирование вычислительного эксперимента – это организация вычислительного эксперимента, выбор метода сбора информации, который дает требуемый (для данной цели моделирования, для принятия решения) ее объем при наименьших затратах. Т.е. основная цель стратегического планирования – получить желаемую информацию для изучения моделируемой системы при минимальных затратах на экспериментирование, при наименьшем числе прогонов. Перед началом исследования необходимо спланировать эксперимент – разработать план проведения эксперимента на модели. Цель этого планирования двоякая: 1) Планирование эксперимента позволяет выбрать конкретный метод сбора необходимой для получения обоснованных выводов информации, т.е. план задает схему исследования. Таким образом, план эксперимента служит структурной основой процесса исследования. 2) Достигнуть цели исследования эффективным образом, т.е. уменьшить число экспериментальных проверок (прогонов). Действительно, если в процессе имитационного исследования рассматривается большое число вариантов (для каждого варианта могут меняться параметры, переменные, структурные отношения), то число прогонов растет, растут и затраты машинного времени. Допустим, число уровней, принимаемых значений переменной всего 2. В случае трёх двухуровневых факторов необходимо проводить прогонов N= 23 = 8, при 7 факторах требуемое число прогонов возрастает до 27= 128. Проблема выбора ограниченного числа прогонов может быть решена с помощью статистических методов планирования эксперимента, которые мы будем рассматривать ниже. Вторая задача при организации и проведении направленного вычислительного эксперимента на имитационной модели: выбор метода анализа результатов. В зависимости от целей и задач вычислительного эксперимента могут применяться различные математические методы для обработки результатов эксперимента. На данном технологическом этапе имитационного моделирования, имитационная модель представляется исследователю в виде черного ящика, как показано на рисунке 7.1. Взаимосвязь F между входом Х и выходом Y имитационной модели, должна быть промоделирована с помощью некоторой вторичной модели, отвечающей стратегическим требованиям. В простейшем случае – это может быть некоторая линейная регрессионная модель. В задачах интерполяции ищется функция F, в задачах оптимизации – экстремум функции F. Y= F (x1, x2,..., xk). Выбор метода анализа результатов исследования зависит в основном от цели и характера исследования. На практике, выбор аналитического метода анализа результатов исследования (вторичной математической модели) определяется целью исследования и методом статистического анализа его результатов, необходимым для достижения этой цели. Итак, решение основных задач рассмотренного этапа имитационного моделирования предполагает составление такого плана компьютерного эксперимента, позволяющего достигать поставленные цели эксперимента эффективным образом, с учетом ограничений на ресурсы, а также выбрать математический метод анализа (истолкования) результатов моделирования. Технологическая цепочка такого экспериментального исследования на имитационной модели представляет последовательность следующих действий: в соответствии с целью исследования осуществляется постанов' ка математической задачи (определяется содержание направленного вычислительного эксперимента); в соответствии с поставленной задачей исследования разрабатывается план эксперимента; по плану проводится серия экспериментов, в ходе которого собирается информация (результаты экспериментов); далее в зависимости от цели эксперимента выбирается метод анализа результатов, позволяющий в конечном итоге принимать исследователю решение по результатам моделирования. Далее мы будем изучать анонсируемые выше методы, полезные в вычислительном эксперименте на имитационной модели. 7.2 Основные цели и типы вычислительных экспериментов в имитационном моделировании В соответствии с наиболее употребимыми целями моделирования, рассмотренными в лекции 3, целями вычислительного эксперимента могут быть: • оценка выходных переменных функционирования сложной системы при заданных параметрах системы; • выбор на множестве альтернатив; получение знаний о влиянии управляемых параметров на результаты эксперимента; • определение тех значений входных параметров и переменных, при которых достигается оптимальный выход (отклик). Наиболее широко на практике распространены следующие типы вычислительных экспериментов, представленные в таблице 7.2. Таблица 7.2 – Основные типы направленных вычислительных экспериментов 1 тип: Оценка и сравнение средних и дисперсий различных альтернатив. 2 тип: Анализ чувствительности(параметрический анализ) системы к изменению параметров. Основным содержанием такого эксперимента является определение влияния управляемых параметров, переменных (факторов) на результаты экспериментов (отклик). В эксперименте 2 типа ставится математическая задача интерполяции и осуществляется построение интерполяционных формул. Например, модель F на рис.7.1.1. может быть аппроксимирована полиномиальной функцией, например, некоторой линейной регрессионной моделью. В задачах интерполяции необходимо найти функцию F. 3 тип: Решается задача оптимизации: поиск оптимальных значений на некотором множестве возможных значений переменных. В задачах оптимизации необходимо найти экстремум функции F. 4 тип: Вариантный синтез, это более сложный класс вычислительных экспериментов, как правило, связанный с многокритериальной оптимизацией, реализацией итерационных имитационно оптимизационных процедур [13], выбором и принятием решения в широком смысле слова. Рассмотрение этих методов в этой лекции мы не будем проводить. Рассмотрим основные математические модели и методы, применяемые в первых трех типах вычислительных экспериментов и общие схемы по их организации и проведению. Эксперименты первого типа довольно просты и обычно являются так называемыми однофакторными экспериментами, подробнее рассматриваются в разделе 7.4. Основные вопросы, встающие перед экспериментатором при их проведении, – это вопросы о размере выборки, начальных условиях, наличие или отсутствии автокорреляции и другие задачи тактического планирования машинного эксперимента, которые рассматриваются подробнее в соответствующем разделе учебника. Основные математические методы, применяемые и рекомендуемые в этом эксперименте: • статистические методы оценивания путем использования таких величин, как среднее значение, стандартное отклонение, коэффициент корреляции др.; • процедуры проверки гипотез с использованием стандартной тестовой статистики (t, F, 2 и др.), однофакторный дисперсионный анализ; • при сравнении и выборе альтернатив Клейнен [20] рекомендует статистические процедуры ранжирования (веса) и отбора: методы множественного ранжирования и методы множественного сравнения; • в более сложных случаях могут быть полезны различные эвристические приемы. Эксперименты второго типа предполагают обычно широкое использование методов планирования эксперимента, которые мы подробно будем изучать в следующем разделе учебника. Основными методами истолкования результатов этих экспериментов являются дисперсионный и регрессионный анализы. Для исследования динамических рядов (в моделях системной динамики) рекомендуется спектральный анализ. В терминах теории планирования экспериментов вход модели называется фактором, конкретные значения фактора – уровнями, выход модели – откликом. План эксперимента определяет комбинацию уровней и для каждой комбинации задает число повторных прогонов модели. Выбирают и осуществляют план, далее, используя данные эксперимента, определяют параметры регрессионной модели. Общая схема исследования здесь следующая: • Выбор ограниченного числа прогонов вариантов системы решается с помощью статистических методов планирования экспериментов. Используют полные и дробные факторные планы; • В ходе обработки результатов эксперимента получают параметры регрессионной модели; • Исследователь выполняет анализ модели (регрессионной зависимости). 3 тип вычислительного эксперимента, ориентированный на решение задачи оптимизации (определяются такие значения управляемых параметров и переменных, которые максимизируют или минимизируют заданную целевую функцию), предполагает использование последовательных или поисковых методы построения экспериментов. Полезно применение методологии анализа поверхности отклика, рассматриваемой в последующих разделах этой лекции, комбинирующей эти методы планирования и итерационные имитационно оптимизационные вычислительные процедуры. Принципы оптимизации здесь те же, что и для аналитических моделей, однако выход имитационной модели содержит случайную составляющую, – поэтому необходимо в вероятностной форме задавать ограничения на отклики и осуществлять статистическую интерпретацию значений целевой функции. 7.3 Основы теории планирования экспериментов Основные понятия: структурная, функциональная и экспериментальная модели. Проблема выбора ограниченного числа экспериментов для анализа вариантов моделируемой системы может быть решена с помощью статистических методов планирования экспериментов. Теория планирования эксперимента традиционно используется в химии, физике, сельском хозяйстве. В экономике натурный эксперимент исключен, так как труден и дорогостоящ, однако машинный эксперимент, когда все факторы находятся под управлением исследователя – возможен. Теория и практика использования методов планирования разработана в настоящее время достаточно хорошо, – существует большое число работ, специальные справочники, в которых некоторые типы планов стандартизованы, поэтому можно использовать готовые проекты, как выкройки для готовой одежды. Подобно тому, как иногда необходимо подогнать портному выкройку, так и начинающему симуляционисту необходимо изучить основы теории планирования эксперимента, чтобы сделать правильный выбор для своего проекта. Можно рекомендовать следующую специальную литературу, в которой обсуждаются методы планирования машинных экспериментов [16,20, 54]. Машинный эксперимент имеет целый ряд преимуществ по сравнению с физическим: • Машинный эксперимент управляемый, активный. Существует возможность управления условиями проведения эксперимента. Можно выбирать уровни факторов заведомо постоянные, а не случайные, т.е. строить модели постоянных эффектов. Это упрощает методы планирования экспериментов, снимает проблемы рандомизации и разбиения на блоки, анализа результатов; • В условиях машинного эксперимента выполняется требование воспроизводимости эксперимента. Присутствует легкость воспроизведения условий проведения экспериментов, легкость прерывания и возобновления эксперимента. Это позволяет, например, на ЭВМ реализовать одну и ту же последовательность событий, что полезно в экспериментах при сравнении альтернатив. Кроме того, можно создавать такие условия в компьютерных экспериментах, которые позволяют выполнять допущения и предположения дисперсионного и регрессионного анализов, например, т.к. независимость отклика, однородность дисперсии и некоторые другие; Еще одно преимущество – при машинных экспериментах можно использовать последовательные или эвристические методы планирования, которые могут оказаться нереализуемыми при экспериментах с реальными системами. В компьютерном эксперименте можно прервать эксперимент, выполнить анализ результатов, а дальше принять решение об изменении параметров модели или продолжить эксперимент с теми же параметрами. В машинном эксперименте возникают и некоторые трудности: • существует “чистая ошибка опыта”, вносимая программными датчиками случайных чисел, правда ее можно оценить на стадии определения пригодности модели; • большая роль отводится случайным внешним (экзогенным) факторам, • трудность определения понятия выборочной точки (брать среднее значение отклика в прогоне, или моделируемый интервал времени разбивать и усреднять) и некоторые другие. Основные понятия теории планирования экспериментов. Чтобы оказать помощь в самостоятельном освоении теории планирования экспериментов введем некоторые термины и понятия. При планировании и построении модельных экспериментов мы имеем дело с двумя типами переменных, которые будем называть в этой лекции факторами и откликами. Для выяснения различий между ними рассмотрим простой эксперимент, в котором рассматриваются лишь две переменные х и у и цель которого состоит в ответе на вопрос: как при изменении х изменяется у? В этом случае х – фактор, а у – отклик. В литературе факторы называют независимыми переменными, а отклики выходами или зависимыми переменными. Ранее, при разработке имитационной модели мы использовали термины экзогенный (вход) и эндогенный выход или состояние, соответственно, для фактора и отклика. Итак, термины: «фактор», «режим», «независимая переменная», «входная переменная» и «экзогенная переменная» эквивалентны, так же как и термины: «отклик», «выход», «зависимая переменная», «выходная переменная», «переменная состояния», «эндогенная переменная». Уровни – это значения квантования каждого фактора. Планирование эксперимента по имитационному моделированию, как и другие проблемы планирования, требует систематического подхода. Для выбора плана эксперимента следует: • определить критерии планирования эксперимента. В качестве основных критериев планирования рассматриваются: отклик, число варьируемых факторов, число уровней, необходимое число измерений переменной отклика; • синтезировать экспериментальную модель; • сравнить полученную модель с существующими моделями, со стандартными планами и выбрать оптимальный план. Процесс построения плана эксперимента разбивается обычно на три этапа: • построение структурной модели; • построение функциональной модели; • построение экспериментальной модели. Структурная модель характеризуется: • числом факторов; • числом уровней для каждого фактора. Структурная модель выбирается исходя из того, что должно быть сделано, а функциональная – из того, что может быть сделано. Выбор этих параметров определяется целями эксперимента, точностью измерений факторов, интересом к нелинейным эффектам и т. п. На этот выбор не должна влиять ограниченность числа возможных измерений, возникающая вследствие ограниченности ресурсов. Подобные ограничения существенны для выбора функциональной модели. Структурная модель эксперимента, следовательно, имеет вид: Ns = (q1), (q2), (q3) ... (qk), где Ns - число элементов эксперимента; k - число факторов эксперимента; qi - число уровней i-го фактора, i=1, 2,..., k. Мы называем элементом основной структурный блок эксперимента, определяемый как простейший эксперимент в случае одного фактора и одного уровня, т. е. k = 1, q = 1, Ns = 1. Функциональная модель определяет количество элементов структурной модели, которые должны служить действительными измерителями отклика, т. е. определять, сколько необходимо иметь различных информационных точек. Подобные функциональные модели могут быть либо совершенными, либо несовершенными. Функциональная модель называется совершенной, если в измерении отклика участвуют все ее элементы, т. е. Nf = Ns. Функциональная модель называется несовершенной, если число имеющих место откликов меньше числа элементов, т.е. Nf < Ns. В идеале – когда структурная модель совпадает с функциональной, однако в имитационном эксперименте существует ограничение на ресурс. Функциональная модель должна позволить установить компромисс между имеющимися ресурсами и желаниями: N = pqk, где p – число повторений экспериментов; q – число уровней факторов; k – число факторов (входных параметров и переменных). С учетом ограничений на ресурсы нужно определить q, k, p. Вид экспериментальной модели определяется должным образом подобранными критериями планирования. Разработка плана эксперимента включает ряд шагов, в ходе которых экспериментатор должен ответить на ряд важных вопросов. Шаг первый состоит в выборе переменной отклика (целевой функции, параметра оптимизации), который зависит от цели исследования. Это означает, что мы должны решить, какие отклики интересуют нас в первую очередь, т. е. какие величины необходимо измерить, чтобы получить искомые ответы. Например, при моделировании информационно-поисковой системы нас может интересовать время ответа системы на запрос. В то же время нас может интересовать и максимальное число обслуженных запросов за данный промежуток времени или какие-либо другие характеристики моделируемой системы. При рассмотрении методов планирования в этой лекции мы пока будем иметь дело с однокритериальными задачами. Основные требования к параметру оптимизации: • он должен быть эффективным с точки зрения достижения цели; • универсальным; • количественным; • статистически эффективным (наиболее точным); • имеющим физический смысл, простым и легко вычисляемым; • существующим (при различных состояниях, ситуациях). Шаг второй: выделение существенных факторов. После выбора интересующих нас переменных откликов мы должны определить факторы, которые могут влиять на эти переменные. Обычно число таких факторов довольно велико, и потому необходимо выделять среди них несколько наиболее существенных. К сожалению, чем меньше мы знакомы с системой, тем больше таких факторов, которые, как нам представляется, способны, влиять на отклики. Известно, что, как правило, степень понимания явления обратно пропорциональна числу переменных, фигурирующих в его описании. Большинство систем работает в соответствии с принципом Парето, который гласит, что с точки зрения характеристик системы существенны лишь некоторые из множества факторов. Действительно, в большинстве систем 20% факторов определяют 80% свойств системы, а остальные 80% факторов определяют лишь 20% ее свойств. Наша задача – выделить существенные факторы. Предварительная процедура в имитационном моделировании, которая упрощает эту задачу – анализ чувствительности имитационной модели. После определения переменных отклика и выделения существенных факторов необходимо классифицировать эти факторы в соответствии с тем, как они войдут в будущий эксперимент. Каждый фактор может входить в эксперимент тремя способами: 1) фактор может быть постоянным и тем самым играть роль граничных условий эксперимента (в имитационной модели - это входные переменные); 2) фактор может быть переменным, но неуправляемым и вносить тем самым вклад в ошибки эксперимента (в имитационной модели это, как правило, внешние, экзогенные переменные); 3) фактор может быть измеряемым и управляемым. Для построения плана эксперимента важны факторы третьего вида. В имитационной модели это – параметры. Основные требования к факторам: управляемость (это позволяет реализовать активный эксперимент) и однозначность. Требования к совокупности факторов: • выбранное множество должно быть достаточно полным; • точность фиксации факторов должна быть достаточно высокой; • совместимость и отсутствие линейной корреляции, независимость факторов, т.е. возможность установления факторов на любом уровне, вне зависимости от уровней других факторов. Необходимо понимать важность проводимых на этой стадии процесса моделирования рассмотрений. Исследователю необходимо знать, какие переменные ему понадобится измерять и контролировать в процессе проектирования и проведения эксперимента. Следующий шаг разработки плана эксперимента состоит в определении уровней, на которых следует измерять и устанавливать данный фактор. На это влияет точность измерения, интерес к нелинейным эффектам. Минимальное число уровней фактора, не являющегося постоянным, равно двум. Очевидно, что число уровней следует выбирать минимально возможным и в то же время достаточным для достижения целей эксперимента. Каждый дополнительный уровень увеличивает стоимость эксперимента, и следует тщательно оценивать необходимость его введения. Выбор для каждого фактора одинакового числа уровней (в особенности если уровней всего два-три) дает определенные аналитические преимущества. Такие структурные модели симметричны и имеют вид N=qk. Уровни могут быть: • качественные или количественные; • фиксированные или случайные. Количественной называется переменная, величина которой может быть измерена с помощью некоторой интервальной или относительной шкалы. Примерами могут служить доход, загрузка, цена, время и т. п. Качественной же называется переменная, величина которой не может быть измерена количественно, а упорядочивается методами ранжирования. Примерами качественных переменных могут служить машины, политика, географические зоны, организации, решающие правила, тип очереди в системах массового обслуживания, стратегии в системах принятия решений и т.п. Качественный фактор по своей сути принимает ряд возможных уровней, например, стратегий в системах принятия решений. Хотя мы для удобства обозначаем уровни качественного фактора цифрами 1, 2, 3 или буквами А, В, С, мы должны помнить, что подобное упорядочение произвольно, так как качественные уровни нельзя измерять с помощью количественной шкалы. Для количественного фактора необходимо выделить интересующую нас область его изменения и определить степень нашей заинтересованности нелинейными эффектами. Если нас интересуют только линейные эффекты, достаточно выбрать два уровня количественной переменной на концах интервала области ее изменения. Если же исследователь предполагает изучать квадратичные эффекты, он должен использовать три уровня. Соответственно для кубического случая необходимы четыре уровня и т. д. Число уровней равно минимальному числу точек, необходимых для восстановления полиномиальной функции. Анализ данных существенно упрощается, если сделать уровни равноотстоящими друг от друга. Такое расположение позволяет рассматривать ортогональное разбиение и тем самым упрощает определение коэффициентов полиномиальной функции. Поэтому обычно две крайние точки интересующей нас области изменения количественной переменной выбирают как два ее уровня, а остальные уровни располагают так, чтобы они делили полученный отрезок на равные части. Термин «фиксированные уровни» означает, что мы управляем уровнями квантования или устанавливаем их. Если уровни квантования выбираются случайно (например, с помощью метода Монте-Карло), то уровни называются случайными. Если используемая для построения эксперимента математическая модель имеет фиксированные параметры, она называется жесткой моделью. Если факторы модели могут изменяться случайным образом, она называется вероятностной моделью. Если модель содержит как фиксированные, так и случайные факторы, она называется смешанной моделью. Чтобы определить необходимое число измерений переменной отклика экспериментатор должен ответить также на ряд вопросов: а) Следует ли выявить взаимное влияние различных факторов? Эффектом взаимодействия можно назвать комбинированное влияние на отклик двух или более факторов, проявляющееся помимо индивидуального влияния всех этих факторов по отдельности. На практике это приводит к нелинейным эффектам при построении регрессионных моделей; б) Каков характер имеющихся ограничений: ограничено время на исследования, ограничены средства или машинное время на проведение машинных прогонов? в) Какова требуемая точность? 7.4 План однофакторного эксперимента и процедуры обработки результатов эксперимента. Наиболее прост в планировании так называемый однофакторный эксперимент, в котором изменяется лишь единственный фактор. (Уровни исследуемого фактора могут быть качественными или количественными, фиксированными или случайными). Уровнями фактора могут быть различные стратегии работы, различные конфигурации системы и различные уровни входной переменной. Число наблюдений или прогонов для каждого уровня режима или фактора определяется допустимыми затратами, желаемой мощностью проверки или статистической значимостью результатов. Рассматриваемую ситуацию можно представить в виде следующей математической модели: Хij = µ +Tj + f ij, где Xij обозначает i'e наблюдение (i=l, 2,..., п) на j 'м уровне (j =1, 2,..., k уровней). Например, Х42 обозначает четвертое наблюдение или прогон на втором уровне фактора; µ – общее влияние всего эксперимента; Tj – влияние j 'го уровня, f ij – случайная ошибка i'го наблюдения на j'м уровне. В большинстве рассматриваемых в литературе экспериментальных моделей предполагается нормально распределенной случайной величиной с нулевым средним и дисперсией 2, одинаковой для всех j. В более сложных случаях в правую часть приведенного выше уравнения модели включают дополнительные переменные, позволяющие учесть влияние других факторов и условий задачи. В таблице показан типичный план (макет) однофакторного эксперимента с k уровнями фактора. Таблица 7.4 – План однофакторного ДАНа Основные методы анализа результатов: 1. Простейший (процедура АNOVA). Если режим или фактор имеют лишь два уровня, то можно использовать процедуры прямой проверки гипотез с использованием стандартных критериев (t, F, h2 или отношений). 2. Если фактор или режим имеет более двух уровней, то обычно используется однофакторный дисперсионный анализ (ДАН) с нулевой гипотезой Tj =0 для всех j. Количество наблюдений или прогонов не обязательно одинаково для различных уровней фактора. Если нулевая гипотеза верна, то наблюдение Xij не зависит от уровня фактора и имеет среднее µ и случайную ошибку. Большинство описанных в литературе классических экспериментальных планов основано на использовании дисперсионного или регрессионного анализа после сбора данных. Обычно при наличии качественных факторов используется дисперсионный анализ, а в случае, когда все факторы количественные, – регрессионный анализ. Рассмотрение соотношения между регрессионным и дисперсионным анализом (рис.7.4.). Дисперсионный анализ приспособлен как к качественным, так и к количественным факторам. Если факторы количественны, то можно использовать ANOVA (ДАН) для проверки, есть ли эффект некоторого фактора, без уточнения (в виде регрессионной кривой) того, как меняется отклик при варьировании фактора во всей области экспериментирования. Если надо оценить отклик в некоторой точке экспериментальной области – следует строить регрессионную кривую. рис 7.4 – Соотношение между дисперсионным и регрессионным анализом. 3. Методы множественного ранжирования. Методы множественных сравнений. Это методы применяются при сравнении нескольких вариантов систем, когда изучаем k – систем, каждой системе соответствует одна частная комбинация уровней факторов, варьируемых в эксперименте. Методы множественного ранжирования – статистические методы полного (для всей совокупности) и неполного ранжирования, в литературе [20] называются методами принятия решений. Эти методы позволяют определить число наблюдений, которые надо взять из каждой k >2 совокупностей, чтобы выбрать наилучшую совокупность. Наилучшая, обычно, – та совокупность, которая имеет наибольшее (или наименьшее – в зависимости от задачи) – среднее. (Критерием отбора может быть и дисперсия). Большинство процедур ранжирования последовательны. Обзор, эффективность, робастность (устойчивость) методов множествен' ного ранжирования подробно рассматривается в [20]. Методы множественных сравнений. Если число экспериментов задано, тогда можно произвести различные типы сравнений между средними совокупностей: $ сравнение со стандартным Mo средним, соответствующим имеющейся эталонной системе (Mi $Mo) i=1,....k$1; $ все попарные сравнения (Mi $Mj), i ! j; ' построить линейные контрасты Ci Mi (и cравнить со стандартной системой и т.п.); ∑ i выделить подгруппу, содержащую наилучшую совокупность, а потом ее дополнительно исследовать экспериментально. Если все факторы количественны – более эффективен регрессионный анализ, чем методы множественных сравнений. 7.5 Факторный анализ, полный и дробный факторный эксперимент и математическая модель. В предыдущем разделе нас интересовало влияние на отклик одного фактора. Рассмотрим теперь случай наличия двух и более факторов, влияние которых на отклик должен исследовать экспериментатор. Возможны следующие методы исследования: Классический метод “один фактор в каждый момент времени”. Один из традиционных методов исследований многофакторных экспериментов состоит в фиксации всех факторов, кроме одного, на некоторых уровнях и вариации уровней этого фактора. При такой схеме факторы изменяются и исследуются поочередно. Известно, что экспери' мент с одним фактором редко обладает достаточной информативностью, если он насчитывает в себе менее 8 выборочных точек на каждом уровне. (Можно привести подобный традиционный 2' х факторный эксперимент с двумя уровнями каждого фактора, выборка имеет объем 32.) Симметричный полный факторный эксперимент. Однако можно построить этот эксперимент и как симметричный полный факторный эксперимент, план которого приведен в таблице 7.5.1. Факторным экспериментом называется такой эксперимент, в котором все уровни данного фактора комбинируются со всеми уровнями всех других факторов. Под “симметричностью” понимается одинаковое количество уровней для всех факторов. Основные достоинства факторного анализа: • простота применения и интерпретации; • максимальная эффективность метода исследования (факторный анализ позволяет получить требуемую информацию при заданной точности с меньшими затратами, т.е. количество требуемых экспериментов меньше); • если имеют место взаимодействия между факторами – то их можно правильно идентифицировать и интерпретировать эти взаимодействия (важно в задачах интерпретации); • результаты справедливы, как правило, в более широком диапазоне условий (т.к. влияние фактора оценивается при нескольких уровнях других факторов). Если число уровней каждого фактора 2, то имеем полный факторный эксперимент типа 2k, – он прост в планировании. Требуемое количество машинных прогонов N = 2k, k – число факторов, 2' число уровней. В планировании эксперимента используют кодированные значения факторов: +1, '1 (1 опускают для простоты). Условия эксперимента описывают в виде таблицы – матрицы планирования эксперимента: вектор – строки матрицы соответствуют № прогона, вектор – столбцы – значениям факторов. Таблица 7.5.1 – Матрица планирования эксперимента Геометрическая интерпретация полных факторных планов в кодированном двухфакторном пространстве имеет вид: Рисунок 7.5.1 – Геометрическая интерпретация полных факторных планов 22. В области определения факторов ( ),найдем точку, соответствующую основному уровню, и проведем оси координат. Вершины квадрата соответствуют опытам, каждая сторона равно двум интервалам. Площадь, ограниченная квадратом называется областью определения эксперимента. В задачах интерполяции – это область предсказываемых значений y. План 22 задается координатами вершин квадрата. Геометрической интерпретацией полного факторного эксперимента 23 служит куб, координаты вершин которого задают условия прогонов. Рисунок 7.5.2 – Геометрическая интерпретация полных факторных планов 23. При k>3 – план – координаты вершин гиперкуба. Свойства полного факторного эксперимента. Полный факторный эксперимент типа 2k обладает свойствами: симметричности, нормировки, ортогональности, рототабельности. Свойства 1, 2 вытекают из построения матрицы планирования. 1. Симметричность относительно центра эксперимента: Алгебраическая сумма элементов вектор'столбца каждого фактора равна 0. N RVji = 0, где j=1,..., k – номер фактора, N – число опытов. 2. Условие нормировки: сумма квадратов элементов каждого столбца равна числу опытов, или N N RV2ji = N, i=1 (т.к. значения факторов в матрице задаются +1, '1) 1 и 2 – это свойства отдельных столбцов матрицы планирования. Теперь остановимся на свойствах совокупности столбцов. 3.Ортогональность матрицы планирования: сумма почленных произведений любых двух вектор'столбцов матрицы равна 0. N RVjiVui =0, j ! u, j,u=0,1,2….k i=1 4. Рототабельность (для линейной модели), т.е. точки в матрице планирования подбираются так, что точность предсказания значений параметра оптимизации одинакова на равных расстояниях от центра эксперимента и не зависит от направления. Полный факторный эксперимент и его математическая модель. Выход (отклик) имитационной модели системы является временным рядом. Пусть, выход содержит только одну выходную переменную. Для множественных выходов рассматриваемая процедура должна быть применена к каждой переменной отдельно. Чтобы сравнивать различные варианты системы, целый временной ряд характеризуется посредством одной или нескольких величин (среднее, стандартное отклонение и т.д.). Назовем такую величину переменной отклика 'Y. Если X= (x1,.....xk) – факторы, то отклик Y является функцией факторов Х. Y=f (x1,...., xk) Y – стохастическая переменная, является функцией от k факторов xj (j=1, k); f – и есть результат действия имитационной модели. Эта модель может быть аппроксимирована некоторой (например, линейной) регрес' сионной моделью (внутри некоторой экспериментальной области Е). Простейшая (линейная) регрессионная модель для выражения эффектов от k'факторов имеет вид: Yi = bo + b1 Xi1 +b2Xi2 + ..... + bk Xik + ei (i=1, N) где в i' м имитационном прогоне (i'наблюдение) фактор j имеет значение Xij (j=1, k) и ei представляет ошибку в регрессионной модели и по предположению имеет нулевое математическое ожидание. Эта модель подразумевает, что изменение в xj имеет постоянный эффект на ожидаемый отклик Y: 2Y/2xj = bj (j=1, k) Более общая регрессионная модель постулирует, что эффект от фактора j зависит также от значения других факторов (с этим связан тот или иной вид нелинейности в регрессионных моделях). Например, для случая k=3 имеет место уравнение: Yi = bo + (b1 Xi1 + b2 Xi2 + b3 Xi3) + + b12 Xi1Xi2 +b13 Xi1Xi3 + b23 Xi2Xi3) + b123 Xi1Xi2Xi3 + ei, (i=1, N), где вектор коэффициентов b содержит суммарное среднее, главные эффекты, и эффекты взаимодействия. Техника регрессионного анализа. Эксперимент, содержащий конечное число прогонов позволяет получить выборочные оценки для коэффициентов уравнения. Параметры полинома могут быть оценены и проверены на их значимость с помощью известной техники регрессионного анализа путем применением обычного или обобщенного метода наименьших квадратов. Техника регрессионного анализа реализуется с помощью ряда процедур, включающих: – Проверку постулатов регрессионного анализа (таких как проверка статистической гипотезы, о том что параметр оптимизации y – есть случайная величина с нормальным законом распределения, проверка однородности дисперсий и др.); – Расчет коэффициентов регрессии; – Проверку адекватности модели. Клейнен [20] рекомендует статистические проверки, основанные на использовании теста Стьюдента и F'теста. Если предполагаемая модель в результате окажется неприемлемой, то можно попробовать усложнить исходную модель путем добавлений двух' трех 'факторных взаимодействий, или использовать преобразование исходных факторов, сужение экспериментальной области Е, изменение интервалов варьирования и другие подходы; – Проверку значимости коэффициентов регрессии; – Анализ коэффициентов регрессии. Коэффициенты указывают на силу влияния факторов. Эффект фактора численно равен удвоенному коэффициенту, т.е. чем больше численная величина коэффициента, тем большее влияние оказывает фактор. Величина коэффициента соответствует вкладу данного фактора в величину параметра оптимизации при переходе фактора с нулевого уровня на верхний или на нижний. Если коэффициент “+”, – то с увеличением значения фактора параметр оптимизации увеличивается, если “'”, – то уменьшается. Вы знаете, что модель может быть нелинейной. Следующий вопрос – как оценить нелинейность, пользуясь полным факторным экспериментом. Часто встречающийся вид нелинейности связан с тем, что эффект одного фактора зависит от уровня, на котором находится другой фактор – так называемый эффект взаимодействия. При оптимизации стремятся сделать эффекты взаимодействия меньше, при интерполяции – важно их выявить. Полный факторный эксперимент позволяет количественно оценивать эффекты взаимодействия, пользуясь правилом перемножения столбцов – получают столбец произведения двух факторов. Матрица планирования полного факторного эксперимента 22 с учетом эффекта взаимодействия будет иметь вид: Таблица 7.5.2 – Матрица планирования полного факторного эксперимента 22 с учетом эффекта взаимодействия. Все свойства матрицы планирования сохраняются, теперь модель выглядит: У= b0 + b1x1 + b2x2 + b12x1x2 b12 вычисляется обычным образом. Необходимо оценить 4 параметра (эффекта). Матрица планирования эксперимента составлена с помощью приема, развитого в теории планирования эксперимента: последняя колонка получена умножением соответствующих элементов в столбцах Х1 и Х2. Таблица 7.5.3 – Полный факторный эксперимент 23. Теперь не составляет труда составить матрицу планирования для полного факторного эксперимента 23: значения получаются перемножением столбцов (таблица 7.5.3.). Эффект взаимодействия 2'х факторов называется эффектом взаимодействия 1'го порядка (парные эффекты взаимодействия); порядок на единицу меньше числа факторов. Здесь присутствуют тройные эффекты взаимодействия х1х2х3. Неполный факторный анализ. В полном факторном эксперименте разность между числом опытов и числом коэффициентов велика. Надо уменьшать число опытов. Эксперимент 27 уже содержит 128 прогонов (и это без повторений): 27 =128 Таблица 7.5.4 N опыта Х1 Х2 Х3 Х1X2 Х1X3 Х2X3 Х1X2X3 Y 1 ' ' + + ' ' + Y1 2 + ' ' ' ' + + Y2 3 ' + ' ' + ' + Y3 4 + + + + + + + Y4 5 ' ' ' + + + ' Y5 6 + ' + ' + ' ' Y6 7 ' + + ' ' + ' Y7 8 + + ' + ' ' ' Y8 k 2 3 4 5 6 7 8 9 10 … N 4 8 16 32 64 128 256 512 1024 C ростом числа факторов k число комбинаций переменных растет, растет число взаимодействий высокого порядка. Это демонстрируется в таблицах 7.5.4 и 7.5.5. (Полное число взаимодействий равно Cmk, где k' число факторов, m' число элементов во взаимодействии). Таблица 7.5.5 При больших k появляются взаимодействия очень высоких порядков. Часто на основе априорных и общих соображений их предполагают пренебрежимыми. Т.к. взаимодействия высоких порядков соответствуют членам высокого порядка в регрессионном полиноме – члены высокого порядка полагаются равными нулю, и считается, что полином низкого порядка дает адекватного регрессионное уравнение. А если некоторые эффекты предполагаются равными нулю, то мы не обязаны делать наблюдение во всех 2 экспериментальных точках, можно сделать только часть точек – т.е. поставить дробный факторный эксперимент. Оказывается, что если нас не интересуют взаимодействия высокого порядка (пренебрегаем некоторыми эффектами взаимодействия, в этом случае – члены полинома высокого порядка можем принять за 0), мы можем получить достаточное количество информации с помощью исследования лишь некоторой части (1/2, 1/4, 1/8 и т.д.) всех возможных комбинаций (реализовать часть экспериментальных точек или дробный факторный эксперимент). Неполным факторным планом называется план эксперимента, если в факторном эксперименте производится лишь часть всех возможных повторений. Такой эксперимент называется дробным факторным экспериментом, а его матрица планирования – дробной репликой. Всякий раз, когда мы используем выборку меньшую, чем этого требует полный факторный план, мы платим за это риском смешивания эффектом. Под смешиванием мы понимаем то, что статистик, измеряя один эффект, в то же время измеряет, возможно, и некоторый другой эффект. Например, если главный эффект смешивается с взаимодействиями более высокого порядка, то эти два эффекта уже невозможно отделить друг от друга. Т.е., если наш анализ показывает наличие некоторого эффекта, то мы не можем с уверенность сказать, главный ли это эффект, или эффект взаимодействия, или некоторая аддитивная комбинация этих эффектов. Поэтому экспериментатору необходимо выбирать эффективную стратегию экспериментирования. При построении неполного факторного плана экспериментатор должен определить эффекты, смешивание кото' рых он может допустить. Вообще говоря, лучше спутать взаимодействия высокого порядка, чем главные эффекты. Обычно, можно надеяться, что взаимодействия высокого порядка отсутствуют, и можно получить разумную информацию о главных эффектах или взаимодействиях низкого порядка. Эффективная стратегия экспериментирования или успех неполного факторного эксперимента достигается в случае, если его план позволяет не смешивать ни один главный эффект с другим. Когда 2 или более эффекта смешиваются, то говорят, что они являются совместными. Таблица 7.5.6 – Пример. Пользуясь планом (табл.7.5.6.), можно вычислить 4 коэффициента и представить результаты: Y= b0 +b1x1+ b2x2+ b12x1x2 (7.5) Если предположить и считать, что в выбранных интервалах варьирования процесс может быть описан линейной моделью, то достаточно определить 3 коэффициента: b0, b1, b2. Оставшуюся степень свободы – используем для минимизации числа опытов. При b12 " 0 столбец х1х2 используется для нового фактора х3. Но теперь оценки будут смешанные. Оценки смешаются следующим образом: b1 " b1 + b23 b2 " b2 + b13 b3 " b3 + b12 Это так называемые смешанные эффектыили эффекты, оцениваемые совместно (вместе). Однако основные эффекты оцениваются раздельно друг от друга. Не огорчайтесь! Мы постулируем линейную модель, значит все парные взаимодействия незначимы. Главное, что мы минимизировали число опытов – вместо 8 опытов для 3 факторов можно поставить 4. При этом матрица планирования не потеряла своих свойств (ортогональность, ротатабельность и т.п.) – можете самостоятельно убедиться. Правило: Чтобы сократить число опытов, нужно новому фактору присвоить вектор'столбец матрицы, принадлежащий взаимодействию, которым можно пренебречь. Тогда значение нового фактора в условиях опытов определяется знаками этого столбца. Т.о., поставив 4 опыта для оценки влияния 3'х факторов, мы воспользовались половиной полного факторного эксперимента 23, т.е. “полурепликой”. Если х3= – х1х2, то получили бы 2'ую половину матрицы 23 (см. табл.7.5.3.), объединение этих 2'х полуреплик есть полный факторный эксперимент 23. Есть две полуреплики 23'1: 1 случай – когда х3 приравниваем к х1х2; 2 случай – х3 приравниваем к $х1х2. Для обозначения дробных реплик, в которых p линейных эффектов приравнены к эффектам взаимодействия, используют условные обозначения 2k$p. Например, полуреплика от 26 – обозначается 26'1. Бывают реплики большей дробности (см. табл.7.5.7.). Например, при 15 факторах можно в 2048 раз сократить число опытов, применяя реплику большей дробности (поставить16 опытов вместо 32768) Таблица 7.5.7 – Примеры дробных реплик. Символическое обозначение произведения столбцов, равного +1 или '1, называется определяющим контрастом. Контраст помогает определять смешанные эффекты. Для того, чтобы определить какой эффект смешан с данным, нужно помножить обе части определяющего контраста на столбец, соответствующий данному эффекту. Так, если 1= х1х2х3, то Х1=х12х2х3 =х2х3 (т.к. х12=1). Х2=х1х22х3 =х1х3 Х3= х1х2х32=х1х2 Это значит, что коэффициенты линейного уравнения будут оценками b1 " b1 + b23 b2 " b2 + b13 b3 " b3 + b12 Соотношение, показывающее, с каким из эффектов смешан данный эффект, называется генерирующим соотношением. Полуреплики, в которых основные эффекты смешаны с двухфактор' ными взаимодействиями, носят название планов с разрешающей способ$ ностью III. (по наибольшему числу факторов (символов) в определяющем контрасте). Обозначают такие планы 23'1III. Разрешающая способность плана равна наименьшему числу символов в коде определяющего контраста. Неполный факторный анализ используется на начальной стадии исследования в случае наличия больше 4 факторов, когда необходимо выявить наиболее существенные переменные. Если число переменных меньше 4 – ставят полный факторный эксперимент. Итак, резюмируем наше рассуждение: • Дробные реплики применяются при получении линейных моделей. • Эффективность применения дробных реплик зависит от удачного выбора системы смешивания линейных эффектов с эффектами взаимодействия. • При построении дробных реплик используют правило: для того, чтобы сократить число опытов при введении в планирование нового фактора, нужно поместить этот фактор в вектор столбец матрицы, принадлежащий взаимодействию, которым можно пренебречь. • Реплики, которые используются для сокращения опытов в 2m раз, где m=1,2,3,4.... называются регулярными и пользуются популярностью, т.к. расчет коэффициентов производится также просто, как в случае полного факторного эксперимента (см. техника регрессионного анализа). • При применении дробных реплик линейные эффекты смешиваются с эффектами взаимодействия. Чтобы определить систему смешивания, надо знать определяющие контрасты и генерирующие соотношения. Эффективность реплики зависит от системы смешивания реплики, у которых линейные эффекты смешаны с взаимодействиями наивыс' шего порядка, являются наиболее эффективными, т.к. обладают наибольшей разрешающей способностью. 7.6 Основные классы планов, применяемые в вычислительном эксперименте. Приведем краткий обзор планов, используемых в имитационном эксперименте. По методу анализа и виду математической модели различают: ' планы дисперсионного анализа (однофакторный, многофакторный); ' планы регрессионного анализа; ' планы ковариационного анализа. Планы многофакторного анализа: ' двухуровневые, ' многоуровневые; ' симметричные, ' несимметричные. В практике машинного эксперимента полезны следующие виды планов: 1. Планы многофакторного анализа: Планы типа 2k$p. Все k факторов имеют 2 уровня, используется часть всех комбинаций (дробная реплика) – существует возможность оценить главные эффекты факторов и взаимодействия низкого порядка. Определяют следующие типы планов: • Планы разрешающей способности III: ни один главный эффект не смешан ни с каким другим главным эффектом, но главные эффекты смешаны с двухфакторными взаимодейст' виями, которые смешаны друг с другом. • Планы разрешающей способности IV: ни один главный эффект не смешан с другим главным эффектом или взаимодействием двух факторов, но эти взаимодействия смешаны друг с другом. • Планы разрешающей способности V: ни один главный эффект и ни одно взаимодействие 2'х факторов не смешаны с другими главными эффектами или двухфакторными взаимодействиями, но эти взаимодействия смешаны с взаимодействиями трех факторов. В общем случае разрешающая способность плана равна наименьшему числу символов в коде определяющего контраста. 2. Планы отсеивающего эксперимента: Если kвелико, число комбинаций все'таки остается большим даже при неполном факторном плане (2k$p),'тогда используются планы отсеивающих экспериментов.“Отсеивающий эксперимент” предполагает предваритель' ное отсеивание, определение наиболее важных (существенных) факторов и используется на стадии предварительного исследования. 2.1. Случайные планы. Комбинации уровней факторов случайно (рандомизация) отбираются среди всех возможных комбинаций. Число комбинаций N может быть определено независимо от числа факторов и уровней. (N может быть, например, < k). Могут быть получены “хорошие” оценки индивидуальных эффектов, не требуется специальных методов анализа – используются традиционные ДАН и регрессионный анализ. Если очень много факторов – можно использовать сверхнасыщенные планы: 2.2. Сверхнасыщенные планы. Если реплики от планов 2k насыщены, то они содержат как раз столько опытов, сколько эффектов надо оценить. Сверхнасыщенные планы – когда число комбинаций N меньше, чем число факторов k, и комбинации отбираются так, чтобы (для данных N и k) оценки эффектов были достаточно “хорошими”. 2.3. Планы группового отсеивания (последовательного отсеивания). k факторов разбиваются на q групп (q<