Проверка статистической модели Statistical model validation

ГЛАВА 16 Примеры анализа данных в системе STATISTICA

В этой главе мы рассмотрим несколько примеров анализа данных с помощью системы STATISTICA. Первый пример относится к области маркетинга (мы показываем возможности модуля Множественная регрессия), три следующие примера к промышленным приложениям (мы показываем возможности модулей Планирование эксперимента и Карты контроля качества), пятый пример иллюстрирует возможности STATISTICA по наложению результатов анализа на географические карты.

Еще раз отметим, что современная STATISTICA — это средство разработки приложений в конкретных областях (бизнесе, медицине, промышленности и др.). Библиотека STATISTICA содержит более 10 000 тщательно отлаженных и проверенных на практике процедур анализа данных. Развитие системы естественно приводит к созданию средств разработки собственного интерфейса и использования библиотеки STATISTICA для создания оригинальных модулей, включающих, наряду с процедурами STATISTICA, алгоритмы разработчика. Все эти процедуры объединяются общим интерфейсом, средствами управления данными и графикой STATISTICA.

Именно в создании средств для разработки приложений мы видим будущее систем анализа данных.

Пример основан на реальных данных, описывающих рынок пива в Греции (см. статью Kioulofas К. Е. «An Application of Multiple Regression Analysis to the Greek Beer Market» в журнале «Journal of Operational Research Society», Vol. 36, № 8, p. 689-696,1985).

Известно, что этот рынок поделен между 5 фирмами, обозначенными далее А, В, С, D и Е. До 1981 года на рынке присутствовали фирмы А, В и С, в 1981 году на рынок пришли фирмы D и Е. Но уже в’ 1983 году фирма D не выдержала конкуренции, а у фирмы А возникли финансовые проблемы.

В следующей таблице представлены объемы продаж в отрасли и доля каждой фирмы.

Можно заметить, что после появления фирм D и Е произошло резкое снижение доли фирмы А. Две новые фирмы D и Е по-разному освоили рынок. Фирма D имела большие производительные способности, чем фирма Е, но заметно отстала по объемам продаж. Этот пример интересен тем, что показывает соотношение затрат на рекламу и производство.

Будем считать, что основным показателем эффективности рекламы является объем продаж фирмы. В этой таблице представлены расходы на рекламу каждой фирмы и ее доля в рекламе.

Понятно, что вхождение в отрасль фирм D и Е потребовало больше расходов на рекламу (в процентном отношении к объему продаж). Это отчетливо видно из следующей таблицы:

Заметим, фирма D в 1982 году резко снизила расходы на рекламу, что, возможно, стало причиной потери рынка.

Предполагается, что для рекламы используются следующие средства массовой информации: телевидение, газеты, журналы и радио.

Эффективность рекламы в каждом случае различна, и возникает вопрос о количественных зависимостях между объемом продаж и расходами на рекламу в каждом из средств массовой информации. Обычно доля телевидения составляет 70-90%, и поэтому в таблице, представляющей распределение расходов на рекламу между средствами массовой информации, все СМИ, кроме телевидения, объединены в одну группу «другие».

На реальный объем продаж пива влияют также такие факторы, как температура воздуха, число туристов и индекс потребительских цен (инфляция).

В предлагаемой модели теоретическая зависимость основывается на предположении, что объем продаж за период t (далее это месяцы) является функцией объема продаж за прошлый период расходов на рекламу в периоды t и t-1, количества туристов, значений температуры и индекса розничных цен.

S_t — объем продаж (в драхмах);

A_t — ассигнования на рекламу;

T_t — число туристов в месяц t;

W_t — средняя температура воздуха;

P_t — индекс розничных цен.

Итак, мы построили модель зависимости, но коэффициенты этой модели неизвестны. Эти коэффициенты оцениваются из исходных данных в модуле Множественная регрессия.

Оценка коэффициентов по методу наименьших квадратов выявила статистическую незначимость переменных W_t и P_t, и они были исключены из дальнейшего анализа.

В результате получилось уравнение, содержащее меньшее число переменных:

Оценим коэффициенты этого уравнения, используя реальные данные. Для анализа использовались данные о месячных продажах за 2 года. Число наблюдений равнялось 24. Результаты регрессии приведены в таблице:

Значения коэффициента детерминации R 2 , близкие к единице, говорят о хорошем приближении линии регрессии к наблюдаемым данным и о возможности построения качественного прогноза.

Низкое значение коэффициента детерминации R 2 для фирмы D объясняется низкой эффективностью рекламной кампании и трудностями на административном уровне. Можно сделать вывод, что модель плохо применима к фирме D.

Статистики Дарбина—Уотсона свидетельствуют об отсутствии автокорреляции остатков при 5%-м уровне значимости, т. к. все ее значения по модулю меньше 1,96.

Все значения регрессионных коэффициентов значимы при уровне значимости 0,5, за исключением коэффициентов при A_t для фирм В, D и Е.

Одним из возможных объяснений этого факта является то, что показатели этих фирм зависят от рекламной деятельности за прошлый период времени, то есть от А_t-1

Это подтверждается тем, что для этих фирм коэффициенты при A_t-1 значимы на уровне 95%. Более того, можно заметить, что показатели всех фирм, кроме фирмы Е, имеют положительную корреляцию с числом туристов. Незначительную корреляцию между туризмом и объемами продаж фирмы Е можно объяснить недавним появлением этой фирмы. Объемы продаж всех фирм также находятся под влиянием объемов продаж в прошлом периоде, S_t-1 возможно, благодаря эффекту «привычки» потребителей к торговым маркам. Значимость этого параметра с распределенным лагом также наводит на мысль о некоторых обучающих эффектах.

Продажи фирмы А имеют значительную положительную корреляцию с ее расходами на рекламу за период t, что отличает ее от других фирм. Окончательно взаимосвязь между рыночными продажами и совокупными расходами на рекламу положительна и значима при уровне 5%.

Представленные выше результаты регрессии образуют основу оценки эффективности совокупных расходов на рекламу.

Покажем, как строятся такие модели в системе STATISTICA. Для этих целей обычно используется модуль Множественная регрессия.

В этом модуле собраны методы, позволяющие оценить зависимость одной переменной от нескольких других переменных.

Переменная, для которой строится зависимость, называется зависимой (по-английски dependent variable). Эта переменная входит в левую часть уравнения, описывающего зависимость (см. уравнение (*)). Переменные, от которых мы хотим построить зависимость, называются независимыми переменными (по-английски independent variables) или предикторами (от английского predict — предсказывать). Эта переменная входит в правую часть уравнения, описывающего зависимость. Сам термин множественная регрессия (по-английски multiple regression) означает, что модель может содержать несколько предикторов, позволяющих предсказывать зависимую переменную.

Итак, общая идея состоит в том, чтобы по значениям предикторов предсказывать значения зависимой переменной, например, по значениям продаж и расходам на рекламу в текущем и предыдущем месяце предсказывать продажи в следующем месяце.

Конечно, количество предикторов можно увеличить, например, ввести объем продаж у конкурентов или какие-то другие, имеющие смысл и доступные наблюдению переменные. Однако здесь имеется тонкость, предикторы могут оказаться зависимыми между собой.

Переменные, которые следует включить в модель, определяет специалист в предметной области. Затем нужно выполнить следующие действия.

Шаг 1. Запустите модуль Множественная регрессия.

Шаг 2. Введите исходные данные в файл системы STATISTICA. Назовите его, например, Beer.sta.

Шаг 3. Определите переменные в модели. Задайте S в качестве зависимой переменной и S1. P — в качестве независимых переменных, или предикторов. После этого стартовая панель модуля будет выглядеть так:

Шаг 4. Нажмите кнопку ОК. Появится диалоговое окно результатов, в котором отображаются итоги стандартной процедуры.

Измените процедуру на Пошаговую с включением. Для этого нажмите на кнопку Отмена и в появившемся диалоговом окне Определение модели выберите в поле Процедура опцию Пошаговая с включением. В этой процедуре система начинает построение модели с одного предиктора, затем, используя F-критерий, в модель включается еще один предиктор и т. д. На каждом шаге вычисляется коэффициент множественной корреляции. Квадрат коэффициента множественной корреляции, коэффициент детерминации, свидетельствует о качестве построенной модели. Нажмите кнопку ОК.

В появившемся окнеПошаговая множественная регрессия снова нажмите ОК.

Теперь перед вами диалоговое окно результатов, полученных с помощью пошаговой процедуры с включением. Следует отметить, что в нем указаны стандартизованные коэффициенты регрессии.

Заметим, если вы предполагаете, что в модели должно присутствовать небольшое число предикторов, то естественно использовать пошаговый метод с включением предикторов. Если вы предполагаете, что в модели должно присутствовать большое число предикторов, то естественно использовать метод с исключением.

Шаг 5. Нажмите кнопку Итоговая таблица регрессии. Появится таблица результатов с подробными статистиками.

В столбце БЕТА показаны стандартизованные коэффициенты регрессии, а в столбце В — нестандартизованные коэффициенты. Все коэффициенты в таблице значимы, так как р-значения для каждого из них меньше заданной величины 0»05.

Шаг 6. В окне результатов нажмите кнопку Анализ остатков.

Шаг 7. В диалоговом окне Анализ остатков нажмите кнопку Статистика Дарбина—Уотсона. Эта статистика позволяет исследовать зависимость между остатками. Формально остатки представляют собой разность: наблюдаемые значения зависимой переменной минус оцененные с помощью модели значения зависимой переменной.

Зачем проверять зависимость остатков? Идея проста: если остатки существенно коррелированны (зависимы), то модель неадекватна (нарушено важное предположение о независимости ошибок в регрессионной модели).

Рассмотрим более подробно статистику Дарбина—Уотсона. Мы уделяем этой статистике так много внимания, потому что статистика Дарбина—Уотсона является стандартом для проверки некоторых видов зависимости остатков и с ней нужно научиться работать.

Статистика Дарбина—Уотсона используется для проверки гипотезы о том, что остатки построенной регрессионной модели некоррелированы (корреляции равны нулю), против альтернативы: остатки связаны авторегрессионной зависимостью вида:

где d_i независимые случайные величины, имеющие нормальное распределение с параметрами (0, s), i = 1 . n».

Формально статистика Дарбина—Уотсона вычисляется следующим образом:

Иными словами, сумма квадратов первых разностей остатков нормируется суммой квадратов остатков. Проведя вычисления, вы легко выразите статистику Дарбина—Уотсона через коэффициент корреляции: d = 2(1 — р).

Критические точки статистики Дарбина—Уотсона табулированы (см. например, Драйпер Н., Смит Г. Прикладной регрессионный анализ. М.: Финансы и статистика, т. 1. с. 211, см. также таблицу, показанную ниже).

В таблице приведены два критических значения статистики Дарбина—Уотсо-на: DL_k и DU_k — нижнее и верхнее, зависящие как от числа наблюдений, по которым оцениваются параметры, так и от числа предикторов k, которые включены в модель.

На графике видно, как меняются значения DL_k и DU_k в зависимости от числа наблюдений (k = 1, 2, 3, 4, 5).

Число наблюдений, для которого рассчитаны критические значения, указано в заголовках строк приведенной таблицы.

Итак, вы находите строку с нужным числом наблюдений и два смежных столбца с нужным числом предикторов. На пересечении строки и столбцов располагаются нижние и верхние критические точки статистики Дарбина—Уотсона.

Если нужно проверить гипотезу: «остатки независимы, то есть р =0», против общей альтернативы р не равно 0, поступают следующим образом. Вычисляют значение статистики Дарбина—Уотсона d. Для данного числа наблюдений и числа предикторов находят критические точки DL_k и DU_k в таблице, составленной для определенного уровня а. В приведенной таблице уровень a=0,05

Если d < DL_k или 4 — d < DL_k, то гипотеза о независимости остатков отвергается на уровне 2ос. Если d > DU_k и 4 — d > DU_k, то гипотеза о независимости остатков не отвергается на уровне 2a.

Если нужно проверить гипотезу: «остатки независимы р = 0», против альтернативы р > 0, то есть остатки положительно автокоррелированы, поступают следующим образом. Вычисляют значение статистики Дарбина—Уотсона d. Находят по таблице критические точки DL_k и DU_k, вычисленные для определенного уровня a. Заметьте, в приведенной таблице a=0,05.

Если d < DL_k то гипотеза о независимости остатков отвергается на уровне а в пользу альтернативы.

Если d > DU_k, то гипотеза о независимости не отвергается на уровне a.

Случай DL_k < d < DU_k является сомнительным.

Если нужно проверить гипотезу: «остатки независимы р = 0», против альтернативы: р < 0, то есть остатки отрицательно автокоррелированы, то вместо d следует рассмотреть значение 4 — d и повторить рассуждения предыдущего абзаца, которые использовались для проверки гипотезы «остатки независимы р = 0», против альтернативы р > 0.

После того как мы познакомились со статистикой Дарбина—Уотсона, продолжим работу в модуле Множественная регрессия.

Шаг 8. Нажмите кнопку Предсказанные и наблюдаемые.

Шаг 9. Вернитесь в окно Результаты множественной регрессии и нажмите кнопку Предсказать зависимую переменную. Далее в полях А1 и S1 укажите значения текущего месяца, а в полях Т и А — значения на следующий месяц.

Нажмите кнопку ОК. Появится таблица результатов предсказания. На рисунке выделена ячейка, содержащая прогнозируемый объем продаж на следующий месяц.

Этот пример относится к промышленной статистике (см. Cornell J. А. (1990). How to Apply Response Surface Methodology, vol. 8 in Basic References in Quality Control: Statistical Techniques, edited by S. S. Shapiro and E. Mykytka. Milwaukee: American Society for Quality Control).

Любая машина или станок, используемые на производстве, позволяют операторам производить настройки, чтобы воздействовать на качество производимого продукта. Изменяя настройки, инженер стремится добиться максимального эффекта, а также выяснить, какие факторы играют наиболее важную роль в улучшении качества продукции.

В системе STATISTICA имеется мощный модуль планирования экспериментов, позволяющий эффективно планировать и анализировать эксперименты.

Задача состояла в том, чтобы исследовать факторы, влияющие на качество производимых пластиковых дисков.

Известно, что наибольшее влияние на качество оказывают следующие два фактора:

1) материал, характеризующийся отношением наполнителя к эпоксидной резине,

2) расположение диска в форме.

В качестве зависимой переменной рассматривалась плотность полученного диска.

Сначала использовался дробный факторный план 2 2 для того, чтобы определить адекватность модели первого порядка. В этой модели оба фактора комбинировались друг с другом на верхних и нижних значениях (всего имеется 4 комбинации). Но оказалось, что модель оказалась адекватной лишь для некоторой области значений факторов и неадекватной для всей значений факторов. На самом деле зависимость между факторами и откликом была нелинейной. Поэтому было решено использовать центральный композиционный план и применить модель второго порядка.

Центральный композиционный план может состоять из куба и звезды. Куб соответствует полному факторному плану — точки эксперимента располагаются в вершинах куба (фактически это факторный план 22).

Звезда содержит дополнительное множество точек, расположенных на одинаковых расстояниях от центра куба на отрезках, исходящих из центра и проходящих через каждую сторону куба.

В данном исследовании применялся ротатабельный план, в котором дисперсия отклика является постоянной во всех точках, одинаково удаленных от центра плана.

Пусть фактор А — это характеристика материала, из которого изготовлен диск, более точно, так называемое композиционное отношение (disk composition ratio), фактор В — положение диска в форме (position of disk in mold). Зависимая переменная, или отклик эксперимента, — плотность диска (Thickness).

Запустите модуль Планирование эксперимента.

На стартовой панели выберите Центральные композиционные планы, поверхности отклика и нажмите кнопку ОК.

В появившемся диалоговом окне выберите опцию Построение плана, а в поле Факторы/блоки/опыты — строку 2/1/10. Нажмите кнопку ОК.

Появится диалоговое окно План эксперимента для поверхности отклика. Нажмите на кнопку Имена факторов, значения и заполните таблицу в диалоговом окнеИтоги для переменных .

Нажмите кнопку Далее и выберите опции для настройки .отображения плана так, как показано на следующем рисунке. Сделайте точно все показанные настройки, чтобы получить нужный результат!

Просмотрите план. Для этого нажмите Просмотр/Правка/Сохранение.

Задание имени и сохранение экспериментального плана

Выберите Сохранить как файл данных. ; появится соответствующее диалоговое окно. Задайте имя плана disk.sta и нажмите кнопку ОК.

Вернитесь в диалоговое окно План эксперимента для поверхности отклика.

Нажмите кнопку Печать итогов. В зависимости от настроек вывода в диалоговом окне Параметры страницы/вывода результаты плана будут распечатаны на принтере или выведены в отчет.

Источник



Критерии оценки качества регрессионной модели, или какая модель хорошая, а какая лучше

В данной статье мы поговорим о том, как понять, качественную ли модель мы построили. Ведь именно качественная модель даст нам качественные прогнозы.

Инструмент «Моделирование и прогнозирование» Prognoz Platform обладает обширным списком моделей для построения и анализа. Каждая модель имеет свою специфику и применяется при различных предпосылках.

Объект «Модель» позволяет построить следующие регрессионные модели:

Начнём с модели линейной регрессии. Многое из сказанного будет распространяться и на другие виды.

Модель линейной регрессии (оценка МНК)

Под моделью линейной регрессии будем понимать модель вида:

где y – объясняемый ряд, x₁, …, x_k – объясняющие ряды, e – вектор ошибок модели, b, b₁, …, b_k – коэффициенты модели.

Итак, куда смотреть?

Для каждого коэффициента на панели «Идентифицированное уравнение» вычисляется ряд статистик:

• стандартная ошибка,
• t-статистика,
• вероятность значимости коэффициента.

Последняя является наиболее универсальной и показывает, с какой вероятностью удаление из модели фактора, соответствующего данному коэффициенту, не окажется значимым.

Открываем панель и смотрим на последний столбец, ведь он – именно тот, кто сразу же скажет нам о значимости коэффициентов.

Факторов с большой вероятностью незначимости в модели быть не должно.

Как вы видите, при исключении последнего фактора коэффициенты модели практически не изменились.

Возможные проблемы: Что делать, если согласно вашей теоретической модели фактор с большой вероятностью незначимости обязательно должен быть? Существуют и другие способы определения значимости коэффициентов. Например, взгляните на матрицу корреляции факторов.

Панель «Корреляция факторов» содержит матрицу корреляции между всеми переменными модели, а также строит облако наблюдений для выделенной пары значений.

Коэффициент корреляции показывает силу линейной зависимости между двумя переменными. Он изменяется от -1 до 1. Близость к -1 говорит об отрицательной линейной зависимости, близость к 1 – о положительной.

Облако наблюдений позволяет визуально определить, похожа ли зависимость одной переменной от другой на линейную.

Если среди факторов встречаются сильно коррелирующие между собой, исключите один из них. При желании вместо модели обычной линейной регрессии вы можете построить модель с инструментальными переменными, включив в список инструментальных исключённые из-за корреляции факторы.

Матрица корреляции не имеет смысла для модели нелинейной регрессии, поскольку она показывает только силу линейной зависимости.

Помимо проверки каждого коэффициента модели важно знать, насколько она хороша в целом. Для этого вычисляют статистики, расположенные на панели «Статистические характеристики».

Коэффициент детерминации (R 2 ) – наиболее распространённая статистика для оценки качества модели. R 2 рассчитывается по следующей формуле:

n – число наблюдений;

y_i — значения объясняемой переменной;

— среднее значение объясняемой переменной;

ỹ_i — модельные значения, построенные по оцененным параметрам.

R 2 принимает значение от 0 до 1 и показывает долю объяснённой дисперсии объясняемого ряда. Чем ближе R 2 к 1, тем лучше модель, тем меньше доля необъяснённого.

Возможные проблемы: Проблемы с использованием R 2 заключаются в том, что его значение не уменьшается при добавлении в уравнение факторов, сколь плохи бы они ни были.

Он гарантированно будет равен 1, если мы добавим в модель столько факторов, сколько у нас наблюдений. Поэтому сравнивать модели с разным количеством факторов, используя R 2 , не имеет смысла.

Для более адекватной оценки модели используется скорректированный коэффициент детерминации (Adj R 2 ). Как видно из названия, этот показатель представляет собой скорректированную версию R 2 , накладывая «штраф» за каждый добавленный фактор:

где k – число факторов, включенных в модель.

Коэффициент Adj R 2 также принимает значения от 0 до 1, но никогда не будет больше, чем значение R 2 .

Аналогом t-статистики коэффициента является статистика Фишера (F-статистика). Однако если t-статистика проверяет гипотезу о незначимости одного коэффициента, то F-статистика проверяет гипотезу о том, что все факторы (кроме константы) являются незначимыми. Значение F-статистики также сравнивают с критическим, и для него мы также можем получить вероятность незначимости. Стоит понимать, что данный тест проверяет гипотезу о том, что все факторы одновременно являются незначимыми. Поэтому при наличии незначимых факторов модель в целом может быть значима.

Возможные проблемы: Большинство статистик строится для случая, когда модель включает в себя константу. Однако в Prognoz Platform мы имеем возможность убрать константу из списка оцениваемых коэффициентов. Стоит понимать, что такие манипуляции приводят к тому, что некоторые характеристики могут принимать недопустимые значения. Так, R 2 и Adj R 2 при отсутствии константы могут принимать отрицательные значения. В таком случае их уже не получится интерпретировать как долю, принимающую значение от 0 до 1.

Для моделей без константы в Prognoz Platform рассчитываются нецентрированные коэффициенты детерминации (R 2 и Adj R 2 ). Модифицированная формула приводит их значения к диапазону от 0 до 1 даже в модели без константы.

Посмотрим значения описанных критериев для приведённой выше модели:

Как мы видим, коэффициент детерминации достаточно велик, однако есть ещё значительная доля необъяснённой дисперсии. Статистика Фишера говорит о том, что выбранная нами совокупность факторов является значимой.

Кроме критериев, позволяющих говорить о качестве модели самой по себе, существует ряд характеристик, позволяющих сравнивать модели друг с другом (при условии, что мы объясняем один и тот же ряд на одном и том же периоде).

Большинство моделей регрессии сводятся к задаче минимизации суммы квадратов остатков (sum of squared residuals, SSR). Таким образом, сравнивая модели по этому показателю, можно определить, какая из моделей лучше объяснила исследуемый ряд. Такой модели будет соответствовать наименьшее значение суммы квадратов остатков.

Возможные проблемы: Стоит заметить, что с ростом числа факторов данный показатель так же, как и R 2 , будет стремиться к граничному значению (у SSR, очевидно, граничное значение 0).

Некоторые модели сводятся к максимизации логарифма функции максимального правдоподобия (LogL). Для модели линейной регрессии эти задачи приводят к одинаковому решению. На основе LogL строятся информационные критерии, часто используемые для решения задачи выбора как регрессионных моделей, так и моделей сглаживания:

• информационный критерий Акаике (Akaike Information criterion, AIC)
• критерий Шварца (Schwarz Criterion, SC)
• критерий Ханнана-Куина (Hannan-Quinn Criterion, HQ)

Все критерии учитывают число наблюдений и число параметров модели и отличаются друг от друга видом «функции штрафа» за число параметров. Для информационных критериев действует правило: наилучшая модель имеет наименьшее значение критерия.

Сравним нашу модель с её первым вариантом (с «лишним» коэффициентом):

Как можно увидеть, данная модель хоть и дала меньшую сумму квадратов остатков, оказалась хуже по информационным критериям и по скорректированному коэффициенту детерминации.

Модель считается качественной, если остатки модели не коррелируют между собой. В противном случае имеет место постоянное однонаправленное воздействие на объясняемую переменную не учтённых в модели факторов. Это влияет на качество оценок модели, делая их неэффективными.

Для проверки остатков на автокорреляцию первого порядка (зависимость текущего значения от предыдущих) используется статистика Дарбина-Уотсона (DW). Её значение находится в промежутке от 0 до 4. В случае отсутствия автокорреляции DW близка к 2. Близость к 0 говорит о положительной автокорреляции, к 4 — об отрицательной.

Как оказалось, в нашей модели присутствует автокорреляция остатков. От автокорреляции можно избавиться, применив преобразование «Разность» к объясняемой переменной или воспользовавшись другим видом модели – моделью ARIMA или моделью ARMAX.

Возможные проблемы: Статистика Дарбина-Уотсона неприменима к моделям без константы, а также к моделям, которые в качестве факторов используют лагированные значения объясняемой переменной. В этих случаях статистика может показывать отсутствие автокорреляции при её наличии.

Модель линейной регрессии (метод инструментальных переменных)

Модель линейной регрессии с инструментальными переменными имеет вид:

где y – объясняемый ряд, x₁, …, x_k – объясняющие ряды, x̃₁, …, x̃_k – смоделированные при помощи инструментальных переменных объясняющие ряды, z₁, …, z_l – инструментальные переменные, e, ∈_j – вектора ошибок моделей, b, b₁, …, b_k – коэффициенты модели, c_0j, c_1j, …, c_lj – коэффициенты моделей для объясняющих рядов.

Схема, по которой следует проверять качество модели, является схожей, только к критериям качества добавляется J-статистика – аналог F-статистики, учитывающий инструментальные переменные.

Модель бинарного выбора

Объясняемой переменной в модели бинарного выбора является величина, принимающая только два значения – 0 или 1.

где y – объясняемый ряд, x₁, …, x_k – объясняющие ряды, e – вектор ошибок модели, b, b₁, …, b_k – коэффициенты модели, F – неубывающая функция, возвращающая значения от 0 до 1.

Коэффициенты модели вычисляются методом, максимизирующим значение функции максимального правдоподобия. Для данной модели актуальными будут такие критерии качества, как:

• Коэффициент детерминации МакФаддена (McFadden R 2 ) – аналог обычного R 2 ;
• LR-статистика и её вероятность — аналог F-статистики;
• Сравнительные критерии: LogL, AIC, SC, HQ.

Под моделью линейной регрессии будем понимать модель вида:

где y – объясняемый ряд, x₁, …, x_k – объясняющие ряды, e – вектор ошибок модели, b – вектор коэффициентов модели.

Коэффициенты модели вычисляются методом, минимизирующим значение суммы квадратов остатков. Для данной модели будут актуальны те же критерии, что и для линейной регрессии, кроме проверки матрицы корреляций. Отметим ещё, что F-статистика будет проверять, является ли значимой модель в целом по сравнению с моделью y = b + e, даже если в исходной модели у функции f (x₁, …, x_k,b) нет слагаемого, соответствующего константе.

Подведём итоги и представим перечень проверяемых характеристик в виде таблицы:

Источник

Проверка статистической модели — Statistical model validation

В статистике , проверка достоверность модели является задачей подтверждения того, что выходы в статистической модели являются приемлемыми в отношении реального процесса генерирования данных. Другими словами, проверка модели — это задача подтверждения того, что выходные данные статистической модели имеют достаточную точность с выходными данными процесса генерации данных, чтобы цели исследования могли быть достигнуты.

Содержание

Обзор

Проверка модели может быть основана на данных двух типов: данных, которые использовались при построении модели, и данных, которые не использовались при построении. Проверка, основанная на первом типе, обычно включает анализ согласия модели или анализ того, кажутся ли остатки случайными (т.е. остаточная диагностика ). Валидация, основанная на втором типе, обычно включает в себя анализ того, не ухудшается ли прогностическая эффективность модели незначительно при применении к соответствующим новым данным.

Проверка, основанная только на первом типе (данные, которые использовались при построении модели), часто бывает неадекватной. Экстремальный пример показан на рисунке 1. На рисунке показаны данные (черные точки), которые были сгенерированы посредством прямой линии + шум. На рисунке также отображается кривая, которая представляет собой полином, выбранный для точного соответствия данным. Все остатки кривой равны нулю. Следовательно, проверка, основанная только на первом типе данных, позволит сделать вывод о том, что кривая является хорошей моделью. Однако кривая, очевидно, является плохой моделью: интерполяция, особенно между -5 и -4, будет иметь тенденцию вводить в заблуждение; более того, любая существенная экстраполяция была бы плохой.

Таким образом, проверка обычно не основана только на рассмотрении данных, которые использовались при построении модели; скорее, при проверке обычно также используются данные, которые не использовались при построении. Другими словами, проверка обычно включает проверку некоторых прогнозов модели.

Модель может быть проверена только относительно некоторой области применения. Модель, действующая для одного приложения, может быть недействительной для некоторых других приложений. В качестве примера рассмотрим кривую на рисунке 1: если приложение использует только входные данные из интервала [0, 2], то кривая вполне может быть приемлемой моделью.

Методы проверки

Согласно Энциклопедии статистических наук, при выполнении проверки существует три заметных причины потенциальных трудностей . Вот три причины: недостаток данных; отсутствие контроля входных переменных; неопределенность в отношении основных распределений вероятностей и корреляций. Обычные методы решения проблем при валидации включают следующее: проверка допущений, сделанных при построении модели; изучение имеющихся данных и соответствующих выходных данных модели; применение экспертной оценки. Обратите внимание, что для экспертной оценки обычно требуется опыт в области применения.

Иногда экспертная оценка может использоваться для оценки достоверности прогноза без получения реальных данных: например, для кривой на Рисунке 1 эксперт вполне может оценить, что существенная экстраполяция будет недействительной. Кроме того, экспертная оценка может использоваться в тестах типа Тьюринга , когда экспертам предоставляются как реальные данные, так и соответствующие выходные данные модели, а затем предлагается провести различие между ними.

Для некоторых классов статистических моделей доступны специализированные методы проверки. Например, если статистическая модель была получена с помощью регрессии , то существуют и обычно используются специализированные анализы для проверки регрессионной модели .

Остаточная диагностика

Остаточная диагностика включает анализ остатков, чтобы определить, кажутся ли остатки действительно случайными. Такой анализ обычно требует оценок распределений вероятностей для остатков. Оценки распределений остатков часто могут быть получены путем многократного запуска модели, то есть с помощью повторяющихся стохастических симуляций (с использованием генератора псевдослучайных чисел для случайных величин в модели).

Если статистическая модель была получена с помощью регрессии, то остаточная регрессионная диагностика существует и может использоваться; такая диагностика хорошо изучена.

Источник

Анализ статистической модели оценки качества проектируемой технической системы

Содержание термина «планирование эксперимента». Сущность метода наименьших квадратов. Разработка программы анализа статистической оценки качества проектируемой системы: составление и графическое представление алгоритма решения, листинг программы.

Рубрика	Программирование, компьютеры и кибернетика
Вид	курсовая работа
Язык	русский
Дата добавления	16.09.2011
Размер файла	4,1 M

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Анализ статистической модели оценки качества проектируемой технической системы

Пояснительная записка к курсовой работе по дисциплине

«Основы проектирования СИТ»

студент гр. 323 И.Г. Копейчик

1. Планирование эксперимента

1.1 Определения и терминология

1.2 Выбор факторов

1.3 Модель процесса

1.4 Построение планов полного факторного эксперимента

1.5 Трехфакторный эксперимент

1.6 Определение коэффициентов модели

1.7 Метод наименьших квадратов (МНК)

2. Обработка и оценка экспериментальных данных

3. Алгоритм получения статистической модели

4. Ручной счет алгоритма

5. Блок схема программы, реализующей данный алгоритм

6. Листинг программы

6.1 main.pas Form1

6.2 about.pas Form 2

6.3 Скриншоты программы

Список использованной литературы

Введение

Научное исследование реальной действительности предполагает создание и использование математических моделей, которые формализовано описывают связь комплекса начальных условий с группой критериев качества изучаемого объекта, системы или процесса. Математическое моделирование информационно обеспечивает оптимальные (или рациональные) характеристики наукоемких изделий, высоких технологий, интеллектуальных средств измерений, новых материалов и совершенствование существующих решений.

Математические модели позволяют установить причинные, структурные и количественные связи между начальными условиями и потребительскими свойствами создаваемых изделий, технологических процессов. Получение математических моделей базируется на принятых предпосылках множественного регрессионного анализа, которые должны выполняться по отношению к моделируемой реальной действительности.

Принятые предпосылки многофакторного регрессионного анализа предопределяют обоснованность полученных результатов и свойств моделей, обеспечивают решение абстрактной или реальной задачи и, в конечном счете, создают научную обоснованность и прикладную полезность решения.

В большинстве случаев моделирование сложных систем проводится с использованием экспериментально-статистических методов. К моделям предъявляются требования многофакторности, многокритериальности, устойчивости структур моделей и их коэффициентов

Для успешного получения статистических моделей необходимо решить проблему формирования наилучших исходных условий получения многофакторных статистических моделей в виде последовательного планирования многофакторных экспериментов с использованием регулярных планов экспериментов.

1. Планирование эксперимента

Планирование эксперимента резко повышает точность и уменьшает объем экспериментальных исследований. Оно позволяет находить оптимум функции, характеризующей исследуемый процесс. Модель процесса описывается уравнением регрессии, коэффициенты которого определяются при помощи специальных методов (например, методом наименьших квадратов). Для поиска оптимума применяются различные градиентные и безградиентные методы; крутого восхождения, симплексные.

1.1 Определения и терминология

Содержание планирования эксперимента проиллюстрируем исследованием «черного ящика», в качестве которого возьмем объект, имеющий n входов х₁, х₂, . х_n и m выходов у₁, у₂, . у_m (рис. 1.1). Входами могут быть какие-нибудь внешние для объекта воздействия или параметры самого объекта. Выходными величинами могут быть состояния или параметры — количественные и качественные характеристики объекта. Например, объектом исследования может быть электронное устройство. В этом случае входными величинами будут: частота и напряжение питания, параметры активных и пассивных элементов, температура и влажности окружающей среды.

Рисунок 1.1 — Схема «черного ящика».

Переменные х₁, х₂, . х_n принято называть факторами

Выходными величинами в случае электронного устройства могут быть: передаточная функция, коэффициент усиления, входное и выходное сопротивление, помехо- и виброустойчивость, надежность и точность. Выходные величины также могут быть разнородными: измеряемыми и неизменяемыми. В зависимости от условий решаемой задачи выходная величина называется откликом, функцией цели, функцией отклика, параметром оптимизации. Обычно аналитическая связь между входом и выходом (модель объекта) неизвестна, а известны факторы x_i и подлежащие исследованию выходные величины у_i.

Определим одну выходную величину, являющеюся неизвестной функцией k факторов:

В этом случае задачами планирования эксперимента могут быть:

1. Раскрытие механизма явления, т.е. нахождение такого аналитического выражения:

которое в области возможных значений факторов x_i достаточно точно совпадает с неизвестной зависимостью (1.1). Область возможных или допустимых значений факторов x_i называется областью определения и обозначается Щ. Область определения двух факторов х₁, х₂ — часть плоскости х₁, 0, х₂; эта область называется двухфакторным пространством, а эксперимент — двухфакторным экспериментом. По аналогии могут быть одно- и многофакторные пространства и эксперименты. Эксперименты по раскрытию механизма явления называются иногда интерполяционными или регрессионными.

2. Определение экстремума (максимума или минимума) отклика в области определения Щ. Такие эксперименты называются экстремальными.

3. Выбор подходящей модели для описания объекта или определение параметров известной функциональной зависимости.

Рассмотрим (рис. 1.2) принцип исследования отклика двух факторов. Сначала эксперимент ставится в области щ₁ с центром О₁ и определяются значения отклика у₁₁, у₁₂, у₁₃, у₁₄ в угловых точках области первого эксперимента щ₁ — точки 1.1; 1.2; 1.3; 1.4. Затем, если необходимо, осуществляется переход в область щ₂ и определяются значения отклика у₂₁, у₂₂, у₂₃, у₂₄ и т. д. Все области щ₁, щ₂ . принадлежат области определения факторов Щ, которая называется областью исследования.

Рисунок 1.2 — Схема исследования отклика двух факторов

В каждой области і-гo эксперимента щ_i проводятся четыре опыта (по числу вершин области щ_i) и каждый фактор принимает только два значения, которые можно обозначить 0 и 1 или —1 и +1. Эти значения называются уровнями факторов.

Рассмотрим (рис. 1.3) область щ одного двухфакторного эксперимента. По оси ординат отложены значения отклика в отдельных точках 1.1; 1.2; 1.3; 1.4. В данном случае два уровня факторов отмечены индексами «н», «в» (нижний, верхний).

Рисунок 1.3 — Результаты двухфакторного эксперимента

Сочетания двух факторов на двух уровнях дают N = 2 2 =4 набора, или 4 опыта. При каждом наборе факторов (в каждом опыте) измеряется отклик у₁, в результате получаются четыре точки у₁₁, у₁₂, у₁₃, у₁₄, которые образуют некоторую поверхность отклика у₁, (х₁, х₂). Если на двух уровнях варьируется k факторов, то число всех наборов — N = 2 k . Число наборов определяет число опытов — измерений отклика в данном эксперименте.

При проведении трехфакторного эксперимента область щ представляет собой параллелепипед или куб, число вершин которого равно числу опытов (N — 2 3 = 8), и в случае k-факторного эксперимента — гиперкуб с N = 2 к вершинами, в каждой из которых должен быть поставлен опыт: измерено значение отклика.

Таким образом, число опытов в одном эксперименте равно числу различных наборов факторов. В свою очередь, число экспериментов в области исследования Щ зависит от задач исследования и от соотношения между размерами области одного эксперимента щ и области Щ. Иногда используются не все N = 2k наборов факторов, и факторы могут варьироваться не на двух, а на трех уровнях.

1.2 Выбор факторов

Приступая к планированию эксперимента, необходимо выбрать факторы и определить: влияние их на выходную величину у; какими из них можно задаваться по желанию экспериментатора; и какие неуправляемы или случайны; точность аппаратуры, с помощью которой задаются значения варьируемых факторов и измеряются значения выхода у; являются ли факторы независимыми или зависимыми величинами.

Выбранные факторы должны быть доступны измерению с точностью примерно на порядок большей, чем измерение выходной величины. Они должны быть совместны (например, при исследовании электронной аппаратуры величины токов и сопротивлений должны быть такими, чтобы рассеиваемая мощность и температура элементов не превосходили допустимых значений), независимыми величинами (при взаимной зависимости факторов их следует объединить в один обобщенный). Необходимо выбрать для каждого эксперимента интервал варьирования факторов I, которым называется половина разности между большим (верхним) и меньшим (нижним) значением фактора (х_1н, х_1в, х_2н, х_2в). Значение фактора в центре области эксперимента щ (рис. 1.4, а) точка О₁ называется его основным уровнем и отмечается подстрочным индексом «О» (х₁₀, х₂₀ . ).

Рисунок 1.4 — Область эксперимента для факторов:

а — физических, б — кодированных.

Интервал варьирования физического фактора I_i должен быть таким, чтобы его величина примерно на порядок превосходила погрешность установки и измерения величины x_i, вершины любой области эксперимента щ находились внутри области определения факторов Щ; аппроксимирующая функция (1.2) незначительно отличалась от искомой зависимости (1.1) — требование адекватности модели; при переходе от одного опыта к другому в области щ изменение отклика было достаточно ощутимым, т.е. в несколько раз превосходило погрешность отклика (рис. 1.3, у₁₁, у₂₁, у₃₁, у₄₁).

Для удобства записи плана эксперимента и обработки экспериментальных данных обычно пользуются кодированными значениями факторов, которые обозначаются малыми буквами х₁, х₂ . Кодированные х_i и физические X_i переменные связаны между собой следующим соотношением:

Кодирование факторов равносильно переносу начала координат в точку основного уровня факторов (центральная точка эксперимента О₁) и изменению масштаба. Все кодированные факторы — безразмерные и нормированные величины. В процессе эксперимента они могут принимать значения -1, 0, +1.

1.3 Модель процесса

Выбор модели (уравнение модели) в методе планирования эксперимента — неформализованный этап, который основывается обычно на интуитивных соображениях с учетом предыдущего опыта экспериментатора, а количественное определение коэффициентов выбранных уравнений модели — на результатах эксперимента. Поэтому правильный выбор модели должен подтверждаться экспериментально.

Модель определяется переменными х_i и постоянными параметрами в_i и в общем случае имеет вид:

В планировании эксперимента чаще всего применяются модели линейные относительно переменных х_i и параметров в_i:

1.4 Построение планов полного факторного эксперимента

Полным факторным называется такой эксперимент, в котором реализуются все возможные комбинации (наборы) уровней факторов. Если k факторов варьируется на двух уровнях, то число всех возможных наборов — N₂= 2 k . Если k факторов варьируется на трех уровнях, то N₃ = 3 k . В полном факторном эксперименте число опытов равно числу различных наборов, т.е. различных точек факторного пространства. С увеличением числа факторов k быстро растет число опытов.

Используя полученные данные (рис.1.3; 1.4,б), представляем план эксперимента в виде таблицы-матрицы (табл. 1). Матрица содержит четыре (2 2 ) строки и два основных столбца переменных х₁ и х₂. В остальных столбцах записываются измерения отклика у в отдельных точках факторного пространства.

Источник