Методика оценки качества

Одним из методов такого анализа является построение диаграмм (или графиков) в одних координатных осях для реальных и прогнозных данных. 

Использование диаграмм позволяет содержательно оценить качество различных прогнозов, рассчитать некоторые коэффициенты, анализирующие качество прогнозирования, а также позволяет выделить наиболее типичные ошибки (недооценки или переоценки изменений) прогнозирования.

Все рассмотренные выше показатели точности прогноза используются при проверке точности прогноза, полученного в виде точечных оценок. Если же при прогнозировании получен интервальный прогноз, то мерой точности прогноза может быть относительное число случаев к общему числу случаев, предложенное Е.М. Четыркины:

,  
где р – число прогнозов, подтвержденных фактическими данными;

      q – число прогнозов, не подтвержденных фактическими данными.  
Если h =1, то все прогнозы подтверждаются, и h =0, если прогнозы не подтверждаются (p=0).

Рассмотренные выше показатели точности прогноза могут быть использованы только при наличии информации о фактических значениях исследуемого показателя. Все они имеют большую ценность при сопоставлении различных методик прогнозирования. 

Если же статистических данных о прогнозируемом показателе нет, то проблема точности рассматривается как проблема сопоставления априорных качеств или свойств, присущих альтернативным прогностическим моделям. Причем при прогнозировании статистическими методами понятия априорной точности прогноза связывают с размером доверительного интервала. В этом случае модель-прогноз считается более точной, если при одной и той же доверительной вероятности она дает более узкий доверительный интервал по сравнению с другой моделью. 

Выбор показателей точности прогнозов зависит от задач, которые ставит перед собой исследователь при анализе точности прогноза. При этом необходимо помнить о фоне прогнозирования. 

Важным критерием правильности применения прогнозной модели является проверка на адекватность. Адекватными моделями считаются такие, для которых остаточная компонента имеет свойства независимости, случайности и нормальности распределения.

Для проверки корреляции внутри ряда применяется критерий Дарбина–Уотсона. В соответствии с этим критерием, если величина d близка к 2, то можно считать модель регрессии достаточно адекватной:

,

где m – длина временного ряда;

ei – ошибка прогноза:  .

 

 

4. Преимущества и недостатки различных методов оценки качества прогнозов.

Средняя процентная ошибка прогнозирования ( ) является абсолютной мерой качества прогнозов в том смысле, что позволяет оценить его независимо от других прогнозов: достаточно выбрать некий уровень средней ошибки (например, 5%) и сравнивать рассчитанное по статистике значение с этим тестовым уровнем. Если расчетное значение меньше тестового, то прогноз считается хорошим, если больше – плохим.

Две другие меры качества прогнозов ( и s) являются относительными, то есть могут быть использованы для сравнения двух (или более) различных прогнозов одного и того же показателя между собой: лучшим считается тот прогноз, у которого значение или s меньше. При этом, очевидно, этот лучший прогноз может быть хорошим или плохим с точки зрения расчета – . Обычно все эти значения не противоречат друг другу, то есть выбирают в качестве лучшего один и тот же прогноз, но наиболее часто для сравнения прогнозов используется – s.

Главными достоинствами всех перечисленных выше методов является простота их расчета и независимость от свойств ошибок прогнозирования, главным недостатком – то, что они не позволяют получить ответ на вопрос о том, являются ли два прогноза показателя разными со статистической точки зрения. Поясним, что имеется в виду. 

Пусть у нас есть два различных прогноза одного и того же показателя. Например, эти прогнозы получены по двум разным моделям А и В. Мы знаем, что модель А является довольно простой (например, с точки зрения методов ее оценки), а модель В, напротив – сложной. Рассчитав простейшие показатели качества получаем, что модель В обладает чуть лучшими характеристиками, например, ее  равно 4,9%, а модели А – 5,3%. На первый взгляд, модель В лучше. Но мы знаем, что для ее оценки требуется гораздо больше усилий по сравнению с моделью А. Соответственно, возникает вопрос: а стоит ли тратить много усилий на оценку модели, прогноз по которой получается не намного лучше, чем при использовании более простой модели?

Для ответа на этот вопрос можно использовать специальные тесты: F-тест, тест Моргана – Грейнджера – Ньюболда, тест Миза – Рогоффа, тест знаков и ранговый тест знаков Вилкоксона, которые позволяют выяснить (проверить гипотезу) являются ли множества прогнозов, полученных двумя разными способами, различными с формальной (статистической) точки зрения. 

Рассмотрим отдельные тесты для проверки гипотезы о совпадении прогнозов. Самым простым способом проверки гипотезы о совпадении прогнозов, полученными двумя различными способами (А и В), является F-тест. Он рассчитывается как отношение выборочной ковариации между ошибками прогнозирования, полученными по различным моделям, к выборочной дисперсии ошибки прогнозирования, полученной по модели В. Для возможности применения теста необходимо, чтобы ошибки прогнозирования удовлетворяли всем стандартным требованиям, то есть имели нулевой средний уровень, являлись нормальными, а также серийно и одновременно некоррелированными. Такие серьезные ограничения являются главным недостатком теста, поскольку сильно ограничивают возможности его корректного использования. Диболд и Мариано предложили тест, являющийся устойчивым к различным отклонениям от стандартных предположений о свойствах ошибок прогнозирования – они ослабили все предположения классического F-теста. С этой точки зрения, данный тест является универсальным инструментом проверки гипотезы об отсутствии значимых различий между прогнозами.

Отметим актуальность проблемы: многие эмпирические исследования показывают, что прогнозы по простым моделям очень часто оказываются лучше с точки зрения простейших оценок качества, чем прогнозы, полученные более сложными методами.

 

Заключение

Из всего вышесказанного можно сделать вывод, что при современных условиях функционирования рыночной экономики, невозможно успешно управлять, без эффективного прогнозирования и планирования. От того, насколько прогнозирование будет точным и своевременным, а также соответствовать поставленным проблемам, будут зависеть, в конечном счете, основные показатели деятельности.

Так как прогнозирование является отдельной наукой, то целесообразно использование нескольких методов прогнозирования при решении какой-либо проблемы. Это повысит качество прогноза и позволит определить «подводные камни», которые могут быть незамечены при использовании только одного метода. 

Для улучшения качества прогноза необходимо улучшить качество информации, необходимой при его разработке. Эта информация, в первую очередь, должна обладать такими свойствами, как достоверность, полнота, своевременность и точность.

Существует стандартный набор показателей качества прогнозов и ряд довольно простых тестов, позволяющих ответить на вопрос о значимости различий между прогнозами того или иного показателя, если их было несколько. Необходимо отметить, что указанные в работе методы оценки качества прогнозов не зависят от того, каким из способов получены прогнозы.

 

 

 

 

 

 

 

 

Список литературы.

1. Владимирова Л.П. Прогнозирование и планирование в условиях рынка. Учебное пособие. – М.: 2010.

2. Басовский Л. Е. Прогнозирование и планирование в условиях рынка. М.: Инфра-М, 2007.- 259 с.

3. Литвак Б.Г. Управленческие решения. Учебное пособие – М.: ЭКМОС 2008.

4.  Турунцева М., Юдин А., Дробышевский С., Кадочников П., Трунин П., Пономаренко С. Некоторые подходы к прогнозированию экономических показателей. – М.: ИЭПП, 2005.

5. Турунцева М., Киблицкая Т. Качественные свойства различных подходов к прогнозированию социально-экономических показателей РФ. – М.: ИЭПП, 2010.

6. Шишов К.  Методы организации и оценки качества экспертиз/ http:// www.uran.donetsk.ua/masters/2005/kita/klochkov/library [Электронный ресурс]

7. Турунцева М.Ю. Оценка качества прогнозов: простейшие методы // Российское предпринимательство. — 2011. — № 8 Вып. 1 (189). — c. 50-56.