Методика оценки качества

Содержание

 

Введение……………………………………………………………………………...3

1. Методология прогнозирования…………………………………………….........4
2. Дифференциальный и интегральный методы оценки качества прогноза........7
3. Математическое определение качества прогноза………………………..…….9
4. Преимущества и недостатки различных методов оценки качества прогнозов……………………………………………………………………..…14

Заключение…………………………………………………………………………16

Список литературы………………………………………………………………...17

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение

Прогнозирование всегда занимало особое место, вызывало активный интерес со стороны практических работников, поскольку задачи прогнозирования являются актуальными для всех иерархических уровней экономики, на любых этапах экономической динамики. Прогнозирование, предшествующее планированию, позволяет оценить конкретную ситуацию в управлении и дает практике гибкий инструмент анализа текущих ситуаций. Экономическое прогнозирование в настоящее время переживает новый этап своего развития, претерпевая существенные изменения.

Существует много методов прогнозирования, в частности, экспертные оценки, экстраполирование, модели временных рядов, эконометрические системы, нормативное прогнозирование, метод сценариев. В этой связи встает вопрос о методах оценки качества прогнозов, полученных различными способами.

Оценка качества прогноза – одна из центральных проблем в процессе разработки управленческих решений. Степень доверия к разработанному прогнозу во многом влияет на решение и сказывается на эффективности управленческих решений, принимаемых с использованием разработанного прогноза. Однако оценка качества прогноза является достаточно сложной задачей не только в момент, когда прогноз только разработан, но и в момент, когда прогнозируемое событие уже произошло.

 

 

 

 

 

 

 

 

 

1. Методология прогнозирования.

Прогнозирование – разработка прогноза, т. е. специальное научное исследование перспектив (прошлых тенденций) развития каких-либо явлений (технических, социально-экономических). Методология прогнозирования связана с планированием и моделированием. 

Период (время), на который делается прогноз, называется шагом прогнозирования. Различают прогнозирование с постоянным и переменным шагом прогнозирования.

При прогнозировании используются три группы методов (схема 1):

– экстраполяция (интерполяция);

– моделирование;

– опрос экспертов.

Экстраполяция изучает явление и переносит тенденции этого изученного явления на другую часть этого явления или переносит прошлые тенденции явления на будущие периоды. В научном плане примером является математическая статистика. 

Интерполяция имеет сходную с экстраполяцией методологию – ищет промежуточные значения величины (параметра) по некоторым известным ее значениям. 

Каждый прогноз имеет свои цели и задачи. Прогнозы могут быть классифицированы следующим образом:

– по виду объекта;

– по масштабу объекта;

– по затратам ресурсов;

– по времени;

– по числу факторов;

– по применяемым методам;

– прочие.

Отметим, что можно было дополнить этот перечень признаком компонентного состава статистического ряда или наличием стационарности.

 

Схема 1.2. Классификация методов прогнозирования

Любая цель прогнозного исследования, отраженная в классификации, имеет тенденцию к обособлению, т. е. развиваются специальные отрасли знания, ориентированные на углубленное изучение конкретных проблем. Например, желание сравнительного анализа разнородных объектов прогнозирования привело к возникновению теории комплексного показателя оценки эффективности.

Отметим, что каждая классификация должна быть продолжена с точки зрения целей исследования. В этом случае будет построена иерархия классификаций и один и тот же признак займет свое место в разных иерархиях. 

Особенностью прогнозирования является тот факт, что статистические данные (доступные к моменту времени t) об изучаемых явлениях или процессах используются для предварительного анализа и выдвижения гипотез о характере применяемых методов прогнозирования.

Прогнозирование тесно связано с планированием. В частности, их могут объединять общность целей, объекты исследования, а также факторы, показатели для которых планируются или прогнозируются.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2. Дифференциальный и  интегральный методы оценки качества  прогнозов.

Однако оценка качества прогноза является сложной задачей не только в момент, когда прогноз только разработан (априорная оценка), но и в момент, когда прогнозируемое событие уже произошло (апостериорная оценка). Здесь следует также отметить тот факт, что качественный прогноз при принятии решения может быть использован по-разному.

Если со стороны руководства организации не оказывается значительное воздействие на ход развития событий, а лишь осуществляется наблюдение за ним, то после наступления конца прогнозируемого периода необходимо, лишь сопоставить значения спрогнозированных показателей и параметров с полученными в действительности. Это позволяет оценить качество разработанного прогноза апостериорно.

После разработки прогноза должны быть определены критерии, по которым точность прогноза может быть оценена. Обычно для оценки качества прогноза используются два метода: дифференциальный и интегральный.

Интегральный метод предполагает обобщенную оценку качества прогноза на базе оценки качества прогноза по частным критериям. При дифференциальном методе анализируются наборы оценок отдельных составляющих качества прогноза, имеющих достаточно четкий объективный смысл. Этими критериями могут быть: ясность и четкость задания на прогноз, соответствие прогноза заданию, своевременность разработки прогноза, профессиональный уровень разработки прогноза, надежность использованной информации и т.д.

Примером использования интегрального метода может служить критерий «интегральное качество экспертного прогноза».

Качество экспертного прогноза определяется по таким критериям, как: 
• компетентность (или, в более общем виде, качество) эксперта;

• качество информации, представляемой экспертам;

• качество экспертной информации, поступающей от экспертов;

• уровень технологии разработки прогноза.

Если период прогнозирования уже завершился, то необходимо сопоставить спрогнозированные значения показателей и параметров с полученными в результате реализовавшегося в действительности хода прогнозируемых событий. И здесь на первый план выступает вопрос, – по какому критерию оценивать качество прогноза апостериорно. В качестве примера критериев оценки точности прогноза можно привести следующую формулу:

K1=│X – U│K2=│ln X/U│,

где X – прогнозировавшееся значение оценки показателя; U – истинное значение оценки показателя.

После того, как прогноз подготовлен и представлен руководству, наступает этап после прогнозной работы с подготовленным материалом. Вариантная разработка прогноза предполагает разработку прогноза при различных альтернативных вариантах условий и предположений. А они могут измениться. События, вчера казавшиеся маловероятными, сегодня происходят, а казавшиеся наиболее вероятными не происходят. Поэтому неотъемлемой частью современной технологии прогнозирования является периодически, в зависимости от происходящих изменений, осуществляемый мониторинг хода реализации спрогнозированного хода развития событий. Мониторинг позволяет своевременно выявлять значительные отклонения в ходе развития событий. Если они могут оказать принципиальное влияние на дальнейший ход событий в части касающейся принятия важных стратегических решений, то прогноз должен быть подвергнут корректировке.

Коррективы могут быть различного уровня значимости, сложности, трудоемкости и т.д. Если они не очень значительны, то эта проблема может решаться на уровне группы, сопровождающей разработку прогноза. Если коррективы более существенны, то может потребоваться дополнительное привлечение отдельных специалистов. Последнее необходимо, в особенности, в тех случаях, когда для корректировки прогноза требуется привлечение специалистов другой профессиональной ориентации.

3. Математическое определение качества прогноза.

         Качество прогнозирования, прежде всего, характеризуется ошибкой прогноза (математическое определение качества прогноза): предполагается, что чем меньше ошибка прогноза, тем выше качество прогноза. 
Все существующие методики оценки качества прогнозирования можно условно разделить на три группы показателей: 

1) абсолютные;  
2) сравнительные; 
3) качественные. 

        Абсолютные показатели оценки качества прогноза позволяют количественно определить величину ошибки прогноза в единицах измерения прогнозируемого объекта или в процентах. Это среднеквадратическая ошибка s, абсолютная ошибка , средняя абсолютная ошибка , относительная ошибка eпр и средняя относительная ошибка  . Рассмотрим эти показатели.

Абсолютная ошибка прогноза может быть определена как разность между фактическим значением (xi) и прогнозом (x*i), значит,

 
среднее абсолютное значение ошибки:

Среднее абсолютное значение всегда неотрицательно, (и когда   отрицательно, т.е.  ). Среднеквадратическая ошибка прогноза рассчитывается по формуле:

, где n — период упреждения. 

Следует отметить, что существует связь среднего абсолютного отклонения   со стандартным отклонением s.

Для большого класса статистических распределений значение стандартного отклонения несколько больше значения среднего абсолютного отклонения и строго пропорционально ему. Константа пропорциональности для различных распределений колеблется между 1.2 и 1.3. Чаще всего на практике берется значение 1.25, поэтому  .

Недостатком рассматриваемых показателей является то, что значение этих характеристик существенно зависит от масштаба измерения уровней исследуемых явлений. 

Поэтому абсолютная ошибка прогноза   может быть выражена в процентах относительно фактических значений показателя следующим образом:   ,

а средняя относительная ошибка  рассчитывается как:

Данный показатель, как правило, используется при сравнении точности прогнозов разнородных объектов прогнозирования, поскольку этот показатель характеризует относительную точность прогноза. 

Если на практике xi  > 0, то eпр становится бесконечной величиной. Поэтому при экономическом прогнозировании для случаев, когда данные не могут принимать нулевые значения, вычисляется . Если же xi = 0, целесообразно пропустить соответствующие вычисления, уменьшая при этом и число n на единицу. 

Средняя абсолютная и среднеквадратическая ошибки фиксируют среднее значение ошибки на каждом шаге прогноза без учета этой ошибки. Средняя ошибка позволяет определить, какой вид ошибки является наиболее типичным — недооценка или переоценка прогнозируемого показателя. Необходимо иметь в виду, что   и s  равны нулю только тогда, когда xi = x*i для каждого i, т. е. в случае совершенного прогноза. Аналогичное утверждение несправедливо для абсолютной ошибки, поскольку здесь может иметь место взаимопогашение ошибок. Для расчета этих показателей могут быть использованы как абсолютные величины переменных, так и их приросты или темпы приростов.

Сравнительные показатели оценки качества прогноза основаны на сравнении ошибки рассматриваемого прогноза с эталонными прогнозами определенного вида.

Один из типов таких показателей (k) может быть представлен следующим образом: 
, 
где p*i — прогнозируемое значение величины эталонного прогноза.

В качестве эталонного прогноза может быть выбрана простая экстраполяция, постоянный темп прироста и т.п. Частным случаем показателей такого типа является коэффициент несоответствия ( ), в котором p*i = 0 для всех i:

 , где   в случае совершенного прогноза.

 не имеет верхней конечной границы. В случае необходимости можно построить различные модификации коэффициента несоответствия.  
К сравнительным показателям следует отнести и коэффициент корреляции (R) между прогнозируемыми и фактическими значениями переменной:  
. 

Одним из недостатков использования коэффициента корреляции в качестве измерителя точности прогнозов является то, что полная положительная корреляция не предполагает совершенного прогноза. Например, если  R = l, то это означает, что существует линейная зависимость между рядами прогнозных и фактических величин, т.е. можно подобрать такие константы a и b (b>0), что . При этом для совершенного прогноза необходимо, чтобы a = 0 и b = 1. Вследствие этого коэффициент корреляции наиболее пригоден для анализа прогнозов циклически развивающихся переменных.

Качественные показатели позволяют провести некоторый анализ видов ошибок прогнозов, разложить их на какие-либо составляющие. Особенно такой анализ важен для циклически изменяющихся переменных, когда необходимо прогнозировать не только общее направление развития, но и поворотные точки цикла, в которых меняются коэффициенты адаптации прогнозной модели.