Разработка ГИС системы для оценки агрохимического состояния сельскохозяйственных земель

ESDA включает в себя следующие инструменты (приложение В):

1) Гистограмма – Исследование одномерного распределения набора данных. Показывает плотность распределения для интересующего набора данных и посчитывает суммарную статистику. Плотность распределения – это столбчатая диаграмма, которая показывает, насколько часто наблюдаемые значения попадают в тот или иной интервал или класс. Количество интервалов задается вручную, а количество значений, попадающих в каждый класс, пропорционально высоте столбца.

В статистике отражаются меры положения, дающие представление, где  находится центр и другие параметры  распределения.

• Среднее – это арифметическое среднее из значений данных. Характеризует положение центра распределения.
• Значение медианы – соответствует совокупной доле половины (0,5).
• Первый и третий квартили – характеризуют совокупные доли 0,25 и 0,75, соответственно.
• Стандартное отклонение – равно корню квадратному из дисперсии. Характеризует распределение данных относительно среднего в тех же единицах измерения, что и исходные измерения. Чем меньше дисперсия и стандартное  отклонение, тем плотнее измеренные значения сгруппированы около среднего.
• Коэффициент ассиметрии – это мера симметрии распределения. Для симметричных распределений этот коэффициент равен нулю.

Гистограмма, главным образом, дает возможность  идентифицировать распределение. Для  дальнейшего анализа лучшим является нормальное распределение (распределение  Гаусса).

2) Карта Воронова – анализ стационарности и пространственной изменчивости набора данных. Строит полигоны таким образом, чтобы каждая точка внутри полигона находилась ближе к рассматриваемой опорной точке, чем к любой другой опорной точке. Благодаря такому анализу можно вычислить целый ряд локальных статистических показателей. Например, локальное среднее может быть найдено, как среднее из значений опорных точек, попадающих в тот или иной полигон. Так же возможно найти локальные выпадающие значения

3) Анализ тренда – Определение глобальных трендов в наборе данных. Позволяет увидеть данные в трехмерном изображении. Координаты опорных точек наносятся в плоскости x, y. В каждой опорной точке высотой отрезка показано значение точки (по оси z). Уникальная способность инструмента состоит в том, что значения точек затем проецируются на плоскости x,z и y,z образуя точечные графики. Затем к точечным графикам на плоскостях проекций подбираются полиномы, аппроксимирующие их расположение. Дополнительная способность состоит в том, что возможно вращение данных, что выделить в значениях тренды по направлениям. 

4) Облако вариограммы/ковариации –  анализ пространственных зависимостей в наборе данных. Это эмпирическая вариограмма и ковариация для всех пар опорных точек из набора данных; на облаке вариограммы значения представлены как функция расстояния между двумя точками. Облако вариограммы/ковариации может быть использовано для изучения локальных характеристик пространственной автокорреляции в наборе данных и определения выпадающих значений в выборке. На вариограмме, каждая точка, это половина квадрата разницы значений, нанесенная на график как функция расстояния между точками.

    5) Нормальный и общий графики Квантиль - квантиль – исследование того, имеют ли два набора данных одно и тоже распределение.  Графики  КК – графики, на которых квантили из двух распределений рассматриваются относительно друг друга. Кумулятивное (совокупное) распределение данных можно получить, упорядочив данные и построив график, по одной оси которого откладываются эти упорядоченные значения, а по другой значения совокупного распределения. Между значениями используется линейная интерполяция. Нормальный график КК строится путем нанесения на соответствующие оси координат значений из набора данных и значений, полученных по кривой нормального распределения, соответствующих одинаковому значению кумулятивного распределения. Общий график КК используется для оценки схожести распределений двух наборов данных. Общий график КК создается путем нанесения значений данных, для которых совокупное распределение имеет равные значения.

На  первый взгляд может показаться, что  все эти инструменты анализа  абсолютно бесполезны, и что ни один агроном на производстве не будет  их применять. Однако надо понимать, что при детальном, углублённом изучении геостатистики эти инструменты предоставляют уникальные возможности оценки распределения данных, как в статистическом смысле, так и географическом. Даже сам по себе анализ ESDA несет в себе колоссальные возможности, а плюс ко всему открывает двери ко второй части геостатистики – интерполяции данных и построению поверхностей, которые дают более наглядную информацию агроному, и не требуют от него глубоких знаний математической статистики и математического анализа. 

Для построения поверхностей, модуль Geostatistical Analyst использует значения в опорных точках, расположенных в различных местах, и строит (интерполирует) непрерывную поверхность. Опорные точки это точки, в которых измерены значения, какого либо явления, например, содержание органического вещества, или значение РН. Возможно применение двух групп методов интерполяции: детерминистских и геостатистических. Все методы построения поверхности основаны на сходстве точек, которые расположены близко к опорным. Детерминистские методы используют для интерполяции математические функции. Геостатистика опирается как на статистические, так и на математические методы, которые могут быть использованы для построения поверхности и для оценки ошибки интерполяции.

Построение  непрерывной поверхности для  представления определенных измерений одно из ключевых требований, предъявляемых к большинству ГИС приложений. Главная проблема, с которой сталкиваются специалисты, занимающиеся моделированием в ГИС, построение наиболее точной из возможных поверхностей на основе существующих опорных точек, наряду с оценкой ошибки интерполяции и отклонений в значениях проинтерполированной поверхности. Вновь построенные поверхности впоследствии используются в ГИС моделировании и анализе, наряду с их трехмерной визуализацией. Понимание качества этих данных может значительно улучшить эффективность и направленность ГИС моделирования.

Существует  две основные группы методов интерполяции: детерминистские методы и геостатистические. Детерминистские методы интерполяции строят поверхность по опорным точкам, основываясь либо на степени схожести точек выборки, либо на степени сглаживания. Геостатистические методы интерполяции используют статистические свойства опорных  точек. Геостатистические методы количественно  определяют пространственную корреляцию между опорными точками и учитывают  расположение опорных точек в  пространстве вокруг искомой точки.

Детерминистские методы интерполяции могут быть разделены  на две группы: глобальные и локальные. Глобальные методы вычисляют искомые  значения с использованием всего  набора данных. Локальные методы используют для вычисления искомых значений только опорные точки, расположенные  в окрестностях искомой, и относятся  только к небольшим участках изучаемой  территории. Модуль Geostatistical Analyst в качестве глобального интерполятора использует метод глобального полинома, а в качестве локального  методы взвешенных расстояний, локальных полиномов и радиальных базисных функций. Поверхность, построенная с использованием детерминистских методов, может, как проходить, так и не проходить через опорные точки. Метод интерполяции, который дает в опорной точке значение, равное измеренному, носит название жесткого интерполятора. Нежесткий интерполятор в опорной точке дает значение, отличное от измеренного (то есть, аппроксимирует значение в опорной точке). Последнее позволяет избежать острых пиков или впадин на результирующей поверхности. Метод взвешенных расстояний и радиальные базисные функции являются жесткими интерполяторами, в то время как глобальные и локальные полиномы   нежесткими интерполяторами.

1) Интерполяция по методу взвешенных  расстояний (Inverse Distance Weighting) использует  предположение, что объекты, расположенные  ближе к другу в большей  степени похожи, чем удаленные  друг от друга. Чтобы найти  значение в какой либо точке,  метод IDW использует опорные точки,  находящиеся в окрестностях искомой.  Эти опорные точки будут оказывать  большее влияние на интерполируемое  значение, чем те, которые от нее  удалены на значительное расстояние. Таким образом, метод IDW предполагает, что каждая опорная точка оказывает  локальное влияние, которое уменьшается  с расстоянием. Точкам, находящимся  в окрестностях искомой, присваиваются  весовые значения большие, чем  удаленным от нее точкам. Сумма  весов опорных точек, которые  будут использованы для интерполяции, должна быть равна 1. Вес точки  определяется с помощью специальной  формулы, учитывающей степенной  коэффициент «р». Оптимально значение  р определяется путем минимизации  среднеквадратичной ошибки вычислений (RMSPE). Значение среднеквадратичной ошибки является статистической величиной и рассчитывается при перекрестной проверке, при этом каждая опорная точка исключается из вычислений и сравнивается с проинтерполированным значением для этого местоположения.  Среднеквадратичная ошибка RMSPE это суммарная статистическая величина, количественно определяющая ошибку интерполируемой поверхности. В модуле Geostatistical Analyst используются функции со степенью выше 1. При значении   p=2 метод носит название интерполяции по методу квадратичных взвешенных расстояний (inverse distance squared weighted).

Поверхность, построенная по методу взвешенных расстояний (IDW), зависит от выбора степени p и  способа поиска соседей. Метод взвешенных расстояний это жесткий интерполятор, при котором максимальные и минимальные значения на проинтерполированной поверхности могут иметь только опорные точки. Результирующая поверхность чувствительна к присутствию в данных экстремальных значений.

2) Интерполяция по методу глобального полинома подбирает сглаженную поверхность, построенную по опорным точкам с помощью математической функции (полинома). Поверхность, построенная таким методом, меняется постепенно и грубо передает общий характер данных. Результатом интерполяции по методу глобального полинома является сглаженная математическая поверхность, которая отражает постепенные тенденции в поверхности изучаемой территории.

3) Интерполяция по методу локального  полинома применяет полином для  всей поверхности и использует  несколько полиномов, каждый их  которых подбирается для отдельного  участка. Интерполяция по методу  глобального полинома может быть использована для построения сглаженных поверхностей и для определения трендов длительного воздействия в наборе данных. Однако, в науках о Земле изучаемая переменная, как правило, изменчива в короткий период времени и, вместе с тем, имеет долговременный тренд. Когда в наборе данных проявляется кратковременная вариация (или вариация на микроуровне), карты, построенные при помощи метода локальной интерполяции, могут помочь выявить эту кратковременную вариацию.

4) Радиальные базисные функции  (Radial basis functions)  это целый ряд жестких методов интерполяции; то есть, поверхность, построенная с использованием этих функций, будет проходить через все опорные точки. Существует пять различных видов функций: плоский сплайн, сплайн с натяжением, полностью регуляризованный сплайн, функция мультиквадриков, и обратный мультиквадрик. Каждая радиальная функция имеет различную форму и результаты для различных поверхностей интерполяции. Методы RBF – форма искусственных нейронных сетей. Методы RBF концептуально похожи на метод “резинового листа”, когда лист проходит через все опорные точки, и при этом минимизируется общая кривизна поверхности. Выбранная базисная функция определяет, как резиновый лист пройдет через опорные точки. Радиальные базисные функции используются для построения сглаженных поверхностей для большого количества опорных точек. Функции дают хорошие результаты для плавно меняющихся поверхностей, таких как рельеф. Эти методы не подходят в тех случаях, когда на поверхности происходит резкое изменение значений на коротком расстоянии по горизонтали и в тех случаях, когда вы предполагаете, что в исходных данных могут быть ошибки или неточности.

Второе  семейство методов интерполяции состоит из геостатистических методов, которые основаны на статистических моделях, учитывающих автокорреляцию (статистические взаимоотношения между  опорными точками). С помощью этих методов можно не только построить  искомую поверхность, но и получить некую количественную оценку точности интерполяции.

Кригинг аналогичен методу взвешенных расстояний (IDW) в том, что опорным точкам из окрестности искомой точки, для  получения ее значений, присваиваются  веса. Однако веса основаны не только на расстоянии между измеренными точками  и искомой точкой, но и на распределении  опорных точек в пространстве в целом. Чтобы учесть расположение в пространстве, придав точкам весовые  коэффициенты, необходимо количественно  определить пространственную автокорреляцию. Чтобы решить задачу геостатистического анализа, необходимо пройти несколько  этапов.

1) Расчет эмпирической вариограммы  — кригинг, как и большинство  способов интерполяции, построен  на предположении, что объекты,  расположенные поблизости, более  похожи друг на друга, чем  удаленные друг от друга объекты.  Эмпирическая вариограмма   это  средство для исследования связей  между точками. Пары, расположенные  на близком расстоянии, должны  иметь меньшую разницу в измеренных  значениях, чем те опорные точки,  которые удалены друг от друга.  То, насколько это предположение, верно, может быть изучено по эмпирической вариограмме. Подбор модели — осуществляется путем подбора линии, которая наилучшим образом проходит через точки на графике эмпирической вариограммы. То есть, необходимо определить линию таким образом, чтобы взвешенный квадрат разницы между каждой точкой и линией был как можно меньше. Такой способ носит название подбора по методу взвешенных наименьших квадратов. Эта линия и будет моделью, количественно определяющей пространственную автокорреляцию в данных.

2) Создание матриц — уравнения  для ординарного кригинга содержатся  в матрицах и векторах, которые  зависят от пространственной  автокорреляции между опорными  и искомыми точками. Значения  автокорреляции могут быть получены  из модели вариограммы, описанной  выше. Матрицы и векторы определяют  веса кригинга, присваиваемые каждому  измеренному значению.

3) Выполнение интерполяции — на  основе весов кригинга, вычисляется  предполагаемое значение в искомой  точке с неизвестным значением.

Принципы, лежащие в основе методов геостатистики:

1) Случайные (вероятностные) процессы с зависимостью. В отличие от детерминистских подходов к интерполяции, геостатистика предполагает, что все значения, полученные на изучаемой территории, являются результатом стохастического процесса. Случайный процесс не означает, что события независимы, как при каждом подбрасывании монеты. Геостатистика базируется на случайных процессах с зависимостью. В пространственном или временном контексте, такая зависимость носит название автокорреляции.