Количество информации. Методы оценки

Вероятностный подход

Возможности дальнейшего развития теории информации на основе определений (5) и (6) остались в тени ввиду того, что придание переменным x и y характера «случайных переменных», обладающих определенным совместным распределением вероятностей, позволяет получить значительно более богатую систему понятий и соотношений. В параллель к введенным ранее величинам имеем здесь

По-прежнему HW(y|x) и IW(x:y) являются функциями от x. Имеют место неравенства

,

переходящие в равенства при равномерности соответствующих распределений (на X и Yx). Величины IW(x:y) и I(x:y) не связаны неравенством определенного знака.

Но отличие заключается в том, что можно образовать математические ожидания MHW(y|x), MIW(x:y), а величина

характеризует «тесноту связи» между x и y симметричным образом.

Стоит, однако, отметить и возникновение в вероятностной концепции одного парадокса: величина I(x:y) при комбинаторном подходе всегда неотрицательна, как это и естественно при наивном представлении о «количестве информации», величина же IW(x:y) может быть и отрицательной. Подлинной мерой «количества информации» теперь становится лишь осредненная величина IW(x,y).

Вероятностный подход естествен в теории передачи по каналам связи «массовой» информации, состоящей из большого числа не связанных или слабо связанных между собой сообщений, подчиненных определенным вероятностным закономерностям. В такого рода вопросах практически безвредно и укоренившееся в прикладных работах смешение вероятностей и частот в пределах одного достаточно длинного временного ряда (получающее строгое оправдание при гипотезе достаточно быстрого «перемешивания»). Практически можно считать, например, вопрос об «энтропии» потока поздравительных телеграмм и «пропускной способности» канала связи, требующегося для своевременной и неискаженной передачи, корректно поставленным в его вероятностной трактовке и при обычной замене вероятностей эмпирическими частотами. Если здесь и остается некоторая неудовлетворенность, то она связана с известной расплывчатостью наших концепций, относящихся к связям между математической теорией вероятностей и реальными случайными явлениями вообще.[6]

Алгоритмический подход

По существу, наиболее содержательным является представление о количестве информации «в чем-либо» (x) и «о чем-либо» (y). Не случайно именно оно в вероятностной концепции получило обобщение на случай непрерывных переменных, для которых энтропия бесконечна, но в широком круге случаев конечно.

Реальные объекты, подлежащие нашему изучению, очень сложны, но связи между двумя реально существующими объектами исчерпываются при более простом схематизированном их описании. Если географическая карта дает нам значительную информацию об участке земной поверхности, то все же микроструктура бумаги и краски, нанесенной на бумагу, никакого отношения не имеет к микроструктуре изображенного участка земной поверхности.

Практически нас интересует чаще всего количество информации в индивидуальном объекте x относительно индивидуального объекта y. Правда, уже заранее ясно, что такая индивидуальная оценка количества информации может иметь разумное содержание лишь в случаях достаточно больших количеств информации. Не имеет, например, смысла спрашивать о количестве информации в последовательности цифр 0 1 1 0 относительно последовательности 1 1 0 0. Но если мы возьмем вполне конкретную таблицу случайных чисел обычного в статистической практике объема и выпишем для каждой ее цифры цифру единиц ее квадрата по схеме

то новая таблица будет содержать примерно

информации о первоначальной (n - число цифр в столбцах). 

В соответствии с только что сказанным предлагаемое далее определение величины IA(x:y) будет сохранять некоторую неопределенность. Разные равноценные варианты этого определения будут приводить к значениям, эквивалентным лишь в смысле IA1≈IA2, т.е.

где константа CA1A2 зависит от положенных в основу двух вариантов определения универсальных методов программирования A1 и A2.

Будем рассматривать «нумерованную область объектов», т.е. счетное множество X={x}, каждому элементу которого поставлена в соответствие в качестве «номера» n (x) конечная последовательность нулей и единиц, начинающаяся с единицы. Обозначим через l (x) длину последовательности n (x). Будем предполагать, что:

соответствие между X и множеством D двоичных последовательностей описанного вида взаимно однозначно;

D X, функция n (x) на D общерекурсивна [1], причем для x D

где C - некоторая константа;

вместе с x и y в X входит упорядоченная пара (x,y), номер этой пары есть общерекурсивная функция номеров x и y и

где Cx зависит только от x.

Не все эти требования существенны, но они облегчают изложение.

«Относительной сложностью» объекта y при заданном x будем считать минимальную длину l (p) программы p получения y из x. Сформулированное так определение зависит от «метода программирования». Метод программирования есть не что иное, как функция φ(p,x)=y, ставящая в соответствие программе p и объекту x объект y.

В соответствии с универсально признанными в современной математической логике взглядами следует считать функцию φ частично рекурсивной. Для любой такой функции полагаем

При этом функция υ=φ(u) от u X со значениями υ X называется частично рекурсивной, если она порождается частично рекурсивной функцией преобразования номеров

Для понимания определения важно заметить, что частично рекурсивные функции, вообще говоря, не являются всюду определенными. Не существует регулярного процесса для выяснения того, приведет применение программы p к объекту x к какому-либо результату или нет. Поэтому функция Kφ(y|x) не обязана быть эффективно вы числимой (общерекурсивной) даже в случае, когда она заведомо конечна при любых x и y.

Основная теорема. Существует такая частично рекурсивная функция A(p,x), что для любой другой частично рекурсивной функции φ(p,x) выполнено неравенство

где константа Cφ не зависит от x и y.

Доказательство опирается на существование универсальной частично рекурсивной функции Φ(n,u), обладающей тем свойством, что, фиксируя надлежащий номер n, можно получить по формуле φ(u)=Φ(n,u) любую другую частично рекурсивную функцию. Нужная нам функция A(p,x) определяется формулой (Φ(n,u)определена только в случае n D,A(p,x) только в случае, когда p имеет вид (n,q), n D)

В самом деле, если

то

Функции A(p,x), удовлетворяющие требованиям основной теоремы, назовем (как и определяемые ими методы программирования) асимптотически оптимальными. Очевидно, что для них при любых x и y «сложность» KA(y|x) конечна. Для двух таких функций A1 и A2

Наконец, KA(y) = KA(y|1) можно считать просто «сложностью объекта y» и определить «количество информации в x относительно y» формулой

Легко доказать (Выбирая в виде функции сравнения φ(p,x)=A(p,1), получим KA(y|x)≤Kφ(y|x)+Cφ=KA(y)+Cφ), что величина эта всегда в существенном положительна:

что понимается в том смысле, что IA(x:y) не меньше некоторой отрицательной константы C, зависящей лишь от условностей избранного метода программирования. Как уже говорилось, вся теория рассчитана на применение к большим количествам информации, по сравнению с которым |C| будет пренебрежимо мал.

Наконец, KA(x|x)≈0, IA(x:x)≈0;KA(x).

Конечно, можно избегнуть неопределенностей, связанных с константами Cφ и т. д., остановившись на определенных областях объектов X, их нумерации и функции A, но сомнительно, чтобы это можно было сделать без явного произвола. Следует, однако, думать, что различные представляющиеся здесь «разумные» варианты будут приводить к оценкам «сложностей», расходящимся на сотни, а не на десятки тысяч бит.[6,10]

 

Заключение

Классификация информации и ее количественная оценка необходимы для комплексного и системного подхода ко всем информационным и, в частности, к документационным проблемам. Так, А.Н. Сокова отмечает, что «классификация позволяет рассмотреть документацию в совокупности для решения тех или иных практических задач»[5,6].

Классификация информации сегодня является важнейшим средством создания систем хранения и поиска информации, без которых сегодня невозможно эффективное функционирование информационного обеспечения управления. Осуществляется классификация при помощи методов классификации.

Выводы:

- классификация информации необходима;

- информация имеет количественную оценку;

- зависимость между количеством информации и количеством комбинаций, составленных из данного алфавита, - логарифмическая.

 

Список литературы

1. Воронцов Ю.М. Информациология – основа мировой дипломатии. – М.: Финансы и статистика, 2009.

2. ГОСТ 6.01.1-87 Единая система классификации и кодирования технико-экономической информации. Основные положения. - М.: Изд. стандартов, 2011.

3. Завгородний В.Н. Комплексная защита информации в компьютерных системах. – М.: Финансы и статистика, 2010.

4. Косарев В.П., Королева А.Ю. Экономическая информатика и вычислительная техника – М.: Финансы и статистика, 2006.

5. Костомаров М.Н. Классификация и кодирование документов и документной информации (классификация документов) // Секретарское дело. – 2009. – № 10.

6. Костомаров М.Н. Классификация и кодирование документов и документной информации (классификация документов) // Секретарское дело. – 2009. – № 11.

7. Куприянов А.И., Сахаров А.В., Шевцов В.А. Основы защиты информации – М.: Academa, 2010.

8. Симонович С.В. Информатика. Базовый курс – СПб., 2011.

9. Федеральный закон Российской Федерации «Об информации, информатизации и защите информации» // Российская газета, 2005 г.

10. Юзвишин И.И. Основы информациологии М.: Высшая школа, 2011.