Различные подходы к измерению информации

i  = 3

Ответ: сообщение содержит 3 бита информации.

Пример 2.  Сообщение о том, что ваш друг живёт на 5 этаже, несёт 4 бита информации. Сколько этажей в доме?

i  = 4                      N = 2i

N - ?                      N = 24                                               N = 16

Ответ: в доме 16 этажей. 

 

§5. Алгоритмический подход.

       Отличный от взглядов Хартли, Шеннона, Винера и Бриллюэна подход к определению понятия "количество информации", был предложен в 1965 году академиком А.Н. Колмогоровым, который он назвал алгоритмическим.

Исходя из того, что "по существу наиболее содержательным является представление о количестве информации "в чем-либо" (Х) и "о чем-либо" (Y)" , А.Н. Колмогоров для оценки информации в одном конечном объекте относительно другого конечного объекта предложил использовать теорию алгоритмов. За количество информации при этом, принимается значение некоторой функции от сложности каждого из объектов и длины программы (алгоритма) преобразования одного объекта в другой.

Решение задачи определения количества информации в алгоритмическом подходе имеет общий вид и схематично выглядит следующим образом.

"Относительной сложностью" объекта Y при заданном Х будем считать минимальную длину L(P) "программы" Р получения Y из Х. Сформулированное так определение зависит от "метода программирования". Метод программирования есть не что иное, как функция  φ(P,X)=Y , ставящая в соответствие программе Р и объекту Х объект Y" .

Так как каждый из объектов может быть бесконечно сложным, то доказывается теорема, согласно которой относительной сложности Kφ(Y|X)  объекта Y, при заданном методе программирования, может быть поставлена в соответствие иная относительная сложность, полученная при другом методе программирования  A(P,X), такая, что выполняется неравенство:

 KA(Y|X)≤Kφ(Y|X)+Cφ ,

где Cφ - некоторая постоянная программирования, не зависящая от X и Y.

Учитывая, что при любых Х и Y относительная сложность KA(Y|X)  является конечной величиной, а KA(Y)=KA(Y|1)  можно считать просто сложностью объекта Y, А.Н. Колмогоров для оценки алгоритмического количества информации lA(X:Y)  в объекте X относительно объекта Y предложил использовать формулу: 

.lA(X:Y)  =...KA(Y)--KA(Y|X) , .....................................             ... (1 )

причем KA(X|X)≈0  и, соответственно,  lA(X:X)≈ KA(X) .

Алгоритмическая информация (1) может принимать как положительные, так и отрицательные значения. В связи с этим А.Н. Колмогоров делает два замечания. Во-первых, "lA(X:Y)   не меньше некоторой отрицательной константы C, зависящей лишь от условностей избранного метода программирования" . Во-вторых, "вся теория рассчитана на применение к большим количествам информации, по сравнению с которыми |C| будет пренебрежимо мал".

Алгоритмический подход к измерению количества информации, в силу ряда объективных причин, не нашел широкого практического применения. Во-первых, как писал сам А.Н. Колмогоров, "на пути его формализации встает очевидная трудность: то, что просто описывается на одном языке, может не иметь простого описания на другом, и непонятно, какой способ описания выбрать" . То есть алгоритмическая оценка информации зависит от выбранного метода программирования, а такой выбор, в свою очередь, по сути дела всегда имеет субъективный характер. Во-вторых, практическое использование формулы (1) возможно лишь применительно к весьма простым объектам, имеющим математическое описание, в то время как отсутствие последнего является характерной и обязательной чертой сложных объектов.  Кроме того, понятие "сложность" само по себе является относительным и зависит от уровня рассмотрения объектов. И, наконец, в-третьих, в соответствии с теоремой Геделя о неполноте формальных систем, нельзя доказать, что минимальная длина программы L(P)  преобразования X в Y, составленная на каком-либо языке программирования, действительно является объективно минимальной .

В своих комментариях относительно алгоритмического подхода А.Н. Колмогоров писал, что он "основан на применении теории алгоритмов для определения понятия энтропии, или сложности, конечного объекта и понятия информации в одном конечном объекте о другом" . В соответствии с этим, переходя к рассмотрению алгоритмического подхода с позиций количественного определения негэнтропии отражения, предварительно отметим следующее. – В рассматриваемой нами ситуации  каждый из объектов может быть закодирован с помощью двоичного языка, символами которого являются "0" и "1". Кодируя каждый элемент символом "1", мы получим для отражаемого и отражающего объектов соответствующий код длины m(A)  и m(B). Естественно, что сложность К каждого из объектов является функцией длины такого кода, которая, в свою очередь, для энтропийной сложности представляет собой логарифм числа элементов конечного множества , то есть:

K(A)=log2m(A), K(B)=log2m(B)   ........................................ (2)

Также очевидно, что алгоритм получения одного объекта из другого в рассматриваемой ситуации сводится к добавлению или обнулению (ликвидации) определенного числа единиц в соответствующем коде. То есть длина "программы" получения одного объекта из другого равна               |m(A) – m(B)| двоичных единиц и соответственно относительная сложность каждого из объектов имеет вид:

K(A|B)=K(B|A)=log2|m(A)-m(B)|.............................................        .. (3)

Подставляя выражения (2) и (3) в формулу (1), получаем, что алгоритмическое количество информации, которое содержит отражающий объект B относительно отражаемого объекта A, равно:

l(B:A)=K(A)-K(A|B)=log2m(A)-log2 |m(A)-m(B)| ............................... (4)

Алгоритмическая информация (4) наиболее близка к определению негэнтропии отражения системных объектов в сравнении с ранее рассмотренными информационными мерами и даже, на принципиальном уровне суждений (в рамках изложенного материала), может быть принята за ее количественную характеристику. Но, этим ее положительные свойства в негэнтропийном отношении ограничиваются, так как она не применима к открытым системным объектам. Дело в том, что, когда отражаемый объект является открытым, мы опять будем иметь отрицательные значения (при m(B)>2m(A) ), негативизм которых, помимо отмеченного выше, может быть дополнен тем, что, как нетрудно видеть, возможны ситуации, когда аддитивная негэнтропия отражения совокупности отражающих объектов будет равна нулю. То есть, например, проведя наблюдения и выявив совокупность объектов, имеющих непосредственную взаимосвязь с отражаемым (исследуемым) объектом, в итоге мы будем иметь, что общее количество информации, полученное нами в процессе исследований равно нулю, а это уже нонсенс. Таким образом, мы видим, что алгоритмический подход, также как комбинаторный и вероятностный, не позволяет получить расчетную формулу для негэнтропии отражения системных объектов lA↔B.

 

§6. Прагматический подход.

        Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели.

        В основе всей теории информации лежит открытие, сделанное Р. Хартли в 1928 году, и состоящее в том, что информация допускает количественную оценку.

        Подход Хартли основан на фундаментальных теоретико-множественных, по существу комбинаторных основаниях, а также нескольких интуитивно ясных и вполне очевидных предположениях.

        Если существует множество элементов и осуществляется выбор одного из них, то этим самым сообщается или генерируется определенное количество информации. Эта информация состоит в том, что если до выбора не было известно, какой элемент будет выбран, то после выбора это становится известным. Необходимо найти вид функции, связывающей количество информации, получаемой при выборе некоторого элемента из множества, с количеством элементов в этом множестве, то есть с его мощностью.

        Если множество элементов, из которых осуществляется выбор, состоит из одного единственного элемента, то ясно, что его выбор предопределен, то есть, никакой неопределенности выбора нет – нулевое количество информации.

        Если множество состоит из двух элементов, то неопределенность выбора минимальна. В этом случае минимально и количество информации.

        Чем больше элементов в множестве, тем больше неопределенность выбора, тем больше информации.

         Количество этих чисел (элементов) в множестве равно:

        N=2i

        Из этих очевидных соображений следует первое требование: информация есть монотонная функция от мощности исходного множества.

        Выбор одного числа дает нам следующее количество информации:

        i=Log2(N)

       Таким образом, количество информации, содержащейся в двоичном числе, равно количеству двоичных разрядов в этом числе.

       Это выражение и представляет собой формулу Хартли для количества информации.

        При увеличении длины числа в два раза количество информации в нем так же должно возрасти в два раза, не смотря на то, что количество чисел в множестве возрастает при этом по показательному закону (в квадрате, если числа двоичные), то есть если

       N2=(N1)2,

       то

       I2=2*I1,

       F(N1*N1)=F(N1)+F(N1).

       Это невозможно, если количество информации выражается линейной функцией от количества элементов в множестве. Но известна функция, обладающая именно таким свойством: это Log:

       Log2(N2)=Log2(N1)2=2*Log2(N1).

       Это второе требование называется требованием аддитивности.

       Таким образом, логарифмическая мера информации, предложенная Хартли, одновременно удовлетворяет условиям монотонности и аддитивности. Сам Хартли пришел к своей мере на основе эвристических соображений, подобных только что изложенным, но в настоящее время строго доказано, что логарифмическая мера для количества информации однозначно следует из этих двух постулированных им условий.

       Пример. Имеются 192 монеты. Известно, что одна из них фальшивая, например, более легкая по весу. Определим, сколько взвешиваний нужно произвести, чтобы выявить её. Если положить на весы разное количество монет , то получим три независимые возможности:          а) левая чашка ниже; б) правая чашка ниже; в) чашки уравновешены. Таким образом, каждое взвешивание дает количество информации I=log23, следовательно, для определения фальшивой монеты нужно сделать не менее k взвешиваний, где наименьшее k удовлетворяет условию log23k log2192. Отсюда, k 5или, k=4 (или k=5 – если считать за одно взвешивание и последнее, очевидное для определения монеты). Итак, необходимо сделать не менее пять взвешиваний (достаточно 5).

 

§7. Другие подходы к  измерению информации

 

     Попытки оценить не только количественную, но и содержательную сторону информации дали толчок к развитию семантической (смысловой) теории информации. Исследования в этой области теснее всего связаны с семиотикой – теорией знаковых систем. Одним из важнейших свойств информации, которое мы можем наблюдать, является ее неотделимость от носителя: во всех случаях, когда мы сталкиваемся с любыми сообщениями, эти сообщения выражены некоторыми знаками, словами, языками Семиотика исследует знаки как особый вид носителей информации. При этом знаком является условное изображение элемента сообщения, словом – совокупность знаков, имеющих смысловое значение, языком – словарь и правила пользования им. Таким образом, рассуждая о количестве, содержании и ценности информации, содержащейся в сообщении, можно исходить из возможностей соответствующего анализа знаковых структур. 
           В качестве знаковых систем используются естественные и искусственные языки, в том числе информационные и  языки программирования, различные  системы сигнализации, логические, математические и химические символы. Они служат средством обмена информацией между высокоорганизованными системами (способными к обучению и самоорганизации). Примером могут быть живые организмы, машины с определенными свойствами. 
     Рассматривая знаковые системы, выделяют три основных аспекта их изучения: синтактику, семантику и прагматику. 
     Синтактика  изучает синтаксис знаковых структур, т.е. способы сочетаний знаков, правила  образования этих сочетаний и  их преобразований безотносительно  к их значениям. Отметим в связи с этим, что рассматриваемые ранее способы определения количества информации можно отнести к синтаксическим способам. 
     Семантика изучает знаковые системы как  средства выражения смысла, определенного  содержания, т.е. правила интерпретации знаков и их сочетаний, смысловую сторону языка. 
     Прагматика  рассматривает соотношение между  знаковыми системами и их пользователями, или приемниками-интерпретаторами сообщений. Иными словами, к прагматике относится изучение практической полезности знаков, слов и, следовательно, сообщений, т.е. потребительской стороны языка. 
     Основная  идея семантической концепции информации заключается в возможности измерения  содержания (предметного значения) суждений. Но содержание всегда связано  с формой, поэтому синтаксические и семантические свойства информации взаимосвязаны, хотя и различны. Получается, что содержание все-таки можно измерить через форму, т.е. семантические свойства информации выразить через синтаксические. Поэтому и исследования семантики базировались на понятии информации как уменьшении или устранении неопределенности.

 

 

 

 

    §8.  Первичные единицы  

 

      Объёмы  информации можно представлять как  логарифм количества состояний.

 

      Наименьшее  целое число, логарифм которого положителен  — 2. Соответствующая ему единица – бит – является основой    исчисления информации в цифровой технике.

 

      Единица, соответствующая числу 3 (трит) равна  log2 3≈1.585  бита, числу 10 (хартли) — log2 10≈3.322 бита.

 

      Такая единица как нат (nat), соответствующая  натуральному логарифму применяется  в вычислительной технике в инженерных и научных расчётах. Основание  натуральных логарифмов не является целым числом. 

В проводной технике связи (телеграф и телефон) и радио исторически впервые единица информации получила обозначение бод.

 

 

      §9. Единицы, производные от бита 

 

      Целые количества бит отвечают количеству состояний, равному степеням двойки.

 

      Особое  название имеет 4 бита — ниббл (полубайт, тетрада, четыре двоичных разряда), которые  вмещают в себя количество информации, содержащейся в одной шестнадцатеричной цифре.

 

      Что такое «байт»?

 

      Байт (англ. byte) — единица хранения и  обработки цифровой информации. В  настольных вычислительных системах байт считается равным восьми битам, в  этом случае он может принимать одно из 256 (28) различных значений. Следует понимать, что количество бит в байте не является однозначной величиной и может варьироваться в широком диапазоне. Так, в первых компьютерах размер байта был равен 6 битам. В суперкомпьютерах, вследствие используемой адресации, один байт содержит 32 бита. Для того, чтобы подчеркнуть, что имеется в виду восьмибитный байт, а также во избежание широко распространенного заблуждения, что в одном байте исключительно восемь бит, в описании сетевых протоколов используется термин «октет» (лат. octet).

 

      Название  «байт» (слово byte представляет собой  сокращение словосочетания BinarY TErm —  «двоичный терм») было впервые использовано в 1956 году В. Бухгольцем (англ. Werner Buchholz) при проектировании первого суперкомпьютера IBM 7030 (англ.) для пучка одновременно передаваемых в устройствах ввода-вывода шести битов. Позже, в рамках того же проекта, байт был расширен до восьми бит.

 

      Октет. Октет в информатике — 8 бит. В русском языке октет обычно называют байтом.

 

      Слово «октет» часто употребляется  при описании сетевых протоколов, так как они предназначены  для взаимодействия компьютеров, имеющих  не обязательно одинаковую платформу. В отличие от байта, который (в широком смысле) может быть равен 10, 12 и т. п. битам, октет всегда равен 8 битам.

 

      Дабы  исключить двусмысленность, во французском  языке слово «октет» используется почти везде, где в русском  или английском языках употребляется  слово «байт».