Различные подходы к измерению информации

 

 

Содержание:

 

 

Введение          3

§1. Подходы к измерению информации     4

§2. Алфавитный (объемный) подход     5

§3. Энтропийный (вероятностный) подход    7

§4. Содержательный подход       11 

§5. Алгоритмический подход       12

§6. Прагматический подход       16

          §7. Другие подходы к измерению информации    18

§8. Первичные единицы       19 

Заключение          24

Список литературы        25

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

     Введение 

Понятие информации – одно из фундаментальных в современной науке. Наряду с такими понятиями , как вещество, пространство , энергия и время, оно составляет основу современной картины мира. Понятие «информация» является ключевым в изучении курса информатики и находит свое отражение практически во всех темах изучаемых линий.

Решая различные задачи, человек вынужден использовать информацию об окружающем нас мире. И чем более полно и подробно человеком изучены те или иные явления, тем подчас проще найти ответ на поставленный вопрос.

Часто приходится слышать, что сообщение или несет мало информации или, наоборот, содержит исчерпывающую информацию. В информатике используются различные подходы к измерению информации. Цель данной работы – изучить подходы к измерению информации.

 

 Задачи курсовой работы:

• изучить литературу и выделить основные подходы к измерению информации,
• изучить единицы измерения информации и соотношения между ними,
• рассмотреть различные примеры на тему.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

   §1.   Подходы к измерению информации 

 

      Современная наука о свойствах информации и закономерностях информационных   процессов называется теорией информации. Содержание понятия "информация" можно раскрыть на примере двух исторически первых подходов к измерению количества информации: подходов Хартли и Шеннона: первый из них основан на теории множеств и комбинаторике, а второй - на теории вероятностей. 
                 Информация может пониматься и интерпретироваться в различных проблемах, предметных областях по-разному. Вследствие этого, имеются различные подходы к определению измерения информации и различные способы введения меры количества информации. 
Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности (упорядоченности), определенности, выбору состояний отображаемой системы. 
                 Если рассматривается некоторая система, которая может принимать одно из n возможных состояний, то актуальной задачей является задача оценки этого выбора, исхода. Такой оценкой может стать мера информации (события). 
                 Мера - непрерывная действительная неотрицательная функция, определенная на множестве событий и являющаяся аддитивной (мера суммы равна  сумме мер). 
                 Меры могут быть статические и динамические, в зависимости от того, какую информацию они позволяют оценивать: статическую (не актуализированную; на самом деле оцениваются сообщения без учета ресурсов и формы актуализации) или динамическую (актуализированную т.е. оцениваются также и затраты ресурсов для актуализации информации).

 

 

 

 

  §2.  Алфавитный (объемный) подход 

 

      Алфавитный  подход основан на том, что всякое сообщение можно закодировать с  помощью конечной последовательности символов некоторого алфавита.

 

      Алфавит — упорядоченный набор символов, используемый для кодирования сообщений  на некотором языке.

 

      Мощность  алфавита — количество символов алфавита.

 

      Двоичный  алфавит содержит 2 символа, его мощность равна двум.

 

      Сообщения, записанные с помощью символов ASCII, используют алфавит из 256 символов. Сообщения, записанные по системе UNICODE, используют алфавит из 65 536 символов.

 

      С позиций computer science носителями информации являются любые последовательности символов, которые хранятся, передаются и обрабатываются с помощью компьютера. Согласно Колмогорову, информативность последовательности символов не зависит от содержания сообщения, алфавитный подход является объективным, т.е. он не зависит от субъекта, воспринимающего сообщение. 

 

      Информация  трактуется по-разному, например, как:

• любая сущность, которая вызывает изменения в некоторой информационно-логической модели системы (математика, системный анализ);

• сообщения, полученные системой от внешнего мира в процессе адаптивного управления, приспособления (теория управления, кибернетика);

• отрицание энтропии, отражение меры хаоса в системе (термодинамика);

• связи, устраняющие неопределённость в системе (теория информации);

• вероятность выбора в системе (теория вероятностей);

• отражение разнообразия в системе (физиология, биокибернетика);

• отражение материи, атрибут сознания, “интеллекта” системы (философия).

 

      Если  отвлечься от конкретного смыслового содержания информации и рассматривать  сообщения информации как последовательности знаков, сигналов, то их можно представлять битами, а измерять в байтах, килобайтах, мегабайтах, гигабайтах, терабайтах и петабайтах.

N = 2b  формула, связывающая между собой информационный вес каждого символа, выраженный в битах (b), и мощность алфавита (N): Пример 1. Алфавит содержит 32 буквы. Какое количество информации несет одна буква? Дано: Мощность алфавита N=32 Какое количество информации несет одна буква? Решение: 32 = 2 5, значит вес одного символа b = 5 бит Ответ: одна буква несет 5 бит информации. Пример 2.Сообщение, записанное буквами из 16 символьного алфавита, содержит 10 символов. Какой объем информации в битах оно несет? Дано: Мощность алфавита N=16 Текст состоит из 10 символов Определить объем информации в битах. Решение: 1. 16 = 2 4, значит вес одного символа b = 4 бита.         2. Всего символов 10, значит объем информации 10 * 4 = 40 бит. Ответ: сообщение несет 40 бит информации (8 байт). Пример 3.Информационное сообщение объемом 300 бит содержит 100 символов. Какова мощность алфавита? Дано: Объем сообщения = 300 бит  текст состоит из 100 символов. Какова мощность алфавита? Решение: 1. Определим вес одного символа: 300 / 100 = 3 бита.         2. Мощность алфавита определяем по формуле: 2 3 = 8. Ответ: мощность алфавита N=8.

 

§3. Энтропийный (вероятностный) подход

Этот подход принят в теории информации и кодирования. Данный способ измерения исходит из следующей модели: получатель сообщения имеет определенное представление о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенностей  называется энтропией. Энтропия характеризуется некоторой математической зависимостью от совокупности вероятности наступления этих событий.

Количество информации в сообщении определяется тем, насколько уменьшилась эта мера после получения сообщения: чем больше энтропия системы, тем больше степень ее неопределенности. Поступающее сообщение полностью или частично снимает эту неопределенность, следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после получения сообщения. За меру количества информации принимается та же энтропия, но с обратным знаком.

Рассмотрим пример вычисления количества информации сообщения о наступлении одного из N равновероятных событий. Обозначим численную величину, измеряющую неопределённость (энтропию) через H. Величины N и H связаны некоторой функциональной зависимостью:H = f (N). Эта функция, очевидно, является возрастающей, неотрицательной и определённой при всех значениях 1, 2, …, N.

Обозначим через H1 неопределённость, имеющуюся до совершения события. Через H2 – неопределённость после наступления события. Тогда за I – количество информации об исходе опыта – примем разность неопределённостей до и после опыта: I = H1 – H2.

В случае, когда получен конкретный результат, имевшаяся неопределённость снята (т.к. H2 = 0). Таким образом, количество полученной информации совпадает с первоначальной энтропией. Неопределённость, заключённая в опыте совпадает с информацией об исходе этого опыта.

Определим функцию H = f (N). Будем варьировать N (число возможных исходов) и M (число опытов). Общее число исходов равноX = N M. Каждый исход – некоторый вектор длины M, состоящий из знаков 1, 2, …, N.

Ситуацию с проведением М опытов можно рассматривать как некую сложную систему, состоящую из независимых друг от друга подсистем – однократных опытов. Энтропия такой системы в М раз больше, чем энтропия одной системы (так называемый «принцип аддитивности энтропии»): f (N M) = M f (N).

Прологарифмируем левую и правую части равенства X = N M. Получим:

ln X = M ln N,   M =           .

Подставив полученное для M значение в равенство f (N M) = M f (N), получим:

  f(X) = f(N) .

Обозначив положительную константу , получим формулу:                      f(x) = K ln X

Т.е. получаем: H=KlnX. Обычно принимают K= , тогда H=log2N .

Полученная формула  H=log2N  называется формулой Хартли.

Важным при введении какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, Н будет равно единице при N = 2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (например, бросание монеты). Такая единица количества информации называется битом.

Все N исходов рассмотренного выше опыта являются равновероятными и поэтому можно считать,  что на «долю» каждого исхода приходится одна N-я часть общей неопределенности опыта:  .При этом вероятность i-гo исхода Рi; равняется, очевидно, 1/N. Таким образом:

  H = .

Эта же (последняя) формула принимается за меру энтропии в случае, когда вероятности различных исходов опыта неравновероятны (т.е. значения Рi могут различаться). Эта формула называется формулой Шеннона.

В жизни же мы сталкиваемся не только с равновероятными событиями, но и событиями, которые имеют разную вероятность реализации.

Например:

1. Когда  сообщают прогноз погоды, то сведения  о том, что будет дождь, более  вероятно летом, а сообщение о  снеге — зимой.

2. Если  вы — лучший ученик в классе, то вероятность сообщения о  том, что за контрольную работу  вы получили 5, больше, чем вероятность  получения двойки.

3. Если  в мешке лежат 20 белых шаров  и 5 черных, то вероятность достать  черный шар меньше, чем вероятность  вытаскивания белого.

Как вычислить количество информации в таком сообщении?

Для этого необходимо использовать следующую формулу:

i=log2(1/p) 

где р - вероятность отдельного события. Это формула Хартли.

Пример 1. В корзине лежат 8 мячей разного цвета (красный, синий, желтый, зеленый, оранжевый, фиолетовый, белый, коричневый). Какое количество информации несет в себе сообщение о том, что из корзины будет вынут мяч красного цвета?

Решение.

Так как возможности вынуть мяч каждого из возможных цветов равновероятны, то для определения количества информации, содержащегося в сообщении о выпадении мяча красного цвета, воспользуемся формулой    i= log2 N.

Имеем i= log28= 3 бита.

Ответ: 3 бита.

Пример 2. В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

Решение:

8+24=32 – общее количество шаров  в корзине;

8/32 = 0,25 – вероятность того, что  из корзины достали черный  шар;

i=  log2 (1/0,25) =log2 4 = 2 бита.

Ответ: 2 бита

Пример 3. В корзине лежат 32 клубка шерсти. Среди них – 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?

Решение:

4/32 = 1/8 – вероятность того, что  из корзины достали клубок  красной шерсти;

i=  log2 8 =  3 бита.

Ответ: 3 бита

Пример 4. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в коробке?

Решение:

Пусть в коробке было х белых карандашей.

Вероятность того, что достали белый карандаш, равна  х/64.

Количество информации сообщения о том, что достали белый шар, равно

i= log2 (64/x) бит, что по условию задачи составляет 4 бита, т.е. имеет место уравнение: log2 (64/x)=4, т.е. 64/x=24, 64/x=16, x=4 , значит в коробке было 4 белых карандаша. 

Ответ: 4 карандаша

§4.  Содержательный  подход 

Согласно  Шеннону, информативность сообщения  характеризуется содержащейся в  нем полезной информацией — той  частью сообщения, которая снимает  полностью или уменьшает неопределенность какой-либо ситуации.

 

  По  Шеннону, информация — уменьшение неопределенности наших знаний.

 

 Неопределенность  некоторого события — это количество возможных исходов данного события.

 

 Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде. При бросании монеты неопределенность равна 2.

 

 Содержательный  подход часто называют субъективным, так как разные люди (субъекты) информацию об одном и том же предмете оценивают  по-разному.

          Но  если число исходов не зависит от суждений людей (случай бросания кубика или монеты), то информация о наступлении одного из возможных исходов является объективной.

Если  сообщение уменьшило неопределенность знаний ровно в два раза, то говорят, что сообщение несет 1 бит информации.

1 бит — объем информации  такого сообщения, которое уменьшает  неопределенность знания в два  раза. 

N = 2i – формула для решения задач на содержательный подход к измерению информации. 

N – количество возможных событий  

i – количество информации

Пример 1.В коробке лежат 8 разноцветных карандашей. Какое количество информации содержится в сообщении, что достали зелёный карандаш? 

N = 8                   N = 2i

i - ?                       8 = 2i