Понятие «информация»

 

 

 

 

 

 



 

ИНФОРМАТИВНОСТЬ  СООБЩЕНИЙ

 

      Получение любых знаний должно идти от известного к неизвестному (новому), от простого к сложному. И тогда каждое новое сообщение будет понятным, а значит, будет нести новую информацию для человека.

 

НОВИЗНА

 

       Информативное сообщение содержит новые сведения, ранее не известные  человеку.

Пример неинформативного сообщения:  «Дважды два – четыре»

 

 

 

 

 

 

 

ПОНЯТНОСТЬ

 

Принцип  последовательности  в  обучении

 

       Сообщение несет информацию для человека (является информативным), если заключенные в сообщении сведения являются для этого человека  новыми  и  понятными.

 

Новые и понятные 

сведения

 



 

Новые

знания

 

Логическая связь

 

 

 

 

Знание

 

Незнание 

 

Знание

 

Чем большим объёмом  познаний обладает человек,

 тем больше он ощущает недостаток знаний

 

Увеличение границы незнания

 

 

 

 

Уменьшение неопределённости  знаний

 

• Если некоторое сообщение приводит к уменьшению неопределённости знаний. То такое сообщение содержит информацию.
• Этот подход позволяет количественно измерить информацию.
• Рассмотрим пример с бросанием монеты.

 

 

 

 

• Монета может упасть  в одно из двух положений, «орёл» или «решка»т.е. события равновероятны.
• Перед броском – существует неопределённость знаний.
• После броска – она уменьшается в два раза
• Чем больше количество  возможных событий, тем больше начальная неопределённость и соответственно  тем большее количество информации будет содержать сообщение о результатах опытов.

 

 

 

 

Единицы  измерения количества информации

 

 

 

 

• За единицу количества информации принимается такое количество информации, которое содержит сообщение, уменьшающее неопределённость знаний в два раза.
• Такая единица названа «БИТ»

 

 

 

 



 

ЕДИНИЦЫ  ИЗМЕРЕНИЯ ИНФОРМАЦИИ

 

СИМВОЛЬНЫЙ  АЛФАВИТ  КОМПЬЮТЕРА

• русские (РУССКИЕ) буквы
• латинские (LAT) буквы
• цифры  (1, 2, 3, 4, 5, 6, 7, 8, 9, 0)
• математические знаки (+, -, *, /, ^, =)
• прочие символы («», №, %, <, >, :, ;, #, &)

 

N = 2 ⁱ

 

N = 256 = 2 ⁸

 

i = 8 бит = 1 байт

 

1  байт  -  это  информационный  вес  одного  символа  компьютерного  алфавита

 

1 килобайт

 

1 мегабайт

 

1 гигабайт

 

1 Кб

 

1 Мб

 

1 Гб

 

2 ¹⁰ байт

 

2 ¹⁰ Кб

 

2 ¹⁰ Мб

 

1024 байта

 

1024 Кб

 

1024 Мб

 

=

 

=

 

=

 

=

 

=

 

=

 

=

 

=

 

=

 

 

 

 

• При равновероятных событиях можно воспользоваться формулой Хартли, чтобы определить количество информации I или посчитать количество возможных событий N
• N = 2 ⁱ
• В случае, если события имеют различные вероятности реализации, то будем применять вероятностный подход, и воспользуемся формулой Шеннона:

 

• Н= P¹log²(1/P¹)+ P²log²(1/P²)+…+ P^Nlog²(1/P^N)

 

 

 

 

 



 

АЛФАВИТНЫЙ  ПОДХОД  К  ИЗМЕРЕНИЮ  ИНФОРМАЦИИ

 

МОЩНОСТЬ  АЛФАВИТА

число  символов  в  алфавите (его  размер)

 

N

 

ИНФОРМАЦИОННЫЙ  ВЕС  СИМВОЛА

количество  информации  в  одном  символе

 

I = K ^ i

 

i

 

       АЛФАВИТ – это вся совокупность символов, используемых в некотором

    языке  для  представления информации

     МОЩНОСТЬ  АЛФАВИТА  ( N ) – это  число  символов  в  алфавите.

 

2 ⁱ  =  N

 

ЧИСЛО  СИМВОЛОВ  В  СООБЩЕНИИ

 

K

 

КОЛИЧЕСТВО  ИНФОРМАЦИИ  В  СООБЩЕНИИ

 

I

 

N

 

i

 

I

 

K

 

 

 

 

 

Число 

равновероятных 

 в о з м о ж н ы х

 с о б ы т и й

 

N

 

            К о л и ч е с т в о   

        и н ф о р м а ц и и

в    сообщении    о     том,

что  произошло  одно  из  N

равновероятных  событий

 

i

 

N = 2

 

i = 1 бит

 

Число  символов  в  алфавите

(его  размер) – МОЩНОСТЬ  АЛФАВИТА

 

N

 

ИНФОРМАЦИОННЫЙ  ВЕС  СИМВОЛА

количество  информации 

в  одном  символе

 

2 ⁱ = N

 

I = K ^ i

 

K

 

I

 

Число  символов 

в символьном  сообщении

 

Количество  информации

в  символьном  сообщении

 

i

 

i = 8 бит = 1 байт

 

1 байт

 

1 Кб

 

1 Мб

 

1 Гб

 

1024

 

1024

 

1024

 

ИНФОРМАЦИЯ

 

N = 256

 



 

  КОЛИЧЕСТВО  ИНФОРМАЦИИ  В  СООБЩЕНИИ

 

Содержательный  подход

 

Алфавитный  подход

 

ИЗМЕРЕНИЕ

 

 

 

 



 

ИНФОРМАЦИОННЫЙ  ОБЪЕМ  ТЕКСТА

 

       ЗАДАЧА

       Книга, подготовленная с помощью компьютера, содержит 150 страниц. На каждой странице – 40 строк, в каждой строке – 60 символов (включая пробелы между словами). Каков объем информации в книге?

 

       РЕШЕНИЕ

       Мощность компьютерного алфавита равна 256, поэтому один символ несет 1 байт информации. Значит, страница книги содержит    40  60 = 2400 байт информации.

[кол-во символов в строке]  [кол-во строк] = [информационный объем страницы]

Объем  всей информации в книге (в разных единицах):

[информационный объем  страницы]  [кол-во страниц] = [информационный объем книги]

2400  150 = 360 000 байт / 1024 = 351,5625 Кбайт / 1024 = 0,34332275 Мбайт

 

 

 

 

• Для определения количество информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение:

 2 i = N или логарифмическую функцию: I = log_²N – читается: логарифм от N по основанию 2.

• Смысл выражения: это степень в которую нужно возвести 2, чтобы получилось N.

 

 

 

 

 

• Например: вычислим количество информации в сообщении о том, ч то из колоды карт случайным образом достали даму пик (в колоде 36 карт):
• I = log²36 = 5,16993 бит

 

 

 

 

 

ПОКАЗАТЕЛЬНОЕ  УРАВНЕНИЕ

 

6.00000

 

64

 

5.58496

 

48

 

5.00000

 

32

 

4.00000

 

16

 

5.97728

 

63

 

5.55459

 

47

 

4.95420

 

31

 

3.90689

 

15

 

5.95420

 

62

 

5.52356

 

46

 

4.90689

 

30

 

3.80735

 

14

 

5.93074

 

61

 

5.49185

 

45

 

4.85798

 

29

 

3.70044

 

13

 

5.90689

 

60

 

5.45943

 

44

 

4.80735

 

28

 

3.58496

 

12

 

5.88264

 

59

 

5.42626

 

43

 

4.75489

 

27

 

3.45943

 

11

 

5.85798

 

58

 

5.39232

 

42

 

4.70044

 

26

 

3.32193

 

10

 

5.83289

 

57

 

5.35755

 

41

 

4.64386

 

25

 

3.16993

 

9

 

5.80735

 

56

 

5.32193

 

40

 

4.58496

 

24

 

3.00000

 

8

 

5.78136

 

55

 

5.28540

 

39

 

4.52356

 

23

 

2.80735

 

7

 

5.75489

 

54

 

5.24793

 

38

 

4.45943

 

22

 

2.58496

 

6

 

5.72792

 

53

 

5.20945

 

37

 

4.39232

 

21

 

2.32193

 

5

 

5.70044

 

52

 

5.16993

 

36

 

4.32193

 

20

 

2.00000

 

4

 

5.67243

 

51

 

5.12928

 

35

 

4.24793

 

19

 

1.58496

 

3

 

5.64386

 

 50

 

5.08746

 

34

 

4.16993

 

18

 

1.00000

 

2

 

5.61471

 

49

 

5.04439

 

33

 

4.08746

 

17

 

0.00000

 

1

 

i

 

N

 

i

 

N

 

i

 

N

 

i

 

N

 

N

 

i

 

   Определение количества информации, содержащейся в сообщении о том, что произошло одно из N равновероятных   событий

 

N

 

i

 

   Определение количества  равновероятных  событий  N, если известно, сколько информации человек получил в  сообщении  о  том, что произошло  одно  из  этих  событий.

 

2 ⁱ = N

 

 

 

 

КОЛИЧЕСТВО  ИНФОРМАЦИИ  В  СООБЩЕНИИ

 

     Задача 1. При  угадывании   целого  числа  в  диапазоне  от  1  до  N 

было   получено    6   бит   информации . Чему  равно  N  ?

   Решение задачи 1. Значение N определяется из формулы N = 2 ⁱ .

После подстановки значения i = 6 получаем: N = 2 ⁶ = 64. 

 

      Задача 2. В  корзине  лежат  16  шаров  разного  цвета . Сколько  информации  несет  сообщение  о  том ,  что  из  корзины  достали  красный  шар  ?  

   Решение задачи 2: Вытаскивание из корзины любого из 16 шаров – события равновероятные. Поэтому для решения задачи применима формула 2 ⁱ = N. Здесь N = 16 – число шаров. Решая уравнение 2 ^I =16 получаем ответ: i = 4 бита