Информация, данные, сообщения. Меры информации. Формула Шеннона и Хартли. Системы счисления

Для сопоставления введённые меры информации представим в таблице 1.

Мера информации	Единицы измерения	Примеры (для компьютерной области)
Синтаксическая: шенноновский подход компьютерный подход	Степень уменьшения неопределенности     Единицы представления информации	Вероятность события         Бит, байт. Кбайт и та
Семантическая	Тезаурус     Экономические показатели	Пакет прикладных программ, персональный компьютер, компьютерные сети и т.д. Рентабельность, производительность, коэффициент амортизации и тд.
Прагматическая	Ценность использования	Емкость памяти, производительность компьютера, скорость передачи данных и т.д. Денежное выражение Время обработки информации и принятия решений

 

 

3 Формулы Шеннона  и Хартли

 

3.1 Формула Шеннона

1948 год американский ученый  Клод Шеннон предложил другую  формулу определения количества  информации, учитывая возможную 
неодинаковую вероятность событий в наборе.

Формула Шеннона:I=-(p 1 log 2p 1+ p 2 log 2p 2 + p 3 log 2p 3 +…. p N log 2p N ),

 
где p I вероятность того,что именно I –е сообщение выделено в наборе из N сообщений.

Другая запись формулы Шеннона: 

 

 

I  -количество информации,

N -количество возможных  событий,

Р I  – вероятности отдельных событий.

 

 

 

3.2 Формула Хартли

В 1928 год американский инженер Ральф Хартли рассматривает процесс получения информации как выбор одного сообщения из конечного заданного множества N равновероятных событий

Формула Хартли:I=log2N,   гдеI -количество информации,N -число равновероятных событий.

Задача: 
Какое количество информации требуется, чтобы угадать одно число из 128? Решение: 
I=log2128=7 бит

Вывод:  
с увеличением числа вероятных событий (N), увеличивается количество информации (I), полученной при совершении одного из событий.

Формула Хартли может быть записана и так:N=2IЕсли N=2 (выбор из двух возможностей), то I=1 бит.

Так как наступление каждого из N событий имеет одинаковую вероятность P, то Р=1/N.Если событий 6, то вероятность появления одного события равно 1/6, если событий 100, то вероятность равна 0,01=> N=1/P

Формулу Хартли можно записать иначе:I=log2(1/P)= log2P-1= - log2Pтак как p<1, то I >0

Формула Хартли – частный случай формулы Шеннона для равновероятных альтернатив.

Примеры равновероятных сообщений:1) при бросании монеты выпала «решка», выпал «орел»2) на странице книги количество букв четное, нечетное.

 

 

4 Системы счисления

 

4.1 Кодирование  информации

Кодирование информации - представление информации в той или иной стандартной форме.

Например, письменность и арифметика - кодирование речи и числовой информации, музыку кодируют с помощью нот.

Чтобы использовать числа их нужно как-то записывать и называть. Самые первые системы нумерации возникли в Др. Египте и Месопотамии - применяли иероглифы

Системы счисления - способы кодирования числовой информации,т.е. способ записи чисел с помощью некоторого алфавита, символы которого называют цифрами.

В древнем Вавилоне делили час на 60 мин., угол на 360 градусов, англосаксы начали делить год на 12 месяцев, сутки на два периода по 12 часов, продолжительность года 360 суток. 

В Риме семь чисел обозначают латинскими буквами. 1-I, 5-V, 10-X, 50- L,100-C, 500-D, 1000-M

IV (4=5-1)VI (6=5+1)

 

4.2 Позиционная  и не позиционная системы счисления

Значение числа определяется как сумма или разность цифр числа. Это непозиционная система счисления.

.В непозиционной системе  счисления смысл каждого символа  не зависит от того места, на  котором он стоит. Числа образуются  сложно, и к тому же большие  числа имеют очень громоздкую  запись; если складывать и вычитать  в такой системе ещё можно  без особого труда, то умножать  очень сложно, а деление представляет  собой почти непосильную проблему, поэтому непозиционная система  счисления в вычислительной технике  применения не нашла

Любая позиционная система счисления имеет очень удобную запись и состоит из небольшого набора цифр и букв. В позиционной системе счисления значение цифры в записи числа зависит от её позиции внутри числа. 

Самой популярной системой кодирования чисел оказалась позиционная, десятичная. Используются десять цифр. Значение каждой определяется той позицией, которую цифра занимает в записи числа. 
Эта система пришла из Индии, где она появилась не позднее VI века, европейцы заимствовали ее у арабов, назвав ее арабской. Из арабского языка заимствовано слово "цифра". Причина ее возникновения анатомическая-10 пальцев  анатомическая система счисления (существовали пятиричные, двадцатиричные системы счисления)

Напр., 23 -три единицы, два десятка 32 -две единицы, три десятка 400 -4 сотни, два 0 вклад в число не дают, нужны для того,чтобы указывать позицию 4. 

Для записи чисел в позиционной системе счисления с основанием nнужно иметь алфавит из n цифр. При n<10 используются n первых арабских цифр, а при n>10 добавляются буквы. Позиционные системы удобны тем, что они позволяют записывать большие числа с помощью сравнительно небольшого числа знаков. Ещё более важное преимущество позиционных систем – это простота и лёгкость выполнения арифметических операций над числами, записанных в этих системах. 

 

4.3 Десятичная  система счисления

В десятичной позиционной системе особую роль играет число 10 и его степени, например, 1996 - 6 единиц, 9 десятков, 9 сотен 1 тысяча или 1996=6+9*10+9*100+1*1000, т.к.1000=103 в третьей степени, 100=102, 10=101, т.о. 1996=1*103 + 9*102 + 9*101 +6*100.

Любое число в нулевой степени равно единице 0,10 = 1

Т.е. любое 4-х значное число можно записать в следующем виде:

N=a3*103+a2*102+a1*101+a0*100

a3, a2, a1, a0-десятичные цифры, от 1 до 9 или коэффициенты 3 2 1 0 -разряды, степени 
число 10 со степенями называют основанием системы счисления

Но основанием системы может быть не обязательно число 10, т.о. мы можем записать число в р-ичной системе, где основанием будут степени числа р Т.о. любое число N в р-ичной системе мы можем представить в виде формулы:

N=an*Pn+an-1*Pn-1+...+a1*P1+a0*P0

Если взять за основание 60, то придется использовать 60 разных цифр. Такая система была в Древнем Вавилоне. Если основанием возьмем 2, получим систему всего с двумя цифрами: 
0 и 1. К сожалению в этой системе даже небольшие числа записываются слишком длинно, так 1995 в двоичной системе записывается

199510=111110010112

Система счисления, где 2 является основанием системы называется двоичной системой счисления относится к машинной системе счисления, к машинным системам счисления относятся и восьмиричная и шестнадцатиричная.

Запись числа в двоичной системе удобна для компьютера, но громоздка для человека. На помощь приходят системы, родственные двоичной восьмиричная система счисления использует 8 цифр: 0,1,2,3,4,5,6,7.

Еще компактней выглядит запись двоичного числа в шестнадцатиричной системе счисления.

Для первых 10 из 16 шестнадцатиричных цифр используются привычные цифры 0 1 2 3 4 5 6 7 8 9, а для остальных используют первые буквы латинского алфавитаA-10 D-13B-11 E-14C-12 F-15

 

 

 

4.4 Представление информации в компьютере

Каждый регистр арифметического устройства ЭВМ, каждая ячейка памяти представляет собой физическую систему, состоящую из некоторого числа однородных элементов. Каждый такой элемент способен находиться в нескольких состояниях и служит для изображения одного из разрядов числа. Именно поэтому каждый элемент ячейки называют разрядом. Нумерацию разрядов в ячейке принято вести справа налево, самый левый разряд имеет порядковый номер 0. Наиболее надежным и дешевым является устройство, каждый разряд которого может принимать два состояния: намагничено - не намагничено, высокое напряжение - низкое напряжение и т.д. В современной электронике развитие аппаратной базы ЭВМ идет именно в этом направлении. Следовательно, использование двоичной системы счисления в качестве внутренней системы представления информации вызвано конструктивными особенностями элементов вычислительных машин. Во всех современных ЭВМ для представления числовой информации используется двоичная система счисления. Это обусловлено : · более простой реализацией алгоритмов выполнения арифметических и логических операций;· более надежной физической реализацией основных функций, так как они имеют всего два состояния (0 и 1);· экономичностью аппаратурной реализации всех схем ЭВМ.