Энтропия и информация

Энтропия и информация

Трудно найти понятия более общие для всех наук (не только естественных) и, вместе с тем, иногда носящих оттенок загадочности, чем энтропия и информация. Отчасти это связано с самими названиями. Если бы не звучное название “энтропия” осталась бы с момента первого рождения всего лишь “интегралом Клаузиуса”, вряд ли она бы не рождалась вновь и вновь в разных областях науки под одним именем. Кроме того, ее первооткрыватель Клаузиузус, первым же положил начало применению введенного им для, казалось, бы узкоспециальных термодинамических целей понятия к глобальным космологическим проблемам (тепловая смерть Вселенной). С тех пор энтропия многократно фигурировала в оставшихся навсегда знаменитыми спорах. В настоящее время универсальный характер этого понятия общепризнан и она плодотворно используется во многих областях

Обсуждая понятие информация, невозможно не затронуть другое смежное понятие – энтропия. Впервые понятия энтропия и информация связал  К.Шеннон в 1948. С его подачи энтропия стала использоваться как мера полезной информации в процессах передачи сигналов по проводам. Следует подчеркнуть, что под информацией Шеннон понимал сигналы нужные, полезные для  получателя. Неполезные сигналы, с точки зрения Шеннона, это шум, помехи. К.Шеннон и его последователи стояли на позициях функционалистов. Если сигнал на выходе канала связи является точной копией сигнала на входе то, с точки зрения теории информации, это означает отсутствие энтропии. Отсутствие шума означает максимум информации. Взаимосвязь энтропии и информации нашло отражение в формуле:

                                            H + Y = 1, где Н – энтропия, Y –  информация

Клоду Шеннону удалось придумать удивительно простую и глубокую модель передачи информации, без которой теперь не обходится ни один учебник. Он ввел понятия: источник сообщения, передатчик, канал связи, приемник, получатель сообщения и источник шума, который может исказить сигнал. Практически любой, даже очень сложный, обмен сообщениями можно успешно описать в этих терминах.

Впервые понятие энтропии было введено Клаузиусом в 1865 г. как функция термодинамического состояния системы. Эта функция имеет вид

                                                    S = Q/T (Q – теплота, T – температура).

   Классики не связывали  энтропию с информацией. Несмотря  на неоднократное напоминание  в известных публикациях, что  формула энтропии имеет ограниченное  применение, её все же пытаются применить ко всей Вселенной. Например,  Седов А. в своей книге «Одна формула и весь мир» пытается показать универсальность понятия энтропии . Биологи стремятся доказать, что все живое в ходе жизнедеятельности уменьшает свою, и это есть признак жизни.

Понятие энтропия оказалось удобным, но не очень корректным. Им продолжают пользоваться не только биологи, но и социологи. Например, Н.Алексеев  в своей статье пытается применить понятие энтропии для описания функционирования некоторой организации. Он утверждает, что «эволюция экономических систем происходит за счет роста энтропии природной среды…». При этом, «чем выше внутренняя энтропия экономической системы, тем в меньшей степени она оказывает  антиэнтропийное воздействие на внешнюю среду и тем  экономичнее оказывается ее деятельность». Обратите внимание на «глубокий смысл». Чем выше энтропия, т.е. чем больше хаоса, тем экономичнее деятельность.

Основные сведения из теории информации

Базисным понятием всей теории информации является понятие энтропии. Энтропия – мера неопределенности некоторой ситуации. Можно также назвать ее мерой рассеяния и в этом смысле она подобна дисперсии. Но если дисперсия является адекватной мерой рассеяния лишь для специальных распределений вероятностей случайных величин (а именно – для двухмоментных распределений, в частности, для гауссова распределения), то энтропия не зависит от типа распределения. С другой стороны, энтропия вводится так, чтобы обладать, кроме универсальности и другими желательными свойствами

В теории информации в формуле для энтропии обычно используют двоичные логарифмы, тогда (энтропия и информация) измеряется в битах. Это удобно тем, что выбор между двумя равновероятными уровнями Xi (как в двоичном) сигнале характеризуется неопределенностью 1 бит. В популярной литературе иногда пользуются десятичными логарифмами и единицей энтропии является дит. В физике удобнее пользоваться натуральными логарифмами и единицей энтропии является нат (поскольку в дальнейшем наш подход существенно физический, мы также используем натуральные логарифмы).

Информация – это всего лишь характеристика степени зависимости некоторых переменных, ничего более загадочного в ней нет. Зато это предельно общая характеристика. Ее можно сравнить с корреляцией, но если корреляция характеризует лишь линейную связь переменных, информация характеризует любую связь. Тип связи может быть совершенно любым и, более того, неизвестным нам. Это не помешает рассчитать информацию, количественно сравнивать между собой разнотипные зависимости и т.д.

Важную роль в теории информации играет представление о максимальной скорости передачи сообщения. При этом имеется в виду скорость при которой еще возможен безошибочное получение информации на приемном конце канала связи. “Канал связи” при создании теории информации рассматривался действительно как технический канал (и задача состояла в изучении его потенциальных возможностей, тех теоретических пределов его использования, которые нельзя превзойти в принципе).

Виды энтропии

Для начала, я бы хотела рассмотреть основные виды энтропии, для того чтобы, на основе этих видов разобрать примеры энтропии, которые напрямую связаны с нашей прошлой, настоящей и будущей жизнью.

Сегодня в литературе встречается, по меньшей мере, четыре формы энтропии:

Во-первых, энтропия как мера неопределенности состояния любой вполне упорядоченной физической системы, или поведения любой системы, включая, живые и неживые объекты и их функции. Именно эта форма энтропии, связанная с неопределенностью состояния системы, находит в последнее время наибольшее распространение при исследовании, как живых, так и неживых объектов и процессов.

Во-вторых, термодинамическая энтропия микрочастиц, или молекулярного (микроскопического) множества.

В-третьих, информационная энтропия, или неопределенность информации, т.е. сведений о некоторой информационной системе. Известно, что совпадение по виду формул для энтропии и информации послужило основанием для утверждения, что энтропия есть недостающая информация о состоянии системы. Было предложено использовать термин негэнтропия как тождественной связанной информации о состоянии системы. Негэнтропия не является отрицательной энтропией, или антиэнтропией, как иногда ошибочно считают некоторые ученые.

Разница масштабов энтропии и информации связана с их принципиальным различием, а именно: энтропия - это мера множества тех состояний системы, о пребывании в которых система должна забыть, а информация - это мера множества тех состояний, о пребывании в которых система должна помнить.

В-четвертых, энтропия, или неопределенность поведения, любой не вполне упорядоченной системы вплоть до макроскопических множеств.

Заключение

Физическая энтропия является мерой энергетической упорядоченности объекта и представляет собой функцию от числа их возможных состояний.

Любое повышение упорядоченности объектов ведет к снижению их совокупной энтропии, и наоборот.

Понимание физического смысла энтропии затруднено тем обстоятельством, что ее значение не может быть измерено никаким прибором, но зато вычисляется. Утверждение о существовании энтропии обычно относят ко второму закону термодинамики. Более чем 100-летний опыт использования понятия энтропии в термодинамике подтверждает правильность представления о ней как о физической величине, изменение которой (в равновесных процессах) однозначно связано с наличием обмена энергией в форме теплоты.

Известно, что абсолютное значение энтропии различных веществ, при различных температурах, можно определить на основе третьего закона термодинамики. Этот закон устанавливает также начало отсчета энтропии и тем самым позволяет вычислить абсолютное значение энтропии.

Таким образом, оказалось, что понятие энтропии является одним из фундаментальных свойств любых систем с вероятностным поведением. В теории информации энтропия как мера неопределенности исхода эксперимента была введена американским ученым К. Шенноном в 1949 г.

Понятие обобщенной энтропии представляет такие наиболее общие свойства действительности, как неупорядоченность и упорядоченность, неопределенность и определенность, хаос и порядок.

Всякое явление двойственно, и оно одновременно содержит в себе некоторую хаотическую, броуновскую составляющую и упорядоченную составляющую, как составляющую хаоса, так и порядка.