Связь между энтропией и информацией

 

2. Значение энтропии.

 

     Обсуждая понятие информация, невозможно не затронуть другое смежное понятие – энтропия. Впервые понятия энтропия и информация связал  К.Шеннон в 1948. С его подачи энтропия стала использоваться как мера полезной информации в процессах передачи сигналов по проводам. Следует подчеркнуть, что под информацией Шеннон понимал сигналы нужные, полезные для  получателя. Неполезные сигналы, с точки зрения Шеннона, это шум, помехи. К.Шеннон и его последователи стояли на позициях функционалистов. Если сигнал на выходе канала связи является точной копией сигнала на входе то, с точки зрения теории информации, это означает отсутствие энтропии. Отсутствие шума означает максимум информации. Взаимосвязь энтропии и информации нашло отражение в формуле:

 

                                            H + Y = 1,

 

где Н – энтропия, Y – информация. Этот вывод количественно  был обоснован Бриллюэном.

     Для расчета энтропии Шеннон предложил уравнение, напоминающее классическое выражение энтропии, найденное Больцманом.

 

                           H = ∑Pi log2 1/Pi = -∑Pi log2  Pi,

 

где Н – энтропия Шеннона, Pi  - вероятность некоторого события.

 

         Назвав свою функцию энтропией,  Шеннон, тем не менее, предостерегал  последователей от чрезмерного  расширения области применения этого понятия. Более подробно о теории информации можно прочитать в специальной литературе. Попытаемся разобраться, что такое энтропия Шеннона и как она относится к термодинамическому понятию энтропии Клаузиуса и Больцмана.

     Впервые понятие энтропии было введено Клаузиусом в 1865 г. как функция термодинамического состояния системы. Эта функция имеет вид S = Q/T (Q – теплота, T - температура). Классики не связывали энтропию с информацией.

     Анализ этой функции показал, что физический смысл энтропии проявляется, как часть внутренней энергии системы, которая не может быть превращена  в работу. Клаузиус эмпирически получил эту функцию, экспериментируя с газами.

     Л.Больцман (1872г.) методами статистической физики вывел теоретическое выражение энтропии S = K lnW , где К – константа; W – термодинамическая вероятность (количество перестановок молекул идеального газа, не влияющее на макросостояние системы). Энтропия Больцмана выведена для идеального газа и трактуется как мера беспорядка, мера хаоса системы. Для идеального газа энтропии Больцмана и Клаузиуса тождественны,  поэтому и эмпирическая функция Клаузиуса стала объясняться как мера вероятности состояния молекулярной системы. Формула Больцмана стала настолько знаменитой, что начертана в качестве эпитафии на его могиле. Сложилось мнение, что энтропия и беспорядок есть одно и тоже. Несмотря на то, что энтропия описывает очень узкий класс объектов Мира (идеальные газы), ее не критично стали привлекать для описания более сложных объектов.

     Сам Больцман в 1886г. попытался с помощью энтропии объяснить, что такое жизнь. По мнению Больцмана,  жизнь это явление, способное уменьшать свою энтропию.  «Всеобщая борьба за существование это борьба против энтропии». Согласно Больцману и его последователям, все процессы во Вселенной изменяются в направлении хаоса. Вселенная идет к тепловой смерти. Этот мрачный прогноз долго господствовал в науке. Однако углубление знаний об окружающем Мире постепенно расшатали эту догму.

 

    Антитезой  Больцману выступали эволюционисты. В частности Ч.Дарвин показал, что процессы жизни не только не деградируют, но все время усложняются.  И если прав Больцман, то почему мы до сих пор еще живем.

     Первая половина XX века принесла человечеству модель рождения и эволюции Вселенной, где над деструктивными процессами преобладали процессы самоорганизации материи. Вселенная всегда самоусложнялась и этот процесс, начавшийся 15-20 млрд. лет назад, продолжается до сих пор. Таким образом, считается, что в природе существуют два перехода порядок→хаос и его противоположность хаос→порядок. В изолированных системах (но не всегда)  идет процесс перевода порядка в хаос. В открытых системах, через которые проходят созидательные потоки энергии, могут идти процессы самоорганизации и на фоне хаоса рождается порядок. Существует и альтернативное мнение утверждающее, что порядок рождается только из предшествующего порядка.

     Больцман упростил Мир до предела, представив его идеальным газом, не учитывая того, что все молекулы обладают своей внутренней структурой, взаимодействуют друг с другом, находятся в поле тяжести, совершают колебательные движения и т.д.

     В расширяющейся Вселенной наблюдается тенденция не к выравниванию градиентов и потенциалов, а к расслоению. Из однородного первичного гелий-водородного облака путем гравитационного сжатия стали образовываться плотные сгустки материи: звезды, планеты. Вселенная становилась неоднородной, как по плотности, так и по температуре. Химический состав ее усложнялся. Кроме простых атомов водорода и гелия возникли в недрах звезд все элементы таблицы Менделеева. Появилась жизнь. Разве это деградация?

     Когда говорят о неоднородности какой – либо среды, имеют в виду то, что в каждой единице объема содержится одинаковое количество каких-либо элементов. Считается, что газ - это однородная среда, если рассматривать 1см объема. Но если рассматривать и сравнивать микрообъемы, соизмеримые с размерами молекул, то окажется, что среда очень неоднородная. В одной такой единице объема может находиться одна молекула, а в другой - ни одной. Вселенная однородна в мегамасштабах, но в размерах галактик очень неоднородна.

     Как совместить рост энтропии при понижении температуры Вселенной (S=Q/T) c нарисованной картиной усложнения? Надо думать, что в погоне за математической простотой Больцман так упростил модель своего исследования, что область применения выводов осталась справедливой только в изолированных системах (для идеальных газов).

     В реальных молекулярных системах существуют два вида энергии: потенциальная (энергия связей) и кинетическая (энергия движения молекул). Больцман потенциальную энергию не учитывал. Но формула Клаузиуса, являясь эмпирической, автоматически учитывала все виды энергии. Поэтому значения энтропий Больцмана и Клаузиуса совпадают только в применении к идеальным газам, где доля потенциальной энергии невелика. Для расчетов энтропии жидкостей и твердых тел с высоким значением потенциальной энергии используют, как правило, только энтропию Клаузиуса (S=Q/T).

     Во Вселенной относительно стационарные структуры существуют только благодаря силам взаимодействия, но именно эти силы энтропия Больцмана не учитывает. Поэтому прогноз тепловой смерти Вселенной ошибочен.

     Примеры. Звезда (солнце) возникает вследствие гравитационного сжатия газа (гравитационное взаимодействие). Если бы исчезла гравитация, то облако плазмы, в полном согласии с Больцманом, из-за внутреннего давления начало бы неограниченно расширяться, увеличивая беспорядок (энтропию).

     В ходе однонаправленного течения реки в потоке могут возникать вихри (организованности). Если бы вода в реке не находилась под влиянием гравитационного поля Земли (силы тяжести), то не было бы течения и вихри (упорядоченное движение) не возникали бы при этом.

     В качестве примера самоорганизации очень часто приводят эффект, обнаруженный Бенаром (1900г.). Слой масла на нагретой сковородке иногда может образовать упорядоченную структуру в виде сот (ячейки Бенара). Это результат конвекции, а она  может происходить только в поле тяжести Земли. В невесомости ячейки Бенара не возникли бы. Так что игнорирование в расчетах сил взаимодействия может исказить выводы, что и произошло у Больцмана.

          Сопоставляя энтропию Шеннона с энтропией Больцмана и Клаузиуса, видим, что формулы Шеннона и Клаузиуса совершенно не схожи. В последней фигурирует температура, которую к теории связи никак не применишь. Но формулы Больцмана (S=KknW) и Шеннона (H=-∑Pi log2Pi) имеют некоторое  внешнее сходство. Рассмотрим крайние случаи. Допустим, по каналу связи передается один и тот же сигнал (буква А и пауза) и никаких помех нет.       Вероятность обнаружить сигнал А равна ½.

Тогда H =  (1/2log21/2+1/2log21/2)=1.

Это означает, что по каналу передается количество информации Y = log2 2 =1 бит. Смысл информации Шеннона  сводится к достоверному отличию одного сигнала от другого. Например, отличию сигнала на входе канала от сигнала на выходе. Бесспорно для теории связи метод оценки достоверности сигнала, предложенный Шенноном, сыграл большую роль. Известный физик Луи де Бройль назвал энтропию Шеннона наиболее важной идеей кибернетики. Сходство S и Н в том, что стремление к равновероятности (однородности) состояний системы увеличивает обе энтропии. Но в энтропии Больцмана нет верхнего предела S. Чем больше W, тем выше S. У Шеннона Hmax = 1.

     Исходя  из этого можно сделать следующие  выводы:

 

1. Энтропия Больцмана является мерой беспорядка, хаотичности, однородности  молекулярных систем.
2. Энтропия Клаузиуса пропорциональна количеству связанной энергии, находящейся в системе, которую нельзя превратить в работу.
3. Энтропия Шеннона количественно характеризует достоверность передаваемого сигнала и используется для расчета количества информации.  

Заключение

 

     Информация и энтропия характеризуют сложную систему с точки зрения упорядоченности и хаоса, причем если информация — мера упорядоченности, то энтропия — мера беспорядка. Эта мера простирается от максимальной энтропии, т.е. хаоса, полной неопределенности до высшего уровня порядка.

Если система эволюционирует в направлении упорядоченности, то ее энтропия уменьшается. Итак, уровень организованности определяется уровнем информации, на котором находится система. Следовательно, количество информации, необходимое для перехода из одного уровня организации в другой (качественно более высокий), можно определить как разность энтропии. Уменьшение энтропии происходит в результате информационно-управленческого процесса за счет обмена с внешней средой веществом, энергией и информацией. Человек постоянно борется с энтропии ей информацией: «Мы плывем вверх по течению, борясь с огромным потоком дезорганизованности, которая в соответствии со вторым законом термодинамики стремится все свести к тепловой смерти — всеобщему равновесию и одинаковости, т.е. энтропии. В мире, где энтропия в целом

стремится к возрастанию, существуют местные временные островки уменьшающейся энтропии — это области прогресса».

 

 

 

 

 

 

 

 

 

 

Список использованной литературы:

 

1. Грушевицкая Т.Г., Садохин А.П. Концепции современного естествознания: Учеб. пособие. – М.: Высш. шк., 1988. – 383 с.
2. Карпенков С.Х. Концепции современного естествознания: Учебник для вузов. – М.: Культура и спорт, ЮНИТИ, 2005.
3. Кузнецов Е.,Винер Н. Научная неопределенность и информация, 1987.
4. Коротаев С. М. Энтропия и информация - естественнонаучное понятие.2006г.
5. Точка доступа:

[http://www.chronos.msu.ru/RREPORTS/korotaev_entropia/korotaev_entropia.htm]

6. Точка доступа: [http://holism.narod.ru/book1/2_10.htm]