Поняття ентропії. Ентропія як міра ступеня невизначеності

 

 

 

 

 

                                                ЗМІСТ  
Вступ__________________________________________________________2 
I.  Поняття ентропії. Ентропія як міра ступеня невизначеності __________3 
II. Поняття про інформацію. Вимірювання інформації _________________5

      1. Міра Р. Хартлі___________________________________________________6

      2. Міра К. Шеннона ________________________________________________7

      3.Термодинамічна міра_____________________________________________8

      4. Енергоінформаційна (квантово-механічна) міра ______________________8 
III.Теорема Шеннона про кодування при наявності перешкод __________9 
IV.Приклад використання ентропії в прогнозуванні та її значення для прогнозування. Застосування до ризиків ____________________________10 
Висновок ______________________________________________________13 
Посилання_____________________________________________________14 
 

 

Вступ  
         Предметом роботи є ентропія та інформація. Метою даної роботи є вивчення ентропії, інформації та застосування даних понять до ризиків. Поставлена ​​мета ставить вирішення наступних завдань: розгляду поняття ентропії, статистичного сенсу цього поняття, ентропії як міри ступеня невизначеності, поняття про інформацію, теореми Шеннона про кодування при наявності перешкод, використання ентропії в прогнозуванні та застосування ентропії до ризиків.  
         Дана тема актуальна, тому що важко знайти поняття більш загальні для всіх наук ніж ентропія та інформація. Часто це пов'язано з самою назвою. Якщо б звучна назва "ентропія" не залишилася  з моменту першого народження  "інтеграла Клаузіуса", навряд чи вона б не народжувалася знову й знову в різних областях науки під одним ім'ям. Крім того, її першовідкривач Клаузіус, першим же поклав початок застосування введеного ним для, здавалося б вузькоспеціальних термодинамічних цілей поняття до глобальних космологічним проблем (теплова смерть Всесвіту). З тих пір ентропія багаторазово фігурувала в останніх назавжди знаменитими суперечках. В даний час універсальний характер цього поняття загальновизнаний і вона плідно використовується в багатьох областях.  
         Термін "інформація" чудовий тим, що, існуючого з давніх пір побутовому поняттю, К. Шенноном було надано математично точний сенс. Невизначено-побутовий зміст цього терміну вже наукового. Це призводило і призводить до багатьох непорозумінь . Дану тему опишемо за допомогою наступних методів: синтезу, аналізу, індукції, дедукції, порівняння та розрахункового методу.  
 
I. Поняття ентропії. Статистичний сенс поняття ентропії. Ентропія як міра ступеня невизначеності  
         Ентропія (від грец. Entropia - поворот, перетворення) - міра невпорядкованості великих систем. Вперше поняття "ентропія" введено в XIX ст. в результаті аналізу роботи теплових машин, де ентропія характеризує ту частину енергії, яка розсіюється в просторі, не здійснюючи корисної роботи (звідси визначення: ентропія - міра знецінення енергії). Потім було встановлено, що ентропія характеризує імовірність певного стану будь-якої фізичної системи серед безлічі можливих її станів. У закритих фізичних системах усі самовільні процеси спрямовані до досягнення більш ймовірних станів, тобто до максимуму ентропії. У рівноважному стані, коли цей максимум досягається, ніякі спрямовані процеси неможливі. Звідси виникла гіпотеза про теплової смерті Всесвіту. Однак поширення на весь Всесвіт законів, встановлених для закритих систем, не має переконливих наукових підстав. У XX ст. поняття "ентропія" виявилося плідним для дослідження біосистем, а також процесів передачі та обробки інформації. Еволюція в цілому і розвиток кожного організму відбувається завдяки тому, що біосистеми, будучи відкритими, живляться енергією з навколишнього світу. Але при цьому біопроцеси протікають таким чином, що пов'язані з ними "виробництво ентропії" мінімально. Це служить важливим керівним принципом і при розробці сучасних технологічних процесів, при проектуванні технічних систем. Кількісна міра інформації формально збігається з "негативно певної" ентропією. Але глибоке розуміння відповідності ентропії фізичної та інформаційної залишається однією з кардинальних недостатньо досліджених проблем сучасної науки. Її рішення послужить одним з важливих чинників становлення нового науково-технічного мислення.  
           Ентропія широко застосовується і в інших областях науки: в статистичній фізиці як міра ймовірності здійснення будь-якого макроскопічного стану; в теорії інформації як міра невизначеності будь-якого досвіду (випробування), який може мати різні результати. Ці трактування мають глибокий внутрішній зв'язок. Наприклад, на основі уявлень про інформаційну ентропію можна вивести всі найважливіші положення статистичної фізики.  
          Теорія інформації виникла для опису передачі і прийому повідомлень в процесі діяльності людини. У всіх її завданнях присутні поняття передавача і приймача, сигналу-повідомлення, подій та їх ймовірностей. Існування цілі передачі інформації в теорії інформації виражається тим, що вводиться поняття відомої заданої події. Для нього може бути визначена ймовірність р₀ страхування до прийому повідомлення і р₁ після прийому.  
          У силу визначення інформації як усуненої невизначеності в досягненні мети сувора (тобто математична) формалізація поняття про інформацію вимагає висловити математичним співвідношенням, що є невизначеність у досягненні мети.  
Існування невизначеності пов'язане з участю ймовірностей у здійсненні подій. Усунення невизначеності є збільшення ймовірності настання того, що задано як мета. Тому ймовірності повинні брати участь у математичній формулюванні величини усуненої невизначеності.  
         Перша вдала спроба реалізувати визначення інформації на такій основі здійснена в 1928 р . Л. Хартлі. Нехай можливо в даних умовах деяка кількість варіантів певного результату. Метою є один з них. Хартлі запропонував характеризувати невизначеність логарифмом числа n ,(n- кількість варіантів певного результату).Тобто log n є кількісною мірою невизначеності. Вибір підстави логарифма пов'язаний з поняттям про алфавітах для опису інформації. Цей вибір істотний для економічності кодування в технічних пристроях або живих системах (скорочення потоків імпульсів або аналогових сигналів), але не змінює самого кількості інформації як усуненої невизначеності за рахунок того, що перед логарифмом вводиться безрозмірний множник, що виражається модулем переходу між основами логарифмів. Від нього залежать назви одиниць інформації.  
         При математичному описі невизначеності (наприклад способом Хартлі) у разі рівно ймовірних результатів можна перейти від їх числа n до зворотного величиною - ймовірності р одного з них. У термінах зв'язку конкретно говорять про ймовірність надісланого повідомлення р₀ у приймача до прийому повідомлення. Усунення невизначеності виражається тим, що ймовірність надісланого повідомлення у приймача після прийому сигналу зростає і стає р_1. Тоді кількісна міра s отриманої інформації (усуненої невизначеності) виражається логарифмом відношення ймовірностей: s = log( p₁/p₀). 
         Воно рівноправно по відношенню до будь-якого окремого повідомленням і має різну величину залежно від величин р₀ і р₁ для нього. В окремому випадку, коли при передачі повністю відсутні шуми і збої, спотворення сигналу, ймовірність р₀ дорівнює одиниці.  
         Недолік цього визначення в тому, що воно справедливо в рівно ймовірному наближенні всіх результатів. Це виконується далеко не завжди. У 1948 р. К. Шеннон, визначив запобіжний невизначеності вираз:  
 
де  
  є ймовірності окремих випадків. Він запропонував називати цю величину "ентропією", не пояснюючи зв'язків і відмінностей цього терміна з загальновідомою ентропією у фізиці. Знак мінус в попередній формулі відображає той факт, що ймовірності завжди менше одиниці, а ентропія знакостала функція, для якої звично заданий позитивний знак. Визначення Шеннона скорочено записують у вигляді:  
, маючи на увазі як очевидне, що ознаки (аргументи), по відношенню до яких визначено події та їх ймовірності, можуть бути істотно різними, а  ця формула (підсумовування в ній) справедлива тільки для однорідних подій.  
 
II. Поняття про інформацію. Вимірювання інформації

 
         Поняття  інформації (informatio - роз'яснення, інформування, виклад) є одним з основних, ключових понять не тільки в інформатиці (у інформології - області знань, що вивчає прояв інформації, її представлення, вимірювання і т.д.), але і в математиці, в фізики та інші поняття "інформація" - погано формалізуються і структуровані поняття. У силу його загальності, об'ємності, розпливчастості воно часто розуміється неточно і неповно, як це вимагаються. Як правило, це поняття в курсі інформатики не визначається, приймається як початкове базове поняття, невизначений термін.  
        Інформація трактується по різному, наприклад, як:  
• будь-яка сутність, яка викликає зміни в деякій інформаційно-логічної (інфологічний - складається з даних, знань, абстракцій і т.д.) моделі системи (математика, системний аналіз);  
• повідомлення, отримані системою від зовнішнього світу в процесі адаптивного управління, пристосування (теорія управління, кібернетика);  
• заперечення ентропії, відображення заходи хаосу в системі (термодинаміка);  
• зв'язки, які усувають непевність в системі (теорія інформації);  
• ймовірність вибору в системі (теорія ймовірностей);  
• відображення різноманіття в системі (фізіологія, біокібернетика);  
• відображення матерії, атрибут свідомості, "інтелекту" системи (філософія).  
       Але існує більш повне поняття. Інформація - це деяка послідовність (в наявності впорядкованість) відомостей, знань, які актуалізуються (приходило, передавання, перетворені, стисливі чи реєстрованих) за допомогою деяких знаків (символьного, образного, жестової, звукового типу). Це приріст, розвиток, актуалізація знань, що виникає в процесі цілеспрямованої інтелектуальної діяльності людини. Жодна інформація, ніяке знання не з'являється відразу - цьому передує етап накопичення, осмислення, систематизації досвідчених даних, поглядів. Знання - продукт такого процесу. Мислення - необхідний атрибут такого процесу.  
Інформація може існувати в пасивній (не актуалізованою) і активної (актуалізованої) формі.  
         Приклад. Інформація актуалізується повідомленнями, при цьому форми облачення інформації в повідомлення різні, наприклад, для живих істот - сигнали, жести, для технічних пристроїв - сигнали. Інформація передається від однієї людини іншій, може передаватися символами (лист), жестами (сигнальник на бойовому кораблі), звуками (диктор), геометричними фігурами (кресляр), художніми образами (балерина). Інформація передається тваринами може бути передана звуками (гавкіт, виття, писк), ситуаційним поведінкою (образами). Інформація в технічних пристроях, автоматах може бути передана електричними, магнітними, світловими імпульсами, як це відбувається в ЕОМ.  
         Інформація в філософському аспекті буває, в основному: світоглядна; естетична; релігійна; наукова; побутова; технічна, економічна, технологічна.  
Все це (з людиною) становить ноосферу суспільства - більш високий стан біосфери, який виник у результаті еволюції, структурування, упорядкування та гармонізації зв'язків у природі і суспільстві під впливом  діяльності людства. Це поняття введено вперше В. І. Вернадським у ролі відображення еволюції суспільства і природи тобто системи, в рамках якої потенційно може бути реалізовано гармонійне, сталий розвиток (еволюція) систем "Громада" та "Природа", а також поступове злиття, інтеграція і гармонізація наук про природу, пізнанні і про суспільство. Без цього неможлива побудова інформаційного суспільства.  
Інформація може виявитися і шкідливою, що впливає негативно на свідомість, наприклад, виховує сприйняття світу від байдужого або ж некритичного - до негативного, "розлюченого", неадекватного. Інформаційний потік - досить сильний подразник.  
        Приклад. Негативною інформацією - подразником може бути інформація про крах комерційного банку, про різке зростання (спад) валютного курсу, про зміну податкової політики та ін. 
Інформація не існує без інших типів ресурсів - енергії, речовини, організації, як і вони не можуть існувати без інформації. Будь-які взаємодії систем (підсистем) - взаємодії завжди матеріальноенерго-інформаційні. Виявлення (структурування, упорядкування, встановлення відносин), формалізація (опис формальними засобами, мовами), вивчення (розробка моделей, методів, алгоритмів), застосування (розробка і актуалізація технологій) цих взаємодій і складає основне завдання інформатики - як науки, як людської діяльності .  
         Якщо відволіктися від конкретного смислового змісту інформації і розглядати повідомлення інформації як послідовності знаків, сигналів, то їх можна представляти бітами, а вимірювати в байтах, кілобайтах, мегабайтах, гігабайтах, терабайт і петабайтам.  
          Інформація може розумітися і інтерпретуватися по-різному. Внаслідок цього наявні різні підходи до визначення методів виміру інформації, міри кількості інформації. Розділ інформатики (теорії інформації) вивчає методи вимірювання інформації називається інформетрією.  
Кількість інформації - числова величина, адекватно характеризує актуалізуються інформацію за різноманітністю, складності, структурованості, визначеності, вибору (ймовірності) станів відображається системи.  
           Якщо розглядається система, яка може приймати одне з n можливих станів, то актуальна задача оцінки такого вибору, результату. Такою оцінкою може стати міра інформації (або події). Міра - це деяка безперервна дійсна не від’ємна функція, визначена на множині подій і є адитивною тобто міра кінцевого поєднання подій (множин) дорівнює сумі заходів кожної події.

 

1.Міра Р. Хартлі

 

         Нехай є N станів системи S або N дослідів з різними, рівноможливими послідовними станами системи. Якщо кожний стан системи закодувати, наприклад, двійковими кодами певної довжини d, то цю довжину необхідно вибрати так, щоб число всіх різних комбінацій було б не менше, ніж N. Найменше число, при якому це можливо чи захід розмаїття безлічі станів системи задається формулою Р. Хартлі: H = k log_аN , де k - коефіцієнт пропорційності (масштабування, в залежності від обраної одиниці виміру заходи), а - основа системи заходів.  
           Якщо вимірювання ведеться в експоненційної системі, то k = 1, H = lnN (нат); якщо вимір - у двійковій системі, то k = 1/ln2 , H = log₂ N (біт); якщо вимір - у десятковій системі, k = 1/ln10, H = lgN (дит).  
           Приклад. Щоб дізнатися положення точки в системі з двох клітин тобто отримати деяку інформацію, необхідно поставити 1 питання ("Ліва або права клітина?"). Дізнавшись положення точки, ми збільшуємо сумарну інформацію про систему на 1 біт (I = log₂ 2). Для системи з чотирьох клітин необхідно задати 2 аналогічних питання, а інформація дорівнює 2 бітам (I = log₂ 4). Якщо система має n різних станів, то максимальна кількість інформації дорівнює I = log₂ n .  
За Хартлі, для того, щоб міра інформації мала практичну цінність - вона повинна бути така, щоб відбивала кількість інформації пропорційно числу виборів.  
            Приклад. Є 192 монети з яких одна фальшива. Визначимо скільки зважувань потрібно зробити, щоб визначити її. Якщо покласти на терези рівну кількість монет, то отримаємо 2 можливості (ми зараз відволікаємося від того, що у разі фальшивої монети таких станів буде два - стану незалежні): а) ліва чашка нижче; б) права чашка нижче. Таким чином, кожне зважування дає кількість інформації I = log ₂ 2, отже, для визначення фальшивої монети потрібно зробити не менше k зважувань, де k задовольняє умові log₂ 2k3= log₂ 192. Звідси, k = 7. Отже, нам необхідно зробити не менше 7 зважувань (досить семи).  
          Формула Хартлі відвернута від семантичних і якісних, індивідуальних властивостей даної системи (якості інформації, що міститься в системі, у проявах системи за допомогою розглянутих N станів системи). Це основна позитивна сторона цієї формули. Але є й основна негативна сторона: формула не враховує розрізнення і різність розглянутих N станів системи.

Зменшення (збільшення) Н може свідчити про зменшення (збільшення) різноманітності станів N системи.

Зворотне, як це випливає з формули  Хартлі (підстава логарифма береться більше 1), - також вірно.

 

2.Міра К. Шеннона

 

Формула Шеннона дає оцінку інформації незалежно, абстрактно від її сенсу:

nI = -аp_i log₂ p_i  , i = 1

де n - число станів системи; р_i - ймовірність (або відносна частота) переходу системи в i-тий стан, причому сума всіх p_i дорівнює 1.

Якщо всі стани різновірогідні (тобто р_i = 1/n), то I = log₂ n.

К. Шенноном доведена теорема про одиничність міри кількості інформації. Для випадку рівномірного закону розподілу щільності ймовірності міра Шеннона збігається з мірою Хартлі. Справедливість і достатня універсальність формул Хартлі та Шеннона підтверджується і даними нейропсихології.

Приклад. Час t реакції випробуваного на вибір предмета з наявних N предметів лінійно залежить від log₂ N:t = 200 +180 log₂ N (мс). За аналогічним законом змінюється і час передачі інформації в живому організмі. Зокрема, один з дослідів з визначення психофізіологічних реакцій людини полягав у тому, що перед випробуваним велику кількість разів запалювалася одна з n лампочок, яку він повинен вказати. Виявилося, що середній час, необхідне для правильної відповіді випробуваного, пропорційно не числа n лампочок, а саме величиною I визначається за формулою Шеннона, де p_i - ймовірність запалити лампочку номер i.

Повідомлення про настання події  з меншою ймовірністю несе в собі більше інформації, ніж повідомлення про настання події з більшою  ймовірністю. Повідомлення про настання достовірно наступаючого події несе в собі нульову інформацію (і це цілком зрозуміло, - подія все одно відбудеться коли-небудь).

Якщо у формулі Шеннона позначити f_i =-nlog ₂ p_i, то отримаємо, що I можна розуміти як середньоарифметичне величин f_i.

Звідси, f_i можна інтерпретувати як інформаційний зміст символу алфавіту з індексом i та величиною p_i  ймовірності появи цього символу в повідомленні, передавальному інформацію.

Основними позитивними сторонами  формули Шеннона є її абстрактність від семантичних і якісних, індивідуальних властивостей системи, а також те, що на відміну від формули Хартлі вона враховує різність, різноймовірність станів - формула має статистичний характер (враховує структуру повідомлень), що робить цю формулу зручною для практичних обчислень. Основні негативні сторони формули Шеннона: вона не розрізняє стану (з однаковою ймовірністю досягнення, наприклад), не може оцінювати стану складних і відкритих систем і може бути застосована лише для замкнених систем, відволікаючись від змісту інформації.

Збільшення (зменшення) заходів  Шеннона свідчить про зменшення (збільшення) ентропії (організованості) системи. При цьому ентропія може бути мірою дезорганізації систем від повного хаосу (S = S_max) та повної інформаційної невизначеності (I = I_min) до повного порядку (S = S_min) та повної інформаційної визначеності (I = I_max) у системі.

Приклад. Чим ближче об'єкт, що рухається  до нас, тим повніше інформація обробляється нашими органами чуття, тим чіткіше  і більш структурований (впорядкований) об'єкт. Чим більше інформації ми маємо  про комп'ютерну техніку, тим менше  психологічний бар'єр перед ним (відповідно до основного співвідношенню між  ентропією та інформацією).

 

3.Термодинамічна міра

 

        Інформаційно-термодинамічний підхід пов'язує величину ентропії системи з браком інформації про її внутрішню структуру. При цьому число станів визначає, по суті, ступінь неповноти наших відомостей про систему.

Нехай дана термодинамічна система (процес) S, а Н₀, Н₁ - термодинамічні ентропії системи S в початковому (рівноважному) і кінцевому станах термодинамічного процесу, відповідно. Тоді термодинамічна міра інформації (не генотропії) визначається формулою:

Н(М₀ , Н₁) = М₀ - Н₁.

Ця формула універсальна для  будь-яких термодинамічних систем. Зменшення Н(М₀, М₁) свідчить про наближення термодинамічної системи S до стані статичної рівноваги (при даних доступних їй ресурсах), а збільшення - про видалення.

Поставимо деякі питання про стан деякої термодинамічної системи. Нехай до початку процесу можна дати p₁ рівноймовірних відповідей на це питання (жоден з яких не є кращим іншому), а після закінчення процесу - p₂ відповідей. Зміна інформації при цьому:

dI = K ln(p₁/p₂) = k (ln p₁ - ln p₂).

Якщо p₁> p₂ (dI> 0) - приріст інформації, тобто відомості про систему стали більш визначеними, а при p₁₀ - більш низькій організації).

Термодинамічна міра (ентропія) застосовна до систем, що знаходяться в тепловій рівновазі. Для систем, далеких від  теплової рівноваги, наприклад, живих  біосистем, міра - ентропія - менш підходяща.

 

4.Енергоінформаційна (квантово-механічна) міра

 

       Енергія (ресурс) та інформація (структура) - дві фундаментальні характеристики систем реального світу, що пов'язують їх речові, просторові, часові характеристики. Зараз актуально говорити про біоенерго-інформаційні заходи, що відображають механізм взаємозв'язків біофізико-інформаційних і матеріально-енергетичних процесів у системі, в ноосфері.

 

 

 

 

III. Теорема Шеннона про кодування при наявності перешкод

Розглянемо першу теорему Шеннона. Перша теорема Шеннона про передачу інформації, яка називається також основною теоремою про кодування при відсутності перешкод, формулюється наступним чином: при відсутності перешкод передачі завжди можливий такий варіант кодування повідомлення, при якому середнє число знаків коду, що припадають на один знак кодованого алфавіту, буде скільки завгодно близько до відношення середніх інформацій на знак первинного та вторинного алфавітів.