Поняття ентропії. Ентропія як міра ступеня невизначеності

Використовуючи поняття надмірності  коду, можна дати більш коротку  формулювання теореми: при відсутності  перешкод передачі завжди можливий такий  варіант кодування повідомлення, при якому надмірність коду буде скільки завгодно близькою до нуля.

Дані твердження є теоремами  і, отже, повинні доводитися, проте  докази ми опустимо. Для нас важливо, що теорема відкриває принципову можливість оптимального кодування. Проте  необхідно усвідомлювати, що з самої  теореми жодним чином не випливає, як таке кодування здійснити практично - для цього повинні залучатися якісь додаткові міркування, що і  стане предметом нашого подальшого обговорення.

Далі в основному обмежимо себе ситуацією, коли M = 2, тобто для подання кодів в лінії зв'язку використовується лише два типи сигналів - з практичної точки зору це найбільш просто реалізований варіант (наприклад, існування напруги в проводі (будемо називати це імпульсом) або його відсутність (пауза), наявність або відсутність отвору на перфокарті або намагніченої області на дискеті); подібне кодування називається двійковим. Знаки двійкового алфавіту прийнято позначати "0" і "1", але потрібно сприймати їх як букви, а не цифри. Зручність двійкових кодів і в тому, що при рівних тривалостях і ймовірностях кожен елементарний сигнал (0 або 1) несе в собі 1 біт інформації (log₂ M = 1), тоді перша теорема Шеннона отримує таку інтерпретацію: при відсутності перешкод передачі середня довжина двійкового коду може бути як завгодно близькою до середньої інформації, що припадає на знак первинного алфавіту.

Визначення кількості переданої  інформації при двійковому кодуванні  зводиться до простого підрахунку числа  імпульсів (одиниць) і пауз (нулів). При  цьому виникає проблема виділення  з потоку сигналів (послідовності  імпульсів і пауз) окремих кодів. Приймальний пристрій фіксує інтенсивність  і тривалість сигналів. Елементарні  сигнали (0 і 1) можуть мати однакові або  різні тривалості. Їх кількість в  коді (довжина кодової ланцюжка), що ставиться у відповідність  знаку первинного алфавіту, також  може бути однаковим (в цьому випадку  код називається рівномірним) або  різних (нерівномірний код). Нарешті, коди можуть будуватися для кожного  знака вихідного алфавіту (алфавітне  кодування) або для їх комбінацій (кодування блоків, слів). У результаті при кодуванні (алфавітному і  словесному) можливі наступні варіанти сполучень:

Таблиця 1.

Варіанти поєднань тривалості елементарних сигналів	Кодування первинних символів  (слів)	Ситуація
однакові	рівномірна	(1)
однакові	нерівномірна	(2)
різні	рівномірна	(3)
різні

 

У разі використання нерівномірного кодування або сигналів різної тривалості (ситуації (2), (3) і (4)) для відділення коду одного знака від іншого між ними необхідно передавати спеціальний сигнал - тимчасового роздільник (ознака кінця знака) або застосовувати такі коди, які виявляються унікальними, тобто незбіжними з частинами інших кодів. При рівномірному кодуванні однаковими за тривалістю сигналами (ситуація (1)) передачі спеціального роздільника не потрібно, оскільки відділення одного коду від іншого проводиться за загальної тривалості, яка для всіх кодів виявляється однаковою (або однаковому числу біт при зберіганні).  
Тривалість двійкового елементарного імпульсу (τ) Показує, скільки часу потрібно для передачі 1 біт інформації. Очевидно, для передачі інформації, в середньому припадає на знак первинного алфавіту, необхідно час К⁽²⁾τ. Таким чином, задачу оптимізації кодування можна сформулювати в інших термінах: побудувати таку систему кодування, щоб сумарна тривалість кодів при передачі (або сумарне число кодів при зберіганні) даного повідомлення була б найменшою.

 
IV. Приклад використання ентропії в прогнозуванні та її значення для прогнозування. Застосування до ризиків  
          Прогнозування - приватний вид моделювання як основи пізнання та управління.  
Роль прогнозування в управлінні країною, галуззю, регіоном, підприємством очевидна. Необхідні облік СТЗП-факторів (соціальних, технологічних, економічних, політичних), факторів конкурентного середовища та науково-технічного прогресу, а також прогнозування витрат і доходів підприємств і суспільства в цілому (відповідно з життєвим циклом продукції - в часі і по 11-ти стадіям міжнародного стандарту ІСО 9004). Проблеми впровадження та практичного використання математичних методів економетричного прогнозування пов'язані насамперед із відсутністю в нашій країні досить великого досвіду подібних досліджень, оскільки протягом десятиліть планування віддавався пріоритет перед прогнозуванням.  
         У конкретних задачах прогнозування необхідно провести класифікацію ризиків, поставити завдання оцінювання конкретного ризику, провести структуризацію ризику. Ризики необхідно враховувати при прогнозуванні економічних наслідків прийнятих рішень, поведінки споживачів і конкурентного оточення, зовнішньоекономічних умов і макроекономічного розвитку України, екологічного стану навколишнього середовища, безпеки технологій, екологічної небезпеки промислових та інших об'єктів.  
           Велика кількість ризиків пов'язано з природними явищами. Їх можна об'єднати під ім'ям «екологічні». До них відносяться, зокрема ризики, пов'язані з невизначеністю низки природних явищ. Типовим прикладом є погода, від якої залежать врожайність (а тому і ціни на сільськогосподарські товари), витрати на опалення і прибирання вулиць, доходи від туризму та інші. Особливе значення мають ризики, пов'язані з недостатніми знаннями про природу (наприклад, невідомий точний обсяг корисних копалин в тому чи іншому родовищі, а тому не можна точно передбачити розвиток добувної промисловості й обсяг податкових надходжень від її підприємств). Не можна забувати про ризики екологічних лих; і катастроф типу ураганів, смерчів, землетрусів, цунамі, та інші.  
          В даний час при комп'ютерному та математичному моделюванні для опису невизначеностей все частіше використовують такий метод, як ентропія. Деякі види невизначеностей пов'язані з байдужими до організації силами - природними (погодні умови) або суспільними (зміна уряду).  
          Різноманітні формальні методи оцінки ризиків та управління ними в багатьох випадках (реально в усіх нетривіальних ситуаціях) не можуть дати однозначних рекомендацій. В кінці процесу прийняття рішення - завжди людина, менеджер, на якому лежить відповідальність за прийняте рішення.  
          Тому процедури ентропії природно застосовувати не тільки на кінцевому, але і на всіх інших етапах аналізу розглянутого організацією проекту, використовуючи при цьому весь арсенал теорії і практики ентропії.  
         Розглянемо використання ентропії на прикладі прогнозу погоди.  
Нехай для деякого пункту ймовірність того, що 15 червня буде йти дощ, дорівнює 0,4, а ймовірність того, що дощу не буде, дорівнює 0,6. Нехай далі для цього ж пункту ймовірність дощу 15 жовтня дорівнює 0,8, а ймовірність відсутності дощу в цей день - всього 0,2. Припустимо, що певний метод прогнозу погоди 15 червня виявляється правильним у 3 / 5 всіх тих випадків, в яких передбачається дощ, і в 4 / 5 тих випадків, в яких передбачається відсутність опадів; у застосуванні ж до погоди 15 жовтня цей метод виявляється правильним у 9 / 10 тих випадків, в яких передбачається дощ, і в половині випадків, в яких передбачається відсутність дощу (порівняно великий відсоток помилок у останньому випадку природно пояснюється тим, що передбачається малоймовірне подія, передбачити яке досить важко). Питається, у якій з двох зазначених днів прогноз дає нам більше інформації про реальну погоду?  
Позначимо через β₁ і β₂ досліди, що складаються у визначенні погоди в розглянутому пункті 15 червня і 15 жовтня. Ми вважаємо, що ці досліди мають лише по два результати - В (дощ) і B (Відсутність опадів); відповідні таблиці ймовірностей мають вигляд:  
         Дослід β₁

Результати	B
Ймовірно	0,4	0,6

 

Дослід β₂

Результати	B
Ймовірно	0,8	0,2

Отже, ентропії дослідів β₁ і β₂ рівні  
Н (β₁₎ = -0,4 log 0,4 - 0,6 log 0,6 0,97 біта,  
Н (β₂₎ = - 0,8 log 0,8 - 0,2 log 0,2 0,72 біта.  
Нехай тепер α₁ і α₂ - передбачення погоди на 15 червня і на 15 жовтня. Досліди α₁ і α₂ також мають по два результати: А (передбачення дощу) і A (Передбачення сухої погоди); при цьому пари дослідів (α_1, β₁)   і (α_2, β₂) характеризуються наступними таблицями умовних ймовірностей:  
         Пара (α_1, β₁)  

0,6	0,4	0,2	0,8

        Пара (α_2, β₂)

0,9	0,1	0,5	0,5

 p_A(B)+ p_A(B)= p_A(B)+ p_A(B)

Ці таблиці дозволяють визначити також і невідомі нам ймовірності р₁(А) і р₁(A), p₂(А) і р₂(A) Результатів А і A дослідів α₁ і α_2. За формулою повної ймовірності маємо для досліду β₁ :  
0,4 = р(В) = р₁(А) p⁽¹⁾_A(B)+ p₁(A) p⁽¹⁾_A(B)= 0,6 · р₁(А) +0,2 · р₁(A)  

і для досліду β₂ :  
0,8 = р(В) = р₂(А) p⁽²⁾_A(B)+ p₂ ( A) p⁽²⁾_A(B)= 0,9 · р₂(А) +0,5 · р₂(A).  

Так як р₁(A) = 1 - р₁(А) ,   р₂(A) = 1 - р₂(А), то звідси отримуємо  
р₁(А) = р₁(A) = 0,5 ,   р₂(А) = 0,75 ,    р₂(A) = 0,25.  

Підрахуємо тепер ентропію Н_А(β₁)_, Н_А(β₂), Н_А(β₁), Н_А(β₂) (У бітах):  
Н_А(β₁) = -0,6 • log 0,6 - 0,4 • log 0,4 0,97,  
Н_А(β₁)= - 0,2 • log 0,2 - 0,8 • log0, 8 0,72  
і  
Н_А(β₂) = - 0,9 • log 0,9 - 0,1 • log 0,1 0,47,  
Н_А(β₂) = - 0,5 • log 0,5 - 0,5 • log 0,5 = 1.  
Отже,  
Н_α1(β₁) = р₁(А)Н_А (β₁) + р₁(A) Н_А(β₁) 0,84,  
Н_α2(β₂) = р₂(А) Н_А(β₂)+ p₂(A) Н_А(β₂) 0,60.  

        Таким чином, інформація, що міститься в прогнозі погоди на 15 червня (дослід α₁₎ про реальну погоду в цей день (про дослід β₁)_, дорівнює  
I(α_1, β₁) = Н (β₁₎-Н _α1(β₁) 0,97-0,84 = 0,13 біт, що дещо більше, ніж інформація про реальну погоду 15 жовтня (про дослід β_2), що міститься в прогнозі погоди на цей день (у досліді α_2):  
I(α_2, β₂₎ = Н (β₂₎-Н_α2(β₂) 0,72 - 0,60 = 0,12 біт.  

       Цей результат дозволяє вважати прогноз погоди па 15 червня більш цінним, ніж прогноз на 15 жовтня, незважаючи на те, що останній прогноз частіше виявляється правильним: дійсно, через формули повної ймовірності, для прогнозу погоди на 15 червня ймовірність виявитися правильним дорівнює  
р₁(А) p⁽¹⁾_A(B)+ p₁ (A) p⁽¹⁾_A(B) = 0,5 • 0,6 + 0,5 • 0,8 = 0,7 ,  
в той час як для прогнозу погоди на 15 жовтня ця ймовірність дорівнює  
р₂(А) p⁽²⁾_A(B)+ p₂ A) p⁽²⁾_A(B)= 0,75 • 0,9 + 0,25 • 0,5 = 0,8.  
 
Висновок  
         Ентропія як фізична мінлива первинно виникла із завдань опису теплових процесів. Згодом вона стала широко використовуватися у всіх галузях науки.  
Інформація - це знання, яке використовується для розвитку, вдосконалення системи і її взаємодій з навколишнім середовищем.  
          Інформація сама розвивається слідом за розвитком системи. Нові форми, принципи, підсистеми, взаємозв'язки та відносини викликають зміни в інформації, її зміст, форми отримання, переробки, передачі та використання. Завдяки потокам інформації система здійснює доцільне взаємодія з навколишнім середовищем, тобто управляє або керована. Своєчасна і оперативна інформація може дозволити стабілізувати систему, адаптуватися, відновлюватися при порушеннях структур або підсистем. Від ступеня інформованості системи, від взаємодії системи і середовища залежить розвиток і стійкість системи.  
           У сучасному світі все більше значення в управлінні організацією віддається прогнозуванню. Будь-яка організація в процесі своєї діяльності стикається з різними ризиками, які більшою чи меншою мірою впливають на її стан. Численні приклади ситуацій, пов'язаних із соціальними, технологічними, економічними, політичними, екологічними та іншими ризиками. Саме в таких ситуаціях зазвичай і необхідно прогнозування. Відомі різні види критеріїв, які використовуються в теорії прийняття рішень в умовах невизначеності (ризику). Через суперечливості рішень, одержуваних за різними критеріями, очевидна необхідність застосування ентропії.  
 

                                                    

                                                     Посилання  

1. Дмитрієв В.М. Прикладна теорія інформації. М: Вища школа, 1989.  
2. Колмогоров А.Н. Теорія інформації та теорія алгоритмів.М: Наука, 1987.  
3. Колмогоров А.Н. Три підходи до визначення поняття "кількість інформації" / / Проблеми передачі інформації. 1965. Т.1. № 1.  
4. Поплавський Р. П. доповнення Максвелла і співвідношення між інформацією і ентропією / / УФН. 1979. Т. 128. Вип. 1.  
5. Хартлі Р. Передача інформації / / Теорія інформації та її застосування. М.: Физматгиз. 1959.  
6. Шамбадаль П. Розвиток і додатки поняття ентропії. М.: Наука, 1967.  
7. Яглом А.М., Яглом І.М. Вірогідність та інформація. М.: Наука, 1973.  
8. Півень В.В. Студент РФФ. //Перед здачею реферату, видали цю стічку.КНУ,2013.