Основные понятия теории вероятностей

Выделяют 4 вида случайных процессов:

1) Случайный процесс с непрерывным временем и непрерывным состоянием (пример: температура воздуха в некоторый момент времени, изменяется плавно в любой момент времени).

2) Случайный процесс с непрерывным временем и дискретным состоянием (пример: число посетителей в магазине, изменяется кратно одному в любой момент времени).

3) Случайный процесс с дискретным временем и непрерывным состоянием (пример: динамика курса курс валюты, изменяется плавно в момент валютных торгов).

4) Случайный процесс с дискретным временем и дискретным состоянием (пример: число пассажиров в транспорте изменяется кратно одному и только в определенные моменты времени, на остановках).

Во многих практических случаях для характеристики случайных процессов достаточно знать лишь его усредненные - числовые характеристики (моментные функции). Наиболее часто используются математическое ожидание (первый начальный момент), дисперсия (второй центральный момент), ковариационная функция и корреляционная функция.

Простейшей характеристикой случайного процесса является его математическое ожидание

,

которое представляет собой неслучайную функцию времени, около которой различным образом располагаются отдельные реализации случайного процесса.

Дисперсией случайного процесса называется неслучайная функция времени, значения которой для каждого момента времени равны математическому ожиданию квадрата отклонения случайного процесса от его математического ожидания

.

Дисперсия определяет степень разброса значений случайного процесса около математического ожидания.

В качестве характеристики, учитывающей статистическую связь между значениями случайного процесса в различные моменты времени, используется ковариационная функция случайного процесса

,

определяемая как математическое ожидание от произведения значений случайного процесса в два различных момента времени (в двух сечениях).

На практике чаще используют корреляционную функцию, которая определяется как математическое ожидание произведения центрированного случайного процесса в два различных момента времени. Центрированный процесс представляет собой только переменную составляющую.

Таким образом, числовые характеристики получаются путем усреднения соответствующей случайной величины по множеству ее возможных значений. Операция усреднения по множеству обозначается прямой горизонтальной чертой сверху.

Важнейшим классом случайных процессов, встречающихся на практике, является класс стационарных случайных процессов. Случайный процесс называется стационарным, если его многомерная функция распределения (и, следовательно, числовые характеристики) не зависит от начала отсчета времени, т.е. от сдвига всех сечений вправо или влево на один и тот же интервал времени ∆t. При этом оказывается, что одномерная функция распределения, математическое ожидание и дисперсия вообще не зависят от времени:

,

а двухмерная функция распределения и корреляционная функция, и ковариационная функция зависят только от расстояния между сечениями :

.

Иногда случайный процесс называют стационарным, если приведенные условия выполняются лишь для числовых характеристик.

Если приведенные выше условия не выполняются, то случайный процесс будет нестационарным. Для нестационарного процесса плотность вероятности является функцией времени. При этом со временем могут изменяться математическое ожидание, дисперсия случайного процесса или то и другое вместе.

 

Случайные выборки

Выборка — конечный набор прецедентов (объектов, случаев, событий, испытуемых, образцов, и т.п.), некоторым способом выбранных из множества всех возможных прецедентов, называемого генеральной совокупностью.

Если исследователь не имеет возможности управлять выбором прецедентов, то обычно предполагается, что выбор прецедентов случаен. Если же выбором прецедентов можно управлять, то возникают задачи оптимального формирования выборки.

По каждому прецеденту собираются (измеряются) некоторые данные, образующие описание прецедента. Совокупность описаний всех прецедентов выборки является входной информацией для статистического анализа данных, интеллектуального анализа данных, машинного обучения.

Термины выборка и данные взаимозаменяемы; иногда они употребляются вместе как один термин выборка данных. Поэтому анализ данных можно понимать также как анализ конечных выборок. Основные цели анализа данных:

• проверка гипотез относительно имеющейся выборки данных;
• эмпирическая индукция — выявление общих закономерностей, присущих всей генеральной совокупности, по имеющийся выборке данных;
• прогнозирование — формирование статистически обоснованных предсказаний относительно новых данных, которые ещё не наблюдались.

Случайная выборка

Вероятностная модель порождения данных предполагает, что выборка из генеральной совокупности формируется случайным образом. Объём (длина) выборки считается произвольной, но фиксированной, неслучайной величиной.

Формально это означает, что с генеральной совокупностью Х связывается вероятностное пространство [Xm,Σm,Pm], где Xm — множество всех выборок длины m, Σm — заданная на этом множестве сигма-алгебра событий, Pm — вероятностная мера, как правило, неизвестная.

Случайная выборка Xm=(x1,…,xm) — это последовательность из m прецедентов, выбранная из множества Xm согласно вероятностной мере Pm.

Реализовать случайную выборку можно двумя приемами: лотерейным методом и с помощью таблицы случайных чисел. С помощью случайной выборки строится подавляющее большинство телефонных опросов и опросов на основе избирательных списков. Для построения такой выборки необходимо иметь полный список всех элементов генеральной совокупности.

 

Элементы теории массового обслуживания

 

Классификация систем массового обслуживания

В каждую систему массового обслуживания  поступает входящий поток заявок на обслуживание. Результатом работы системы массового обслуживания является выходящий поток обслуженных заявок.

Потоком событий называется последовательность однородных событий, происходящих в какие-то, вообще говоря, случайные моменты времени.

Если в системе массового обслуживании одновременно может обслуживаться несколько заявок, то система массового обслуживания называется многоканальной, в противном случае система массового обслуживания называется одноканальной.

Как одноканальные системы массового обслуживания, так и многоканальные системы массового обслуживания делятся на системы массового обслуживания с отказами и системы массового обслуживания с очередью (ожиданием).

В системе массового обслуживания с отказами заявка, поступившая в момент, когда все каналы обслуживания заняты, получает «отказ» в обслуживании и покидает систему.

В системе массового обслуживания с очередью заявка, поступившая в момент, когда все каналы обслуживания заняты, становится в очередь из заявок, ожидающих обслуживания. Как только один из каналов обслуживания освобождается, к обслуживанию принимается одна из заявок, стоящих в очереди.

Система массового обслуживания с очередью различаются по принципу построения (дисциплине) очереди.

Принципом построения очереди называется схема, в соответствии с которой заявки из очереди выбираются на обслуживание. Чаще всего при этом используется:

1. Случайный выбор заявки из очереди;

2. Выбор заявки из очереди  в зависимости от её приоритета;

3. Выбор заявки в зависимости  от порядка её поступления в очередь.

В третьем случае заявки из очереди могут обслуживаться, как по схеме:

«Первым пришел - первым обслуживаешься», так и по схеме: «Последним пришел - первым обслуживаешься».

Система массового обслуживания с очередью делятся также на системы массового обслуживания с неограниченным ожиданием и системы массового обслуживания с ограниченным ожиданием.

В системе массового обслуживания с неограниченным ожиданием каждая заявка, поступившая в систему, рано или поздно будет обслужена.

В системе массового обслуживания с ограниченным ожиданием на пребывание заявок в очереди накладываются различного рода ограничения. Эти ограничения могут касаться, например, длины очереди, времени пребывания заявки в очереди, общего времени пребывания заявки в системе и т.п. В частности, в системе массового обслуживания с ограниченным временем пребывания в очереди, заявка, израсходовавшая лимит времени пребывания в очереди, покидает систему.

 

Численные изменение количества информации и данных.

 

Имеются различные подходы к определению измерения информации и различные способы введения меры количества информации.

Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности (упорядоченности), определенности, выбору состояний отображаемой системы.

Если рассматривается некоторая система, которая может принимать одно из n возможных состояний, то актуальной задачей является задача оценки этого выбора, исхода. Такой оценкой может стать мера информации (события).

Мера - непрерывная действительная неотрицательная функция, определенная на множестве событий и являющаяся аддитивной (мера суммы

равна сумме мер).

Меры могут быть статические и динамические, в зависимости от того, какую информацию они позволяют оценивать: статическую (не актуализированную; на самом деле оцениваются сообщения без учета ресурсов и формы актуализации) или динамическую (актуализированную т.е. оцениваются также и затраты ресурсов для актуализации информации).

Мера Р. Хартли. Пусть имеется N состояний системы S или N опытов с различными, равновозможными, последовательными состояниями системы. Если каждое состояние системы закодировать, например, двоичными кодами определенной длины d, то эту длину необходимо выбрать так, чтобы число всех различных комбинаций было бы не меньше, чем N. Наименьшее число, при котором это, возможно, называется мерой разнообразия множества состояний системы и задается формулой Р. Хартли: H=klogаN, где k - коэффициент пропорциональности (масштабирования, в зависимости от выбранной единицы измерения меры), а - основание системы меры.

Если измерение ведется в экспоненциальной системе, то k=1, H=lnN (нат); если измерение было произведено в двоичной системе, то k=1/ln2, H=log2N (бит); если измерение было произведено в десятичной системе, то k=1/ln10, H=lgN (дит).

Справедливо утверждение Хартли: если в некотором множестве X={x1,

x2, ..., xn} необходимо выделить произвольный элемент xi X, то для того, чтобы выделить его, необходимо получить не менее logan (единиц) информации.

Если N - число возможных равновероятных исходов, то величина klnN представляет собой меру нашего незнания о системе.

По Хартли, для того, чтобы мера информации имела практическую ценность, она должна быть такова, чтобы отражать количество информации пропорционально числу выборов.

Формула Хартли отвлечена от семантических и качественных, индивидуальных свойств рассматриваемой системы (качества информации в проявлениях системы с помощью рассматриваемых N состояний системы). Это основная и положительная сторона формулы. Но имеется основная и отрицательная ее сторона: формула не

учитывает различимость и различность рассматриваемых N состояний системы.

Уменьшение (увеличение) Н может свидетельствовать об уменьшении (увеличении) разнообразия состояний N системы. Обратное, как это следует из формулы Хартли (так как основание логарифма больше 1!), - также верно.

Мера К. Шеннона. Формула Шеннона дает оценку информации независимо, отвлеченно от ее смысла:

где n - число состояний системы; рi - вероятность (или относительная частота) перехода системы в i-е состояние, причем сумма всех pi равна 1.

Если все состояния равновероятны (т.е. рi=1/n), то I=log2n.

К. Шенноном доказана теорема о единственности меры количества информации.

Для случая равномерного закона распределения плотности вероятности мера Шеннона совпадает с мерой Хартли.

Главной положительной стороной формулы Шеннона является ее отвлеченность от семантических и качественных, индивидуальных свойств системы. В отличие от формулы Хартли, она учитывает различность, разновероятность состояний - формула имеет статистический характер (учитывает структуру сообщений), делающий эту формулу удобной для практических вычислений. Основной отрицательной стороной формулы Шеннона является то, что она не различает состояния (с одинаковой вероятностью достижения, например), не может оценивать состояния сложных и открытых систем и применима лишь для замкнутых систем, отвлекаясь от смысла информации. Теория Шеннона разработана как теория передачи данных по каналам связи, а мера Шеннона - мера количества данных и не отражает семантического смысла.