Вероятностный подход к оценке количества информации. формула шеннона — в помощь студенту

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

Тема: Вероятностный подход к определению количества информации. Формула Шеннона.

alt

Узнай стоимость своей работы

Бесплатная оценка заказа!

Оценим за полчаса!

Цель:

  • Научиться определять количество информации через вероятность?

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

  • ?
  • Задача Сколько бит необходимо, чтобы закодировать оценки «неудовлетворительно», «удовлетворительно», «хорошо» и «отлично»?
  • Решение: N=4 – равновероятные события
  • 2 i =N
  • 2 i =4  i=2 ( бита) – необходимо для кодирования оценки.

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

  1. !
  2. N – количество равновероятных событий
  3. I – количество информации, что произошло одно из N событий ( бит )
  4. !
  5. Сообщение уменьшающее неопределённость знаний в 2 раза несёт 1 бит информации.

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

В корзине лежит 16 шаров разного цвета. Сколько информации несет сообщение, что достали белый шар?

В корзине лежит 11 шаров разного цвета. Сколько информации несет сообщение, что достали красный шар?

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту0, a ≠1 ) называется показатель степени, в которую надо возвести число а, чтобы получилось b . » width=»640″

!

alt

Узнай стоимость своей работы

Бесплатная оценка заказа!
Читайте также:  Понятие движения - в помощь студенту

Оценим за полчаса!

Логарифмом числа b по основанию а ( a0, a ≠1 ) называется показатель степени, в которую надо возвести число а, чтобы получилось b .

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

?

Вычислите:

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

Эта формула была выведена в 1928 г. американским инженером Р.Хартли и носит его имя.

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

  • В корзине лежат 8 чёрных и 24 белых шара.
  • а) Сколько информации несёт сообщение, что из корзины достали чёрный шар?
  • б) Сколько информации несёт сообщение, что из корзины достали шар?

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

  1. В корзине лежат 8 чёрных и 24 белых шара.
  2. а) Сколько информации несёт сообщение, что из корзины достали чёрный шар?
  3. В корзине лежат 8 чёрных и 24 белых шара.
  4. а) Сколько информации несёт сообщение, что из корзины достали чёрный шар?
  5. n количество возможных событий
  6. n= 3 2
  7. А – достать чёрный шар
  8. В – достать белый шар
  9. m – количество интересующих событий
  10. m A =8 m B =24
  11. p i – вероятность отдельного события
  12. !

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

  • Какие события могут произойти при подбрасывании монеты?
  • Сколько этих событий?
  • Какие это события (равновероятные или нет)?
  • Найдите вероятность этих событий.
  • Что можно сказать про эти вероятности?
  • Выразите p через N , где p- вероятность, а N — количество равновероятных событий?
  • Выразите из формулы N .
  • Запишите формулу Хартли и N замените.

!

  • количество информации, через вероятность

В корзине лежат 8 чёрных и 24 белых шара.

а) Сколько информации несёт сообщение, что из корзины достали чёрный шар?

  • Найдите вероятность события, что достали чёрный шар?
  • Подставьте её в формулу.
  • В корзине лежат 8 чёрных и 24 белых шара.
  • б) Сколько информации несёт сообщение, что из корзины достали шар?
  • !
  • Клода Шеннона
  • I количество информации
  • n количество возможных событий
  • p i вероятность отдельных событий

Источник: https://videouroki.net/razrabotki/veroyatnostnyy-podkhod-k-opredeleniyu-kolichestva-informatsii.html

Формула Шеннона — выводы, условия применения и примеры решения

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студентуВероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту
Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

Обработка информации — важная техническая задача, чем, например, преобразование энергии из одной формы в другую. Важнейшим шагом в развитии теории информации стала работа Клода Шеннона (1948). Логарифмическое измерение количества данных было первоначальной теорией, и прикладными задачами по коммуникации в 1928 году. Наиболее известным является вероятностный подход к измерению информации, на основе которого представлен широкий раздел количественной теории.

Отличительная черта вероятностного подхода от комбинаторного состоит в том, что новые предположения об относительной занятости любой системы в разных состояниях и общего количества элементов не учитываются. Ряд информации взят из отсутствия неопределённости в выборе различных возможностей. В основе такого подхода лежат энтропийные и вероятностные множества.

Основная теорема Шеннона о кодировании

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

Важный практический вопрос при обработке информации — какова мощность системы передачи данных. Можно получить определённый ответ, используя уравнение Шеннона. Оно позволяет точно понять информационную пропускную способность любого сигнального канала. Формула Шеннона в информатике: I = — (p1log2 p1 + p2 log2 p2 +. + pN log2 pN)

Основная теория Шеннона о кодировании для дискретного канала с помехой, приведённая здесь без доказательства, аналогична теореме канала не имеющего помех: если источник данных с энтропией H (Z), а канал связи имеет ширину полосы C, то сообщения, сгенерированные источником, всегда могут быть закодированы так, чтобы их скорость передачи vz была произвольно близка к значению: vzm = C | H (Z).

Не существует метода кодирования, который бы позволял передавать со скоростью, превышающей vzm, и с произвольно низкой вероятностью ошибки. Другими словами, если поток информации: H '(Z) = vz * H (Z) C он не существует.

Стоит рассмотреть сигнал, который эффективно передаётся (т. е. без избыточности) в виде зависящего от времени аналогового напряжения. Картина изменения в течение определённого интервала T позволяет приёмнику выявить, какое из возможных сообщений было фактически отправлено.

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

Используя идею межсимвольного влияния, можно сказать, что, поскольку нет избыточности значения будут независимыми при условии, и они достаточно далеки друг от друга, чтобы их стоило отбирать отдельно. По сути, невозможно сказать, что одно из значений просто от знания другого. Конечно, для любого сообщения оба типа данных заранее определяются содержанием.

Но получатель не может знать, какое из всех возможных сообщений прибыло, пока оно не пришло. Если приёмник заранее знает, какое напряжение, должно быть, передано, то само сообщение не дало бы никакой новой информации! То есть получатель не будет знать больше после его прибытия, чем раньше.

Это приводит к замечательному выводу:

  • Сигнал, который эффективно передаёт информацию, будет меняться и непредсказуем.
  • Эффективный сигнал очень похож на случайный шум.

Именно поэтому случайный шум может привести к ошибкам в полученном сообщении. Статистические свойства эффективного сигнала аналогичны. Если шум был явно разным, приёмник мог легко отделить информацию и избежать каких-либо неполадок. Поэтому для обнаружения и исправления ошибок нужно сделать реальный сигнал менее «шумоподобным».

Условие применения формулы Шеннона — избыточность, создаёт предсказуемые отношения между различными участками сигнального устройства.

Хотя это снижает эффективность передачи информации в системе, но помогает отличать детали сигнала от случайного шума. Здесь обнаружена максимально возможная информационная пропускная способность системы.

Поэтому нужно избегать избыточности и позволять сигналу иметь «непредсказуемые» качества, которые делают его статистически похожим на случайный шум.

Передача сигналов

Реальный сигнал должен иметь конечную мощность. Следовательно, для этого набора сообщений должен быть некоторый максимально возможный уровень мощности. Это значит что напряжение тока сигнала ограничено к некоторому ряду.

Это также означает, что мгновенное напряжение сигнала, должно быть, ограничено и не выступает за пределы диапазона. Аналогичный аргумент должен быть верен и для шума.

Поскольку предполагается, что система эффективна, можно ожидать, сигнал и шум будут иметь аналогичные статистические свойства.

Это означает:

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

  1. Если долго наблюдать за сигналом или шумом, можно обнаружить, что их колебания уровня имеют одинаковое отношение пикового/среднеквадратичного напряжения.
  2. Во время типичного сообщения колебания напряжения шума будут ограничены некоторым диапазоном.

При передаче сигналов в присутствии шума нужно стараться, чтобы сигнал был больше и свести к минимуму эффекты шума. Поэтому можно ожидать, что система передачи информации применится и обеспечит, чтобы для каждого типичного сообщения сила почти равнялось некоторому максимальному значению.

Это означает, что в такой системе, большинство сообщений будет одинаковый уровень мощности. В идеале каждое ИС должно иметь одинаковый, максимально возможный уровень мощности.

На самом деле можно повернуть этот аргумент с ног на голову и сказать, что «типичны» только сообщения со средними силами, подобными этому максимуму.

Те, что обладают гораздо более низкими способностями, необычны — то есть редки.

Определённое уравнение

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

Сигнал и шум не коррелированны, то есть они не связаны каким-либо образом, который позволит предсказать один из них. Суммарная мощность, получаемая при объединении этих некоррелированных ИС, по-видимому, случайно изменяющихся величин, задаётся.

Поскольку сигнал и шум статистически аналогичны, их комбинация будет иметь то же значение форм-фактора, что и сам сигнал или шум. Потому можно ожидать, что комбинированный сигнал и шум, как правило, будут ограничены диапазоном напряжения.

Стоит рассмотреть теперь разделение этого диапазона на полосы одинакового размера. (т. е. каждая из этих полос будет охватывать ИС.) Чтобы предоставить другую метку для каждой полосы, нужны символы или цифры.

Поэтому всегда можно указать, какую полосу занимает уровень напряжения в любой момент с точки зрения B-разрядного двоичного числа.

По сути, этот процесс является ещё одним способом описания того, что происходит, когда берут цифровые образцы с B-разрядным аналоговым преобразователем, работающим в общем диапазоне.

Нет никакого реального смысла в выборе значения, которое настолько велико. Это потому что шум кубика будет просто иметь тенденцию рандомизировать фактическое напряжение на эту сумму, делая любые дополнительные биты бессмысленными. В результате максимальное количество битов информации, которую можно получить относительно уровня в любой момент, будет определено.

  • Уравнение Шеннона может использовать:

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

  1. Максимально возможную скорость передачи информации по заданному каналу или системе.
  2. Передачу данных определяется полосой пропускания, уровнем сигнала и шума.
  3. Поэтому ИС называется законом информационной пропускной способности канала.

При передаче информации некоторые параметры используемых сигналов могут приобретать случайный символ в канале связи, например, из-за многолучевого распространения радиоволн, гетеродинирующих сигналов.

Читайте также:  Венера - в помощь студенту

В результате амплитуда и начальная фаза данных являются случайными.

Согласно статистической теории связи, эти особенности сигналов необходимы для их оптимальной обработки, они определяют как структуру приёмника, так и качество связи.

Хартли понимал информационное получение как подбор одного вида данных из набора равновероятного сообщения и определил объём, содержащейся ВС, как логарифм N. Выполняются примеры решения по формуле Хартли в информатике: N = mn.

Помехи разложения всегда присутствуют в границе любого реального сигнала. Однако, если их уровень настолько мал, что вероятность искажения практически равна нулю, можно условно предположить, что все сигналы передаются неискажёнными.

В этом случае средний объём информации, переносимой одним символом, можно считать расчётным: J (Z; Y) = Хапр (Z) — Хапест (Z) = Хапр (Y). Поскольку функция H (Y) = H (Z) и H (Y / Z) = 0, а индекс max {J (Z; Y)} = Hmax (Y) — максимальная энтропия источника класса сигнала, возникающая в результате распределения символов Y: p (y1) = p (y2) = … = p (ym) = 1 / My, т. е. Hmax (Y) = logaMy.

Следовательно, главная дискретная ширина полосы таблицы без информации о помехах в единицу времени равна: Cy = Vy • max {J (Z; Y)} = Vy • Hmax (Y) = Vy • logaMy или записываться Ck = Vk • logaMy. Где буква Mk — должно быть максимально возможное количество уровней, разрешённых для передачи по этому каналу (конечно, может обозначаться Mk = My).

Согласно теореме, метод кодирования онлайн, который может использоваться и позволяет:

  • с данными согласно уравнению H (x) ≤ C — передать всю информацию, сгенерированную источником с ограниченным размером буфера калькулятора;
  • в случае H (x)> C такого способа кодирования не существует, поскольку требуется буфер, объём которого определяется избыточной производительностью источника по ширине полосы канала, умноженной на время передачи.

Вероятностный подход к определению вычисления объёма информации — математический вывод формулы Шеннона не является удовлетворительным для метода оценки роли энтропии, отражения элементов системы и может не применяться. Как общий информатический объект невозможно допустить единый способ измерения и его правила.

Источник: https://nauka.club/informatika/formula-shennona.html

Формула Шеннона, информационная энтропия

Данная формула также как и формула Хартли, в информатике  применяется для высчитывания общего количество информации при различных вероятностях.

В качестве примера различных не равных вероятностей можно привести выход людей из казармы в военной части. Из казармы могут выйти как и солдат, так и офицер, и даже генерал.

Но распределение cолдатов, офицеров и генералов в казарме разное, что очевидно, ведь солдатов будет больше всего, затем по количеству идут офицеры и самый редкий вид будут генералы.

Так как вероятности не равны для всех трех видов военных, для того чтобы подсчитать сколько информации займет такое событие и используется формула Шеннона.

Для других же равновероятных событий, таких как подброс монеты (вероятность того что выпадет орёл или решка будет одинаковой — 50 %) используется формула Хартли. 

Интересуешься информатикой? Читайте нашу новую лекцию системы счисления

Теперь, давайте рассмотрим применение этой формулы на конкретном примере:

В каком сообщений содержится меньше всего информации (Считайте в битах):

  1. Василий сьел 6 конфет, из них 2 было барбариски. 
  2. В комьютере 10 папок, нужный файл нашелся в 9 папке.
  3. Баба Люда сделала 4 пирога с мясом и 4 пирога с капустой. Григорий сьел 2 пирога.
  4. В Африке 200 дней сухая погода, а 165 дней льют муссоны. африканец охотился 40 дней в году.

В этой задаче обратим внимания что 1,2 и 3 варианты, эти варианты считать легко, так как события равновероятны. И для этого мы будем использовать формулу Хартли  I = log2N (рис.

1) А вот с 4 пунком где видно, что распределение дней не равномерно(перевес в сторону сухой погоды), что же тогда нам в этом случае делать? Для таких событий и используется формула Шеннона или информационной энтропии: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), (рис.3)

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студентуФОРМУЛА КОЛИЧЕСТВА ИНФОРМАЦИ (ФОРМУЛА ХАРТЛИ, РИС.1 )

В которой:

  • I — количество информации
  • p — вероятность того что это события случиться

Далее чтобы узнать p необходимо поделить количество интересующих нас событий на общее количество возможных вариантов. 

Интересующие нас события в нашей задаче это

  1. Было две барбариски из шести (2/6)
  2. Была одна папка в которой нашлась нужный файл по отношению к общему количеству (1/10)
  3. Всего пирогов было восемь из которых сьедено григорием два (2/8)
  4. и последнее сорок дней охоты по отношению к двести засушливым дням и сорок дней охоты к сто шестидесяти пяти  дождливым дням. (40/200) + (40/165)

таким образом получаем что:

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студентуФОРМУЛА ВЕРОЯТНОСТИ ДЛЯ СОБЫТИЯ.

Где K — это интересующие нас событие, а N общее количество этих событий, также чтобы проверить себя вероятность того или иного события не может быть больше единицы. (потому что вероятных событий всегда меньше)

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студентуФОРМУЛА ШЕННОНА ДЛЯ ПОДСЧЕТА ИНФОРМАЦИИ (РИС.3)

Вернемся к нашей задаче и посчитаем сколько информации содержится.

Кстате, при подсчёте логарифма удобно использовать сайт  — https://planetcalc.ru/419/#

  • Для первого случая — 2/6 = 0,33 = и далее Log2 0,33 = 1.599 бит
  • Для второго случая — 1/10 = 0,10  Log2 0,10 = 3.322 бит
  • Для третьего — 2/8 = 0,25 = Log2 0,25 = 2 бит
  • Для четвертого — 40/200 + 40/165 = 0.2 и 0,24 соотвественно, далее считаем по формуле -(0,2 * log2 0,2) +-(o.24 * log2 0.24) = 0.95856 бит

Таким образом ответ для нашей задачи получился 4.

Вот таким образом и используется формула Шеннона при подсчёте информации. Если у вас есть какие либо вопросы, или что то Вам не понятно можете задать вопросы в х. (отвечаю оперативно)

Помогая проекту BEST-EXAM, вы делаете образование более доступным для каждого человека, внесите и вы свой вклад — поделитесь этой статьей в социальных сетях!

Источник: https://best-exam.ru/formula-shenona/

Подходы к оценке количества информации

  • Используется два подхода: вероятностный или алфавитный.
  • Вероятностный подход к измерению информации
  • Любая информация может рассматриваться как уменьшение неопределенности наших знаний об окружающем мире (в теории информации принято говорить именно об уменьшении неопределенности, а не об увеличении объема знаний). Математически это высказывание эквивалентно простой формуле
  • I = H1 – H2

где I — это количество информации, а H1 и H2 — начальная и конечная неопределенность соответственно. Величину H, которая описывает степень неопределенности, в литературе принято называть энтропией.

Важным частным случаем является ситуация, когда некоторое событие с несколькими возможными исходами уже произошло, а, значит, неопределенность его результата исчезла. Тогда H2 = 0 и формула для информации упрощается:

I = H

Вычисление энтропии при вероятностном подходе базируется на рассмотрении данных о результате некоторого случайного события, т.е. события, которое может иметь несколько исходов. Случайность события заключается в том, что реализация того или иного исхода имеет некоторую степень неопределенности.

Пусть, например, абсолютно незнакомый нам ученик сдает экзамен, результатом которого может служить получение оценок 2, 3, 4 или 5.

Поскольку мы ничего не знаем о данном ученике, то степень неопределенности всех перечисленных результатов сдачи экзамена совершенно одинакова.

Напротив, если нам известно, как он учится, то уверенность в некоторых исходах будет больше, чем в других: так, отличник скорее всего сдаст экзамен на пятерку, а получение двойки для него — это нечто почти невероятное.

Наиболее просто определить количество информации в случае, когда все исходы события могут реализоваться с равной долей вероятности. В этом случае для вычисления информации используется формула Хартли.

В более сложной ситуации, когда исходы события ожидаются с разной степенью уверенности, требуются более сложные вычисления по формуле Шеннона.

Очевидно, что формула Хартли является некоторым частным случаем более общей формулы Шеннона.

Формула Хартли была предложена в 1928 году американским инженером Р.Хартли. Она связывает количество равновероятных состояний N с количеством информации I в сообщении о том, что любое из этих состояний реализовалось. Наиболее простая форма для данной формулы записывается следующим образом:

  1. 2I = N
  2. Причем обычно значение N известно, а I приходится подбирать, что не совсем удобно. Поэтому те, кто знает математику получше, предпочитают преобразовать данную формулу так, чтобы сразу выразить искомую величину I в явном виде:
  3. I = log2 N

Важный частный случай получается из приведенной формулы при N = 2, когда результатом вычисления является единичное значение. Единица информации носит название бит (от англ. BInary digiT — двоичная цифра); таким образом, 1 бит — это информация о результате опыта с двумя равновероятными исходами. Чем больше возможных исходов, тем больше информации в сообщении о реализации одного из них.

Пример 1. Из колоды выбрали 16 карт (все “картинки” и тузы) и положили на стол рисунком вниз. Верхнюю карту перевернули (см. рисунок). Сколько информации будет заключено в сообщении о том, какая именно карта оказалась сверху?

Все карты одинаковы, поэтому любая из них могла быть перевернута с одинаковой вероятностью. В таких условиях применима формула Хартли.

Событие, заключающееся в открытии верхней карты, для нашего случая могло иметь 16 возможных исходов. Следовательно, информация о реализации одного из них равняется

I = log216 = 4 бита

Пример 2. Решите предыдущую задачу для случая, когда сообщение об исходе случайного события было следующим: “верхняя перевернутая карта оказалась черной дамой”.

  • Отличие данной задачи от предыдущей заключается в том, что в результате сообщения об исходе случайного события не наступает полной определенности: выбранная карта может иметь одну из двух черных мастей.
  • В этом случае, прежде чем воспользоваться формулой Хартли, необходимо вспомнить, что информация есть уменьшение неопределенности знаний:
  • I = H1 – H2
  • До переворота карты неопределенность (энтропия) составляла
  • H1 = log2 N1
  • после него —
  • H2 = log2 N2
  • (причем для нашей задачи N1 = 16, а N2 = 2).
  • В итоге информация вычисляется следующим образом:
  • I = H1 – H2 = log2 N1 – log2 N2 = log2 N1/N2 = log2 16/2 = 3 бита

Заметим, что в случае, когда нам называют карту точно (см. предыдущий пример), неопределенность результата исчезает, N2 = 1, и мы получаем “традиционную” формулу Хартли. И еще одно полезное наблюдение.

Полная информация о результате рассматриваемого опыта составляет 4 бита (см. пример 1).

В данном же случае мы получили 3 бита информации, а оставшийся четвертый описывает сохранившуюся неопределенность выбора между двумя дамами черной масти.

Определим теперь, являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина». Однозначно ответить на этот вопрос нельзя.

Все зависит от того, о каком именно здании идет речь.

Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

  1. где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений
  2. Легко заметить, что если вероятности pi равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.
  3. Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:

Источник: https://zdamsam.ru/a24110.html

Информационная энтропия. Формула Шеннона

Понятие Энтропи́и впервые введено в 1865 Р. Клаузиусом в термодинамике для определения меры необратимого рассеяния энергии. Энтропия применяется в разных отраслях науки, в том числе и в теории информации как мера неопределенности какого-либо опыта, испытания, который может иметь разные исходы.

Эти определения энтропии имеют глубокую внутреннюю связь. Так на основе представлений об информации можно вывести все важнейшие положения статистической физики. [БЭС. Физика. М: Большая российская энциклопедия, 1998].

Информационная двоичная энтропия для независимых (неравновероятных) случайных событий x с n возможными состояниями (от 1 до n, p — функция вероятности) рассчитывается по формуле Шеннона:

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

Эта величина также называется средней энтропией сообщения. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины .
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других.

В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии.

Его сенсационные идеи быстро послужили основой разработки теории информации, которая использует понятие вероятности.

Понятие энтропии, как меры случайности, введено Шенноном в его статье «A Mathematical Theory of Communication», опубликованной в двух частях в Bell System Technical Journal в 1948 году.

В случае равновероятных событий (частный случай), когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов и формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, как один из научных подходов к оценке сообщений:

, где I – количество передаваемой информации, p – вероятность события, N – возможное количество различных (равновероятных) сообщений.

Задание 1. На равновероятные события.
В колоде 36 карт. Какое количество информации содержится в сообщении, что из колоды взята карта с портретом “туз”; “туз пик”?

Вероятность p1 = 4/36 = 1/9, а p2 = 1/36. Используя формулу Хартли имеем:

Ответ: 3.17; 5.17 бит
Заметим (из второго результата), что для кодирования всех карт, необходимо 6 бит.
Из результатов также ясно, что чем меньше вероятность события, тем больше информации оно содержит. (Данное свойство называется монотонностью)

Читайте также:  Полезные ископаемые - в помощь студенту

Задание 2. На неравновероятные события
В колоде 36 карт. Из них 12 карт с “портретами”. Поочередно из колоды достается и показывается одна из карт для определения изображен ли на ней портрет. Карта возвращается в колоду. Определить количество информации, передаваемой каждый раз, при показе одной карты.

Ответ: I = 0.91 бита.

Свойство аддитивности информации.
Для независимых справедливо:

Задание 3. На аддитивность.
Документация некоторого учреждения размещена в 4-х комнатах. В каждой комнате находится 16 шкафов. Каждый шкаф имеет 8 полок. Определить количество информации, которое несет сообщение о том, что нужный документ находится в третьей комнате, в тринадцатом шкафу на пятой полке.

Ответ: I = 9 бит.

Источник: http://inf-w.ru/?page_id=597

Колличество информации ( Вероятностный и объемный подходы). Единицы измерения информации

⇐ ПредыдущаяСтр 2 из 8Следующая ⇒

А)Вероятностный подход

Определение. Количество информации можно рассматривать как ме­ру уменьшения неопределённости знания при получении информационных сообщений.

За единицу количества информации принимается такое количество ин­формации, которое содержится в информационном сообщении, уменьша­ющем неопределённость знания в два раза. Такая единица названа битом.

Пусть N — общее число возможных исходов какого-то процесса, и из них интересующее нас событие может произойти K раз. Тогда вероят­ность этого события равна K/N. Вероятность выражается в долях едини­цы.

  • Количество информации для событий с различными вероятностями определяется по формуле:
  • I=Summa(pi log2 pi), i=1,2,…,N
  • где I – количество информации, N – количество возможных событий, pi – вероятности отдельных событий.
  • Если события равновероятны, то количество информации определяет­ся по формуле
  • I = log2 N (3)
  • или из уравнения
  • N = 2I. (4)
  • Объемный подход

В двоичной системе счисления знаки 0 и 1 будем называть битами (от английского выражения Binary digiTs – двоичные цифры).

Отметим, что создатели компьютеров отдают предпочтение именно двоичной системе счисления потому, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: некоторый физический элемент, имеющий два различных состояния: намагниченность в двух противоположных направлениях; прибор, пропускающий или нет электрический ток; конденсатор, заряженный или незаряженный и т.п. В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).

Для удобства использования введены и более крупные, чем бит, единицы количества информации. Так, двоичное слово из восьми знаков содержит один, байт информации, 1024 байта образуют килобайт (кбайт), 1024 килобайта – мегабайт (Мбайт), а 1024 мегабайта – гигабайт (Гбайт).

Между вероятностным и объемным количеством информации соотношение неоднозначное.

Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его в объемном.

Далее, если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то они не обязательно совпадают, при этом кибернетическое количество информации не может быть больше объемного.

  1. В дальнейшем практически всегда количество информации понимается в объемном смысле.
  2. Б)единицы измерения информации.
  3. Единицы измерения информации служат для измерения различных характеристик связанных с информацией.

Чаще всего измерение информации касается измерения ёмкости компьютерной памяти (запоминающих устройств) и измерения объёма данных, передаваемых по цифровым каналам связи. Реже измеряется количество информации.

Для информации существуют свои единицы измерения информации. Если рассматривать сообщения информации как последовательность знаков, то их можно представлять битами, а измерять в байтах, килобайтах, мегабайтах, гигабайтах, терабайтах и петабайтах.

  • Давайте разберемся с этим, ведь нам придется измерять объем памяти и быстродействие компьютера.
  • Бит
  • Единицей измерения количества информации является бит – это наименьшая (элементарная) единица.
  • 1бит – это количество информации, содержащейся в сообщении, которое вдвое уменьшает неопределенность знаний о чем-либо.
  • Байт
  • Байт – основная единица измерения количества информации.
  • Байтом называется последовательность из 8 битов.

Байт – довольно мелкая единица измерения информации. Например, 1 символ – это 1 байт.

  1. Производные единицы измерения количества информации
  2. 1 байт=8 битов
  3. 1 килобайт (Кб)=1024 байта =210 байтов
  4. 1 мегабайт (Мб)=1024 килобайта =210 килобайтов=220 байтов
  5. 1 гигабайт (Гб)=1024 мегабайта =210 мегабайтов=230 байтов
  6. 1 терабайт (Гб)=1024 гигабайта =210 гигабайтов=240 байтов
  7. Запомните, приставка КИЛО в информатике – это не 1000, а 1024, то есть 210 .
  8. Методы измерения количества информации
  9. Итак, количество информации в 1 бит вдвое уменьшает неопределенность знаний. Связь же между количеством возможных событий N и количеством информации I определяется формулой Хартли:
  10. N=2i.
  11. Алфавитный подход к измерению количества информации

При этом подходе отвлекаются от содержания (смысла) информации и рассматривают ее как последовательность знаков определенной знаковой системы. Набор символов языка, т.е.

его алфавит можно рассматривать как различные возможные события.

Тогда, если считать, что появление символов в сообщении равновероятно, по формуле Хартли можно рассчитать, какое количество информации несет в себе каждый символ:

  • I=log2N.
  • Вероятностный подход к измерению количества информации
  • Этот подход применяют, когда возможные события имеют различные вероятности реализации. В этом случае количество информации определяют по формуле Шеннона:

Вероятностный подход к оценке количества информации. Формула Шеннона - в помощь студенту

  1. , где
  2. I – количество информации,
  3. N – количество возможных событий,
  4. Pi – вероятность i-го события.

⇐ Предыдущая12345678Следующая ⇒

Рекомендуемые страницы:

Источник: https://lektsia.com/7×3160.html

Вероятностный подход и формула Шеннона 19.10.2010. — презентация

1 Вероятностный подход и формула Шеннона

2 Формулу для вычисления количества информации, учитывающую неодинаковую вероятность событий, предложил К.Шеннон в 1948 году.

3 В коробке имеются 50 шаров, из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаскивании «не глядя» попадется белый шар, больше, чем попадания черного. Определить количественную вероятность для шаров каждого цвета.

4 Сережа — лучший ученик в классе. Вероятность того, что за контрольную по математике он получит «5», больше, чем вероятность получения «двойки». За год обучения Сережа получил 100 отметок. Из них: 60 пятёрок, 30 четверок, 8 троек и 2 двойки. Допуская, что данная тенденция сохранится и в будущем, вычислим вероятность получения каждой оценки.

5 В пруду живут 8000 карасей, 2000 щук и пескарей. Самая большая вероятность для рыбака – поймать в этом пруду пескаря, на втором месте – карась, на третьем – щука. Определить с какой вероятностью будет поймана та или иная рыба.

  • 6
  • 7 ФОРМУЛА ШЕННОНА Среднее количество информации для событий с различными вероятностями определяется по формуле: Если события равновероятны ( p i =1/N ): I – среднее количество информации, N – количество возможных событий p i – вероятности отдельных событий Количество информации для события с различными вероятностями определяется по формуле: p – вероятность события
  • 8 ФОРМУЛА ШЕННОНА Количество информации для задачи о шарах (событий с различными вероятностями) определяется по формуле:

9 ЗАДАНИЕ «БРОСАНИЕ ПИРАМИДКИ» Определить количество информации, которую мы получим в результате бросания несимметричной и симметричной пирамидок.

При бросании несимметричной четырехгранной пирамидки вероятности отдельных событий равны: Количество информации рассчитываем по формуле: p 1 =1/2;p 2 =1/4;p 3 =1/8;p 4 =1/8.

I = (1/2·log 2 1/2 + 1/4·log 2 1/4 + 1/8·log 2 1/8 + 1/8·log 2 1/8) битов = = (1/2·log /4·log /8·log /8·log 2 8) битов = = (1/2 + 2/4+ 3/8+ 3/8) битов = 14/8 битов = 1,75 бита.

При бросании симметричной четырехгранной пирамидки вероятности отдельных событий равны между собой: Количество информации рассчитываем по формуле: p 1 = p 2 = p 3 = p 4 =1/4. I = log 2 4 = 2 бита. Количество информации, которую мы получаем, достигает максимального значения, если события равновероятны.

10 ВЫБОР ПРАВИЛЬНОЙ СТРАТЕГИИ На получении максимального количества информации строится выбор правильной стратегии в игре «Угадай число», в которой первый участник загадывает целое число (например, 3) из заданного интервала (например от 1 до 16), а второй должен «угадать» задуманное число. Вопрос второго участника Ответ первого участника Неопределенность знания (количество возможных событий) Полученное количество информации 16 Число больше 8? Число больше 4? Число больше 2? Это число 3? Информационная модель игры «Угадай число» Нет81 бит Нет Да 4 2 2

11 Домашнее задание Стр. 114 контрольные вопросы; Задание 2.3.

12 КОМПЬЮТЕРНЫЙ ПРАКТИКУМ Задача. В непрозрачном мешочке хранятся 10 белых, 30 красных, 30 синих и 40 зеленых шариков.

Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика? Так как количество шариков различных цветов неодинаково, то вероятности зрительных сообщений о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета, деленному на общее количество шариков: Определение количества информации р б = 0.

1; p к = 0,2; р с = 0,3; р з = 0,4. События неравновероятны, поэтому воспользуемся формулой I = (0,1·log 2 0,1 + 0,2·log 2 0,2 + 0,3·log 2 0,3 + 0,4·log 2 0,4) битов. Для вычисления этого выражения воспользуемся компьютерным калькулятором Wise Calculator. Таким образом, I 1,85 бита.

13 КОМПЬЮТЕРНЫЙ ПРАКТИКУМ Задача 2.3 а. В непрозрачном мешочке хранятся 25 белых, 25 красных, 25 синих и 25 зеленых шариков.

Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика? Определение количества информации Задача 2.3 б. В непрозрачном мешочке хранятся 30 белых, 30 красных, 30 синих и 10 зеленых шариков.

Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

Источник: http://www.myshared.ru/slide/555039/

Презентация по информатике на тему "Вероятностный подход к определению количества информации. Формула Шеннона" скачать бесплатно

Текст слайда: Вероятностный подход к определению количества информации. Формула Шеннона 10 класс

Текст слайда: Для вычисления количества информации в сообщении о неравновероятном событии используют следующую формулу: I=log2(1/p) где I – это количество информации, р – вероятность события.

Текст слайда: Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Текст слайда: Задача: Бабушка испекла 8 пирожков с капустой, 24 пирожков с повидлом. Маша съела один пирожок. Вычислить вероятность выбора пирожка с разной начинкой и количество информации, которое при этом было получено.

Решение: Пусть К1 – это количество пирожков с повидлом, К1=24 К2 – количество пирожков с капустой, К2=8 N – общее количество пирожков, N = К1 +К2=24+8=32 Вероятность выбора пирожка с повидлом: р1=24/32=3/4=0,75. Вероятность выбора пирожка с капустой: р2=8/32=1/4=0,25.

Обращаем внимание учащихся на то, что в сумме все вероятности дают 1. Вычислим количество информации, содержащееся в сообщении, что Маша выбрала пирожок с повидлом: I1=log2(1/p1)= log2(1/0,75)= log21,3=1,15470 бит.

Вычислим количество информации, содержащееся в сообщении, если был выбран пирожок с капустой: I2=log2(1/p2)= log2(1/0,25)= log24=2 бит.

Текст слайда: Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Текст слайда: Вопрос: сколько получим информации при выборе пирожка любого вида? Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.

Шеннон.

Если I-количество информации, N-количество возможных событий, рi — вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле: можно расписать формулу в таком виде:

Текст слайда: Рассмотрим формулу на нашем примере: I = — (р1∙log2p1 + р2∙log2p2) = — (0,25∙ log20,25+0,75∙ log20,75) ≈-(0,25∙(-2)+0,75∙(-0,42)) =0,815 бит

Текст слайда: Задача: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти. Сколько информации несет сообщение, что достали клубок красной шерсти? Сколько информации несет сообщение, что достали клубок шерсти любой окраски?

Текст слайда: Применение ЭТ Excel для решения задач на нахождение количества информации рi =Ki /N Ii=log2(1/pi)

Текст слайда: Задача №1 В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Какое количество информации несет сообщение о ловле рыбы каждого вида.

Сколько информации мы получим, когда поймаем какую-нибудь рыбу? Дано: Ко=12500; Кп=25000; Кк= Кщ=6250 Найти: Iо, Iп, Iк, Iщ, I Решение: Найдем общее количество рыбы: N= Ко+Кп+Кк+Кщ. Найдем вероятность ловли каждого вида рыбы: pо= Ко/N; pп= Кп/N; pк= pщ= Кк/N.

Найдем количество информации о ловле рыбы каждого вида: Iо= log2( 1/pо); Iп=log2 (1/pп ); Iк= Iщ= log2 (1/pк ) Найдем количество информации о ловле рыбы любого вида: I= pо∙log2pо+ pп∙log2pп +pк∙log2pк +pщ∙log2pщ

Текст слайда: При составлении таблицы мы должны учитывать: — Ввод данных (что дано в условии). — Подсчет общего количества числа возможных исходов (формула N=K1+K2+…+Ki).

— Подсчет вероятности каждого события (формула pi= Кi/N). — Подсчет количества информации о каждом происходящем событии (формула Ii= log2(1/pi)).

— Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

Текст слайда:

Текст слайда:

Текст слайда: Практическая работа. 1.Сделать табличную модель для вычисления количества информации. 2. Используя табличную модель, сделать вычисления к задаче №2 результат вычисления занести в тетрадь.

Задача №2 В классе 30 человек. За контрольную работу по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка.

Какое количество информации несет сообщение о том, что Андреев получил пятерку?

Текст слайда:

Текст слайда: Домашняя работа Задача№1 В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих.

Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено. Задача№2 В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков.

Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика? shkola-ikt@bk.ru

Скачать презентацию

Источник: https://globuss24.ru/slide/prezentacia-po-informatike-na-temu-veroatnostnyi-podhod-k-opredeleniu-kolicestva-informacii-formula-sennona-skacat-besplatno

Ссылка на основную публикацию