Главная > Документ
| Информация о документе | |
| Дата добавления: | |
| Размер: | |
| Доступные форматы для скачивания: |
Количество информации как мера уменьшения неопределённости знания
Уменьшение неопределённости знания.
Подход к информации как к мере уменьшения неопределённости знания позволяет количественно измерять информацию. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдёт одно из двух возможных событий – монета окажется в одном из двух положений: "орёл" или "решка". События равновероятны, если при возрастающем числе опытов число выпадений "орла" и "решки" постепенно сближаются. Перед броском существует неопределённость нашего знания (возможны 2 события), и как упадёт монета – предсказать невозможно. После броска наступает полная определённость, т.к. мы видим, что монета в данный момент находится в определённом положении. Это сообщение приводит к уменьшению неопределённости нашего знания в 2 раза, т.к. из двух возможных равновероятных событий реализовалось одно. В окружающей действительности часто встречаются ситуации, когда может произойти большее, чем 2, число равновероятных событий. Чем больше начальное число возможных равновероятных событий, тем больше начальная неопределённость нашего знания и тем большее количество информации будет содержать сообщение о результатах опыта.
Формула, которая связывает между собой количество возможных событий N и количество информации I:
Единица измерения количества информации
За единицу количества информации принято такое количество информации, которое содержит сообщение уменьшающее неопределённость знания в 2 раза. Такая единица названа бит.
Компьютер оперирует числами в двоичной системе счисления, поэтому в кратных единицах измерения количества информации используется коэффициент 2 n .
Следующей по величине единицей измерения количества информации является байт , причём
1 байт = 2 3 бит = 8 бит.
Кратные байту единицы измерения количества информации вводятся следующим образом:
1 Кбайт = 2 10 байт = 1024 байт
1 Мбайт = 2 10 Кбайт =1024 Кбайт = 2 20 байт
1 Гбайт = 2 10 Мбайт = 1024 Мбайт = 2 20 Кбайт = 2 30 байт.
Формулы Хартли и Шеннона
В 1928 г. американский инженер Р. Хартли предложил научный подход к оценке сообщений. Предложенная им формула имела следующий вид:
I = log 2 N ,
где N – количество равновероятных событий; I – количество бит в сообщении о том, что любое из N событий произошло.
Иногда формулу Хартли записывают так:
I = log 2 N = log 2 (1 / р) = log 2 р -1 = – log 2 р,
т. к. каждое из N событий имеет равновероятный исход р = 1 / N, то N = 1 / р.
На первый взгляд, кажется, что получается парадокс: количество информации выражается отрицательным числом. Однако если вспомнить, что вероятность – это величина в диапазоне от 0 до 1, то все становится понятным
Количество информации от одного события составляет
I = log 2 2 = 1 бит информации.
Шарик находится в одной из трех урн: А, В или С. Определить, сколько бит информации содержит сообщение о том, что он находится в урне В.
Такое сообщение содержит I = log 2 3 = 1,585 бита информации.
Не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричный предмет. Еще один бытовой пример – "правило бутерброда".
"Однажды в детстве я уронил бутерброд. Глядя, как я виновато вытираю масляное пятно, оставшееся на полу, старший брат успокоил меня:
– не горюй, это сработал закон бутерброда.
– Что еще за закон такой? – спросил я.
– Закон, который гласит: "Бутерброд всегда падает маслом вниз". Впрочем, это шутка, – продолжал брат.- Никакого закона нет. Просто бутерброд действительно ведет себя довольно странно: большей частью масло оказывается внизу.
– Давай-ка еще пару раз уроним бутерброд, проверим, – предложил я. – Все равно ведь его придется выкидывать.
Проверили. Из десяти раз восемь бутерброд упал маслом вниз.
И тут я задумался: а можно ли заранее узнать, как сейчас упадет бутерброд маслом вниз или вверх?
Наши опыты прервала мать…"
( Отрывок из книги "Секрет великих полководцев", В.Абчук).
В 1948 г. американский инженер и математик К. Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями.
Если I – количество информации,
N – количество возможных событий,
р i – вероятности отдельных событий,
то количество информации для событий с различными вероятностями можно определить по формуле:
,
где i принимает значения от 1 до N.
Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона:
При равновероятных событиях получаемое количество информации максимально.
Задачи.
1. Определить количество информации, получаемое при реализации одного из событий, если бросают:
а) несимметричную четырехгранную пирамидку;
б) симметричную и однородную четырехгранную пирамидку.
Решение.
а) Будем бросать несимметричную четырехгранную пирамидку.
допустим, что грани пирамидки такие, что отношение их площадей можно представить пропорцией: 4 : 2: 1: 1. Тогда, вероятность отдельных событий будет такова:
р1 = 1 / 2,
р2 = 1 / 4,
р3 = 1 / 8,
р4 = 1 / 8,
Вычислим по формуле Шеннона количество информации, получаемой после реализации одного из этих событий:
I = -(1 / 2 log 2 1/2 + 1 / 4 log 2 1/4 + 1 / 8 log 2 1/8 + 1 / 8 log 2 1/8) = 1 / 2 + 2 / 4 + + 3 / 8 + 3 / 8 = 14/8 = 1,75 (бит).
б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки:
I = log 2 4 = 2 (бит).
2. Вероятность перового события составляет 0,5, а второго и третьего 0,25. Какое количество информации мы получим после реализации одного из них?
3. Какое количество информации будет получено при игре в рулетку с 32-мя секторами?
4. Сколько различных чисел можно закодировать с помощью 8 бит?
Решение: I=8 бит, N=2 I =2 8 =256 различных чисел.
Физиологи и психологи научились определять количество информации, которое человек может воспринимать при помощи органов чувств, удерживать в памяти и подвергать обработке. Информацию можно представлять в различных формах: звуковой, знаковой и др.
Рассмотренный выше способ определения количества информации, получаемого в сообщениях, которые уменьшают неопределенность наших знаний, рассматривает информацию с позиции ее содержания, новизны и понятности для человека. С этой точки зрения в опыте по бросанию кубика одинаковое количество информации содержится в сообщениях "два", "вверх выпала грань, на которой две точки" и в зрительном образе упавшего кубика.
При передаче и хранении информации с помощью различных технических устройств информацию следует рассматривать как последовательность знаков (цифр, букв, кодов цветов точек изображения), не рассматривая ее содержание.
Считая, что алфавит (набор символов знаковой системы) – это событие, то появление одного из символов в сообщении можно рассматривать как одно из состояний события. Если появление символов равновероятно, то можно рассчитать, сколько бит информации несет каждый символ. Информационная емкость знаков определяется их количеством в алфавите. Чем из большего количества символов состоит алфавит, тем большее количество информации несет один знак. Полное число символов алфавита принято называть мощностью алфавита.
При таком подходе бит – это количество информации, содержащееся в одном дискретном сообщении источника равновероятных сообщений с объемом алфавита равным двум.
Каждая буква русского алфавита (если считать, что е=ё) несет информацию 5 бит (32 = 2 I ).
Количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.
Следовательно, слово на русском языке из 5 букв в появившемся тексте (событии) содержит количество информации 5х5 = 25 бит.
При таком подходе в результате сообщения о результате бросания кубика, получим различное количество информации. Чтобы его подсчитать, нужно умножить количество символов на количество информации, которое несет один символ.
Процесс научного познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т. п.), и с точки зрения процесса познания информацию можно рассматривать как знания. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний! можно говорить о том, что это сообщение содержит информацию.
Подход к информации как к мере уменьшения неопределенности знаний позволяет измерять информацию количественно.
В нашей жизни часто встречаются ситуации, когда может про’ изойти некоторое количество равновероятных событий. Например, при бросании монеты она с равной вероятностью может оказаться в одном из двух положений: «орел» или «решка». Перед броском существует неопределенность наших знаний (возможны два события). После броска наступает полная определенность, т. к. мы видим, что монета находится в определенном положении. Это сообщение приводит к уменьшению неопределенности наших знаний в два раза, т. к. до броска мы имели два вероятных события, а после броска — только одно, т. е. в два раза меньше.
Содержательный подход к измерению информации При определении количества информации на основе уменьшения неопределенности знаний информация рассматривается с точки зрения содержания, ее понятности и новизны для человека. С этой точки зрения при выпадении «орла» или «решки» в примере с бросанием монеты содержится одинаковое количество информации, так как оба эти события равновероятны.
Существует формула, которая связывает между собой количество возможных равновероятных событий N и количество информации /’: N = 2′.
В том случае, если события не являются равновероятными, количество информации в сообщении о некотором событии будет зависеть от вероятности этого события: чем меньше вероятность, тем больше информации.
Алфавитный подход к определению количества информации При хранении и передаче информации с помощью технических устройств информацию рассматривают как последовательность знаков — цифр, букв, кодов и т. д.
Набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события). Тогда, если считать, что появление символов в сообщении равновероятно, можно воспользоваться известной формулой для определения количества возможных событий, по которой можно рассчитать, какое количество информации N несет каждый символ: N = 2′, где i — количество символов знаковой системы (иначе его называют мощностью алфавита).
Таким образом, количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на количество знаков.
Такой подход к измерению количества информации называется алфавитным подходом. Важно, что при алфавитном подходе к измерению информации количество информации не зависит от ее содержания, а зависит от объема теста и от мощности алфавита. Единицы измерения количества информации Для определения количества информации введены специальные единицы измерения.
За единицу принимается такое количество информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза. Такая единица называется бит (bit — от английского словосочетания Binary digiT).
Следующая по величине единица — байт, 1 байт — это количество информации об одном символе (букве, цифре, знаке). 1 байт — 2 3 бит = 8 бит. Далее следуют:
1 кбайт (килобайт) = 1024 байта; 1 Мбайт (мегабайт) = 1024 кбайта; 1 Гбайт (гигабайт) = 1024 Мбайта.
Не нашли то, что искали? Воспользуйтесь поиском:
Количество информации как мера уменьшения неопределенности знаний
Процесс познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т.д.). Получение новой информации приводит к расширению знаний или, как иногда говорят, к уменьшению неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.
Например, после сдачи зачета или выполнения контрольной работы вы мучаетесь неопределенностью, вы не знаете, какую оценку получили. Наконец, учитель объявляет результаты, и вы получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5».
Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности ваших знаний в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности ваших знаний в четыре раза, так как получено одно из четырех возможных информационных сообщений.
Ясно, что чем более неопределенна первоначальная ситуация (возможно большее количество информационных сообщений), тем больше мы получим новой информации при получении информационного сообщения (в большее количество раз уменьшится неопределенность знаний).
Рассмотрим вопрос об определении количества информации более подробно на конкретных примерах. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий — монета окажется в одном из двух положений: «орел» или «решка».
Можно говорить, что события равновероятны, если при возрастающем числе опытов количество выпадений «орла» и «решки» постепенно сближаются. Например, если мы бросим монету 10 раз, то «орел» может выпасть 7 раз, а «решка» — 3 раза, если бросим монету 100 раз, то «орел» может выпасть 60 раз, а «решка» — 40 раз, если бросим монету 1000 раз, то «орел» выпадет 520 раз, а «решка» — 480 и т.д. В итоге при очень большой серии опытов количество выпадений «орла» и «решки» практически сравняются.
Перед броском существует неопределенность наших знаний (возможны два события), и как упадет монета, предсказать невозможно. После броска наступает полная определенность, так как мы видим (получаем зрительное сообщение), что монета в данный момент находится в определенном положении (например, «орел»). Это сообщение приводит к уменьшению неопределенности наших знаний в два раза, так как из двух возможных равновероятных событий реализовалось одно.
Рис. 2.3. Возможные и произошедшее события
В окружающей действительности достаточно часто встречаются ситуации, когда может произойти некоторое количество равновероятных событий. Так, при бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события, а при бросании шестигранного игрального кубика — 6 равновероятных событий.
Чем больше количество возможных событий, тем больше начальная неопределенность наших знаний и соответственно тем большее количество информации будет содержать сообщение о результатах опыта.
Количество информации можно рассматривать как меру уменьшения неопределенности знаний при получении информационных сообщений.
Рассмотренный выше подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию. Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:
Бит. Для количественного выражения любой величины необходимо сначала определить единицу измерения. Так, для измерения длины в качестве единицы выбран метр, для измерения массы — килограмм и т.д. Аналогично для определения количества информации необходимо ввести единицу измерения.
За единицу количества информации принимается такое количество информации, которое содержит информационное сообщение, уменьшающее неопределенность знаний в два раза. Такая единица названа бит.
Если вернуться к рассмотренному выше получению информационного сообщения о результатах зачета, то здесь неопределенность как раз уменьшается в два раза и, следовательно, количество информации, которое несет сообщение, равно 1 биту.
Производные единицы измерения количества информации. Минимальной единицей измерения количества информации является бит, а следующей по величине единицей является байт, причем
В информатике система образования кратных единиц измерения количества информации несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например,
Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10 п , где п = 3, 6, 9 и т.д., что соответствует десятичным приставкам кило- (10 3 ), мега- (10 6 ), гига- (10 9 ) и т.д.
В компьютере информация кодируется с помощью двоичной знаковой системы и поэтому в кратных единицах измерения количества информации используется коэффициент 2 П .
Так, кратные байту единицы измерения количества информации вводятся следующим образом:
- 1 Кбайт = 2 10 байт = 1024 байт;
- 1 Мбайт = 2 10 Кбайт = 1024 Кбайт;
- 1 Гбайт = 2 10 Мбайт = 1024 Мбайт.
Единицы измерения информации
http://uslide.ru/informatika/15967-izmerenie-informacii-klass.html Контрольные задания
- 1. Приведите примеры информационных сообщений, которые приводят к уменьшению неопределенности знаний.
- 2. Приведите примеры информационных сообщений, которые несут 1 бит информации.
Задания для самостоятельного выполнения
- 2.3. Задание с выборочным ответом. За минимальную единицу измерения количества информации принят:
- а) 1 бод;
- б) 1 пиксель;
- в) 1 байт;
- г) 1 бит.
- 2.4. Задание с кратким ответом. Вычислите, какое количество информации в битах содержится в 1 Кбайте, 1 Мбайте и 1 Гбайте.