Здесь можно найти учебные материалы, которые помогут вам в написании курсовых работ, дипломов, контрольных работ и рефератов. Так же вы мажете самостоятельно повысить уникальность своей работы для прохождения проверки на плагиат всего за несколько минут.

ЛИЧНЫЙ КАБИНЕТ 

 

Здравствуйте гость!

 

Логин:

Пароль:

 

Запомнить

 

 

Забыли пароль? Регистрация

Повышение уникальности

Предлагаем нашим посетителям воспользоваться бесплатным программным обеспечением «StudentHelp», которое позволит вам всего за несколько минут, выполнить повышение уникальности любого файла в формате MS Word. После такого повышения уникальности, ваша работа легко пройдете проверку в системах антиплагиат вуз, antiplagiat.ru, etxt.ru или advego.ru. Программа «StudentHelp» работает по уникальной технологии и при повышении уникальности не вставляет в текст скрытых символов, и даже если препод скопирует текст в блокнот – не увидит ни каких отличий от текста в Word файле.

Результат поиска


Наименование:


реферат Мера информации. Подходы к определению меры количества информации

Информация:

Тип работы: реферат. Добавлен: 28.05.13. Сдан: 2011. Страниц: 24. Уникальность по antiplagiat.ru: < 30%

Описание (план):


МИНИСТЕРСТВО  ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ 
 
 
 

МОСКОВСКИЙ  ГОСУДАРСТВЕННЫЙ  УНИВЕРСИТЕТ 

ПРИБОРОСТРОЕНИЯ И ИНФОРМАТИКИ (МГУПИ) 
 
 
 
 
 

РЕФЕРАТ

По дисциплине «Информатика» 

Тема: Мера информации. Подходы к определению меры количества информации. 

Выполнил: студент 1-го курса очной формы обучения, направление 230100 

Малыгина  Кристина Владимировна 
 
 
 

      Проверил: 

Ст. преп. каф. ИТ-4                                   Кукин М.А. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Москва ,  2011г.

 

      План  

                                                                 Стр.

             Введение.       2 

     1.Мера  информации      4 

     2.  Подходы к определению меры  количества 

          информации.       9 

     2.1 Структурный подход к измерению 

                информации      14 

     2.2 Статистический подход к измерению

                информации      16 

     2.3 Семантический подход к измерению

                информации      19

            Заключение       23

                Список  литературы     25

           
 

 

      Введение

     Для развития челoвеческого oбщества неoбходимы материальные, инструментальные, энергетические и другие ресурсы, в том числе и информационные. Настоящее время характеризуется небывалым ростом объема информационных потоков. Это относится практически к любой сфере деятельности человека. Наибольший рост объема информации наблюдается в промышленности, торговле, финансово-банковской и образовательной сферах. Что же такое информация? Инфoрматика раccматривает информацию как связанные между собой сведения, изменяющие наши представления o явлении или объекте oкружающего мира. С этой тoчки зрения информацию можно рассматривать как совoкупность знаний о фактических данных и зависимостях между ними.

     В процессе обработки информация может  менять структуру и форму. Признаком  структуры являются элементы информации и их взаимосвязь. Формы представления  информации могут быть различны. Основными  из них являются: символьная (основана на использовании различных символов), текстовая (текст — это символы, расположенные в определенном порядке), графическая (различные виды изображений), звуковая. [1с,33]

     В повседневной практике такие понятия, как информация и данные, часто  рассматриваются как синонимы. На самом деле между ними имеются  различия. Данными называется информация, представленная в удобном для  обработки виде. Данные могут быть представлены в виде текста, графики, аудио-визуального ряда. Представление  данных называется языком информатики, представляющим собой совокупность символов, соглашений и правил, используемых для общения, отображения, передачи информации в электронном виде. [1 с.7]

     Одной из важнейших характеристик информации является ее адекватность. Адекватность информации — это уровень соответствия образа, создаваемого с помощью информации, реальному объекту, процессу, явлению. От степени адекватности информации зависит правильность принятия решения. [2]

     Адекватность  информации может выражаться в трех формах: синтаксической, семантической  и прагматической.

     Синтаксическая  адекватность отображает формально-структурные характеристики информации, не затрагивая ее смыслового содержания. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость ее передачи и обработки, размеры кодов представления информации, надежность и Точность преобразования этих кодов и т. д. Информацию, рассматриваемую с таких позиций, обычно называют данными. [2]

     Семантическая адекватность определяет степень соответствия образа объекта самому объекту. Здесь учитывается смысловое содержание информации. На этом уровне анализируются сведения, отражаемые информацией, рассматриваются смысловые связи. Таким образом, семантическая адекватность проявляется при наличии единства информации и пользователя. Эта форма служит для формирования понятий и представлений, выявления смысла, содержания информации и ее обобщения. [2]

     Прагматическая  адекватность отражает соответствие информации цели управления, реализуемой на ее основе. Прагматические свойства информации проявляются при наличии единства информации, пользователя и цели управления. На этом уровне анализируются потребительские свойства информации, связанные с практическим использованием информации, с соответствием ее целевой функции деятельности системы. [2]

     Мы  разобрались с термином информация и мера информации. А как «измерить» информацию?

 

     1. Мера информация

     Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности (упорядоченности), определенности, выбору состояний отображаемой системы. Если рассматривается некоторая система, которая может принимать одно из n возможных состояний, то актуальной задачей является задача оценки этого выбора, исхода. Такой оценкой может стать мера информации (события). Мера, как было сказано выше, - непрерывная действительная неотрицательная функция, определенная на множестве событий и являющаяся аддитивной (мера суммы равна сумме мер). Меры могут быть статические и динамические, в зависимости от того, какую информацию они позволяют оценивать: статическую (не актуализированную; на самом деле оцениваются сообщения без учета ресурсов и формы актуализации) или динамическую (актуализированную т.е. оцениваются также и затраты ресурсов для актуализации информации). [8]

     Мы не  будем проводить четкие математические границы между понятиями "количество информации" и "мера количества информации", но необходимо понимать важные вопросы: о количестве информации или о мере информации в конкретной последовательности событий идет речь, о детерминированной или стохастической информации идет речь? какова мера измерения количества информации и насколько она адекватна?

     Количественные  характеристики информации.

      [8]

     Синтаксическая  мера информации оперирует с обезличенной информацией, не выражающей смыслового

       отношения к объекту. На этом  уровне объем данных в сообщении  измеряется количеством символов  в этом сообщении. В современных  ЭВМ минимальной единицей измерения  данных является бит — один  двоичный разряд. Широко используются  также более крупные единицы  измерения: байт, равный 8 битам; килобайт, равный 1024 байтам; мегабайт, равный 1024 килобайтам, и т. д. [8]

     Объём данных (VД) понимается в техническом смысле этого слова как информационный объём сообщения или как объём памяти, необходимый для хранения сообщения без каких-либо изменений. [8]

      Информационный объём сообщения измеряется в битах и равен количеству двоичных цифр (“0” и “1”), которыми закодировано сообщение.

     В компьютерной практике слово “бит”  используется также как единица  измерения объёма памяти. Ячейка памяти размером в 1 бит может находиться в двух состояниях (“включено” и “выключено”) и в неё может быть записана одна двоичная цифра (0 или 1). Понятно, что бит — слишком маленькая единица измерения информации, поэтому пользуются кратными ей величинами. Основной единицей измерения информации является байт. 1 байт равен 8 битам. В ячейку размером в 1 байт можно поместить 8 двоичных цифр, то есть в одном байте можно хранить 256 = 28 различных чисел. Для измерения ещё бoльших объёмов информации используются такие величины:           [4]

         1 Килобайт =
         210 байт =
         1024 байт
           1 Мегабайт =
         210 Килобайт =
         1024 Килобайт
         1 Гигабайт =
         210 Мегабайт =
         1024 Мегабайт
         1 Терабайт =
         210 Гигабайт =
         1024 Гигабайт

     Пример  Важно иметь представление, сколько информации может вместить килобайт, мегабайт или гигабайт. При двоичном кодировании текста каждая буква, знак препинания, пробел занимают 1 байт. На странице книги среднего формата примерно 50 строк, в каждой строке около 60 символов, таким образом, полностью заполненная страница имеет объём 50 x 60 = 3000 байт ?3 Килобайта. Вся книга среднего формата занимает ? 0,5 Мегабайт. Один номер четырёхстраничной газеты — 150 Килобайт. Если человек говорит по 8 часов в день без перерыва, то за 70 лет он наговорит около 10 Гигабайт информации. Один чёрно-белый кадр (при 32 градациях яркости каждой точки) содержит примерно 300 Кб информации, цветной кадр содержит уже около 1 Мб информации. Телевизионный фильм продолжительностью 1,5 часа с частотой 25 кадров в секунду — 135 Гб. [3]

     Количество  информации I на синтаксическом уровне определяется через понятие энтропии системы.

     Пусть до получения информации потребитель  имеет некоторые предварительные (априорные) сведения о системе ?. Мерой его неосведомленности  о системе является функция H(?), которая  в то же время служит и мерой  неопределенности состояния системы.

     После получения некоторого сообщения  ? получатель приобрел некоторую  дополнительную информацию I?(?), уменьшившую его априорную неосведомленность так, что неопределенность состояния системы после получения сообщения ? стала H?(?).

     Тогда количество информации I?(?) ? системе, полученной в сообщении ?, определится как

     I?(?)=H(?)-H?(?).

     т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния  системы. Если конечная неопределенность H?(?) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I?(?)=H(?). Иными словами, энтропия системы Н(а) может рассматриваться как мера недостающей информации. [3]

     Семантическая мера информации используется для измерения смыслового содержания информации. Наибольшее распространение здесь получила тезаурусная мера, связывающая семантические свойства информации со способностью пользователя принимать поступившее сообщение. Тезаурус — это совокупность сведений, которыми располагает пользователь или система. Максимальное количество семантической информации потребитель получает при согласовании ее смыслового содержания со своим тезаурусом, когда поступающая информация понятна пользователю и несет ему ранее не известные сведения. С семантической мерой количества информации связан коэффициент содержательности, определяемый как отношение количества семантической информации к общему объему данных. [3]

     В зависимости от соотношений между  смысловым содержанием информации S и тезаурусом пользователя Sp изменяется количество семантической информации Ic, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рис. Рассмотрим два предельных случая, когда количество семантической информации Ic равно 0:

     • при Sp>0 пользователь не воспринимает, не понимает поступающую информацию;

     • при Sp>? пользователь все знает, и поступающая информация ему не нужна.

     

     Рис. Зависимость количества семантической  информации, воспринимаемой потребителем, от его тезауруса.

     Максимальное  количество семантической информации Ic потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом Sp (Sp = Sp opt), когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения. Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного. Относительной мерой количества семантической информации может служить коэффициент содержательности С, который определяется как отношение количества семантической информации к ее объему: [3]

     Прагматическая  мера информации. Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цепи. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Обычно ценность информации измеряется в тех же единицах, что и целевая функция управления системой.

     Для наглядности  и сопоставления введённые меры информации представим в таблице

Мера информации Единицы измерения Примеры (для компьютерной области)
Синтаксическая:

компьютерный  подход

Степень уменьшения неопределенности Единицы представления информации Вероятность события 

Бит, байт. Кбайт 

Семантическая Тезаурус 

Экономические показатели

Пакет прикладных программ, персональный компьютер, компьютерные сети и т.д.

Рентабельность, производительность, коэффициент амортизации  и тд.

Прагматическая Ценность использования Емкость памяти, производительность компьютера, скорость передачи данных и т.д.

Денежное  выражение

Время обработки  информации и принятия решений

                                               [3]                       

 

     2. Подходы к определению меры количества информации.

     В информатике, как правило, измерению  подвергается информация, представленная дискретным сигналом (Сигнал называется дискретным, если он может принимать лишь конечное число значений [5]). При этом различают следующие подходы:

  1. структурный. Измеряет количество информации простым подсчетом  информационных элементов, составляющих сообщение. Применяется для оценки возможностей запоминающих устройств, объемов передаваемых сообщений, инструментов кодирования без учета статистических характеристик их эксплуатации. [6.1]
  2. статистический. Учитывает вероятность появления сообщений: более информативным считается то сообщение, которое менее вероятно, т.е. менее всего ожидалось. Применяется при оценке значимости получаемой информации. [6.1]
  3. семантический. Учитывает целесообразность и полезность информации. Применяется при оценке эффективности получаемой информации и ее соответствия реальности. [6.1]

     Но  для того, чтобы рассматривать  подходы к определении меры количества информации познакомимся по- подробней с двумя основным теоремами в теории информации: Хартли и Шеннона.

     Формула Хартли [7] определяет количество информации, содержащееся в сообщении длины n.

     Имеется алфавит А, из букв которого составляется сообщение:

     | A | = m

     Количество  возможных вариантов разных сообщений:

     N = mn

     Где: N - возможное количество различных  сообщений, шт; m - количество букв в  алфавите, шт; n - количество букв в сообщении, шт.

     Пример: Алфавит состоит и 2-х букв B и X, длина сообщения 3 буквы - таким образом m=2, n=3. При выбранных нами алфавите и длине сообщения можно составить N=m^n=2^3=8 разных сообщений "BBB", "BBX", "BXB", "BXX", "XBB", "XBX", "XXB", "XXX" - других вариантов нет.

     Формула Хартли определяется:

     I = log 2N = nlog 2m

     Где: I - количество информации, бит.

     При равновероятности символов p=1/m, m=1/p формула  Хартли переходит в собственную  информацию.

     Формула Хартли была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений. Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задается вопрос: число меньше? Ответ и «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном итоге, загаданное число будет найдено.

     Посчитаем сколько вопросов надо задать, чтобы  найти задуманное число. Допустим загаданное число 27. Начали:

     Больше 50? Нет

     Больше 25? Да

     Больше 38? Нет

     Меньше 32? Да

     Меньше 29? Да

     Больше 27? Нет

     Это число 26? Нет

     Если число не 26 и не больше 27, то это явно 27.Чтобы угадать методом «деления пополам» число от 1 до 100 нам потребовалось 7 вопросов.

     Кто-то может задаться вопросом: а почему именно так надо задавать вопросы? Ведь, например, можно просто спрашивать: это число 1? Это число 2? И т.д. Но тогда вам потребуется намного  больше вопросов (возможность того, что вы телепат, и угадаете с первого раза не рассматривается). «Деление пополам» самый короткий рациональный способ найти число. Объем информации заложенный в ответ «да» или «нет» равен одному биту. Действительно, ведь бит может быть в состоянии 1 или 0. Итак, для угадывания числа от 1 до 100 нам потребовалось семь бит (семь ответов «да» - «нет»).

     N = 2k

     Такой формулой можно представить, сколько  вопросов (бит информации) потребуется, чтобы определить одно из возможных  значений. N – это количество значений, а k – количество бит. Например, в  нашем примере 100 меньше чем 27, однако больше, чем 26. Да, нам могло потребоваться  и всего 6 вопросов, если бы загаданное число было бы 28.

     Формула Хартли: k = log2N.

     Количество  информации (k), необходимой  для определения  конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N). [7]

     Теорема Шеннона.

     Наиболее  известным и широко применяемым  на практике является вероятностный подход к измерению информации. На основе этого подхода разработан обширный раздел количественной теории информации, называемый также по имени его основоположника, как "теория информации Шеннона". Главной отличительной особенностью вероятностного подхода от комбинаторного является тот факт, что он основан на вероятностных допущениях относительно пребывания какой-либо системы в различных состояниях. При этом общее число элементов (микросостояний, событий) системы не учитывается. За количество информации здесь принимается снятая неопределенность выбора из множества возможностей, имеющих, в общем случае, различную вероятность. [8]

     В середине XX века (1948 г.) была создана теория информации, с появлением которой введенная Больцманом функция ( ) пережила второе рождение. Американский инженер-связист Клод Шеннон предложил ввести меру количества информации с помощью статистической формулы энтропии.

     Заметим, что понятие "информация" обычно трактуется как "сведения", а передача информации осуществляется с помощью  связи. Связь между количеством  информации и энтропией послужила  ключом к решению ряда научных  проблем.

     Приведем  ряд примеров. При бросании монеты выпадает орел или решка, это определенная информация о результатах бросания. При бросании кости получаем информацию о выпадении определенного количества очков (например, трех). В каком случае мы получаем больше информации?

     Вероятность W выпадения герба равна 1/2, вероятность  выпадения трех очков - W=1/6. Реализация менее вероятного события дает больше информации: чем больше неопределенность до получения сообщения о событии (бросание монеты, кости), тем большее  количество информации поступает при  получении сообщения. Информация I связана  с числом равновероятных возможностей P - для монеты P=2, для кости P=6. При  бросании двух костей получаем вдвое  больше информации, чем при бросании одной кости: информация независимых  сообщений аддитивна, а числа  равновероятных возможностей перемножаются. Значит, если имеются два набора равновероятных событий P1 и P2 , то полное число событий

     P=P1*P2, (2)

     а количество информации I складывается, т. е.

     I(P)=I(P1*P2)=I(P1)+ I(P2).(3)

     Известно, что правилам (2) и (3) подчиняются  логарифмические функции, т. е. зависимость  количества информации I от числа равновероятных событий должна иметь вид 

     I=A*log(P)

     где постоянная А и основание логарифма  могут быть выбраны по соглашению. В теории информации условились полагать А=1, а основание логарифма двум, т. е.

     I=log2(P). (4)

     При бросании монеты получается информация (Р=2), которую примем за единицу информации I=1:

     log2(2)=1 бит

     Бит - двоичная единица информации (binary digits), она оперирует двумя возможностями: да или нет, числа в двоичной системе  записываются последовательностью  нулей и единиц.

     В общем виде формула (4) принимает  вид:

      . (5)

     Величина (5) названа Шенноном информационной энтропией. (9)

     В процессе последующих исследований К. Шеннон доказал теорему: "Существует единственная функция Н, удовлетворяющая трем перечисленным выше свойствам. При этом Н имеет вид:

      , ...............................................................

     где К – некоторая положительная постоянная

     Такой подход к количественному выражению  информации далеко не универсален, т. к. принятые единицы не учитывают таких  важных свойств информации, как ее ценность и смысл. Абстрагирование  от конкретных свойств информации (смысл, ценность ее) о реальных объектах, как  в дальнейшем выяснилось, позволило  выявить общие закономерности информации. Предложенные Шенноном для измерения  количества информации единицы (биты) пригодны для оценки любых сообщений (рождение сына, результаты спортивного  матча и т. д.). В дальнейшем делались попытки найти такие меры количества информации, которые учитывали бы ее ценность и смысл. Однако тут же терялась универсальность: для разных процессов различны критерии ценности и смысла. Кроме того, определения  смысла и ценности информации субъективны, а предложенная Шенноном мера информации объективна. Например, запах несет  огромное количество информации для  животного, но неуловим для человека. Ухо человека не воспринимает ультразвуковые сигналы, но они несут много сведений для дельфина и т. д. Поэтому предложенная Шенноном мера информации пригодна для  исследования всех видов информационных процессов, независимо от "вкусов" потребителя информации. [8] 

     А теперь перейдем непосредственно  к  подходам к измерению информации:
и т.д.................


Перейти к полному тексту работы


Скачать работу с онлайн повышением уникальности до 90% по antiplagiat.ru, etxt.ru или advego.ru


Смотреть полный текст работы бесплатно


Смотреть похожие работы


* Примечание. Уникальность работы указана на дату публикации, текущее значение может отличаться от указанного.