На бирже курсовых и дипломных проектов можно найти образцы готовых работ или получить помощь в написании уникальных курсовых работ, дипломов, лабораторных работ, контрольных работ, диссертаций, рефератов. Так же вы мажете самостоятельно повысить уникальность своей работы для прохождения проверки на плагиат всего за несколько минут.

ЛИЧНЫЙ КАБИНЕТ 

 

Здравствуйте гость!

 

Логин:

Пароль:

 

Запомнить

 

 

Забыли пароль? Регистрация

Повышение уникальности

Предлагаем нашим посетителям воспользоваться бесплатным программным обеспечением «StudentHelp», которое позволит вам всего за несколько минут, выполнить повышение уникальности любого файла в формате MS Word. После такого повышения уникальности, ваша работа легко пройдете проверку в системах антиплагиат вуз, antiplagiat.ru, etxt.ru или advego.ru. Программа «StudentHelp» работает по уникальной технологии и при повышении уникальности не вставляет в текст скрытых символов, и даже если препод скопирует текст в блокнот – не увидит ни каких отличий от текста в Word файле.

Результат поиска


Наименование:


реферат Способы измерения информации

Информация:

Тип работы: реферат. Добавлен: 20.07.2012. Сдан: 2011. Страниц: 8. Уникальность по antiplagiat.ru: < 30%

Описание (план):


Содержание:

 

Введение

     Решая различные задачи, человек вынужден использовать информацию об окружающем нас мире. И чем более полно  и подробно человеком изучены  те или иные явления, тем подчас проще найти ответ на поставленный вопрос. Так, например, знание законов физики позволяет создавать сложные приборы, а для того, чтобы перевести текст на иностранный язык, нужно знать грамматические правила и помнить много слов.  
     Часто приходится слышать, что сообщение или несет мало информации или, наоборот, содержит исчерпывающую информацию. В информатике используются различные подходы к измерению информации. Задача данного реферата – осветить основные подходы к измерению информации.
 
Глава1. Объемный способ измерения информации
     Технический способ измерения количества информации (или, точнее, информационного объема сообщения) основан на подсчета количества символов, из которых образовано сообщение. При этом не учитывается смысловое содержание сообщения. Например, многократное повторение одного и того же текста не несет новой информации, однако в результате занимает больший объем памяти, требует большего времени для передачи и т.п. Поэтому этот способ удобен в технических расчетах
     За 1 бит в этом случае принимается один двоичный символ в сообщении.
     Информационный обьем сообщения (информационная емкость сообщения) - количество информации в сообщении, измеренное в битах, байтах или производных величинах . 

Исходное  сообщение  Количество информации
На  языке  в машинном представлении  (КОИ-8)
в символах в битах  в байтах
Рим 11110010 11101001 11101101 3 24 3
Мир 11101101 11101001 11110010 3 24 3
Миру  мир! 11101101 11101001 11110010 11110101 00100000 11101101
1110101 11110010 00100001
9 72 9
(** */ 00101000 00101010 00101010 00100000 00101010 00101111
6 48 6

  Таб. 1 пример объемного измерения

 
Единицы измерения информации в вычислительной технике
1 бит    
1 байт 8 бит  
1 Кбайт  ( килобайт) 1024 байта 1 тыс. байт
1 Мбайт  (мегабайт) 1024 Кбайта 1 млн. байт
1 Гбайт  (гигабайт) 1024 Мбайта 1 млрд.байт

Таб.2 Единицы измерения  информации в вычислительной технике

 

 Глава2. Алфавитный подход

     Алфавитный  подход основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита. С позиций computer science носителями информации являются любые последовательности символов, которые хранятся, передаются и обрабатываются с помощью компьютера. Согласно Колмогорову, информативность последовательности символов не зависит от содержания сообщения, а определяется минимально необходимым количеством символов для ее кодирования. Алфавитный подход является объективным, т.е. он не зависит от субъекта, воспринимающего сообщение. Смысл сообщения учитывается на этапе выбора алфавита кодирования либо не учитывается вообще.
     Алфавитный  подход является объективным способом измерения информации в отличие  от субъективного, содержательного, подхода.
     При алфавитном подходе к измерению  информации количество информации зависит от т объёма текста и от мощности, а не от содержания.
     Мощность  алфавита — полное число символов алфавита (N). Каждый символ несёт i бит  информации; число i можно определить из уравнения: 2i = N.
     Количество  информации, содержащееся в символьном сообщении, равно К х i, где К – число символов в тексте сообщения а i – информационный вес символа, который находится из уравнения 21 = N, где N – мощность используемого алфавита.
     Применение  алфавитного подхода удобно при  использовании технических средств работы с информацией.
 

Глава3. Вероятностный подход к измерению информации

     Формулу для вычисления количества информации, учитывающую неодинаковую вероятность событий, предложил К. Шеннон в 1948 году. Количественная зависимость между вероятностью события р и количеством информации в сообщении о нем x выражается формулой: x=log2 (1/p). Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить следующим образом - чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.
     Рассмотрим  некоторую ситуацию. В коробке  имеется 50 шаров. Из них 40 белых и 10 черных. Очевидно, вероятность того, что  при вытаскивании "не глядя" попадется  белый шар больше, чем вероятность попадания черного. Можно сделать заключение о вероятности события, которые интуитивно понятны. Проведем количественную оценку вероятности для каждой ситуации. Обозначим pч - вероятность попадания при вытаскивании черного шара, рб - вероятность попадания белого шара. Тогда: рч=10/50=0,2; рб40/50=0,8. Заметим, что вероятность попадания белого шара в 4 раза больше, чем черного. Делаем вывод: если N - это общее число возможных исходов какого-то процесса (вытаскивание шара), и из них интересующее нас событие (вытаскивание белого шара) может произойти K раз, то вероятность этого события равна K/N. Вероятность выражается в долях единицы. Вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар). Вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар).
     Количественная  зависимость между вероятностью события р и количеством информации в сообщении о нем x выражается формулой: . В задаче о шарах количество информации в сообщении о попадании белого шара и черного шара получится: .
     Рассмотрим  некоторый алфавит из m символов: и вероятность выбора из этого алфавита какой-то i-й буквы для описания (кодирования) некоторого состояния объекта. Каждый такой выбор уменьшит степень неопределенности в сведениях об объекте и, следовательно, увеличит количество информации о нем. Для определения среднего значения количества информации, приходящейся в данном случае на один символ алфавита, применяется формула . В случае равновероятных выборов p=1/m. Подставляя это значение в исходное равенство, мы получим

     Рассмотрим следующий  пример. Пусть при бросании несимметричной четырехгранной пирамидки вероятности выпадения граней будут следующими: p1=1/2, p2=1/4, p3=1/8, p4=1/8, тогда количество информации, получаемое после броска, можно рассчитать по формуле:

     Для симметричной четырехгранной пирамидки количество информации будет: H=log24=2(бит).
     Заметим, что для  симметричной пирамидки количество информации оказалось больше, чем  для несимметричной пирамидки. Максимальное значение количества информации достигается  для равновероятных событий.
Буква Частота Буква Частота Буква Частота
о 0.090 к 0.028 ь (ъ), б  0.014
е (ё) 0.072 м 0.026 ч 0.013
а, и  0.062 д 0.025 й 0.012
т, н  0.053 п 0.023 х 0.009
с 0.045 у 0.021 ж, ю, ш  0.006
р 0.040 я 0.018 ц, щ, э  0.003
в 0.035 ы, з  0.016 ф 0.002

Таб.3 Частотный словарь русского языка

 

Глава 4. Теория разнообразия Р. Эшби

     Рассмотрим пример Р. Эшби. Заключенного должна навестить жена Сторож знает, что она хочет сообщить мужу, пойман ли его сообщник. Ей не разрешено делать никаких сообщений. Но сторож подозревает, что они договорились о каком-то условном знаке. Вот она просит послать мужу чашечку кофе. Как сторож может добиться, чтобы сообщение не было передано? Он рассуждает так: может быть, она условилась передать ему сладкий чай или несладкий кофе, тогда я могу помешать им, добавив в кофе сахару и сказав об этом заключенному. Может быть, она условилась послать или не послать ему ложку, тогда я могу изъять ложку и сказать ему, что передача ложек воспрещена. Она может послать ему не кофе, а чай, но все знают, что в это время выдается только кофе. И сторож, стремясь пресечь всякую возможность связи, сводит все возможности к одной – только кофе, только с сахаром, только без ложки. Если все возможности сведены к одной, связь прерывается, и посылаемый напиток лишен возможности передать информацию.

     Р. Эшби осуществил переход от толкования информации как «снятой» неопределенности к «снятой» неразличимости. Он считал, что информация есть там, где имеется (дано или выявляется) разнообразие, неоднородность. В данном случае единицей измерения информации может быть элементарное различие, т.е. различие между двумя объектами в каком-либо одном фиксированном свойстве. Чем больше в некотором объекте отличных (в строго определенном смысле) друг от друга элементов, тем больше этот объект содержит информации. Информация есть там, где имеется различие хотя бы между двумя элементами. Информации нет, если элементы неразличимы.

     В середине 50-х годов, используя материал статистической теории информации, Р. Эшби изложил концепцию разнообразия, согласно которой под разнообразием следует подразумевать характеристику элементов множества, заключающуюся в их несовпадении. Так, множество, в котором все элементы одинаковы (допустим, это последовательность а, а, а, и т.д.), по мнению Эшби, не имеет «никакого» разнообразия, ибо все его элементы одного типа. Если разнообразие его измерить логарифмически, то получим логарифм единицы (единица означает однотипность элементов множества) – нуль. Множество с таким разнообразием соответствует единичной вероятности выбора элемента, т.е. какой элемент множества не был бы выбран, он будет одного и того же типа. Суть концепции разнообразия, по Эшби, заключается в утверждении, что теория информации изучает процессы «передачи разнообразия» по каналам связи, причем «информация не может передаваться в большем количестве, чем это позволяет количество разнообразия».

     Исходя из идей основоположника  кибернетики Н. Винера и результатов, полученных К. Шенноном, Эшби открыл закон, названный законом необходимого разнообразия, который так же, как закон Шеннона для процессов связи, может быть общим для процессов управления. Суть этого закона состоит в следующем. Для управления состоянием кибернетической системы нужен регулятор, ограничивающий разнообразие возмущений, которые могут разрушить систему. При этом регулятор допускает такое их разнообразие, которое необходимо и полезно для системы.

     При допустимом разнообразии состояний кибернетической системы  Рc и разнообразии возмущений Рв количество разнообразия регулятора Рр=Рв/Рc. Эта формула является одной из количественных форм выражения закона необходимого разнообразия. В логарифмической форме этот закон имеет вид

     log Pp = log Рв/Рc или log Pp = log Рв – log Рc.

     Обозначив соответствующие  логарифмы разнообразия как информационные содержания систем, получим Iв = Iр + Iс. Из формулы следует, что сумма информационных содержаний системы и регулятора равна информационному содержанию внешних возмущений.

 

Глава 5. Алгоритмический подход А. Н. Колмогорова

     Отличный от взглядов Хартли, Шеннона, Винера и Бриллюэна  подход к определению понятия "количество информации", был предложен в 1965 году академиком А.Н. Колмогоровым, который  он назвал алгоритмическим.

     Исходя из того, что "по существу наиболее содержательным является представление о количестве информации "в чем-либо" (Х) и "о чем-либо" (Y)", А.Н. Колмогоров для оценки информации в одном конечном объекте относительно другого конечного объекта предложил использовать теорию алгоритмов. За количество информации при этом, принимается значение некоторой функции от сложности каждого из объектов и длины программы (алгоритма) преобразования одного объекта в другой.

     Решение задачи определения  количества информации в алгоритмическом подходе имеет общий вид и схематично выглядит следующим образом.

     "Относительной  сложностью" объекта Y при заданном Х будем считать минимальную длину "программы" Р получения Y из Х. Сформулированное так определение зависит от "метода программирования". Метод программирования есть не что иное, как функция , ставящая в соответствие программе Р и объекту Х объект Y".

     Так как каждый из объектов может быть бесконечно сложным, то доказывается теорема, согласно которой  относительной сложности  объекта Y, при заданном методе программирования, может быть поставлена в соответствие иная относительная сложность, полученная при другом методе программирования , такая, что выполняется неравенство:

,
где - некоторая постоянная программирования, не зависящая от X и Y.
Учитывая, что при любых Х и Y относительная сложность является конечной величиной, а можно считать просто сложностью объекта Y, А.Н. Колмогоров для оценки алгоритмического количества информации в объекте X относительно объекта Y предложил использовать формулу:
, ................................................... (22 )
причем  и, соответственно, .
     Алгоритмическая информация (22) может принимать как  положительные, так и отрицательные  значения. В связи с этим А.Н. Колмогоров делает два замечания. Во-первых, " не меньше некоторой отрицательной константы C, зависящей лишь от условностей избранного метода программирования". Во-вторых, "вся теория рассчитана на применение к большим количествам информации, по сравнению с которыми будет пренебрежимо мал".
     Алгоритмический подход к измерению количества информации, в силу ряда объективных причин, не нашел широкого практического применения. Во-первых, как писал сам А.Н. Колмогоров, "на пути его формализации встает очевидная трудность: то, что просто описывается на одном языке, может не иметь простого описания на другом, и непонятно, какой способ описания выбрать". То есть алгоритмическая оценка информации зависит от выбранного метода программирования, а такой выбор, в свою очередь, по сути дела всегда имеет субъективный характер. Во-вторых, практическое использование формулы (22) возможно лишь применительно к весьма простым объектам, имеющим математическое описание, в то время как отсутствие последнего является характерной и обязательной чертой сложных объектов. Кроме того, понятие "сложность" само по себе является относительным и зависит от уровня рассмотрения объектов. И, наконец, в-третьих, в соответствии с теоремой Геделя о неполноте формальных систем, нельзя доказать, что минимальная длина программы преобразования X в Y, составленная на каком-либо языке программирования, действительно является объективно минимальной.
     В своих комментариях относительно алгоритмического подхода А.Н. Колмогоров писал, что  он "основан на применении теории алгоритмов для определения понятия энтропии, или сложности, конечного объекта и понятия информации в одном конечном объекте о другом". В соответствии с этим, переходя к рассмотрению алгоритмического подхода с позиций количественного определения негэнтропии отражения, предварительно отметим следующее. – В рассматриваемой нами ситуации (рис. 1) каждый из объектов может быть закодирован с помощью двоичного языка, символами которого являются "0" и "1". Кодируя каждый элемент символом "1", мы получим для отражаемого и отражающего объектов соответствующий код длины и .
     Также очевидно, что алгоритм получения  одного объекта из другого в рассматриваемой  ситуации сводится к добавлению или  обнулению (ликвидации) определенного  числа единиц в соответствующем  коде. То есть длина "программы" получения  одного объекта из другого равна двоичных единиц и соответственно относительная сложность каждого из объектов имеет вид:
............................................... (24)
Подставляя  выражения (23) и (24) в формулу (22), получаем, что алгоритмическое количество информации, которое содержит отражающий объект B относительно отражаемого объекта A, равно:
............................... (25)
     Алгоритмическая информация (25) наиболее близка к определению  негэнтропии отражения системных объектов в сравнении с ранее рассмотренными информационными мерами и даже, на принципиальном уровне суждений (в рамках изложенного материала), может быть принята за ее количественную характеристику. Но, этим ее положительные свойства в негэнтропийном отношении ограничиваются, так как она не применима к открытым системным объектам. Дело в том, что, когда отражаемый объект является открытым, мы опять будем иметь отрицательные значения (при ), негативизм которых, помимо отмеченного выше, может быть дополнен тем, что, как нетрудно видеть, возможны ситуации, когда аддитивная негэнтропия отражения совокупности отражающих объектов будет равна нулю. То есть, например, проведя наблюдения и выявив совокупность объектов, имеющих непосредственную взаимосвязь с отражаемым (исследуемым) объектом, в итоге мы будем иметь, что общее количество информации, полученное нами в процессе исследований равно нулю, а это уже нонсенс. Таким образом, мы видим, что алгоритмический подход, также как комбинаторный и вероятностный, не позволяет получить расчетную формулу для негэнтропии отражения системных объектов .
 

Глава 6. Другие подходы к  измерению информации

     Попытки оценить не только количественную, но и содержательную сторону информации дали толчок к развитию семантической (смысловой) теории информации. Исследования в этой области теснее всего связаны с семиотикой – теорией знаковых систем. Одним из важнейших свойств информации, которое мы можем наблюдать, является ее неотделимость от носителя: во всех случаях, когда мы сталкиваемся с любыми сообщениями, эти сообщения выражены некоторыми знаками, словами, языками Семиотика исследует знаки как особый вид носителей информации. При этом знаком является условное изображение элемента сообщения, словом – совокупность знаков, имеющих смысловое значение, языком – словарь и правила пользования им. Таким образом, рассуждая о количестве, содержании и ценности информации, содержащейся в сообщении, можно исходить из возможностей соответствующего анализа знаковых структур.
     В качестве знаковых систем используются естественные и искусственные языки, в том числе информационные и  языки программирования, различные  системы сигнализации, логические, математические и химические символы. Они служат средством обмена информацией между высокоорганизованными системами (способными к обучению и самоорганизации). Примером могут быть живые организмы, машины с определенными свойствами.
     Рассматривая знаковые системы, выделяют три основных аспекта их изучения: синтактику, семантику и прагматику.
     Синтактика  изучает синтаксис знаковых структур, т.е. способы сочетаний знаков, правила  образования этих сочетаний и  их преобразований безотносительно  к их значениям. Отметим в связи с этим, что рассматриваемые ранее способы определения количества информации можно отнести к синтаксическим способам.
     Семантика изучает знаковые системы как  средства выражения смысла, определенного  содержания, т.е. правила интерпретации знаков и их сочетаний, смысловую сторону языка.
     Прагматика  рассматривает соотношение между  знаковыми системами и их пользователями, или приемниками-интерпретаторами сообщений. Иными словами, к прагматике относится изучение практической полезности знаков, слов и, следовательно, сообщений, т.е. потребительской стороны языка.
     Основная  идея семантической концепции информации заключается в возможности измерения  содержания (предметного значения) суждений. Но содержание всегда связано  с формой, поэтому синтаксические и семантические свойства информации взаимосвязаны, хотя и различны. Получается, что содержание все-таки можно измерить через форму, т.е. семантические свойства информации выразить через синтаксические. Поэтому и исследования семантики базировались на понятии информации как уменьшении или устранении неопределенности, с которым мы уже знакомы.
     Сразу же заметим, что методы точного количественного  определения смыслового содержания информации в настоящее время  еще не разработаны, поэтому мы ограничимся только кратким описанием подходов к решению этой проблемы.
     Первую  попытку построения теории семантической  информации предприняли Р. Карнап и И. Бар-Хиллел. Они положили начало применению идей и методов символической логики и логической семантики к анализу информационного содержания языка науки. Р. Карнап и И. Бар-Хиллел предложили определять величину семантической информации посредством так называемой логической вероятности, которая представляет собой степень подтверждения той или иной гипотезы. При этом количество семантической информации, содержащейся в сообщении, возрастает по мере уменьшения степени подтверждения априорной гипотезы. Если вся гипотеза построена на эмпирических данных, полностью подтверждаемых сообщением, то такое сообщение не приносит получателю никаких новых сведений. Логическая вероятность гипотезы при этом равна единице, а семантическая информация оказывается равной нулю. Гипотеза здесь полностью вытекает из данных опыта. И наоборот, по мере уменьшения степени подтверждения гипотезы, или запаса знаний, количество семантической информации, доставляемой сообщением, возрастает. Чем больше логическая вероятность высказывания, тем меньше должна быть мера его содержания, т.е. чем больше описаний состояния «разрешает» то или иное высказывание, тем меньше должна быть его семантическая информативность и, наоборот, чем больше описаний состояния им исключается, тем больше должна быть его информативность. Таким образом, семантико-информационное содержание высказывания определяется не тем, что содержит данное высказывание, а тем, что оно исключает.
     Концепция Карнапа – Бар-Хиллела, получившая впоследствии развитие в трудах Кемени, является только началом исследований в области измерения содержания передаваемой информации. Эта концепция  позволяет, например, выявить связь гипотезы с начальным достоверным значением, в частности, сделать заключение о степени подтверждения гипотезы.
     Финский ученый Я. Хинтикка распространил основные идеи семантической теории информации Карнапа и Бар-Хиллела на логику высказываний. Для многих ситуаций (наблюдения, измерения, подтверждения гипотезы, научного предсказания, объяснения) он предложил метод определения уменьшения неопределенности, которое, например, претерпевает гипотеза g после получения того или иного эмпирического факта h или вообще изменения информационного содержания высказывания g при получении высказывания h.
     Однако, несмотря на определенные достижения, концепция Карнапа – Бар-Хиллела  оказалась малопригодной для  анализа содержания естественного  языка. Эта теория, основанная на вероятностной логике, неприменима к анализу основного массива научного знания – достоверного знания. С точки зрения указанной теории, например, высказывание «На Луне есть нефть» содержит информацию, а высказывание «На Земле есть нефть» лишено информации, поскольку это достоверное знание. Такая ситуация представлялась довольно парадоксальной!
     Подчеркнем  еще раз в связи с этим, что  семантическая теория информации еще  молода и делает лишь первые шаги. Некоторые  исследователи, например, советский ученый Е.К. Войшвилло, становятся на путь синтеза статистического (Шеннон) и логико-семантического (Карнап, Бар-Хиллел) подходов к информации.
     Об  одной очень интересной модели семантической  информации мы расскажем ниже, а  сейчас рассмотрим прагматические концепции информации.
     Изучение  отношений между знаками и  их потребителями с точки зрения использования получаемой информации и влияния знаков на поведение  систем составляет основу прагматической теории информации. Для всех подходов здесь характерно стремление связать понятие прагматической информации с целью, целенаправленным поведением и выдвинуть те или иные количественные меры ценности информации.
     Исходя  из этих соображений, А.А. Харкевич предложил связать меру ценности информации с изменением вероятности достижения цели при получении этой информации:
     I = log (p1/p0) = log p1 – log p0,
где р0 и р1 – вероятность достижения цели соответственно до и после получения информации.
     А.А. Харкевич первым подчеркнул фундаментальный характер связи прагматических свойств информации с категорией цели, понимаемой как опережающее отражение, модель будущего результата деятельности.
     Другой  подход к проблеме ценности информации осуществлен М.М. Бонгардом. Он вводит понятие «полезная информация», связывая сообщение с тем, какую задачу решает получатель, что он знает до прихода сообщения и как его истолковывает. Этот подход имеет вероятностно-алгебраическую сущность и носит более общий характер, чем подход, предложенный А.А. Харкевичем.
и т.д.................


Перейти к полному тексту работы


Скачать работу с онлайн повышением уникальности до 90% по antiplagiat.ru, etxt.ru или advego.ru


Смотреть полный текст работы бесплатно


Смотреть похожие работы


* Примечание. Уникальность работы указана на дату публикации, текущее значение может отличаться от указанного.