На бирже курсовых и дипломных проектов можно найти образцы готовых работ или получить помощь в написании уникальных курсовых работ, дипломов, лабораторных работ, контрольных работ, диссертаций, рефератов. Так же вы мажете самостоятельно повысить уникальность своей работы для прохождения проверки на плагиат всего за несколько минут.

ЛИЧНЫЙ КАБИНЕТ 

 

Здравствуйте гость!

 

Логин:

Пароль:

 

Запомнить

 

 

Забыли пароль? Регистрация

Повышение уникальности

Предлагаем нашим посетителям воспользоваться бесплатным программным обеспечением «StudentHelp», которое позволит вам всего за несколько минут, выполнить повышение уникальности любого файла в формате MS Word. После такого повышения уникальности, ваша работа легко пройдете проверку в системах антиплагиат вуз, antiplagiat.ru, etxt.ru или advego.ru. Программа «StudentHelp» работает по уникальной технологии и при повышении уникальности не вставляет в текст скрытых символов, и даже если препод скопирует текст в блокнот – не увидит ни каких отличий от текста в Word файле.

Результат поиска


Наименование:


Диплом Основн поняття математичної статистики. Оцнювання параметрв розподлв. Метод максимальної правдоподбност. Парадокси оцнок математичного сподвання та дисперсї, Байєса, методу найменших квадратв, кореляцї, переврки гпотез та їх пояснення.

Информация:

Тип работы: Диплом. Предмет: Математика. Добавлен: 12.08.2010. Сдан: 2010. Уникальность по antiplagiat.ru: --.

Описание (план):


4
Міністерство освіти і науки України
Дніпропетровський національний університет ім. О. Гончара
Дипломна робота
Парадокси в математичній статистиці

Виконавець:
студентка групи МС-08-1с Хмара М.С.
"__"________2009р.
Керівник роботи:
Дніпропетровськ 2009
Реферат
Дипломна робота містить: 87 сторінок, 7 джерел, 2 рисунки.
Об'єктом дослідження є парадокси математичної статистики.
Мета роботи: пояснити парадокси математичної статистики.
Методика дослідження: оцінювання параметрів розподілів.
Результати досліджень можуть бути застосовані при читанні лекцій з дисципліни "Математична статистика" у вищих навчальних закладах як ілюстративний матеріал основних понять математичної статистики, таких як точкові оцінки, оцінки мінімальної дисперсії, метод максимальної правдоподібності, метод найменших квадратів.
Перелік ключових слів: ВИБІРКА, НЕРІВНІСТЬ КРАМЕРА - РАО, ОЦІНКА, МАТЕМАТИЧНЕ СПОДІВАННЯ, ФОРМУЛА БАЙЄСА, МЕТОД НАЙМЕНШИХ КВАДРАТІВ, МЕТОД МАКСИМАЛЬНОЇ ПРАВДОПОДІБНОСТІ.
Зміст
    Вступ
      Розділ І. Основні поняття математичної статистики
      1.1 Нерівність Крамера - Рао (розподіл дискретний)
      1.2 Теорема 1.2.2 (нерівність Крамера - Рао, розподіл дискретний)
      1.3 Метод максимальної правдоподібності
      Розділ ІІ. Парадокси в математичній статистиці
      2.1 Парадокс оцінок математичного сподівання
      2.1.1 Історія парадоксу
      2.1.2 Парадокс
      2.1.3 Пояснення парадоксу
      2.2 Парадокс Байєса
      2.2.1 Історія парадоксу
      2.2.2 Парадокс
      2.2.3 Пояснення парадоксу
      2.3 Парадокс методу найменших квадратів
      2.3.1 Історія парадоксу
      2.3.2 Парадокс
      2.3.3 Пояснення парадоксу
      2.4 Парадокс оцінок дисперсії
      2.4.1 Історія парадоксу
      2.4.2 Парадокс
      2.4.3 Пояснення парадоксу
      2.5 Парадокс кореляції
      2.5.1 Історія парадоксу
      2.5.2 Парадокси
      2.5.3 Пояснення парадоксів
      2.5.4 Зауваження
      2.6 Парадокси регресії
      2.6.1 Історія парадокса
      2.6.2 Парадокси
      2.6.3 Пояснення парадоксів
      2.7 Парадокси достатності
      2.7.1 Історія парадоксу
      2.7.2 Парадокс
      2.7.3 Пояснення парадоксу
      2.7.4 Зауваження
      2.8 Парадокси методу максимальної правдоподібності
      2.8.1 Історія парадоксу
      2.8.2 Парадокси
      2.8.3 Пояснення парадоксів
      2.9 Парадокс інтервальних оцінок
      2.9.1 Історія парадоксу
      2.9.2 Парадокс
      2.9.3 Пояснення парадоксу
      2.9.4 Зауваження
      2.10 Парадокс - критерію Стьюдента
      2.10.1 Історія парадокса
      2.10.2 Парадокс
      2.10.3 Пояснення парадоксу
      2.10.4 Зауваження
      2.11 Парадокс перевірки гіпотез
      2.11.1 Історія парадоксу
      2.11.2 Парадокс
      2.11.3 Пояснення парадоксу
      Висновки
      Список використаних джерел
      Приложение

Вступ

Статистика - це фізика чисел

П. Діаконіс

Спочатку статистика була “державною арифметикою". Саме слово “статистика" походить від латинського слова status - держава. З найдавніших часів статистику використовували для того, щоб інформувати володарів держав про величину податку, який можна зібрати з громадян, або про кількість солдат, на яку можна розраховувати у воєнний час. Перший англійський статистичний документ “Книга судного дня", написаний в ХІ віці, також виник у зв'язку з потребами армії і податкообкладання. Статистика стала наукою аж в ХVІІ віці. Її основоположниками є Джон Граунт (1620 - 1674) і сер Вільям Петті (1623 - 1687). В роботі Петті “Політична арифметика” Англія, Голландія і Франція порівнювалися за їх населенням, торгівлею і судноплавством. З розвитком капіталізму статистичними даними стали цікавитися не тільки державні діячі. Поступово розвиваючись, математична статистика перетворилася в самостійну галузь математики. Математична статистика багата на парадокси. Ейрес стверджував, що 50 найбільш часто вживаних слів складають приблизно 50% звичайного тексту, 300 найбільш часто вживаних слів складають 75% тексту, а 1000 найбільш часто вживаних слів складають 90%. Не дивлячись на цей факт, не можна сказати, що коли нам відомі 50 чи 100 слів якоїсь мови, то ми вже наполовину її розуміємо, оскільки знання деяких слів, навіть якщо вони часто вживаються, навряд чи допоможе в розумінні будь-якого тексту. Не дивно, що багато людей вважають, що існує три види неправди: невинний обман, нахабна брехня і статистика.

Розділ І. Основні поняття математичної статистики

Точкові оцінки.

Означення. Випадковий вектор зі значеннями в просторі називатимемо вибіркою (вибірковим вектором).

Вибірку утворену послідовністю незалежних однаково розподілених випадкових величин , кожна з яких має розподіл , називають вибіркою з розподілу (закону) обсягом .

Множину усіх можливих значень вибірки (вибіркового вектора) будемо називати вибірковим простором (далі вибірковий простір - це або його підмножина).

Ми розглядатимемо вибірки, розподіли (функції розподілу) яких залежать від параметра . Множина можливих значень параметра є підмножиною скінчено-вимірного простору .

Постановка задачі оцінювання параметрів розподілів. Нехай - реалізація вибірки з розподілом . Розподіл залежить від параметра , який набуває значень із множини . Значення параметра невідоме і його необхідно оцінити (визначити) за реалізацією вибірки . У цьому і полягає задача оцінювання параметрів розподілів.

Єдине, що нам відомо для оцінювання невідомого параметра - це реалізація вибірки . Крім реалізації вибірки ми не маємо нічого, що несло б інформацію про значення параметра . Тому "оцінити (визначити) за реалізацією (точно чи хоча б наближено)" означає поставити у відповідність реалізації вибірки значення параметра . Формально це означає, що для оцінювання на вибірковому просторі - множині реалізації вибірок - необхідно визначити (побудувати, задати) функцію зі значеннями в - множині можливих значень параметра - таку, що дорівнює або хоча б наближено дорівнює . Значення ми й будемо використовувати як . Зазначимо, що для кожної реалізації значення , яке використовується як , буде своє; тому як функція є випадковою величиною.

Означення. Борелеву функцію , задану на вибірковому просторі , зі значеннями в - множині можливих значень параметра - будемо називати статистикою, а - борелеву функцію від вибірки - оцінкою.

Будувати статистики , такі щоб тобто статистики, з допомогою яких за можна було б точно визначити , явно не вдасться вже хоча б тому, що є константою, а оцінка як функція вибірки (випадкової величини) є випадковою величиною. Тож подобається нам чи ні, для визначення ми будемо змушені вдовольнятися оцінками , як наближеними значеннями .

Зазначимо, що для одного й того самого параметра можна запропонувати багато оцінок.

Похибки оцінювання параметрів. У зв'язку з постановкою задачі оцінювання параметрів розподілів як задачі знаходження наближених значень параметра треба вміти відповідати на запитання: наскільки великою є похибка при заміні на , інакше кажучи, як далеко можуть відхилятися значення оцінки , обчисленої за вибіркою , відповідної величини ?

Від оцінки , яка пропонується для оцінювання того чи іншого параметра, природно вимагати малого розсіювання її значень, іншими словами концентрації їх у вузькому колі. Як кількісну міру розсіювання значень випадкової величини розглядатимемо (для наочності - одновимірний параметр).

Кількісно міру похибки при заміні на (міру розсіювання відносно ) будемо описувати величиною

Серед усіх оцінок з однією і тією самою дисперсією (мірою розсіювання) мінімальну міру розсіювання відносно мають оцінки, для яких . Останнє випливає з рівностей

Означення. Оцінку будемо називати незміщеною оцінкою параметра , якщо , або, що те саме,

Наочно незміщеність оцінки параметра можна трактувати так: за багаторазового використання оцінки як значення , тобто за багаторазової заміни на , середнє значення похибки дорівнює нулеві.

Часто розглядають не одну оцінку , побудовану за вибіркою , а послідовність оцінок У цій ситуації природно говорити про асимптотичну поведінку послідовності оцінок.

Означення. Послідовність оцінок будемо називати спроможною послідовністю оцінок параметра , якщо для кожного

при , або, що те саме, збігається за ймовірністю до , при .

Означення. Послідовність оцінок називатимемо асимптотично незміщеною послідовністю оцінок параметра , якщо при , або, що те саме, при .

Оцінки мінімальної дисперсії.

Основне питання задачі оцінювання параметрів розподілів - наскільки великою є похибка при заміні параметра оцінкою .

Оцінки , що пропонуються для оцінювання параметра , повинні бути незміщеними, тобто .

Такі оцінки мають меншу міру розсіювання відносно порівняно з оцінками, для яких .

Для оцінювання параметра можна запропонувати багато незміщених оцінок. Із сукупності таких оцінок природно вибрати ті, що мають мінімально можливу міру розсіювання (дисперсію).

Означення. Незміщену оцінку параметра будемо називати його найкращою оцінкою, оцінкою мінімальної дисперсії або ефективною оцінкою, якщо .

У зв'язку з цим означенням природно виникає питання: наскільки малою може бути мінімально можлива дисперсія оцінки (наскільки малими можуть бути відхилення від )? Виявляється, що коли сукупність розподілів , вибірки досить регулярно залежить від оцінюваного параметра , то можна вказати нижню межу дисперсії всіх незміщених оцінок параметра (нерівність Крамера - Рао). У деяких випадках існують оцінки параметра, на яких нижня межа досягається. Ці оцінки є ефективними. Порівнюючи дисперсію даної оцінки з нижньою межею дисперсій незміщених оцінок, можна з'ясувати, наскільки оцінка близька до найкращої можливої. Докладніше.

Нехай вибірка фіксованого обсягу має щільність розподілу .

Параметр будемо вважати одновимірним, а щодо множини його можливих значень припустимо, що вона є скінченим інтервалом числової прямої.

Лема 1.2.1 Якщо майже для всіх існують похідні

і , ,

мажорові інтегрованими функціями:

і виконуються умови

; , ,

то для всіх

Означення. Функцію

(коли вона визначена) називають інформацією за Фішером.

У лемі 1.2.1 наведено достатні умови, за яких інформація існує. Зазначимо, що

Теорема 1.2.1 (нерівність Крамера - Рао). Нехай задовольняються умови леми 1.2.1 і

незміщена оцінка параметра така, що функція

мажоровна інтегрованою функцією:

Тоді (1.2.1)

причому рівність в (1.2.1) досягається тоді і тільки тоді, коли можна подати у вигляді

Наслідок 1. Якщо оцінка задовольняє умови теореми і для неї нерівність Крамера - Рао перетворюється на рівність, то є ефективною оцінкою параметра .

Наслідок 2. Якщо оцінка задовольняє умови теореми, а статистика - умову

де - щільність розподілу вибірки , то - незміщена й ефективна оцінка параметра .

Наслідок 3. Нехай вибірка з розподілу з щільністю , причому для сумісної щільності

випадкові величини виконані умови теореми. Тоді нерівність Крамера - Рао можна переписати у вигляді

.

1.1 Нерівність Крамера - Рао (розподіл дискретний)

Нерівність Крамера - Рао і твердження, аналогічні наведеним вище, мають місце також тоді, коли розподіл вибірки дискретний, тобто існує не більше ніж злічена множина точок , для яких

Лема 1.2.2 (розподіл дискретний).

Якщо для всіх можливих значень вибірки існують похідні

і , ,

Ряди

і

збігаються абсолютно й рівномірно відносно і виконуються умови

,

то для всіх

1.2 Теорема 1.2.2 (нерівність Крамера - Рао, розподіл дискретний)

Нехай задовольняються умови леми 1.2.2 і - незміщена оцінка параметра така, що для всіх можливих значень вибірки ряд

збігається абсолютно й рівномірно відносно . Тоді

причому рівність справджується тоді, коли можна подати у вигляді

Наслідок 1. Якщо оцінка задовольняє умови теореми і для неї нерівність Крамера - Рао

перетворюється на рівність, то є ефективною оцінкою параметра .

Наслідок 2. Якщо оцінка задовольняє умови теорем, а статистика - умову

де - розподіл вибірки , то - незміщена й ефективна оцінка параметра .

Наслідок 3. Нехай - вибірка з дискретного розподілу і для сумісного розподілу

випадкових величини виконані умови теореми, тоді нерівність Крамера - Рао можна записати у вигляді

.

1.3 Метод максимальної правдоподібності

Нехай - вибірка із розподілом , що залежить від параметра Параметр невідомий і його необхідно оцінити за вибіркою .

Означення. Функцією максимальної правдоподібності вибірки будемо називати функцію параметра , що визначається рівністю , , якщо вибірковий вектор абсолютно неперервний зі щільністю і рівністю , , якщо вибірковий вектор дискретний з розподілом .

Метод максимальної правдоподібності побудови оцінок полягає в тому, що за оцінку параметра вибирається точка , в якій функція максимальної правдоподібності досягає найбільшого значення.

Означення. Оцінкою максимальної правдоподібності будемо називати точку , в якій функція максимальної правдоподібності досягає найбільшого значення.

Іншими словами, оцінкою максимальної правдоподібності параметра будемо називати відмінні від константи розв'язки рівняння

,

якщо такі розв'язки існують. Корені, які не залежать від вибірки , тобто мають вигляд , де - константа, слід відкинути (оцінка - це функція вибірки).

Логарифм від функції максимальної правдоподібності називають логарифмічною функцією максимальної правдоподібності.

Зазначимо, що функції та досягають найбільшого значення в одній і тій самій точці. А відшукати точку, в якій функція досягає найбільшого значення, часто зручніше.

Якщо функція диференційована по , то для того щоб розв'язати рівняння

(1.3.1)

достатньо знайти стаціонарні точки функції

,

розв'язуючи рівняння

і, порівнюючи значення функції у стаціонарних точках і на межі множини , вибрати точку , в якій функція , досягає найбільшого значення. Ця точка і буде розв'язком рівняння (1.3.1).

Рівняння

називають рівняннями максимальної правдоподібності.

Метод найменших квадратів.

Нехай - незалежні нормально розподілені випадкові величини з однаковою дисперсією

та середніми лінійними по параметру :

де - відомі, не випадкові величини, а - невідомі параметри, які слід оцінити. Кожну випадкову величину можна представити:

де - похибки спостережень та вони всі різні. Відносно припускається:

1) - незалежні випадкові величини, ;

2) ;

3) , , - не корельовані (це означає, що та не пов'язані між собою лінійною залежністю).

;

4) ~.

МНК - оцінкою параметрів називають точку , в якій функція

досягає мінімального значення.

Диференціюємо цю функцію за параметрами :

,

.

Прирівнюємо похідні нулеві:

Розглянемо систему рівнянь:

Виразимо з цієї системи параметри :

,

,

,

,

.

Отже МНК - оцінками параметрів є

,

.

Розділ ІІ. Парадокси в математичній статистиці

2.1 Парадокс оцінок математичного сподівання

2.1.1 Історія парадоксу

Зрівнювання протилежних значень і відхилень в "середньому", тобто підсумовування спостережень до одного значення має давні традиції. Есхіл писав у трагедії "Евменіди": "Богу завжди середина люб'язна, і міру поважає божество", а послідовники китайського філософа Конфуція говорять, що "у нерухомості середнього є найбільша досконалість". Поняття "середнього" можна інтерпретувати в різний спосіб (середнє арифметичне, середнє геометричне, медіана і т. ін). Але у практичних застосуваннях протягом тривалого часу вкрай важливу роль відігравало середнє арифметичне. Вже в перших результатах теорії ймовірностей і математичної статистики вивчалося середнє арифметичне вибірки.

2.1.2 Парадокс

Нехай - реалізація вибірки з розподілу . Розподіл залежить від параметра , що набуває значень з деякої множини можливих значень . Значення параметра в розподілі невідомо, і його необхідно оцінити за реалізацією вибірки .

Якщо за розподіл обрати нормальний розподіл , то оцінка

незміщена, спроможна, ефективна оцінка для параметра . Для розподілу ж , відмінного від нормального, оцінка не є незміщеною оцінкою з найменшою дисперсією.

У цьому і полягає парадокс оцінки математичного сподівання.

2.1.3 Пояснення парадоксу

Нехай - вибірка з нормального розподілу з параметрами . Порахуємо математичне сподівання оцінки :

тому - незміщена оцінка для параметра .

З'ясуємо, чи є спроможною оцінкою параметра , тобто чи збігається за ймовірністю до . Для досить малих маємо:

в силу закону великих чисел. Останнє означає, що є спроможною оцінкою параметра .

Покажемо, що незміщена оцінка з найменшою дисперсією:

.

Умова обертання нерівності Крамера - Рао (дивитися підрозділ 1.2) в рівність говорить, що якщо статистика , така, що

де - щільність розподілу вибірки , то - незміщена й ефективна оцінка параметра .

Обчислимо :

== ==

== ==

=== =

= = ,

тому - ефективна оцінка для параметра .

Розглянемо сім'ю розподілів на , які залежать від параметра і задаються щільністю , .

Кількість інформації за Фішером визначимо

. (2.1.3.1)

За умов, що ми вважаємо, що підінтегральний вираз дорівнює нулеві. Отже,

Теорема 2.1.3.1 (Каган, Лінник, Рао) [1] У класі щільностей , зі скінченою дисперсією , що задовольняють умови

1. - неперервно-диференційована функція. (2.1.3.2)

2. при (2.1.3.3)

нерівність Крамера-Рао обертається на рівність на гауссівському розподілі.

Доведення. Будемо вважати, що

Позначимо множину точок , для яких через .

Оскільки неперервна, то - відкрита множина, і отже, можна подати як об'єднання відкритих інтервалів, що не перетинаються:

.

Інтегрування за частинами дає

,

.

Звідси . (2.1.3.4)

Скористаємось нерівністю Коші - Буняковського для інтегралів

.

Позначимо

, .

Тоді з (2.1.3.4) маємо

.

Отже,

,

.

При цьому знак рівності досягається тоді й тільки тоді, коли при деякій постійній

.

Знайдемо щільність з рівності:

. (2.1.3.5)

Розв'язуючи диференціальне рівняння маємо:

.

Для знаходження сталих скористаємося тим, що (інтеграл від щільності дорівнює 1), (математичне сподівання дорівнює 0), (дисперсія скінчена і дорівнює ).

Розв'язуючи рівняння:

Знаходимо

Отже, маємо щільність нормального розподілу з параметрами :

.

Теорема доведена.

Зауваження 1. Нерівність Крамера - Рао (1.2.1) в теоремі набуває вигляду .

Дійсно, згідно з наслідком 3 з теореми (нерівність Крамера - Рао)

Порахуємо :

Підставляємо в нерівність:

або,

,

або,

Зауваження 2. З одного боку

З іншого боку

.

Знак рівності в нерівності Крамера - Рао досягається тоді й тільки тоді, коли

,

або,

або,

В частинному випадку для щільності , розподілу маємо

2.2 Парадокс Байєса

2.2.1 Історія парадоксу

Томас Байєс, учень де Муавра, є одним з видатних засновників математичної статистики. Його теорема, доведена близько 1750 р. і опублікована лише після його смерті, стала джерелом деяких суперечок в статистиці. Вони не припинилися й досі. Більш того, теоретична прірва між послідовниками байєсівського й антибайєсівського підходів продовжує збільшуватися. Сформулюємо теорему Байєса.

Нехай та - довільні події, які мають імовірності та відповідно. Позначимо через ймовірність перетину подій та , - умовна імовірність події , якщо відомо, що подія відбулася. Якщо події - утворюють повну групу подій, тобто

1) - попарно неперетинні ( ),

2) ,

То

, ,

Остання формула називається формулою Байєса. Вона показує, як за апріорними ймовірностями подій (імовірностями подій відомими до того, як подія відбулася) знайти апостеріорні ймовірності подій (ймовірності подій після того, як подія відбулася).

Сама теорема безперечна, але в більшості її застосувань апріорні імовірності невідомі. В цьому випадку, як правило, вважають, що, оскільки відсутня попередня інформація про події , то усі ймовірності рівні, але такий підхід, взагалі кажучи, неприйнятний.

Байєс використовував свою теорему у випадках, коли апріорні імовірності були випадковими величинами, зокрема, рівномірно розподіленими на інтервалі .

Нехай - випадкова величина зі щільністю

.

Позначимо через - подію, яка полягає у тому, що у випробовуваннях Бернуллі подія відбулась разів, при цьому ймовірність події дорівнює .

Умовна щільність випадкової величини дорівнює

(2.2.1 1)

Де - це умовна ймовірність події за умов, що набуло значення дорівнює

. Тоді

(2.2.1 2)

І ймовірність того, що дорівнює

. (2.2.1 3)

Байєс висунув ідею про те, що якщо ми не маємо ніякої попередньої інформації про , апріорна щільність випадкової величини рівномірна на усьому інтервалі . Наприклад, якщо , , , , то за наведеною вище формулою (2.2.1 3), імовірність того, що більше , дорівнює . Дійсно,

Не всі довіряють цьому результату, зокрема, тому, що мають сумніви щодо рівномірності апріорного розподілу.

Незнання апріорного розподілу виявилось настільки руйнівним для обґрунтування статистичних виводів з теореми Байєса, що ця теорема була майже виключена зі статистичних досліджень. Але в другій третині ХХ століття байєсівський підхід знову здобув розвитку, завдяки важливій ролі, яку він відіграє при пошуку допустимих та мінімаксних оцінок. Все більш розповсюджувалась точка зору про те, що послідовне застосування формули Байєса (коли після кожного експерименту апостеріорні ймовірності переоцінюють і на наступному кроці вони використовуються як апріорні імовірності) знижує роль вихідного апріорного розподілу, оскільки після багаторазового переоцінювання вихідний апріорний розподіл не впливає на заключний апостеріорний розподіл.

(Очевидно, що деякі випадки не розглядаються, наприклад, коли значення дорівнює , а апріорний розподіл рівномірний на відрізку , що не містить точку ).

2.2.2 Парадокс

Нехай можливими значеннями випадкової величини є цілі числа. Припустимо, що ймовірнісний розподіл залежить від параметру , який належить відрізку . Якщо вибірка здобута з невідомого розподілу (розподілу з невідомим параметром ), то послідовність апостеріорних розподілів (які обчислені за вихідним апріорним розподілом)

.

концентрується навколо істинного значення невідомого параметра .

Парадоксально, але це не завжди вірно. Наприклад, істинне значення параметра може дорівнювати , а послідовність апостеріорних розподілів (при збільшенні числа спостережень ) все більше зосереджується, наприклад, біля .

2.2.3 Пояснення парадоксу

Парадоксальність ситуації полягає в тому, що очікується, що функція апостеріорної щільності буде набувати найбільше значення в околі істинного значення , тобто поблизу . Однак це міркування не суперечить тому, що функції апостеріорної щільності можуть усе більш зосереджуватись поблизу . Якщо число можливих значень величини скінченне, то такий випадок неможливий, але коли значеннями можуть бути будь-які цілі числа, парадоксальна ситуація може відбутися.

Нехай апріорний розподіл параметра рівномірний на відрізку . Визначимо функцію на цьому відрізку таким чином, що значеннями завжди є натуральні числа, за виключенням точок та , де . Нехай розподіл випадкової величини (який залежить від ) має вигляд

,

де є константою, для якої

.

При відповідному виборі вказана вище парадоксальна ситуація здійснена. [5]

Найбільшого розповсюдження набули три точкові оцінки параметра .

1. Мода. Оцінка параметра обирається виходячи з максимуму апостеріорної щільності, тобто

(2.2.3.1)

2. Медіана. Оцінка параметра обирається виходячи з рівності

,

або

3. Середнє. Оцінка параметра обирається як математичне сподівання

2.3 Парадокс методу найменших квадратів

2.3.1 Історія парадоксу

Через помилки вимірювань часто здається, що теоретичні формули й емпіричні дані суперечать одне одному. На початку минулого століття Лежандр, Гаус і Лаплас запропонували ефективний метод, що дозволяє зменшити вплив помилок вимірювань. Лежандр розробив і застосував цей метод у 1805 р. для знаходження орбіт комет. Початківцями цієї теорії були Галілей (1632), Ламберт (1760), Ейлер (1778) та інші. Новий метод, названий методом найменших квадратів, детально досліджував Гаус в своїй роботі “Теорія руху небесних тіл" (1809). Саме Гаус вказав на ймовірнісний характер цього методу. Хоча Лежандр і звинувачував Гауса в плагіаті, але він не міг пред'явити для цього достатні підстави. Гаус претендував на пріоритет лише у використанні методу, а не в його публікації. Лаплас опублікував свою основну роботу з теорії ймовірностей в 1812 р., присвятивши його “великому Наполеону”. Протягом всієї четвертої глави його роботи йде викладення числення похибок. З того часу метод найменших квадратів розвинувся в новий розділ математики.

Можливості методу часом переоцінюють і часто використовують тоді, коли інші методи підходили б більше. На цю проблему звертав увагу ще Коші (1853) під час “дебатів” з Бўєнеме.

2.3.2 Парадокс

Нехай - вибірка, утворена незалежними випадковими величинами зі щільністю

,

Ми маємо можливість спостерігати . За результатами спостережень необхідно оцінити невідомий параметр (параметри a, b вважаємо відомими). Оцінка параметра за методом найменших квадратів дорівнює

. (2.3.2.1)

Оцінка параметра за методом максимальної правдоподібності дорівнює

(2.3.2.2)

Оцінка параметра за МНК - методом не збігається з оцінкою, здобутою за методом максимальної правдоподібності.

Яка з них краще?

2.3.3 Пояснення парадоксу

Спочатку знайдемо оцінку параметра МНК - методом.

МНК - оцінкою параметра називають точку, в якій функція

(2.3.3.1)

досягає найменшого значення.

Обчислимо :

Порахуємо кожен інтеграл окремо:

перший інтеграл дорівнює

;

другий інтеграл дорівнює

;

третій інтеграл дорівнює

;

четвертий інтеграл дорівнює

.

Тоді маємо

.

Підставляємо в формулу (2.3.3.1):

.

Візьмемо похідну від функції по параметру :

.

Прирівнюємо похідну нулеві:

, .

Звідси знаходимо оцінку для параметра :

.

Знайдемо оцінку параметра за методом максимальної правдоподібності. [4] Випишемо функцію максимальної правдоподібності

.

Функція набуває максимального значення за умови, що набуває мінімального значення.

Нехай варіаційний ряд послідовності .

Розглянемо два випадки: n=2k-1; n=2k.

Нехай n=2k-1. На кожному з проміжків функція

лінійна. Причому на проміжку , , спадає (кутовий коефіцієнт - коефіцієнт при - від'ємний), і на кожному з проміжків , зростає. Отже, найменше значення неперервна функція досягає в точці . Нехай n=2k. Тоді на кожному з проміжків , …, , функція спадає, на проміжку - постійна і на , …,, зростає. Отже, найменше значення функція досягає в кожній точці проміжку .

Отже, за методом максимальної правдоподібності оцінкою параметра

є

Якщо - результати спостережень - розподілені нормально (щільність розподілу має вигляд , ), то згідно з МНК - методом та методом максимальної правдоподібності оцінкою параметра є

.

В методі найменших квадратів Гаусс виходив з припущення про нормальний розподіл похибок (і відповідно результатів спостережень), що на практиці зустрічається дуже часто. Якщо відомо, що розподіл похибок відмінний від нормального, використовувати МНК - метод для оцінювання параметрів не рекомендують. У вказаному вище парадоксі вживання оцінки більш виправдано.

Використовуючи стандартні поняття математичної статистики, парадокс можна коротко сформулювати наступним чином: оцінка за методом найменших квадратів не завжди збігається з оцінкою максимальної правдоподібності. Дійсно, якщо - додатна щільність, напівнеперервна знизу в точці ; - щільність розподілу вимірювань і є оцінка максимальної правдоподібності параметра для , то є щільністю нормального розподілу з нульовим середнім. Це - закон Гауса про похибки, який можна довести наступним чином: якщо припустити для простоти, що існує похідна , і добуток максимальний за умови, що , то

,

тобто (позначаючи ) з рівності випливає , що можливо при лише тоді, коли ; звідки випливає, що , де і - додатні числа (інакше функція не була б щільністю).

Таким чином, оцінка параметра зсуву за методом найменших квадратів збігається з оцінкою максимальної правдоподібності лише для нормальних розподілів.

2.4 Парадокс оцінок дисперсії

2.4.1 Історія парадоксу

Найважливішою характеристикою випадкових величин і їх розподілів разом з математичним сподіванням є дисперсія.

Нехай вибірка з розподілу . Якщо дисперсія розподілу скінчена, то при відомому математичному сподіванні розподілу вибіркова дисперсія

є незміщеною оцінкою дисперсії . Дійсно,

.

Ситуація змінюється, коли математичне сподівання розподілу невідоме і за оцінку математичного сподівання розглядається оцінка

.

Тоді вибіркова дисперсія

вже не є незміщеною оцінкою. Дійсно,

.

Оцінка є асимптотично незміщеною оцінкою для .

Оскільки незміщеність - одна з необхідних властивостей, яку повинна мати добра оцінка, змінимо оцінку так, щоб одержати незміщену оцінку для , а саме: помножимо на множник і позначимо нову оцінку :

.

Оцінка незміщена оцінка для [2]. Дійсно,

Проте парадокс оцінок дисперсії говорить про те, що не завжди треба обмежуватися розглядом лише незміщених оцінок. Іноді оцінка з малим зміщенням і малою мірою розсіювання значень оцінки краще незміщеної оцінки з великою дисперсією.

2.4.2 Парадокс

Нехай - вибірка з нормального розподілу . Оцінка

є незміщеною оцінкою для , а оцінка

для така, що міра розсіювання оцінки відносно мінімальна. Отже, вимоги незміщеності і мінімуму міри розсіювання приводять до різних оцінок. Якій з оцінок віддати перевагу?

2.4.3 Пояснення парадоксу

Розглянемо клас оцінок [6]. Математичне сподівання оцінок дорівнює . В класі оцінок існує єдина незміщена оцінка, яка відповідає і ця оцінка , тобто . Порахуємо міру розсіювання оцінок відносно :

Згідно з теоремою про розподіл оцінок і параметрів нормального розподілу випадкова величина має - розподіл з ступенями вільності. Тоді при

,

Звідки

і

.

Тоді перепишеться:

.

Позначимо функцію від через

.

Знайдемо , при якому функція досягає найменшого значення:

,

,

,

.

При цьому

,

і

,

а

.

Одержуємо нерівність

.

Таким чином, на підставі вимоги мінімуму міри розсіювання оцінки зміщена оцінка

,

зміщення якої

мале при достатньо великому обсязі вибірки , краще оцінює дисперсію , ніж незміщена оцінка .

Цей парадокс показує, що не може бути єдиного критерію, за яким необхідно порівнювати всі оцінки, як не існує єдиної оцінки даного параметра , яка прийнятна для всіх випадків.

Зауваження. Вибіркова дисперсія

при відомому математичному сподіванні є ефективною оцінкою для . Оцінка ж не є ефективною оцінкою для . Ефективної оцінки для (при невідомому математичному сподіванні) не існує, тобто ні для якої незміщеної оцінки параметра нерівність Крамера - Рао не обертається в рівність. Тому й виникає парадокс: оскільки незміщеної оцінки з мінімальною дисперсією не існує, то якій віддати перевагу.

2.5 Парадокс кореляції

2.5.1 Історія парадоксу

До останньої третини минулого століття деякі науки (наприклад, молекулярна фізика) досягли такого рівня розвитку, що стало необхідним використання в них теорії ймовірностей і математичної статистики. У 1859 р. книга Дарвіна спричинила революцію в біології і незабаром після цього родич Дарвіна Френсис Гальтон заклав основи генетики людини. (Дослідження Менделя з генетики були знов "відкриті" лише на рубежі століть; слово "генетика" використовується лише з 1905 р., але результати Гальтона привернули загальну увагу вже в минулому столітті) Гальтон і його учні (особливо Карл Пірсон) ввели такі важливі поняття, як кореляція і регресія, які стали основними поняттями в теорії ймовірностей і математичній статистиці (а також в пов'язаних з ними науках). Вага і зріст людини, природно, тісно пов'язані між собою, але вони не визначають один одного однозначно. Кореляція виражає цей зв'язок одним числом, абсолютна величина якого не перевершує 1. Для двох випадкових величин і кореляція визначається таким чином. Нехай і , і позначають математичне сподівання і стандартне відхилення і відповідно. Тоді коефіцієнт кореляції (або коротко кореляція) для і визначається формулою

(2.5.1.1)

Абсолютне значення кореляції максимальне (тобто дорівнює 1), якщо між і існує лінійна залежність, тобто . Якщо і незалежні (і їх дисперсії кінцеві), то їх кореляція дорівнює 0, іншими словами, вони некорельовані. У математичній статистиці оцінкою для кореляції , як правило, є вибірковий коефіцієнт кореляції, який будується за незалежною вибіркою так:

(2.5.1.2)

У ряді випадків добре описує зв'язок між і , але вже на рубежі століть обчислювалися залежності, позбавлені сенсу; наприклад, кореляція між числом гнізд лелек і числом немовлят. Поняття кореляції поступово містифікувалося і деякі "внутрішні" (взагалі кажучи, випадкові) зв'язки стали вважати такими, що існують, якщо була виявлена велика кореляція (тобто близька за абсолютною величиною до 1). Ось чому виникли абсолютно абсурдні результати, і це ледве не дискредитувало всю статистику. Як правило, ігнорувався той факт, що велика кореляція для і може бути результатом впливу якоїсь третьої величини. Наприклад, в Англії й Уельсі відмітили, що із збільшенням числа радіослухачів зростало число божевільних і розумово відсталих людей. Проте така інтерпретація абсолютно помилкова, оскільки не можна психічно захворіти від того, що слухаєш радіо. Справа лише в тому, що з часом зростає і число радіослухачів, і число випадків психічних захворювань, але між ними немає жодної причинної залежності. На жаль, невірні тлумачення не завжди настільки очевидні, наприклад, в технічних або економічних застосуваннях. Порівняння віросповідання і зростання людей дає ще один приклад надуманої залежності, згідно якої при прямуванні від Шотландії до Сіцілії доля католиків в населенні поступово зростає і в той же час середнє зростання людей спадає. Проте будь-який причинний зв'язок тут абсолютно неможливий. Розглянемо деякі парадокси кореляції.

2.5.2 Парадокси

2.5.2.1 Нехай випадкова величина рівномірно розподілена на інтервалі і . Очевидно, що між і існує тісний зв'язок, проте їх кореляція . (Кореляція для і завжди дорівнює нулеві, коли - випадкова величина зі скінченою дисперсією і симетричним відносно нуля розподілом)

2.5.2.2 Нехай - величини температуру в кімнаті в різних моментів часу і - кількість палива, яке використовують для обігріву в ті ж самі моменти часу (точніше, за даний проміжок часу). Логічно вважати, що чим більше палива використано, тим тепліше буде в кімнаті. Це означає, що кореляція для і У строго додатна.

Проте кореляція може виявитися від'ємною, що може бути інтерпретовано так: чим більше палива використано, тим стає холодніше.

2.5.2.3 Нехай випадковий вектор розподілений нормально, тобто щільність має вигляд

де - математичне сподівання і дисперсія величин і , а - їхня кореляція. Припустимо, що абсолютна величина кореляції строго менше 1. При невідомій кореляції ми можемо оцінити її за допомогою

,

використовуючи вибіркових значень. Якщо і відомі, то доцільно у формулі для замінити і відповідно на і . Таким шляхом отримаємо нову оцінку

.

Оскільки використовує більше інформації (а саме, значення величин і ) можна було б чекати, що дисперсія в менше, ніж в .

Проте А. Стюарт обчислив, що

тоді як

таким чином, остання дисперсія більша.

2.5.3 Пояснення парадоксів

2.5.3.1 Якщо і незалежні, то , але обернене твердження, взагалі кажучи, не вірне. Не корельовані випадкові величини можуть бути залежні, наприклад, як у вказаному вище прикладі, коли . Тому "некорельованість" не слід розуміти як незалежність.

2.5.3.2 Не можна забувати про вплив температури поза кімнатою! Кореляції часто виходять абсолютно неймовірними тому, що обчислюваний коефіцієнт кореляції для двох випадкових величин викривляється третьою що "ззовні впливає". Якраз для того, щоб уникнути цих перешкод, було введено поняття частої кореляції. Якщо кореляція для і У обчислюється лише після того, як вплив величини виключено, то результат перестає бути парадоксальним. Нехай і позначають кореляції і лінійними випадковими величинами та У, та , У та відповідно. Тоді частинна кореляція для і У без впливу дорівнює

У частковому випадку, коли часткова кореляція для і збігається з кореляцією . Коли і невідомі, їх можна оцінити за вибіркою аналогічно тому, як це відбувалося для . За допомогою цих оцінок отримаємо оцінку коефіцієнта частинної кореляції.

2.5.3.3 Парадокс Стюарта можна розглядати з різних точок зору. Головне полягає в тому, що оцінки і не є незміщеними оцінками для , тобто рівність і невірні, тому недоцільно вважати кращою ту оцінку, в якої дисперсія менша.

Мал.2.5.3.3.1 Розглянемо випадкові величини як вектори. Тоді кореляція для випадкових величин і дорівнює косінусу кута між векторами і , а їх частинна кореляція - косінусу кута між проекціями цих векторів на площину, перпендикулярну вектору .

У той же час обидві оцінки і зміщені несильно (вони є асимптотично незміщеними), отже, для пояснення парадоксу потрібний додатковий аналіз.

2.5.4 Зауваження

Зсув оцінки (у випадку двовимірного нормального розподілу) дорівнює

де позначає вираз, який множенням на , збігається до 0. Таким чином, зсув достатньо швидко прямує до 0 (при збільшенні обсягу вибірки ). З іншого боку, цікаво відзначити, що є незміщеною оцінкою для і, якщо для деякої функції , незалежної від , то , де - довільні сталі. У 1958 р. І. Олкін і Дж. Пратт довели що, якщо оцінка коефіцієнта кореляції явно залежить від , то можна вказати незміщену оцінку для , а саме

де - гіпергеометрична функція, яка визначається формулою

,

де є параметрами. А серед незміщених оцінок вже слід віддати перевагу тим, в яких дисперсія мінімальна. Можна показати, що оцінка не лише є незміщеною, але і має найменшу дисперсію. Проте для практичних застосувань оцінка достатньо складна, тому рекомендується використовувати її апроксимацію

.

2.6 Парадокси регресії

2.6.1 Історія парадокса

Коефіцієнт кореляції описує залежність між двома випадковими величинами одним числом, а регресія виражає цю залежність у вигляді функціонального співвідношення і тому дає більш повну інформацію. Наприклад, регресією є середня вага тіла людини як функція від його зросту. Поняття "регресія" запровадив Гальтон, який у кінці минулого століття порівнював зріст батьків зі зростом їх дітей. Він виявив, що зріст дітей у високих (або низьких) батьків звичайно вище (або нижче) середнього, але не співпадає зі зростом батьків. Лінія, яка показує, у якій мірі зріст (та інші характеристики) регресують (відновлюються) у середньому у наступних поколіннях, була названа Гальтоном лінією регресії.

Мал.2.6.1. Лінія регресії Гальтона.

Пізніше регресією стали називати будь-яку функціональну залежність між випадковими величинами. Спочатку регресійний аналіз застосовувався у біології і найважливішим науковим журналом, у якому висвітлювалась ця тема, був журнал "Біометрика" (“Biometrika”), який виходив з жовтня 1901 р. Між 1920 та 1930 р. великого значення набуло використання регресійного аналізу у економіці та виникла нова галузь науки: економетрика (термін належить Р. Фрищу (1926), який пізніше отримав Нобелевську премію). Від вивчення часткових регресійних задач дослідники поступово перейшли до регресійного аналізу структури, яка властива глобальним економічним системам. (Дж. Кейнс, Я. Тінберг та інші, наприклад, Р. Клейн, якому у 1980 р. присуджена Нобелевська премія з економіки).

Журнал "Технометрика" (“Technometrics”) виходить з 1959 р. і в основному присвячений технічним додаткам. Регресійний аналіз величини , визначається за іншою величиною , коли важко вимірити, а достатньо легко, досить важливий.

2.6.2 Парадокси

Припустимо, що залежність двох величин виражається функцією наступного вигляду , (наприклад, ), де невідомі тільки параметри (а функція відома, наприклад, лінійна квадратична і т.д.). Якщо ми можемо виміряти значення тільки з випадковими похибками спостережень, тобто замість ми спостерігаємо значення , які схильні до помилок, то згідно з методом найменших квадратів оцінки невідомих параметрів мінімізують суму квадратів

2.6.2.1 Якщо , то оцінка параметра мінімізує суму квадратів

(2.6.2.1 1)

У цьому випадку задача обчислення рівняння регресії звичайно спрощується, якщо обчислити логарифм від обох членів різниці, які знаходяться у дужках, і мінімізувати таку суму квадратів

(2.6.2.1 2)

Але ці два підходи до мінімізації дають різні оцінки. Який вихід з цієї пара и т.д.................


Перейти к полному тексту работы



Смотреть похожие работы


* Примечание. Уникальность работы указана на дату публикации, текущее значение может отличаться от указанного.