Распределение уверенности - Confidence distribution

В статистические выводы, концепция распределение уверенности (CD) часто вольно называют функцией распределения в пространстве параметров, которая может представлять доверительные интервалы всех уровней для интересующего параметра. Исторически сложилось так, что он обычно строился путем инвертирования верхних пределов нижних боковых доверительных интервалов всех уровней, и он также обычно ассоциировался с реперной точкой.[1] интерпретация (фидуциальное распределение ), хотя это чисто частотная концепция.[2] Доверительное распределение НЕ является функцией распределения вероятностей интересующего параметра, но все же может быть функцией, полезной для заключения.[3]

В последние годы наблюдается всплеск интереса к распределению уверенности.[3] В более поздних разработках концепция распределения уверенности возникла как чисто частотник концепция без какой-либо реперной интерпретации или рассуждений. Концептуально доверительное распределение не отличается от точечный оценщик или интервальный оценщик (доверительный интервал ), но он использует зависящую от выборки функцию распределения в пространстве параметров (вместо точки или интервала) для оценки интересующего параметра.

Простым примером доверительного распределения, широко используемым в статистической практике, является бутстрап распределение.[4] Разработка и интерпретация бутстраповского дистрибутива не требует каких-либо проверочных доводов; то же самое верно и для концепции доверительного распределения. Но понятие доверительного распределения намного шире, чем понятие бутстрап-распределения. В частности, недавние исследования показывают, что он охватывает и объединяет широкий спектр примеров, от обычных параметрических случаев (включая большинство примеров классического развития фидуциального распределения Фишера) до бутстраповских распределений, p-значение функции,[5] нормализованный функции правдоподобия и, в некоторых случаях, байесовский приоры и байесовский заднее.[6]

Подобно тому, как байесовское апостериорное распределение содержит массу информации для любого типа Байесовский вывод, доверительное распределение содержит большой объем информации для построения почти всех типов частотных выводов, включая точечные оценки, доверительные интервалы, критические значения, статистическая мощность и p-значения,[7] среди прочего. Некоторые недавние события высветили многообещающие возможности концепции КР как эффективного инструмента вывода.[3]

История концепции CD

Нейман (1937)[8] представил идею «уверенности» в своей основополагающей статье о доверительных интервалах, которая прояснила свойство частотного повторения. По словам Фрейзера,[9] семя (идею) распределения уверенности можно проследить даже до Байеса (1763 г.)[10] и Фишер (1930).[1] Хотя эта фраза, кажется, впервые была использована у Кокса (1958).[11] Некоторые исследователи рассматривают доверительное распределение как «интерпретацию Неймана фидуциальных распределений Фишера»,[12] который «яростно оспаривался Фишером».[13] Также считается, что эти «непродуктивные споры» и «упорная настойчивость» Фишера[13] может быть причиной того, что концепция распределения уверенности долгое время неверно истолковывалась как базовая концепция и не была полностью развита в рамках частотной структуры.[6][14] Действительно, доверительное распределение - это чисто частотная концепция с чисто частотной интерпретацией, и она также связана с концепциями байесовского вывода и фидуциальными аргументами.

Определение

Классическое определение

Классически доверительное распределение определяется путем инвертирования верхних пределов ряда нижних доверительных интервалов.[15][16][страница нужна ] Особенно,

Для каждого α в (0, 1) пусть (−∞,ξп(α)] будет нижним доверительным интервалом 100α% для θ, куда ξп(α) = ξп(Иксп, α) непрерывна и увеличивается по α для каждого образца Иксп. Потом, ЧАСп(•) = ξп−1(•) - доверительное распределение дляθ.

Эфрон заявил, что это распределение «приписывает вероятность 0,05 θ лежащая между верхними конечными точками доверительного интервала 0,90 и 0,95, так далее. »и« у него мощная интуитивная привлекательность ».[16] В классической литературе[3] функция доверительного распределения интерпретируется как функция распределения параметра θ, что невозможно, если не задействованы реперные рассуждения, поскольку в частотной настройке параметры фиксированы и не случайны.

Интерпретировать функцию CD полностью с частотной точки зрения и не интерпретировать ее как функцию распределения (фиксированного / неслучайного) параметра - это одно из основных отклонений недавних разработок по сравнению с классическим подходом. Хорошая вещь в том, чтобы рассматривать доверительные распределения как чисто частотную концепцию (похожую на точечную оценку), состоит в том, что теперь она свободна от тех ограничительных, если не спорных, ограничений, установленных Фишером для реперных распределений.[6][14]

Современное определение

Применяется следующее определение;[12][17][18] Θ пространство параметров интересующего нас неизвестного параметра θ, и χ пространство выборки, соответствующее данным Иксп={Икс1, ..., Иксп}:

Функция ЧАСп(•) = ЧАСп(Иксп, •) на χ × Θ → [0, 1] называется доверительным распределением (CD) для параметра θ, если он соответствует двум требованиям:
  • (R1) Для каждого заданного Икспχ, ЧАСп(•) = ЧАСп(Иксп, •) - непрерывная кумулятивная функция распределения на Θ;
  • (R2) При истинном значении параметра θ = θ0, ЧАСп(θ0) ≡ ЧАСп(Иксп, θ0), как функция образца Иксп, следует равномерному распределению U[0, 1].

Также функция ЧАС является асимптотическим CD (CD), если U[0, 1] требование выполняется только асимптотически, а требование непрерывности ЧАСп(•) опускается.

С нетехнической точки зрения, доверительное распределение является функцией как параметра, так и случайной выборки с двумя требованиями. Первое требование (R1) просто требует, чтобы компакт-диск был распределением в пространстве параметров. Второе требование (R2) устанавливает ограничение на функцию, чтобы выводы (точечные оценки, доверительные интервалы, проверка гипотез и т. Д.), Основанные на распределении достоверности, имели желаемые частотные свойства. Это аналогично ограничениям в точечной оценке для обеспечения определенных желаемых свойств, таких как объективность, согласованность, эффективность и т. Д.[6][19]

Доверительное распределение, полученное путем инвертирования верхних пределов доверительных интервалов (классическое определение), также удовлетворяет требованиям приведенного выше определения, и эта версия определения согласуется с классическим определением.[18]

В отличие от классического реперного вывода, для оценки параметра при любой конкретной настройке может быть доступно более одного доверительного распределения. Кроме того, в отличие от классического фидуциального вывода, оптимальность не является частью требования. В зависимости от настройки и используемого критерия иногда существует уникальное «лучшее» (с точки зрения оптимальности) распределение достоверности. Но иногда нет доступного оптимального распределения достоверности или, в некоторых крайних случаях, мы даже не можем найти значимое распределение достоверности. Это не отличается от практики балльной оценки.

Примеры

Пример 1: Нормальное среднее и дисперсия

Предположим, что нормальный образец Икся ~ N(μσ2), я = 1, 2, ..., п дано.

(1) Дисперсия σ2 известен

Позволять, Φ - кумулятивная функция распределения стандартного нормального распределения, и кумулятивная функция распределения Стьюдента распределение. Обе функции и данный

удовлетворяют двум требованиям в определении CD, и они являются функциями доверительного распределения дляμ.[3] Более того,

удовлетворяет определению асимптотического доверительного распределения, когда п→ ∞, и это асимптотическое доверительное распределение для μ. Использование и эквивалентны утверждению, что мы используем и чтобы оценить , соответственно.

(2) Дисперсия σ2 неизвестно

Для параметра μ, поскольку включает неизвестный параметр σ и это нарушает два требования в определении CD, это больше не «оценка распределения» или доверительное распределение дляμ.[3] Тем не мение, все еще компакт-диск для μ и компакт-диск дляμ.

Для параметра σ2, кумулятивная функция распределения, зависящая от выборки

- функция доверительного распределения для σ2.[6] Здесь, - кумулятивная функция распределения распределение .

В случае, когда дисперсия σ2 известен, является оптимальным с точки зрения получения кратчайших доверительных интервалов на любом заданном уровне. В случае, когда дисперсия σ2 неизвестно, оптимальное доверительное распределение для μ.

Пример 2: двумерная нормальная корреляция

Позволять ρ обозначает коэффициент корреляции из двумерный нормальный численность населения. Хорошо известно, что Фишер z определяется Преобразование фишера:

имеет ограничение распространения с высокой скоростью сходимости, где р - выборочная корреляция и п размер выборки.

Функция

является асимптотическим доверительным распределением для ρ.[нужна цитата ]

Использование доверительных распределений для вывода

Доверительный интервал

CDinference1.png

Из определения CD очевидно, что интервал и предоставить 100 (1 -α)% - доверительные интервалы уровня разного вида, для θ, для любого α ∈ (0, 1). Также уровень 100 (1 -α1 − α2)% доверительный интервал для параметра θ для любого α1 > 0, α2 > 0 и α1 + α2 <1. Здесь это 100β% квантиля или это решает для θ в уравнении . То же самое верно и для компакт-диска, где уровень достоверности достигается в пределах. Некоторые авторы предложили использовать их для графического просмотра значений параметров, согласующихся с данными, вместо целей охвата или производительности.[20][21]

Балльная оценка

Точечные оценки также могут быть построены с учетом оценки доверительного распределения для интересующего параметра. Например, учитывая ЧАСп(θ) компакт-диск для параметра θ, естественный выбор точечных оценок включает медианное значение Mп = ЧАСп−1(1/2), среднее , а точка максимума плотности КД

При некоторых скромных условиях, помимо других свойств, можно доказать, что все эти точечные оценки согласованы.[6][22]

Проверка гипотезы

Можно получить значение p для теста, одностороннего или двустороннего, относительно параметраθ, из его доверительного распределения ЧАСп(θ).[6][22] Обозначим вероятностной массой множества C под функцией доверительного распределения Этот пs(C) называется «опорой» в заключении CD, а также известна как «вера» в реперной литературе.[23] У нас есть

(1) Для одностороннего теста K0: θ ∈ C против. K1: θ ∈ Cc, куда C имеет тип (−∞,б] или же [б, ∞), из определения CD можно показать, что supθ ∈ Cпθ(пs(C) ≤ α) = α. Таким образом, пs(C) = ЧАСп(C) - соответствующее p-значение теста.

(2) Для одноэлементного теста K0: θ = б против. K1: θ ≠ б, п{K0: θ = б}(2 мин {пs(Cвот), из определения CD можно показать, что ps(Cвверх)} ≤ α) = α. Таким образом, 2 мин {пs(Cвот), пs(Cвверх)} = 2 мин {ЧАСп(б), 1 − ЧАСп(б)} - соответствующее p-значение теста. Здесь, Cвот = (−∞, б] и Cвверх = [б, ∞).

См. Рисунок 1 от Xie and Singh (2011).[6] для графической иллюстрации вывода компакт-диска.

Реализации

Несколько статистических программ реализовали возможность построения и построения графиков доверительных распределений.

р, через соглашаться,[24][25] pvalueфункции,[26] и эпизод[27] пакеты

Excel, через эпизод[28]

Stata, через соглашаться[24]

Смотрите также

Рекомендации

  1. ^ а б Фишер, Р.А. (1930). «Обратная вероятность». Proc. Кембридж Пилос. Soc. 26, 528–535.
  2. ^ Кокс, Д. (1958). "Некоторые проблемы, связанные со статистическим выводом ", "Анналы математической статистики "," 29 "357-372 (Раздел 4, Страница 363)
  3. ^ а б c d е ж Се, М. (2013). "Реплика распределения уверенности, оценки частотного распределения параметра - обзор". "Международное статистическое обозрение, 81, 68-77.
  4. ^ Ефрон, Б. (1998). «Р.А. Фишер в 21 веке» Статистическая наука. 13 95–122.
  5. ^ Фрейзер, Д.А.С. (1991). «Статистический вывод: вероятность значимости». Журнал Американской статистической ассоциации, 86, 258–265.
  6. ^ а б c d е ж грамм час Се, М. и Синг, К. (2013). «Распределение уверенности, оценка частотного распределения параметра - обзор (с обсуждением)». "Международное статистическое обозрение, 81, 3-39.
  7. ^ Фрейзер, Д.А.С. (29 марта 2019 г.). «Функция p-значения и статистический вывод». Американский статистик. 73 (sup1): 135–147. Дои:10.1080/00031305.2018.1556735. ISSN  0003-1305.
  8. ^ Нейман, Дж. (1937). «Изложение теории статистического оценивания на основе классической теории вероятностей». Фил. Пер. Рой. Soc A237 333–380
  9. ^ Фрейзер, Д.А.С. (2011). "Является ли Байесовский апостериор просто быстрой и грязной уверенностью?" Статистическая наука 26, 299-316.
  10. ^ Байес, Т. (1763). "Эссе к решению проблемы в Доктрине Шанса." Фил. Пер. Рой. Soc, Лондон 53 370–418 54 296–325. Перепечатано в Биометрика 45 (1958) 293–315.
  11. ^ Кокс, Д. Р. (июнь 1958 г.). «Некоторые проблемы, связанные со статистическим выводом». Анналы математической статистики. 29 (2): 357–372. Дои:10.1214 / aoms / 1177706618. ISSN  0003-4851.
  12. ^ а б Шведер Т. и Хьорт Н.Л. (2002). «Уверенность и вероятность», Скандинавский статистический журнал. 29 309–332. Дои:10.1111/1467-9469.00285
  13. ^ а б Забелл, С. (1992). "Р.А. Фишер и реперный аргумент", Стат. Sci., 7, 369–387
  14. ^ а б Сингх К. и Се М. (2011). "Обсуждение вопроса" Является ли Байесовский апостериор просто быстрой и грязной уверенностью? " пользователя D.A.S. Fraser ". Статистическая наука. Vol. 26, 319-321.
  15. ^ Кокс, Д. (2006). Принципы статистического вывода, ЧАШКА. ISBN  0-521-68567-2. (стр.66)
  16. ^ а б Ефрон, Б. (1993). «Байесовские расчеты и расчеты вероятности на основе доверительных интервалов.Биометрика, 80 3–26.
  17. ^ Сингх, К. Се, М. и Строудерман, У. (2001). «Доверительные распределения - концепция, теория и приложения». Технический отчет Департамента статистики, Rutgers Univ. Пересмотрено в 2004 г.
  18. ^ а б Сингх, К. Се, М. и Строудерман, У. (2005). «Объединение информации из независимых источников посредством распространения уверенности» Анналы статистики, 33, 159–183.
  19. ^ Се, М., Лю, Р., Дарамуджу, К.В., Олсан, В. (2012). «Объединение мнений экспертов с информацией из биномиальных клинических испытаний». Анналы прикладной статистики. В прессе.
  20. ^ Cox, D. R .; Хинкли, Д. В. (1979-09-06). Теоретическая статистика. Чепмен и Холл / CRC. Дои:10.1201 / b14832. ISBN  978-0-429-17021-8.
  21. ^ Рафи, Зад; Гренландия, Сандер (30.09.2020). «Семантические и когнитивные инструменты в помощь статистической науке: замените уверенность и значимость совместимостью и неожиданностью». BMC Методология медицинских исследований. 20 (1): 244. Дои:10.1186 / s12874-020-01105-9. ISSN  1471-2288. ЧВК  7528258. PMID  32998683.
  22. ^ а б Сингх, К. Се, М. и Строудерман, У. (2007). "Доверительное распределение (CD) - оценка распределения параметра", в Сложные наборы данных и обратные задачи Лекционные заметки IMS - серия монографий, 54(Р. Лю и др.) 132–150.
  23. ^ Кендалл, М., и Стюарт, А. (1974). Расширенная теория статистики, Объем ?. (Глава 21). Вайли.
  24. ^ а б Рафи [авт, Зад; cre; Выготский, Андрей Д. (2020-04-20), concurve: вычисляет и строит графики интервалов совместимости (достоверности), P-значений, S-значений и интервалов правдоподобия для формирования функций созвучия, неожиданности и правдоподобия, получено 2020-05-05
  25. ^ «Concurve графиков кривых созвучия, функций p-значения и функции S-значения.« Статистическое моделирование, причинно-следственный вывод и социальные науки ». statmodeling.stat.columbia.edu. Получено 2020-04-15.
  26. ^ Инфангер, Денис (2019-11-29), pvaluefunctions: создает и отображает функции P-значения, S-значения, распределения достоверности и плотности достоверности, получено 2020-04-15
  27. ^ Блэк, Джеймс; Ротман, Кен; Телуолл, Саймон (2019-01-23), Episheet: Эпизит Ротмана, получено 2020-04-15
  28. ^ «Современная эпидемиология, 2-е издание». www.krothman.org. Получено 2020-04-15.

Библиография