Перевод статьи: Zucker Hank «What is significance?» //Quirk's Marketing Research Review (
www.quirks.com), 1994.-№ 0092.
«Уровень значимости» термин, который вводит в заблуждение многих исследователей.Обычно, «значимый» означает важный, в то время как в статистике «значимый» означает, возможно достоверный (истинный, справед-ливый). Исследовательский поиск может быть достоверным, не будучи важным. Когда статистики говорят, что результат «высоко значим» они имеют в виду, что «высокая вероятность справедливости, истинности». Это не обязательно означает, что результат очень важен.
Для примера рассмотрим запись в примечании к таблице одного исследования: Хи-квадрат 0,07 (P=0,795) и Хи-квадрат 24,37 (P=0,001). Это и есть уровни значимости для реальных значений критерия Хи-квадрат.
Уровень значимости показывает, какова вероятность получение истинного (достоверного) результата. Чаще все используется уровень значимости в 95% - достаточный, чтобы быть достоверным. Это означает, что в 95% случаев результат будет правдивым. Однако, как показывает практика, это значение также вводит в заблуждение. Нет статистических программ, показывающих вам значения «95%» или «0,95» для указанного уровня значимости. Вместо этого, они показывают «0,05», что означает, что полученный результат ложен (неправилен) в пяти процентах (0,05) случаев (то же самое, как 95% процентов случаев правдив).
Чтобы найти значение уровня значимости необходимо вычесть указанное число из единицы. Например, значе-ние «0,01» означает, что в 99% (1 - 0,01 = 0,99) случаев наблюдаемые явления достоверны.
Если, например, t-критерий Стьюдента показал уровень значимости 0,07, это означает, что существует 93% уверенность в том, что два средних, сравниваемых выборок будут действительно отличаться.
Иногда думают, что уровень значимости 95% это некое магическое (священное) число. Если тест показывает уровень значимости 0,06, это означает, что в 94% случаев наблюдаемые явления достоверны. Но вы не можете быть абсолютно уверены, также, как и в случае с 95%. В научных публикациях уровень 0,05 (95%) - это тот уровень, который принят как достаточный, чтобы доказать свои предположения.
Если вы проводите большое количество тестов (например множественные сравнения), ложные положительные результаты могут стать серьезной проблемой. Помните, что на 95% правды остается 5% ошибок. Поэтому, если 100 тестов показали уровень значимости 0,05 (95%), среди них остается еще 5% неверных предположений. Вы не можете сказать, какие результаты ложные, а какие истинные - просто знайте, что они есть.
Для небольшой выборки вы можете либо ограничить число тестов или, что лучше, повторить исследование и посмотреть, получится ли тот же результат. Если что-то является статистически значимым в двух отдельных исследованиях, оно, вероятно, и на самом деле справедливо.
И последнее, проверяйте процедуры отбора образцов, чтобы избежать предвзятости. Вносите случайность в эксперимент, рандомизируйте.
_______________
©
6 сигма - статистический анализ экспериментальных данных
______________________________________________________________
