Заполнение пропусков

При проведении исследований, часто, по разным причинам можно наблюдать пропуски, отсутствующие данные.
При этом собрать материал не представляется возможным и велик соблазн заполнить пропуски.

Мы считаем, что заполнять пропуски данных средними значениями нежелательно:
а) "..такие алгоритмы хотя и привлекательны, но дают слишком оптимистические результаты, которые обычно потом не подтверждаются при проверке работоспособности мат.модели...." (Реброва О.Ю. Статистический анализ медицинских данных....-М., МедиаСфера, 202.-312 с.

б) "…..самым простейшим приемом анализа неполных данных является исключение некомплектных наблюдении, содержащих пропуски хотя бы в одной из переменных, и дальнейший анализ полученных таким образом “полных” данных. Вполне понятно, что такой подход приводит к сильному различию статистических выводов, сделанных при наличии в данных пропусков и при их отсутствии.
Большинство программных средств использует такие методы заполнения пропусков, как средневыборочные по присутствующим значениям, с помощью уравнения регрессии или главных компонент. Подобные методы заполнения приводят к тому, что распределение данных после заполнения будет существенно отличаться от истинного распределения и представлять собой смесь истинного и вырожденных распределений (распределений, соответствующих некомплектным наблюдениям с различными структурами пропусков) с вырождением на гиперплоскостях, на которых располагаются предсказываемые значения.
Оценки параметров таких “полных” данных не будут отвечать требованиям состоятельности и несмещенности. Качество оценок с увеличением доли пропусков будет ухудшаться. Кроме того, если параметры для заполнения пропусков вычисляются по присутствующим данным, как в рассматриваемых методах, то появляется зависимость между наблюдениями…" (Чурилова Э. Ю. Проблемы неполных данных при исследовании деятельности малых предприятий, 1998)

_______________
© 6 сигма - статистический анализ экспериментальных данных
______________________________________________________________

11%

..... в работе рассмотрено 53 статьи, посвященных изучению рака: исследователи попытались воспроизвести результаты этих работ (важно то, что они общались с авторами оригинальных статей, получали от них дополнительные данные и и т.д.).

Только в 11% случаев удалось воспроизвести результаты.

http://www.nature.com/nature/journal/v485/n7396/full/485041e.html
_______________
© 6 сигма - статистический анализ экспериментальных данных
______________________________________________________________

Литотрипсия

Проведен статистический анализ данных исследования по влиянию объема и радиоплотности камней в почках на исходы литотрипсии

_______________
© 6 сигма - статистический анализ экспериментальных данных
______________________________________________________________

Неожиданное

В результате статистической обработки изображений и сравнения их с матрицей выяснилось, что художники верхнего палеолита ошибались в 46,2% случаев, рисуя походку четвероногих, а  вот художники и скульпторы исторической эпохи, включая самых дотошных исследователей природы, таких как Леонардо да Винчи, в 83,5% случаев изображали походку животных неверно

Можно сказать, что художники той поры если и изображали лошадь правильно, то по чистой случайности. Следует отметить, что ваятели грешили неточностями несколько реже живописцев, поскольку при некоторых положениях конечностей, изображенных на картинах, статуи просто не держались бы на ногах. ......

источник >>> 
_______________
© 6 сигма - статистический анализ экспериментальных данных
______________________________________________________________

Эксп.план

Хорошее дело - прежде чем начать экспериментировать - хорошенько все спланировать.
Редкое пока дело, и тем более радостное.
Получили заказ на создание экспериментального плана докторской диссертации по медицине.

_______________
© 6 сигма - статистический анализ экспериментальных данных
______________________________________________________________

Махинации

Ранее мы уже обсуждали этот вопрос и теперь возвращаемся к нему - махинации в науке.
Любопытная статья, обратите внимание, что часто махинации связаны с манипуляциями с данными.

_______________
© 6 сигма - статистический анализ экспериментальных данных
______________________________________________________________

Полураспад

....В 2005 году врач и статистик Джон Иоаннидес опубликовал в журнале PLoS Medicine статью «Почему большая часть публикуемых данных исследований неверна». Иоаннидес каталогизировал изъяны большей части биомедицинских исследований, указывая на то, что маленькие отчёты реже оказываются верными, что постулируемые эффекты по большей части слабы, формы и выводы отчётов слишком гибки, финансовые и нефинансовые конфликты интересов встречаются повсеместно, а конкуренция в этой области является жёсткой. Иоаннидес заключил, что «для многих современных областей науки провозглашённые результаты исследований могут часто являться просто точными измерениями старых предрассудков». Тем не менее, наука продолжает двигаться вперёд, порождая новые факты и изменяя старые.

Другая причина, по которой персональные знания разлагаются, заключается в том, что люди цепляются к тем «фактам», которые подтверждают их слепую веру в устройство нашего мира. Арбесман замечает: «Мы склонны добавлять к нашим знаниям только те факты, которые согласуются с тем, что мы уже знаем, вместо того чтобы принимать любые факты — независимо от того, меняют ли они нашу картину мира». Это очень верно. «Подтверждающий» уклон распространён повсеместно.....

_______________
© 6 сигма - статистический анализ экспериментальных данных
______________________________________________________________

Редкая радость

На нашей улице праздник: в руки попалось второе издание уникальной книги "КАК ОПИСЫВАТЬ СТАТИСТИКУ В МЕДИЦИНЕ. Руководство для авторов, редакторов и рецензентов" от Томаса А. Ланга и Мишелль Сесик.

Из аннотации: "Она не имеет аналогов на русском языке и представляет чрезвычайную ценность для исследователей в области медицины и биологии. Учитывая отсутствие единообразия в описании статистических методов в отечественной медицинской науке, книга станет полезным пособием для специалистов, разделяющих принципы доказательной медицины. Простой и доступный язык изложения сложных понятий в сочетании с примерами способен выработать у читателя устойчивый навык корректного и достаточно полного описания методов статистики. Следование этим рекомендациям гарантирует читательское понимание описаний результатов исследования, что, в свою очередь, значительно повысит вероятность цитирования этих работ.
Достоинством этого издания является "Путеводитель по статистическим терминам и критериям", который поможет читателям разрешить терминологические проблемы, возникающие при написании статей, а также существенно облегчит понимание англоязычных статей."

_______________
© 6 сигма - статистический анализ экспериментальных данных
______________________________________________________________

Фракталы

И это тоже математика!!!

еще >>>>> http://www.fresher.ru/2012/11/14/fraktalnoe-iskusstvo/ 
_______________
© 6 сигма - статистический анализ экспериментальных данных
______________________________________________________________

Статистика и политика

Несомненно, победителем этой президентской кампании в США можно считать не только Обаму, но и Нейта Сильвера, журналиста-статистика, комментировавшего эти (и предыдущие) выборы с точки зрения статистических моделей, построенных на результатах опросов. Сильвер убедительно показал, что СМИ обманчиво преувеличивали степень непредсказуемости этой кампании. Первые полосы газет, новостные выпуски, политические блоги - все они в последние недели перед выборами твердили снова и снова, насколько близки кандидаты друг к другу, и что невозможно предсказать, кто из них выигрывает в каких ключевых штатах, и кто победит. Яростная борьба, интрига, неуверенность в результате до последнего момента - все это привлекает читателей, но все это было в данном случае по большей части выдуманным. Уже несколько недель назад было понятно, что Обама почти наверняка победит, и можно было предсказать довольно точно, в каких штатах. Именно это и сделал Сильвер, и его предсказания, основанные на статистике, а не высосанные из пальца комментаторами-политологами, оказались самыми точными. Он правильно предсказал результаты во всех 50 штатах.
_______________
© 6 сигма - статистический анализ экспериментальных данных
______________________________________________________________