Раздел 1. Введение: Зачем нужна верификация алгоритмов
При проведении психологических исследований (в рамках курсовых, диссертаций или планового мониторинга учреждений образования) ключевым требованием к софту является математическая точность. До сих пор в академической среде бытует мнение, что обработку данных можно доверять только тяжеловесным зарубежным пакетам вроде IBM SPSS или StatSoft STATISTICA.
Мы решили провести открытый краш-тест клиентского JavaScript-движка платформы Лаборатории статистики и сравнить его расчеты с эталонным пакетом STATISTICA 12.5.
Для проверки мы взяли выборку из 30 испытуемых, разделенную на две независимые группы: подвыборка «м» (n = 15) и подвыборка «ж» (n = 15). В качестве параметров использовались числовые шкалы «IQ_Балл» и «Агрессия».
Раздел 2. Пошаговый расчет t-критерия Стьюдента в StatSoft STATISTICA
Параметрический (t)-критерий Стьюдента применяется для сравнения средних значений в двух независимых группах, если распределение признака является нормальным.
Шаг 1. Импорт и подготовка данных
- Откройте программу StatSoft Statistica 12.
- После загрузки перед Вами появится всплывающее окно “Welcome To Statistica” его можете закрыть.
- Перейдите к окну с таблицей и нажмите на самую верхнюю левую ячейку. См. рисунок 1.
Рисунок 1 – Загрузка и открытие программы StatSoft Statistica 12
- Затем перейдите в Excel-файл, где размещены Ваши сырые данные (по проведенным тестам).
Рисунок 2 – Выбор данных из Excel
- Из excel-файла выберите данные без первой колонки и нажмите ctrl+c на клавиатуре.
- Перейдите в программу Statistica и еще раз нажмите на первую ячейку таблицы и нажмите ctrl+v.
- Перед Вами появится модальное окно Text Label Warning.
Рисунок 3 – Перенос данных из Excel в Statistica
- Нажмите на Import with Text Labels. Ваша таблица будет перенесена из Excel в Statistica.
- Затем Вам необходимо каждую колонку (название) изменить. Для этого нажмите на «шапку колонки».
Рисунок 4 – Изменение названий колонок в Statistica
Шаг 2. Вызов модуля базовой статистики
- Вместо Var1 напишите название вашей первой колонки из Excel. (В данном случае ФИО). Вместо Var2 - напишите Пол и тд.
- На вкладке программы Statistica сверху нажмите Statistics -> Basic Statistics -> t-test, independent, by groups (t-критерий для независимых выборок, по группам) -> Нажмите Ok.
Рисунок 5 – Подсчет критерия Стьюдента для независимых выборов в программе Statistica
Шаг 3. Конфигурация переменных и кодов групп
- Нажмите кнопку Variables. В левое поле (Dependent variable list) выберите числовые переменные: IQ_Балл и Агрессия. В правое поле (Grouping variable) выберите текстовую переменную деления выборки: Пол. Нажмите OK.
Рисунок 6 – Выбор переменных и группирующей колонки
Шаг 4. Расчет и интерпретация результатов
Нажмите кнопку Summary: T-tests в правом верхнем углу. Программа выдаст сводную таблицу расчетов.
- Результаты подсчета отобразятся так как представлено на рисунке 7.
Рисунок 7 – Результаты подсчет критерия Стьюдента в программе Statistica
Как интерпретировать эту таблицу:
- Главное внимание обращаем на колонку t-value (эмпирическое значение критерия) и p (уровень статистической значимости).
- Для параметра IQ_Балл программа выдала t-value = -0.7147 и p = 0.4806. Так как (p > 0.05), различия средних не достоверны.
- Для параметра Агрессия программа выдала t-value = 4.5163 и p = 0.0001. Так как (p < 0.01), мужчины значимо и достоверно опережают женщин по уровню агрессии.
Вывод:
Следует понимать, что данные выводы может сделать лишь обученный специалист знающий как интерпретировать математические данные, подсчитанные статистикой. Данный софт хорошо использовать математикам и инженерам, а вот для гуманитариев интерпретация представляет собой большую проблему. Именно поэтому нами был создан движок позволяющий сделать всю «черную» и тяжелую работу, связанную с интерпретацией конкретному алгоритму. Поэтому рассмотрим сейчас как работает «Лаборатория статистики»
Раздел 3. Расчет и автоматическая интерпретация в «Лаборатории статистики»
Прогоним этот же массив данных через наше аналитическое ядро на чистом JavaScript. Движок платформы работает в режиме автопилота: пользователь загружает данные (вместе с шапкой: ФИО, ПОЛ, и тд), а система сама проверяет распределение и подбирает адекватный метод. См. рисунок 8.
Рисунок 8 – Облачный движок «лаборатория статистики» на примере подсчета данных по t-критерию Стьюдента
Подсчет идет не в 13 действиях как в Statistica, а в 4 короткие действия:
- Выберите данные из Excel (вместе с шапкой) и нажмите Ctrl+C (на клавиатуре) и затем перейдите в Лабораторию и нажмите Ctrl+V. Обратите внимание, что система сразу подсчитает, моду, медиану, стандартное отклонение и четко пропишет распределение нормальное или скошенное! Это критические важно для последующего легитимного подбора статистического критерия.
- Выберите практическую цель Вашего исследования. Думать о том, какой конкретный критерий больше не нужно! Система сделает это за вас. В данном случае выбираем «Сравнить показатели 2-х и более независимых групп».
- В конфигураторе межполовых различий Вы заметите 2 выпадающих списка. Выберите в первом списке IQ_Балл, а во втором колонке (групп), например ПОЛ и система сама перестроится дополнительно показав, что различия оно будет искать у мужчин и женщин.
- Нажмите на кнопку «Рассчитать различия групп». И перед Вами появится подробнейшая аналитика с выводом объекта, предмета, гипотезы исследования, статистической информации, графика. См. Рисунок 9.
Рисунок 9 – Выводы, результаты и интерпретация по подсчитанным данным
Единственный нюанс заключается в том, что параметр (колонку), которую Вы будете сравнивать у разных групп надо будет менять, например в нашем случае мы сначала выбрали в первом выпадающем списке IQ, вывели результаты, а затем поменяли на Агрессия и вывели результаты. Это сделано для того, чтобы не «захломлять» исследование данными, где отличия оно не нашло. Например, в нашем случае различий у мужчин и женщин нет по параметру IQ и поэтому описывать это нам не имеет смысла, но в то же самое время есть принципиальные отличия по уровню агрессии мужчин и женщин.
Обратите внимание на цифры: они в точности совпадают с теми цифрами, которые выдала каноническая программа Statistica.
Сравнительный анализ результатов: Момент истины
Давайте сопоставим цифры двух систем в финальной таблице.
| Анализируемый параметр |
Метрика |
Пакет StatSoft STATISTICA 12.5 |
Движок Лаборатория Статистики |
Сверка результатов |
| IQ_Балл |
Среднее (м) / (ж); Значение (t_{эмп}); Уровень значимости (p) |
107.80 / 110.13; -0.715; 0.4807 |
107.80 / 110.13; 0.715; 0.4807 |
100% совпадение (точность до тысячных) |
| Агрессия |
Среднее (м) / (ж); Значение (t_{эмп}); Уровень значимости (p) |
14.93 / 11.13; 4.516; 0.0001 |
14.93 / 11.13; 4.516; 0.0001 |
100% совпадение (математический эталон) |
Раздел 4. Плюсы и минусы подходов: объективный разбор
Для наглядности сравним практическую ценность десктопного софта и нашего облачного решения.
| Критерий сравнения |
Классические десктопные пакеты (STATISTICA) |
Экспертная система «Лаборатория Статистики» |
| Плюсы |
Возможность обрабатывать сотни переменных одновременно в одной огромной матрице. Большой выбор редких методов многомерного анализа для узких математиков. |
Готовый текстовый вердикт: выдает написанное научным языком готовое заключение, а не просто сетку цифр. 100% безопасность данных: все расчеты крутятся в ОЗУ браузера на стороне клиента (localStorage). Не требует скачивания, установки и взлома лицензий. |
| Минусы |
Сложный интерфейс на английском языке, требующий специального обучения. Высокая стоимость лицензии (либо риски поймать вирусы при скачивании пиратских версий). |
Вычисления проводятся последовательно для пар переменных (что, с другой стороны, страхует исследователя от случайных ошибок ввода). |
Вывод краш-теста
Перекрестная верификация доказала: вычислительное ядро Лаборатории Статистики выдает математически безупречный результат, идентичный мировым стандартам. Платформа делает сложную академическую статистику доступной, понятной и безопасной, избавляя психологов от рутины ручных расчетов и тяжелого зарубежного софта.
[[SCIENTIFIC-PANEL]]
Лаборатория статистики
Провести статистический анализ данных онлайн.
[[END-PANEL]]