Выборка считается репрезентативной если относительная ошибка репрезентативности

Репрезентативность — важнейшее свойство данных, используемых для построения аналитических моделей. Оно отражает способность данных представлять зависимости и закономерности исследуемой предметной области, которые должна обнаружить и научиться воспроизводить построенная модель. Иными словами, репрезентативность показывает, содержат ли анализируемые данные достаточно информации для построения качественной модели, а так же, может ли эта информация быть использована алгоритмом построения модели.

Репрезентативность генеральной совокупности отражает способность совокупности описывать существенные свойства, зависимости и закономерности объектов, процессов и явлений предметной области. Она достигается за счёт правильной организации сбора и консолидации первичных данных.

Репрезентативность выборки описывает способность выборочных данных отражать структурные свойства совокупности, из которой они были извлечены. Т.е. даёт ответ на вопрос: можно ли в исследовании заменить совокупность на выборку без значимого ухудшения результатов анализа. Репрезентативность выборки достигается с помощью правильного выбора метода сэмплинга.

Таким образом, репрезентативность выборки касается только воспроизведения характеристик совокупности. Если сама исходная совокупность плохо представляет предметную область, то, даже если полученная из неё выборка будет репрезентативной, построить на её основе корректную с точки зрения предметной области модель невозможно.

Например, пусть компания собирается вывести на рынок новый продукт. При этом она хочет провести маркетинговые исследования в виде опроса клиентов о желаемых характеристиках и параметрах продукта. Число клиентов компании насчитывает сотни тысяч человек (генеральная совокупность), поэтому опросить их всех не представляется возможным физически, не является целесообразным экономически.

Поэтому компания формирует выборку клиентов для проведения опроса. Если мнение клиентов из выборки отражает мнение большинства клиентов и может быть использовано для принятия решений о параметрах и характеристиках нового продукта, то такая выборка будет репрезентативной.

Независимо от того, в какой предметной области и какими методами производятся выборочные исследования, отсутствие репрезентативности выборки приводит к некорректным результатам. Поэтому в процессе анализа необходимо убедиться, что сформированная выборка репрезентативна.

Таким образом, репрезентативная выборка — это такая выборка, в которой представлены все подгруппы, важные для исследования. Помимо этого, характер распределения рассматриваемых параметров в выборке должен быть таким же, как в генеральной совокупности.

Особенно важным является обеспечение репрезентативности в машинном обучении, для построения моделей классификации и регрессии используется несколько выборок: обучающая, тестовая и валидационная, которые тем или иным способом отбираются из исходного набора данных. И все эти выборки должны быть репрезентативными.

Обеспечение репрезентативности

В основе построения репрезентативной выборки лежит правильный выбор используемого алгоритма сэмплинга. При этом размер выборки, хотя и является важным, сам по себе не гарантирует ее репрезентативности. Например, интернет-опрос может показать, что 100% людей пользуется интернетом, хотя это не соответствует действительности (т.е. репрезентативность нарушена).

Выделяют качественную (структурную) и количественную репрезентативность.

Качественная репрезентативность

Качественная репрезентативность показывает, что все группы, присутствующие в совокупности, будут представлены и в выборке. Для этого каждый элемент совокупности должен иметь равную вероятность, быть выбранным, а сама выборка должна производиться из однородных групп.

Наиболее оптимальным способом формирования репрезентативной выборки является простой случайный сэмплинг, поскольку в этом случае у любого представителя генеральной совокупности будет одинаковая вероятность попасть в выборку.

Например, при формировании выборки клиентов для опроса, в нее попадут люди из различных социальных групп пропорционально их долям в генеральной совокупности. В результате, выборка будет представлять собой уменьшенную копию генеральной совокупности.

Случайность отбора респондентов в выборку может обеспечивается различными методами. Например, для опроса клиентов берутся номера клиентских карт, которые случайным образом отбираются компьютерной программой с использованием генератора случайных чисел.

Однако, на практике применить простой случайный сэмплинг не всегда представляется возможным. Это связано с тем, что генеральная совокупность может быть неоднородной и будет содержать группы объектов.

Например, если опрос будет проводиться по телефону, то большинство откликов будет получено от пенсионеров, как людей менее занятых и более склонных идти на контакт. Очевидно, что если опрос проводится о продукте, ориентированном на молодёжь, то ценность мнения пенсионеров вряд ли будет высокой.

Чтобы решить эту проблему, можно использовать случайный стратифицированный сэмплинг, когда исходная совокупность сначала разделяется на слои (страты) по некоторому признаку. Например, клиенты могут быть стратифицированы по возрасту. Тогда страты могут быть сформированы пропорционально доле объектов в группах, что позволит уменьшить или увеличить долю той или иной группы, сохранив репрезентативность.

Другой вариант — использовать кластерный (групповой) сэмплинг, когда клиенты предварительно разбиваются на качественно однородные группы — кластеры, и отбор производится из каждого кластера независимо. При этом вероятность отбора может быть одинаковой для всех кластеров, или различной. Можно некоторые кластеры вообще исключить из отбора. В нашем примере клиенты могут быть разбиты на кластеры по социальному статусу — студенты, работающие, пенсионеры, военнослужащие и т.д. Таким образом, долю, пенсионеров в выборке, можно уменьшить или совсем исключить.

Количественная репрезентативность

Количественная репрезентативность показывает, является ли достаточным число элементов выборки для представления характеристик генеральной совокупности с заданной погрешностью. Например, при неизвестной величине генеральной совокупности, когда результат отражается в виде показателя относительной доли, число элементов выборки, обеспечивающее количественную репрезентативность, может быть вычислено по формуле:

n=frac{t^{2}cdot pcdot q}{Delta ^{2}}

где t — доверительный коэффициент, показывающий, какова вероятность того, что размеры показателя не будут выходить за границы предельной ошибки, p — доля единиц наблюдения, обладающих изучаемым признаком, q=1−p — доля единиц наблюдения, не обладающих изучаемым признаков, Δ — допустимая ошибка выборки.

Например, одним из показателей качества кредитного портфеля банка является доля заёмщиков, допустивших просрочку. Предельная ошибка, которую можно допустить, чтобы разброс значений показателя не превышал разумные границы, Δ=5% . При этом показатель может принимать значения 25% ±5%, т.е. от 20% до 30%. Допуская t=2, что обеспечивает 95% вероятность, получаем

n=frac{2^{2}cdot 0,25cdot 0,75}{0,05^{2}}=300 заёмщиков.

Если же показатель — не относительная средняя величина просроченной задолженности по всем клиентам, то число наблюдений будет:

n=frac{t^{2}cdot sigma ^{2}}{Delta ^{2}}

где sigma ^{2} — среднеквадратическое отклонение значений исследуемого признака.

Если используется выборка без возврата и размер генеральной совокупности известен, то для определения необходимого размера случайной выборки при использования относительных величин (долей) применяется формула:

n=frac{t^{2}cdot pcdot qcdot N}{Delta ^{2}cdot N+t^{2}cdot pcdot q}

где N — число наблюдений генеральной совокупности. Для средних значений исследуемой величины формула примет вид:

n=frac{t^{2}cdot sigma ^{2}cdot N^{2}}{Delta ^{2}cdot N^{2}+t^{2}cdot sigma ^{2}}

Тогда, в предыдущем примере, положив число клиентов N=500, получим:

n=frac{2^{2}cdot 0,25cdot 0,75cdot 500}{0,05^{2}cdot 500+2^{2}cdot 0,25cdot 0,75}approx 188 клиентов.

Таким образом, необходимый объем выборки при безвозвратном отборе меньше, чем при возвратном (соответственнo, 188 и 300).

В целом, число наблюдений, требуемое для получения репрезентативной выборки, изменяется обратно пропорционально квадрату допустимой ошибки.

Методы оценки репрезентативности

Формально, выборку называют репрезентативной, когда результат оценки определенного параметра по данной выборке совпадает с результатом, оцененным по генеральной совокупности с учетом допустимой погрешности (ошибки репрезентативности). Если выборочная оценка отличается от оценки по генеральной совокупности более, чем на заданный уровень погрешности, то такая выборка считается нерепрезентативной.

Репрезентативность оценивается по отдельным параметрам выборки и совокупности. При этом выборка может оказаться репрезентативной по одним параметрам и нерепрезентативной по другим. Поэтому говорить о репрезентативности как о дихотомическом свойстве выборки (репрезентативна или нерепрезентативна) было бы не верно: выборка может одни параметры генеральной совокупности воспроизводить более точно, а другие — менее. Поэтому правильнее говорить о мере репрезентативности определённой выборки по конкретным параметрам.

Основным моментом в определении репрезентативности выборки является обоснование погрешности, в пределах которой выборка признается репрезентативной. Одна и та же выборка может быть достаточно репрезентативной для одной задачи и недостаточно для другой. Кроме этого, нужно проверять репрезентативность выборки по параметрам, имеющим существенное значение для предметной области исследования. Например, в маркетинговых исследованиях для анализа клиентов важны пол, возрасту, образование и пр.

Следует отметить, что далеко не все задачи бизнес-аналитики требуют строгого статистического подтверждения репрезентативности выборок. Как правило, это задачи точного прогнозирования. Что касается обычных задач, связанных, например, с определением предпочтений действующих и потенциальных клиентов, то они решаются охватом типичной клиентуры, которую можно найти непосредственно в торговых центрах.

Статистические методы

Данные, полученные в результате выборочных обследований, являются реализациями случайных величин (возраст, стаж работы, доход и т.д.). Обычно, на практике считают, что выборка является репрезентативной, если её статистические параметры (среднее значение, дисперсия, среднеквадратичное отклонение и т.д.) отличаются от параметров совокупности не более, чем на 5%.

Однако, данный подход применим только при условии, что вся генеральная совокупность известна и для неё можно вычислить статистические характеристики. Но на практике такое встречается редко, поскольку часть потенциально интересных для исследования объектов оказывается недоступной для наблюдения.

В этом случае прибегают к формированию двух независимых выборок, вычисляют и сравнивают их характеристики, и если они совпадают (не различаются значимо), то выборки считаются репрезентативными. В теоретическом плане такой подход является достаточно привлекательным, однако, на практике сложно реализуем. Во-первых, формирование нескольких выборок ведёт к дополнительным затратам, а во-вторых, если параметры выборок значимо различаются, то невозможно сказать, какая из них репрезентативна.

Для сравнения двух выборок используются два вида критериев: непараметрические и параметрические. Первые не используют в расчётах значений параметров статистических распределений, а оперируют частотами и рангами. К числу наиболее популярных непараметрических критериев можно отнести критерий Уилкоксона и U-критерий Манна-Уитни. Второй рекомендуется использовать, если число наблюдений превышает 30. К числу популярных параметрических критериев относится t-критерий Стьюдента, критерий однородности Смирнова, Q-критерий Розенбаума и др.

Нестатистические методы

Статистические методы оценки репрезентативности выборочных данных, хотя и являются строго обоснованными, но довольно сложны в использовании (особенно для пользователей, не имеющих достаточной математической подготовки). Кроме этого они могут иметь ограничения (например, независимость выборок), удовлетворить которым достаточно сложно.

Статистические подходы к оценке репрезентативности выборок имеет смысл использовать, если для анализа данных используются статистические методы. Методы машинного обучения, которые является эвристическими и в большинстве случаев не обеспечивают точного и единственного решения, вообще говоря, не нуждаются в точной оценке репрезентативности обучающих выборок. Поэтому в них используются свои техники для определения того, насколько обучающая или тестовая выборка хорошо представляют исходную совокупность.

Ещё одной особенностью выборок, используемых в машинном обучении, является то, что объём исходной совокупности, из которой формируются обучающее, тестовое, а при необходимости, и валидационное множество, известен, поскольку данные содержатся в консолидированных таблицах источника данных.

Обычно нестатистические меры репрезентативности используют расстояния между векторами наблюдений в пространстве признаков. Рассмотрим, например, такой показатель как индекс ближайшего соседа (Nearest Neighbours Index — NNI). Предположим, что выборка включает n ближайших соседей внутри некоторой области пространства признаков. Вычислим величину, представляющую собой среднее расстояние между i-м объектом и всеми остальными объектами в выборке (области соседства):

overline{D}_{sample}=frac{1}{n}sumlimits_{i=1}^{n}D_{i}

где D_i — расстояние от i-го объекта до остальных объектов выборки, n — число объектов выборки.

Затем вычислим величину:

overline{D}_{total}=sqrt{frac{D_{_{total}}}{N}}

где D_{_{total}} — общее расстояние по всей совокупности, N — число наблюдений совокупности.

Тогда индекс ближайшего соседа будет:

NNI=frac{overline{D}_{sample}}{overline{D}_{total}}

Если значение данного показателя близко к 1, то точки выборки имеют равномерное пространственное распределение. Если меньше 1, то пространственное распределение точек неоднородно. Если NNI больше 1, то имеет место значительная дисперсия значений внутри выборки.

Очевидно, что наилучшим вариантом с точки зрения репрезентативности будет первый случай, когда пространственное распределение точек данных в совокупности и выборке примерно одинаковое. Второй случай показывает, что внутри выборки могут присутствовать некоторое локальные особенности, нехарактерные для всей совокупности.

В литературе можно найти больше количество разнообразных алгоритмов и методов оценки репрезентативности выборок для машинного обучения, разработанных для различных предметных областей исследования и типов задач анализа. Большинство их них являются эвристическими и не гарантируют получения наилучшего результата. Поэтому самым надёжным критерием репрезентативности выборки, на основе которой строилась определённая обучаемая модель, является точность и обобщающая способность самой модели.

Ремонт выборки

Возникает вопрос: а что делать в ситуации, когда аналитику доступна только выборка «как есть», а её репрезентативность неудовлетворительная? При этом доступ к генеральной совокупности для формирования более репрезентативной выборки у него отсутствует (например, из-за проблем с сетью, невозможности повторных исследований из-за высоких затрат и т.д.). В этом случае улучшить ситуацию может специальная процедура, которая называется «ремонт выборки».

Все действия аналитика, связанные с репрезентативностью, можно разделить на два этапа: контроль и ремонт.

1. Контроль выборки — процедура сравнения генеральной совокупности и выборки, выявление степени их расхождения, обнаружение причин отклонений и разработка возможных способов их устранения.
2. Ремонт выборки — процесс устранения расхождения генеральной совокупности и выборки.

Контроль и ремонт выборки рассматриваются как обязательные этапы любого выборочного исследования. Хотя, некоторые авторы не разделяют эти два этапа, а включают ремонт в общую процедуру контроля выборки. Ряд вопросов, связанных с контролем выборки был рассмотрен выше.

Основной целью ремонта является повышение качества выборки в смысле отражения ею зависимостей и закономерностей исследуемых процессов и явлений, которые требуется обнаружить в процессе анализа. При этом не следует путать ремонт выборки с повышением качества данных вообще.

Ремонт выборки, обычно, включает следующие задачи:

1. Коррекция выборки. Заключается в замене ранее выбранных объектов совокупности. Коррекция может потребоваться, например, если в выборке произошло искажение распределения объектов относительно исходной совокупности, например, получился избыток пенсионеров, мужчин, женщин или людей с определённым уровнем образования. Замена может быть произвольной (например, следующий клиент по списку) или эквивалентной (подыскивается клиент с теми же параметрами — пенсионера меняем на пенсионера и т.д.).
2. Расширение основы выборки. Позволяет включить в выборку большее разнообразие наблюдений. Основа выборки — это подмножество элементов генеральной совокупности, из которого будет формироваться выборка. Использование основы выборки позволяет сделать отбор более целевым, исключив обработку данных, не относящихся к задаче анализа, лучше сфокусироваться на целевой группе. В анализе клиентской базы основой выборки могут быть только мужчины, только женщины, люди в возрасте от 30 до 60 и т.д. Если выборка получилась недостаточно репрезентативной, то решить проблему можно расширяя границы основы выборки. Например, если изначально основой выборки являлась только люди пенсионного возраста, то при необходимости она может быть расширена и на людей предпенсионного возраста.
3. Взвешивание. При взвешивании объектам выборки могут присваиваться весовые коэффициенты, которые могут учитываться в алгоритме анализа. Например, повышенные весовые коэффициенты могут присваиваться клиентам, которые наиболее активно пользовались услугами компании (купили товаров и услуг на сумму выше некоторого порога). Логично предположить, что мнение таких клиентов будет более значимым.

Следует отметить, что единого, строго обоснованного подхода к ремонту выборок, вообще говоря, не существует, хотя в литературе можно встретить некоторые общие рекомендации. В большинстве практических случаев аналитику приходится самостоятельно выбирать, какие преобразования следует применить к выборке для повышения её репрезентативности.

Другие материалы по теме:

Обработка пропусков в данных

Loginom Data Quality. Очистка клиентских данных. Деморолик

В
статистике выделяют два основных метода
исследования — сплошной и выборочный.
При проведении выборочного исследования
обязательным является соблюдение
следующих требований: репрезентативность
выборочной совокупности и достаточное
число единиц наблюдений. При выборе
единиц наблюдения возможны ошибки
смещения,
т.е. такие события, появление которых
не может быть точно предсказуемым. Эти
ошибки являются объектив­ными и
закономерными. При определении степени
точности выборочно­го исследования
оценивается величина ошибки, которая
может прои­зойти в процессе выборки
— случайная
ошибка репрезентативности (m)
— является
фактической разностью между средними
или относительными величинами, полученными
при проведении выборочного исследования
и аналогичными величинами, которые были
бы получены при проведении исследования
на гене­ральной совокупности.

Оценка
достоверности результатов исследования
предусматривает определение:

1.
ошибки репрезентативности

2.
доверительных границ средних (или
относительных) величин в генеральной
совокупности

3.
достоверности разности средних (или
относительных) величин (по критерию t)

Расчет
ошибки репрезентативности
(m_м)
средней арифмети­ческой величины
(М):

,
где σ
— среднее квадратическое отклонение; n
— численность выборки (>30).

Расчет
ошибки репрезентативности (m_Р)
относительной величины (Р):

,
где Р — соответствующая относительная
величина (рассчитанная, например, в %);

q
=100 — Ρ%
— величина, обратная Р; n
— численность выборки (n>30)

В
клинических и экспериментальных работах
довольно часто приходится использовать
малую
выборку, когда
число наблюдений меньше или равно 30.
При малой выборке для расчета ошибок
репрезентатив­ности, как средних, так
и относительных величин,
число
наблюде­ний уменьшается на единицу,
т.е.

;
.

Величина
ошибки репрезентативности зависит от
объема выборки: чем больше число
наблюдений, тем меньше ошибка. Для оценки
достоверности выборочного показателя
принят следующий подход: показатель
(или средняя величина) должен в 3 раза
превышать свою ошибку, в этом случае он
считается достоверным.

83. Определение доверительных границ средних и относительных величин.

Знание
величины ошибки недостаточно для того,
чтобы быть уве­ренным в результатах
выборочного исследования, так как
конкрет­ная ошибка выборочного
исследования может быть значительно
больше (или меньше) величины средней
ошибки репрезентативности. Для
оп­ределения точности, с которой
исследователь желает получить ре­зультат,
в статистике используется такое понятие,
как вероят­ность безошибочного
прогноза, которая является характеристикой
надежности результатов выборочных
медико-биологических статистических
исследований. Обычно, при проведении
медико-биологических статистических
исследований используют вероятность
безошибочного прогноза 95% или 99%. В
наиболее ответственных случаях, когда
необходимо сделать особенно важные
выводы в теоретическом или практическом
отношении, используют вероятность
безошибочного прогноза 99,7%

Определенной
степени вероятности безошибочного
прогноза соот­ветствует определенная
величина предельной
ошибки случайной выборки (Δ
— дельта),
которая определяется по формуле:

Δ=t
* m
, где t
— доверительный коэффициент, который
при большой выборке при вероятности
безо­шибочного прогноза 95% равен 2,6;
при вероятности безоши­бочного
прогноза 99% — 3,0; при вероятности
безошибочно­го прогноза 99,7% — 3,3, а при
малой выборке определяется по специальной
таблице значений t
Стьюдента.

Используя
предельную ошибку выборки (Δ),
можно определить до­верительные
границы,
в которых с определенной вероятностью
безо­шибочного прогноза заключено
действительное значение статистичес­кой
величины,
характеризующей
всю генеральную совокупность (сред­ней
или относительной).

Для
определения доверительных границ
используются следующие формулы:

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Концепция репрезентативности часто встречается в статистических отчетах и ​​при подготовке выступлений и отчетов. Пожалуй, без него сложно представить какое-либо представление информации для ознакомления.

Репрезентативность — что это?

Репрезентативность отражает степень, в которой выбранные объекты или части соответствуют содержанию и значению набора данных, из которого они были выбраны.

Другие определения

Репрезентативность можно понимать в разных контекстах. Но по своему смыслу репрезентативность — это соответствие характеристик и свойств выбранных единиц генеральной совокупности, которые точно отражают характеристики всей генеральной базы данных в целом.

Кроме того, репрезентативность информации определяется как способность данных выборки представлять параметры и свойства совокупности, которые важны с точки зрения проводимых исследований.

Репрезентативная выборка

Принцип выборки заключается в выборе наиболее важных свойств, которые точно отражают общую совокупность данных. Для этого используются различные методы, позволяющие получить точные результаты и общее представление о генеральной совокупности, используя только выборочные материалы, описывающие качество всех данных.

Таким образом, нет необходимости изучать весь материал, но достаточно учесть выборочную репрезентативность. Что это? Это набор отдельных данных, чтобы получить представление об общей массе информации.

В зависимости от метода они делятся на вероятностные и маловероятные. Вероятностный — это выборка, которая создается путем вычисления наиболее важных и интересных данных, которые в будущем будут репрезентативными для генеральной совокупности. Это осознанный выбор или случайная выборка, однако оправданная своим содержанием.

Маловероятно — это одна из разновидностей случайной выборки, составленной по принципу обычной лотереи. В этом случае мнение лица, взявшего такую ​​пробу, не принимается во внимание. Используется только слепая жребий.

Вероятностная выборка

Вероятностные выборки также можно разделить на несколько типов:

• Один из самых простых и понятных принципов — нерепрезентативная выборка. Например, этот метод часто используется при проведении социальных опросов. При этом участники опроса не выбираются из общей массы по каким-либо конкретным критериям, а информация берется от первых 50 человек, принявших участие.
• Выборка вероятностей — это еще одна разновидность выборки невероятности, которая часто используется для исследования больших наборов данных. Для этого используется множество условий и правил. Выбираются объекты, которые должны им соответствовать. То есть на примере социального опроса можно предположить, что будет опрошено 100 человек, но при составлении статистического отчета будет учитываться только мнение определенного количества людей, которые будут соответствовать установленным требованиям.
• Преднамеренные выборки отличаются тем, что они имеют ряд требований и условий для отбора, но все же полагаются на совпадения, не преследуя цели получения хорошей статистики.

Вероятностные выборки

Для вероятностных выборок рассчитывается ряд параметров, которым будут соответствовать объекты в выборке, и среди них различными способами могут быть выбраны именно те факты и данные, которые будут представлены как репрезентативность данных выборки. Эти методы расчета требуемых данных могут быть:

• Простая случайная выборка. Он заключается в том, что среди выделенного сегмента методом полностью случайной лотереи выбирается необходимый объем данных, который будет репрезентативной выборкой.

• Систематическая и случайная выборка позволяет составить систему расчета необходимых данных на основе случайно выбранного сегмента. Итак, если первое случайное число, указывающее порядковый номер данных, выбранных из общей совокупности, равно 5, следующими данными для выбора могут быть, например, 15, 25, 35 и так далее. Этот пример ясно объясняет, что даже случайный выбор может быть основан на систематических вычислениях требуемых входных данных.

Выборка потребителей

Осмысленная выборка — это способ взглянуть на каждый отдельный сегмент, и на основе его оценки составляется генеральная совокупность, отражающая характеристики и свойства всей базы данных. Таким образом, собирается больше данных, отвечающих требованиям репрезентативной выборки. Легко выбрать набор параметров, которые не будут включены в общее количество, без потери качества выбранных данных, представляющих генеральную совокупность. Таким образом определяется репрезентативность результатов исследования.

Размер выборки

Не последняя проблема, которую необходимо решить, — это размер выборки для репрезентативной репрезентативности населения. Размер выборки не всегда зависит от количества источников в генеральной совокупности. Однако репрезентативность выборки напрямую зависит от того, на сколько сегментов в конечном итоге следует разделить результат. Чем больше таких сегментов, тем больше данных включается в итоговую выборку. Если результаты требуют общих обозначений и не требуют конкретики, то в результате выборка становится меньше, поскольку, не вдаваясь в детали, информация представлена ​​более поверхностно, а значит, ее прочтение будет общим.

Понятие ошибки репрезентативности

Репрезентативная систематическая ошибка — это конкретное несоответствие между характеристиками населения и данными выборки. При проведении выборочного исследования невозможно получить абсолютно точные данные, как при полном изучении генеральных популяций и выборки, представленной только частью информации и параметров, в то время как более детальное изучение возможно только при изучении всей совокупности численность населения. Поэтому некоторые ошибки и ошибки неизбежны.

Виды ошибок

При составлении репрезентативной выборки возникают некоторые ошибки:

• Случайный.
• Стандарт.
• Не намеренно.
• Систематический.
• Предел.
• Умышленное.

Причиной появления случайных ошибок может быть прерывистый характер исследования генеральной совокупности. Обычно ошибка случайной репрезентативности незначительна по величине и характеру.

Между тем систематические ошибки возникают, когда нарушаются правила отбора данных из генеральной совокупности.

Средняя ошибка — это разница между средним значением выборки и основной совокупностью. Это не зависит от количества единиц в выборке. Он обратно пропорционален размеру выборки. Таким образом, чем больше объем, тем меньше среднее значение ошибки.

Предельная ошибка — это наибольшая возможная разница между средним значением выполненной выборки и всей генеральной совокупностью. Эта ошибка характеризуется как максимум возможных ошибок в данных условиях их возникновения.

Преднамеренные и непреднамеренные ошибки репрезентативности

Ошибки искажения данных могут быть преднамеренными или непреднамеренными.

Итак, причины появления преднамеренных ошибок — это подход к отбору данных с использованием метода выявления трендов. Непреднамеренные ошибки возникают и на этапе подготовки выборочного наблюдения, формирования репрезентативной выборки. Чтобы избежать таких ошибок, необходимо создать хорошую основу выборки для списков единиц выборки. Он должен полностью соответствовать целям выборки, быть надежным и охватывать все аспекты исследования.

Валидность, надежность, репрезентативность. Расчет ошибок

Расчет ошибки репрезентативности (Mm) среднего арифметического (M).

Стандартное отклонение: размер выборки (> 30).

Репрезентативная ошибка (Мр) и относительная величина (Р): размер выборки (n> 30).

В случае, если необходимо изучить совокупность, где размер выборки невелик и менее 30 единиц, количество наблюдений уменьшится на одну единицу.

Величина ошибки прямо пропорциональна размеру выборки. Репрезентативность информации и расчет степени возможности составления точного прогноза отражает определенное значение предельной погрешности.

Репрезентативные системы

В процессе оценки представления информации используется не только репрезентативная выборка, но и лицо, получающее информацию, также использует репрезентативные системы. Таким образом, мозг обрабатывает определенный объем информации, создавая репрезентативную выборку всего потока информации, чтобы качественно и быстро оценить предоставленные данные и понять суть проблемы. Ответьте на вопрос: «Представление — что это?» — В масштабе человеческого сознания это довольно просто. Для этого мозг использует все подчиненные органы чувств, в зависимости от типа информации, которую необходимо изолировать от общего потока. Поэтому проводится различие между:

• Система визуального представления, в которой задействованы органы зрительного восприятия глаза. Людей, которые часто используют эту систему, называют визуалами. С помощью этой системы человек обрабатывает информацию, поступающую в виде изображений.
• Система кинестетической репрезентации — это обработка потока информации путем ее восприятия через обонятельные и тактильные каналы.
• Система слухового представления. Основной используемый орган — слух. Информация, предоставленная в виде аудио- или голосового файла, обрабатывается именно этой системой. Людей, которые лучше всего воспринимают информацию на слух, называют аудиалами.

• Система цифрового представления используется вместе с другими как средство получения информации извне. Это субъективно-логическое восприятие и понимание полученных данных.

Так что же такое репрезентативность? Простая выборка из набора или целостная процедура обработки информации? Мы можем однозначно сказать, что репрезентативность во многом определяет наше восприятие потоков данных, помогая выделить самые тяжелые и наиболее важные из них.

Что такое репрезентативная выборка?

Определение репрезентативной выборки: Репрезентативная выборка определяется как небольшое количество или подмножество чего-то большего. В ней представлены те же свойства и пропорции, что и в более крупной популяции.

Например, рассмотрим бренд, который собирается запустить новый продукт в одном из городов США. Практически невозможно отправить опрос для сбора информации об особенностях продукта от каждого жителя города. Поэтому исследователи собирают небольшую выборку людей, которые будут представлять население города, и проводят среди них опрос, чтобы узнать их мнение о продукте. Такая выборка называется репрезентативной.

Выбор респондентов

Репрезентативной выборкой могут быть люди или даже химические вещества в научных исследованиях, которые могут быть протестированы в лаборатории для анализа результата той или иной химической реакции. Однако в этом блоге мы сосредоточимся на людях и разберем важность репрезентативной выборки населения в маркетинговых исследованиях и другие полезные аспекты.

Почему необходимо использовать репрезентативную выборку в исследованиях?

Репрезентативная выборка позволяет исследователям абстрагировать собранную информацию на более крупную популяцию. Большинство маркетинговых и психологических исследований не подходят с точки зрения времени, денег и ресурсов для сбора данных обо всех. Практически невозможно собрать данные от каждого человека, особенно для большой популяции, такой как целая страна.

Хорошая новость заключается в том, что «вам и не нужно этого делать!». Здесь важнее получить хорошую репрезентативную выборку, чтобы большая часть вашего времени и энергии ушла на получение ответов от небольшой группы людей, которые будут представлять большую популяцию.

Вновь и вновь в научных исследованиях для проведения исследований, сбора данных и анализа результатов привлекалась меньшая группа людей. Давайте разберемся в важности репрезентативной выборки для значимых исследований.

Важность репрезентативной выборки для практических исследований

• Репрезентативная выборка будет работать в вашу пользу для проведения успешных маркетинговых исследований. Можете ли вы представить себе, что нужно опросить всех жителей страны или даже города? Это прозвучало бы как самый непрактичный план, было бы слишком сложно и заняло бы много времени.
• Репрезентативная выборка — это небольшое количество людей, которые максимально точно отражают более обширную группу. Тогда мы можем применить, например, онлайн-опрос к выборке населения, стремясь к тому, чтобы она была наиболее представительной для нашей целевой аудитории.
• Мы не получим лучших результатов, если, например, отправим опрос без учета репрезентативности, и не будем знать, кто на него отвечает и отражают ли результаты мнение нашей целевой аудитории.
• Если у нас нет репрезентативности, действительно, у нас будут данные, которые не будут служить нам вообще. Мы должны гарантировать, что выборка несет в себе характеристики, которые важны для нашего исследования.
• Примите во внимание, что у нас всегда будет смещение выборки, потому что всегда найдутся люди, которые не ответят на опрос по разным причинам или ответят неполно. В этом случае мы не сможем полностью получить необходимые нам данные. Что касается размера выборки, то чем больше размер выборки, тем больше вероятность того, что она будет точно представлять широкую популяцию.
• Большая репрезентативная выборка дает нам большую уверенность в том, что в нее включены именно те люди, которые нам нужны, а также уменьшает возможную предвзятость. Поэтому, если мы хотим избежать неточностей в наших опросах, мы должны иметь репрезентативные и сбалансированные выборки.

Как построить репрезентативную выборку

Исследователи используют два метода построения репрезентативных выборок — вероятностная выборка и не вероятностная выборка

1. Вероятностная выборка: Вероятностная выборка — это метод, при котором исследователь выбирает выборку из большей популяции, используя метод, основанный на теории вероятности. Чтобы участник считался вероятностной выборкой, он должен быть отобран с помощью случайного отбора.

Если мы будем использовать вероятностную выборку для получения репрезентативной выборки, то простая случайная выборка является лучшим выбором. Выборка делается случайным образом, что гарантирует, что каждый член совокупности будет иметь одинаковую вероятность отбора и включения в выборочную группу.

2. Невероятностная выборка: Невероятностная выборка — это метод выборки, при котором исследователь отбирает выборки на основе субъективного суждения исследователя, а не случайного отбора. При непроизвольной выборке не все члены популяции имеют шанс принять участие в исследовании, в отличие от вероятностной выборки, где каждый член популяции имеет известный шанс быть отобранным.

Знание демографических характеристик отобранной выборки, несомненно, поможет ограничить профиль желаемой выборки и определить интересующие нас переменные, такие как пол, возраст, место проживания и т.д. Зная эти критерии до получения информации, мы можем контролировать создание эффективной репрезентативной выборки. Мы должны избегать выборки, которая не отражает целевую популяцию. Идея заключается в том, чтобы получить максимально точные данные для успеха нашего проекта.

Избежать ошибки выборки для лучшей репрезентативности

Когда выборка не является репрезентативной, мы получим ошибку выборки, известную как предел ошибки. Если мы хотим получить репрезентативную выборку из 100 сотрудников, мы должны выбрать одинаковое количество мужчин и женщин. Например, если у нас есть выборка, склонная к определенному жанру, то у нас будет ошибка выборки.

Размер выборки важен, но он не гарантирует, что она точно представляет нужную нам совокупность. В большей степени, чем размер, репрезентативность связана с рамкой выборки, то есть со списком, из которого отбираются люди, например, в рамках опроса. Поэтому мы должны позаботиться о том, чтобы люди из нашей целевой аудитории были включены в этот список, чтобы сказать, что это репрезентативная выборка.

Пример репрезентативной выборки

Группа граждан, представляющая всю страну, обозначается как национальная репрезентативная выборка. Исследователи используют ее для отражения и прогнозирования национальной реальности. Это могут быть предпочтения любого рода, поведение или социально-демографические профили.

В лучшем случае репрезентативная выборка будет создавать впечатление, что это все население, независимо от его внешнего вида. Количество мужчин и женщин должно соответствовать национальным пропорциям, процент в каждой возрастной группе или в каждом регионе будет точно соответствовать населению и т.д. В недемографических показателях (таких как владение продуктом или психографическая сегментация) выборка должна соответствовать населению.

Выбор респондентов

Возьмем пример с возрастом: если исследователь установит квоты от 16 до 34, от 35 до 54 или свыше 55, то выборка будет представлена в этих пропорциях. Но если он/она анализирует возрастные диапазоны от 16 до 20, от 21 до 30, от 31 до 40 и т.д., нет никакой гарантии, что выборка останется верной.

Степень, в которой возможен контроль квот в выборке, зависит от размера выборки и справочных данных, имеющихся в исследовании. Шесть возрастных периодов, два рода и 15 регионов создают сетку из 180 ячеек. Если объем выборки составляет всего 100, то заполнить все ячейки невозможно. Даже при большем объеме выборки, раздел может потребовать только половину человека, и поэтому в нем не будет данных.

Для того чтобы сделать выборку более репрезентативной, можно использовать взвешивание. В качестве альтернативы чередующимся ячейкам, квотные ячейки могут быть структурированы независимо друг от друга. Недостатком здесь является то, что в выборке могут быть значительные «пробелы». Например, если все молодые люди — мужчины, то использовать взвешивание для исправления пробелов будет невозможно.

Понятие репрезентативности часто встречается в статистических отчетностях и при подготовке выступлений и докладов. Пожалуй, без нее трудно представить себе какой-либо из видов подачи информации на обозрение.

Репрезентативность — что это?

Репрезентативность отражает, насколько выбранные объекты или части соответствуют содержанию и смыслу совокупности данных, из которой они были выбраны.

Другие определения

Понятие репрезентативности можно раскрывать в разных контекстах. Но по своему смыслу репрезентативность – это соответствие черт и свойств выбранных единиц из общей совокупности, которые точно отражают характеристики всей генеральной базы данных в целом.

Также репрезентативность информации определяют как способность выборочных данных представить параметры и свойства совокупности, важные с точки зрения проводимого исследования.

Репрезентативная выборка

Принцип формирования выборки заключается в избрании наиболее важных и точно отображающих свойства общей совокупности данных. Для этого используются различные методы, которые позволяют получать точные результаты и общее представление о генеральной совокупности, используя только выборочные материалы, описывающие качества всех данных.

Таким образом, нет необходимости изучать весь материал, а достаточно рассмотреть выборочную репрезентативность. Что это? Это выборка отдельных данных для того, чтобы иметь понятие об общей массе информации.

Их в зависимости от способа различают как вероятностные и невероятностные. Вероятностная – это выборка, которая производится путем вычисления наиболее важных и интересных данных, являющихся в дальнейшем представителями генеральной совокупности. Это обдуманный выбор или случайная выборка, тем не менее, обоснованная своим содержанием.

Невероятностная – это одна из разновидностей случайной выборки, составляющаяся по принципу обычной лотереи. В таком случае не учитывается мнение того, кто составляет такую выборку. Используется лишь слепой жребий.

Вероятностная выборка

Вероятностные выборки также могут подразделяться на несколько видов:

• Одна из самых простых и понятных принципов – это нерепрезентативная выборка. К примеру, такой способ часто используется при проведении социальных опросов. При этом участники опроса не выбираются из толпы по каким-либо определенным признакам, и получение информации производится у первых 50 людей, принявших участие в нём.
• Преднамеренные выборки отличаются тем, что имеют ряд требований и условий при отборе, однако все же полагаются на случайное совпадение, не преследуя своей целью достижение хорошей статистики.
• Выборка на основании квот – это еще одна из вариаций невероятностной выборки, которая часто используется для исследования больших совокупностей данных. Для нее используется множество условий и норм. Подбираются объекты, которые должны им соответствовать. То есть на примере социального опроса можно предположить, что опрошены будут 100 человек, но только мнение некоторого числа людей, которые будут соответствовать установленным требованиям, будут учтены при составлении статистического отчета.

Вероятностные выборки

Для вероятностных выборок исчисляется ряд параметров, которым объекты в выборке будут соответствовать, и среди них разными способами могут избираться именно те факты и данные, которые будут представлены как репрезентативность данных выборки. Такими способами вычисления нужных данных могут быть:

• Простая случайная выборка. Заключается в том, что среди выбранного сегмента совершенно случайным методом лотереи выбирается необходимое количество данных, которые будут являться репрезентативной выборкой.

• Систематическая и случайная выборка дает возможность составить систему вычисления необходимых данных на основе случайно выбранного сегмента. Таким образом, если первое случайное число, которое указывает на порядковый номер данных, выбранных из общей совокупности, будет 5, то последующими данными, которые будут выбраны, могут стать, например, 15, 25, 35 и так далее. Этот пример наглядно объясняет, что даже случайный выбор может основываться на систематических вычислениях необходимых исходных данных.

Выборка потребителей

Осмысленная выборка – это способ, который заключается в рассмотрении каждого отдельного сегмента, и на основании его оценки составляется совокупность, отражающая характеристики и свойства общей базы данных. Таким образом набирается большее количество данных, соответствующих требованиям репрезентативной выборки. Можно легко отобрать некоторое количество вариантов, которые не войдут в общее число, не потеряв при этом качество отобранных данных, представляющих общую совокупность. Таким способом определяется репрезентативность результатов исследования.

Размер выборки

Не последний вопрос, который необходимо решить, – это размер выборки для репрезентативного представления генеральной совокупности. Размер выборки не всегда зависит от количества исходников в генеральной совокупности. Однако репрезентативность выборочной совокупности напрямую зависит от того, на сколько сегментов должен быть в итоге разделён результат. Чем больше таких сегментов, тем больше данных попадает в результативную выборку. Если результаты требуют общего обозначения и не требуют конкретики, тогда, соответственно, выборка становится меньше, поскольку, не вдаваясь в детали, информация излагается более поверхностно, а значит, ее прочтение будет общим.

Понятие ошибки репрезентативности

Ошибка репрезентативности – это конкретные расхождения между характеристиками генеральной совокупности и выборочных данных. При проведении любого выборочного исследования невозможно получить абсолютно точные данные, как при полном исследовании генеральных совокупностей и выборки, представленной лишь частью сведений и параметров, тогда как более детальное изучение возможно только при исследовании всей совокупности. Таким образом, неизбежны некоторые погрешности и ошибки.

Виды ошибок

Различают некоторые ошибки, которые возникают при составлении репрезентативной выборки:

• Систематические.
• Случайные.
• Преднамеренные.
• Непреднамеренные.
• Стандартные.
• Предельные.

Основанием для появления случайных ошибок может быть несплошной характер исследования общей совокупности. Обычно случайная ошибка репрезентативности имеет незначительный размер и характер.

Систематические ошибки между тем возникают при нарушении правил отбора данных из общей совокупности.

Средняя ошибка – это разница между усредненными значениями выборки и основной совокупностью. Она не зависит от количества единиц в выборке. Она обратно пропорциональна объему выборки. Тогда чем больше объем, тем меньше значение средней ошибки.

Предельная ошибка – это наибольшая возможная разница между усредненными значениями сделанной выборки и общей совокупностью. Такая ошибка охарактеризовывается как максимум вероятных ошибок при заданных условиях их появления.

Преднамеренные и непреднамеренные ошибки репрезентативности

Ошибки смещения данных бывают преднамеренными и непреднамеренными.

Тогда причинами появления преднамеренных ошибок является подход к подбору данных по методу определения тенденций. Непреднамеренные ошибки возникают еще на стадии подготовки выборочного наблюдения, формирования репрезентативной выборки. Для недопущения подобных ошибок необходимо создать хорошую основу для выборки, составляющей списки единиц отбора. Она должна полностью соответствовать целям проведения выборки, быть достоверной, охватывающей все аспекты исследования.

Валидность, надежность, репрезентативность. Расчет ошибок

Расчет ошибки репрезентативности (Мм) средней арифметической величины (М).

Среднее квадратическое отклонение: численность выборки (>30).

Ошибка репрезентативности (Мр) и относительная величина (Р): численность выборки (n>30).

В том случае, когда приходится изучать совокупность, где количество выборки мало и составляет меньше 30 единиц, тогда число наблюдений станет меньше на одну единицу.

Величина ошибки прямо порциональна объему выборки. Репрезентативность информации и вычисление степени возможности составления точного прогноза отражает определенная величина предельной ошибки.

Репрезентативные системы

Не только в процессе оценки подачи информации используется репрезентативная выборка, но и сам человек, получающий информацию, использует репрезентативные системы. Таким образом, мозг обрабатывает некоторое количество информации, создавая репрезентативную выборку из всего потока информации, чтобы качественно и быстро оценить подаваемые данные и понять суть вопроса. Ответить на вопрос: «Репрезентативность — что это?» — в масштабах человеческого сознания довольно просто. Для этого мозг использует все подвластные органы чувств, в зависимости от того, какую именно информацию необходимо вычленить из общего потока. Таким образом, различают:

• Визуальную репрезентативную систему, где задействуются органы зрительного восприятия глаза. Люди, часто использующие подобную систему, называются визуалами. С помощью этой системы человек обрабатывает информацию, поступающую в виде изображений.
• Аудиальная репрезентативная система. Главный орган, который используется – это слух. Информация, подаваемая в виде звуковых файлов или речи, обрабатываются именно этой системой. Люди, лучше воспринимающие информацию на слух, называются аудиалами.
• Кинестетическая репрезентативная система представляет собой обработку потока информации, путем восприятия его с помощью обонятельных и осязательных каналов.

• Дигитальная репрезентативная система используется вместе с другими как средство получения информации извне. Это субъективно-логическое восприятие и осмысление полученных данных.

Итак, репрезентативность — что это? Простая выборка из множества или неотъемлемая процедура при обработке информации? Однозначно можно сказать, что репрезентативность во многом определяет наше восприятие потоков данных, помогая вычленить из него наиболее веские и значимые.

Пример об ошибке репрезентативности

Лекция 4.1 Выборочный метод

К настоящему времени Вы заработали баллов: 0 из 0 возможных.

ГЕНЕРАЛЬНАЯ И ВЫБОРОЧНАЯ СОВОКУПНОСТЬ

Генеральная совокупность — вся подлежащая изучению совокупность объектов (наблюдений).

Генеральная совокупность носит гипотетический характер. Она представляет собой совокупность всех мыслимых наблюдений, которые могли бы быть произведены при данных условиях. Даже если бы у нас была возможность провести сплошное исследование всей совокупности признака, все равно в нее не попали бы объекты, которое по какой то причине отсутствуют на текущий момент, но должны были существовать при данных условиях.

Та часть объектов, которая отобрана для непосредственного изучения, называется выборочной совокупностьюили выборкой

Сущность выборочного метода

Сущность выборочного метода состоит в том, чтобы по некоторой части генеральной совокупности выносить суждение о её свойствах в целом

Чтобы по данным выборки иметь возможность судить о генеральной совокупности, она должна быть репрезентативной(представительной).

Репрезентативная выборка сохраняет и повторяет структуру генеральной совокупности.

Если две выборки взяты из одной генеральной совокупности, то разница в получаемых оценках (например, средних) будет носить случайный характер, как следствие ошибки репрезентативности

Ошибка репрезентативности возникает по причине того, что мы исследуем не всю совокупность, а только её части (выборки). Мы получаем случайную комбинацию элементов из генеральной совокупности.

Для того, чтобы минимизировать различия однородных (взятых из одной генеральной совокупности) выборок необходимо правильным образом их формировать.

Наилучшим способом формирования репрезентативной выборки является случайный отбор элементов из генеральной совокупности без расчленения на части или группы (случайная выборка).

Пример об ошибке репрезентативности

Рассмотрим следующий пример.

Исследователь задался вопросом: «существуют ли различия в эмпатических способностях между психологами и педагогами?». Для того чтобы это прояснить он набрал две группы испытуемых в соответствии с их профессиональной деятельностью и предложил им заполнить опросник на эмпатические способности. Далее, он рассчитал среднее значение в каждой группе.

В группе психологов среднее составило 23,4 балла, а в группе педагогов 21,1. Таким образом, разница в средних между группами составила2,3 балла (23,4 — 21,1 = 2,3).

Если бы представители этих профессий не отличались по изучаемому признаку, тогда разница в средних равнялась бы нулю.

Однако, можно ли считать эту разницу в 2,3 балла достаточной, чтобы судить о реальных различиях между группами? Может сложится так, что психологи и педагоги по эмпатии в реальности не отличаются (выборки однородны), а разница в 2,3 балла, полученная исследователем носит случайный характер, как ошибка репрезентативности.

Таким образом, мы можем сформулировать две гипотезы:

Гипотезы являются альтернативами по отношению к друг другу. Принятие одной из них как верной влечет за собой исключение «истинности» другой.

СТАТИСТИЧЕСКАЯ ГИПОТЕЗА

Статистическая гипотеза – это любое предположение о виде или параметрах неизвестного закона распределения (закона распределения генеральной совокупности)

В статистике принято формулировать пару гипотез. Первая гипотеза называется нулевой, а вторая – альтернативной.

пример:

· Н (нулевая): Женщины не отличаются от мужчин по среднему уровню развития эмпатических способностей (средние значения равны)

· Н₁ (альтернативная): Средний уровень эмпатических способностей выше у женщин по сравнению с мужчинами

пример:

· Н (нулевая): Линейная корреляция между самооценкой и тревожностью равна 0

· Н₁ (альтернативная): Самооценка отрицательно связана с тревожностью (линейная корреляция меньше нуля / чем выше самооценка, тем ниже тревожность и наоборот)

Вопрос:Какая из двух формулировок соответствует нулевой гипотезе Н?

· А) между психологами и педагогами нет различий по среднему уровню выраженности эмпатии

· Б) между психологами и педагогами есть различия по среднему уровню выраженности эмпатии

Статистический критерий

Правило, по которому нулевая гипотеза отвергается или принимается, называется статистическим критерием.

Статистика – это специально составленная выборочная характеристика (распределение), у которой есть критическое значение такое, что если верна нулевая гипотеза, то вероятность (α) того, что случайная величина превысит это критическое значение, мала (Кремер Н.Ш., 2004).

Критическое значение делит распределение «нулевой гипотезы» на две области: область допустимых значений и область критических значений

Таким образом, критические значения позволяют исследователю либо принять, либо отвергнуть нулевую гипотезу.

В математической статистике можно подбирать критические значение для разных альфа-уровней (уровней значимости). Чаще всего:

1. Критическое значение, которое выделяет критическую область с вероятностью α

Источник

Ошибки статистического наблюдения и основные приёмы их устранения

Всякое статистическое наблюдение должно быть полным и достоверным. Однако по ряду причин степень точности данных может быть различной.

Все ошибки наблюдения подразделяются на два вида:

Ошибки регистрации возникают вследствие неправильного установления фактов в процессе наблюдения или неправильной их записи.

Ошибки регистрации могут возникать как при сплошном наблюдении, так и при несплошном и имеют следующие виды:

Случайные ошибки – это ошибки, которые возникают в результате небрежной описки или невнимательного отношения регистратора при заполнении формуляра (ошибки в подсчёте).

Систематические ошибки – это ошибки, которые искажают сведения по каждой отдельной единице наблюдения в одном и том же направлении.

Систематические ошибки делятся на:

Преднамеренные ошибки (сознательные, тенденциозные ошибки), возникающие в результате сознательного искажения статистической информации. К ним относятся: приписки, неправильные сведения об объёме выпущенной продукции, об остатках сырья и материалов и т. д.

Непреднамеренные ошибки – это ошибки, которые возникают в результате случайных причин, т.е. неумышленно (неисправность измерительных приборов, невнимательность регистратора и т.д.).

Ошибки репрезентативности свойственны несплошному наблюдению. Они возникают в результате выборочного наблюдения, когда отобранная часть единиц совокупности недостаточно полно отражает состав всей изучаемой совокупности.

Ошибки репрезентативности (так же, как и ошибки регистрации) могут быть случайными и систематическими.

Случайные ошибки оцениваются с помощью математических методов.

Систематические ошибки – это отклонения, которые возникают в результате случайного отбора единиц изучаемой совокупности. Их размеры не поддаются количественной оценке.

Для выявления и устранения допущенных при регистрации ошибок применяются следующие методы:

а) внешний контроль;

б) логический контроль;

в) счётный контроль.

При внешнем контроле проверяется: правильность оформления документов; наличие всех необходимых записей, которые предусмотрены инструкцией и т.д.

Логический контроль заключается в проверке ответов на вопросы программы наблюдения путём сопоставления полученных данных с другими источниками.

Сущность счётного (арифметического) контроля заключается в счётной проверке всех итоговых показателей, которые содержатся в отчётности или формуляре исследования. Задачей такого контроля является исправление итогов и отдельных числовых показателей.

В ряде случаев, при счётном контроле данных статистического наблюдения применяется метод балансовой увязки показателей (наличие на начало отчётного периода плюс поступления минус расход должно быть равно наличию на конец отчётного периода). Такой метод применяют: при проверках поголовья скота, при учёте поступления и расхода сырья и материалов и т.д.

Указанные методы проверки достоверности статистического наблюдения позволяют сократить до минимального значения допуск ошибок.

Источник

Репрезентативность — что это за процесс? Ошибка репрезентативности

Понятие репрезентативности часто встречается в статистических отчетностях и при подготовке выступлений и докладов. Пожалуй, без нее трудно представить себе какой-либо из видов подачи информации на обозрение.

Репрезентативность — что это?

Репрезентативность отражает, насколько выбранные объекты или части соответствуют содержанию и смыслу совокупности данных, из которой они были выбраны.

Другие определения

Понятие репрезентативности можно раскрывать в разных контекстах. Но по своему смыслу репрезентативность – это соответствие черт и свойств выбранных единиц из общей совокупности, которые точно отражают характеристики всей генеральной базы данных в целом.

Также репрезентативность информации определяют как способность выборочных данных представить параметры и свойства совокупности, важные с точки зрения проводимого исследования.

Репрезентативная выборка

Принцип формирования выборки заключается в избрании наиболее важных и точно отображающих свойства общей совокупности данных. Для этого используются различные методы, которые позволяют получать точные результаты и общее представление о генеральной совокупности, используя только выборочные материалы, описывающие качества всех данных.

Таким образом, нет необходимости изучать весь материал, а достаточно рассмотреть выборочную репрезентативность. Что это? Это выборка отдельных данных для того, чтобы иметь понятие об общей массе информации.

Их в зависимости от способа различают как вероятностные и невероятностные. Вероятностная – это выборка, которая производится путем вычисления наиболее важных и интересных данных, являющихся в дальнейшем представителями генеральной совокупности. Это обдуманный выбор или случайная выборка, тем не менее, обоснованная своим содержанием.

Невероятностная – это одна из разновидностей случайной выборки, составляющаяся по принципу обычной лотереи. В таком случае не учитывается мнение того, кто составляет такую выборку. Используется лишь слепой жребий.

Вероятностная выборка

Вероятностные выборки также могут подразделяться на несколько видов:

• Одна из самых простых и понятных принципов – это нерепрезентативная выборка. К примеру, такой способ часто используется при проведении социальных опросов. При этом участники опроса не выбираются из толпы по каким-либо определенным признакам, и получение информации производится у первых 50 людей, принявших участие в нём.
• Преднамеренные выборки отличаются тем, что имеют ряд требований и условий при отборе, однако все же полагаются на случайное совпадение, не преследуя своей целью достижение хорошей статистики.
• Выборка на основании квот – это еще одна из вариаций невероятностной выборки, которая часто используется для исследования больших совокупностей данных. Для нее используется множество условий и норм. Подбираются объекты, которые должны им соответствовать. То есть на примере социального опроса можно предположить, что опрошены будут 100 человек, но только мнение некоторого числа людей, которые будут соответствовать установленным требованиям, будут учтены при составлении статистического отчета.

Вероятностные выборки

Для вероятностных выборок исчисляется ряд параметров, которым объекты в выборке будут соответствовать, и среди них разными способами могут избираться именно те факты и данные, которые будут представлены как репрезентативность данных выборки. Такими способами вычисления нужных данных могут быть:

• Простая случайная выборка. Заключается в том, что среди выбранного сегмента совершенно случайным методом лотереи выбирается необходимое количество данных, которые будут являться репрезентативной выборкой.

• Систематическая и случайная выборка дает возможность составить систему вычисления необходимых данных на основе случайно выбранного сегмента. Таким образом, если первое случайное число, которое указывает на порядковый номер данных, выбранных из общей совокупности, будет 5, то последующими данными, которые будут выбраны, могут стать, например, 15, 25, 35 и так далее. Этот пример наглядно объясняет, что даже случайный выбор может основываться на систематических вычислениях необходимых исходных данных.

Выборка потребителей

Осмысленная выборка – это способ, который заключается в рассмотрении каждого отдельного сегмента, и на основании его оценки составляется совокупность, отражающая характеристики и свойства общей базы данных. Таким образом набирается большее количество данных, соответствующих требованиям репрезентативной выборки. Можно легко отобрать некоторое количество вариантов, которые не войдут в общее число, не потеряв при этом качество отобранных данных, представляющих общую совокупность. Таким способом определяется репрезентативность результатов исследования.

Размер выборки

Не последний вопрос, который необходимо решить, – это размер выборки для репрезентативного представления генеральной совокупности. Размер выборки не всегда зависит от количества исходников в генеральной совокупности. Однако репрезентативность выборочной совокупности напрямую зависит от того, на сколько сегментов должен быть в итоге разделён результат. Чем больше таких сегментов, тем больше данных попадает в результативную выборку. Если результаты требуют общего обозначения и не требуют конкретики, тогда, соответственно, выборка становится меньше, поскольку, не вдаваясь в детали, информация излагается более поверхностно, а значит, ее прочтение будет общим.

Понятие ошибки репрезентативности

Ошибка репрезентативности – это конкретные расхождения между характеристиками генеральной совокупности и выборочных данных. При проведении любого выборочного исследования невозможно получить абсолютно точные данные, как при полном исследовании генеральных совокупностей и выборки, представленной лишь частью сведений и параметров, тогда как более детальное изучение возможно только при исследовании всей совокупности. Таким образом, неизбежны некоторые погрешности и ошибки.

Виды ошибок

Различают некоторые ошибки, которые возникают при составлении репрезентативной выборки:

• Систематические.
• Случайные.
• Преднамеренные.
• Непреднамеренные.
• Стандартные.
• Предельные.

Основанием для появления случайных ошибок может быть несплошной характер исследования общей совокупности. Обычно случайная ошибка репрезентативности имеет незначительный размер и характер.

Систематические ошибки между тем возникают при нарушении правил отбора данных из общей совокупности.

Средняя ошибка – это разница между усредненными значениями выборки и основной совокупностью. Она не зависит от количества единиц в выборке. Она обратно пропорциональна объему выборки. Тогда чем больше объем, тем меньше значение средней ошибки.

Предельная ошибка – это наибольшая возможная разница между усредненными значениями сделанной выборки и общей совокупностью. Такая ошибка охарактеризовывается как максимум вероятных ошибок при заданных условиях их появления.

Преднамеренные и непреднамеренные ошибки репрезентативности

Ошибки смещения данных бывают преднамеренными и непреднамеренными.

Тогда причинами появления преднамеренных ошибок является подход к подбору данных по методу определения тенденций. Непреднамеренные ошибки возникают еще на стадии подготовки выборочного наблюдения, формирования репрезентативной выборки. Для недопущения подобных ошибок необходимо создать хорошую основу для выборки, составляющей списки единиц отбора. Она должна полностью соответствовать целям проведения выборки, быть достоверной, охватывающей все аспекты исследования.

Валидность, надежность, репрезентативность. Расчет ошибок

Расчет ошибки репрезентативности (Мм) средней арифметической величины (М).

Среднее квадратическое отклонение: численность выборки (>30).

Ошибка репрезентативности (Мр) и относительная величина (Р): численность выборки (n>30).

В том случае, когда приходится изучать совокупность, где количество выборки мало и составляет меньше 30 единиц, тогда число наблюдений станет меньше на одну единицу.

Величина ошибки прямо порциональна объему выборки. Репрезентативность информации и вычисление степени возможности составления точного прогноза отражает определенная величина предельной ошибки.

Репрезентативные системы

Не только в процессе оценки подачи информации используется репрезентативная выборка, но и сам человек, получающий информацию, использует репрезентативные системы. Таким образом, мозг обрабатывает некоторое количество информации, создавая репрезентативную выборку из всего потока информации, чтобы качественно и быстро оценить подаваемые данные и понять суть вопроса. Ответить на вопрос: «Репрезентативность — что это?» — в масштабах человеческого сознания довольно просто. Для этого мозг использует все подвластные органы чувств, в зависимости от того, какую именно информацию необходимо вычленить из общего потока. Таким образом, различают:

• Визуальную репрезентативную систему, где задействуются органы зрительного восприятия глаза. Люди, часто использующие подобную систему, называются визуалами. С помощью этой системы человек обрабатывает информацию, поступающую в виде изображений.
• Аудиальная репрезентативная система. Главный орган, который используется – это слух. Информация, подаваемая в виде звуковых файлов или речи, обрабатываются именно этой системой. Люди, лучше воспринимающие информацию на слух, называются аудиалами.
• Кинестетическая репрезентативная система представляет собой обработку потока информации, путем восприятия его с помощью обонятельных и осязательных каналов.

• Дигитальная репрезентативная система используется вместе с другими как средство получения информации извне. Это субъективно-логическое восприятие и осмысление полученных данных.

Итак, репрезентативность — что это? Простая выборка из множества или неотъемлемая процедура при обработке информации? Однозначно можно сказать, что репрезентативность во многом определяет наше восприятие потоков данных, помогая вычленить из него наиболее веские и значимые.

Источник