От чего зависит надежность исследования
Перейти к содержимому

От чего зависит надежность исследования

  • автор:

Надежность в исследованиях: Определение и виды оценки

Исследователи являются жизненно важными сотрудниками для различных отраслей промышленности, поскольку они помогают компаниям и организациям добиваться успехов и привлекать клиентов. Для проведения точных исследований эти сотрудники часто используют оценки, чтобы определить, получают ли их методы исследования достоверные результаты. Возможно, вам будет интересно узнать о том, как тестировать надежность, что поможет вам преуспеть в роли исследователя.

В этой статье мы обсуждаем надежность в исследованиях и четыре распространенных типа оценки, а также приводим список работ, в которых используется этот тип оценки.

Что такое надежность исследования?

Надежность исследования означает, могут ли методы исследования воспроизводить одни и те же результаты несколько раз. Если ваши методы исследования могут дать последовательные результаты, то, скорее всего, эти методы надежны и не подвержены влиянию внешних факторов. Эта ценная информация поможет вам определить, точно ли ваши методы исследования собирают данные, которые вы можете использовать для поддержки следующих работ в вашей области:

  • Исследования
  • Отзывы
  • Эксперименты

Как вы оцениваете надежность в исследованиях?

Чтобы определить, дают ли ваши методы исследования надежные результаты, необходимо выполнить одно и то же задание несколько раз или несколькими способами. Как правило, это предполагает изменение некоторых аспектов оценки исследования при сохранении контроля над исследованием. Например, это может означать:

  • Использование одного и того же теста на разных группах людей
  • Использование различных тестов на одной и той же группе людей.

Оба метода сохраняют контроль, оставляя один элемент точно таким же и изменяя другие элементы, чтобы убедиться, что другие факторы не влияют на результаты исследования.

4 способа оценки надежности в исследованиях

В зависимости от типа исследования, которое вы проводите, вы можете выбрать один из нескольких вариантов оценки надежности. Вот несколько распространенных способов проверки надежности в исследованиях:

1. Надежность тест-ретест

Метод оценки надежности тест-обратный тест в исследованиях предполагает проведение одного и того же теста на группе людей более одного раза. Если результаты теста схожи каждый раз, когда вы даете его группе испытуемых, это говорит о том, что ваш метод исследования надежен и не зависит от внешних факторов, таких как настроение группы испытуемых или день недели. Вот рекомендации для этого типа исследований:

  • Выберите последовательный метод исследования
  • Создайте примерную группу и убедитесь, что ее члены также соответствуют друг другу
  • Проведите тест, используя выбранный метод
  • Повторите точно такой же процесс тестирования один или несколько раз с одной и той же группой выборки

Пример: Дайте группе студентов колледжа опрос об их удовлетворенности парковками их учебного заведения в понедельник и снова в пятницу, затем сравните результаты, чтобы проверить надежность теста-отчета.

2. Надежность параллельных форм

Эта стратегия предполагает проведение одной и той же группой людей нескольких типов тестов, чтобы определить, остаются ли результаты неизменными при использовании различных методов исследования. Если это так, значит, метод надежен, поскольку в противном случае участники выборочной группы могут вести себя по-разному и изменить результаты. Для успеха этой стратегии важно, чтобы:

  • Каждый метод исследования ищет одну и ту же информацию
  • Группа участников ведет себя одинаково при проведении каждого теста

Пример: В маркетинге вы можете опросить покупателей о новом продукте, понаблюдать за тем, как они используют продукт, дать им опрос о том, насколько прост продукт в использовании, и сравнить эти результаты в качестве теста на надежность параллельных форм.

3. Межранговая надежность

Испытание на межрейтинговую надежность предполагает, что несколько исследователей оценивают выборочную группу и сравнивают свои результаты. Это может помочь им избежать влияния факторов, связанных, в том числе, с оценщиком:

  • Личная предвзятость
  • Настроение
  • Человеческая ошибка

Если большинство результатов, полученных разными экспертами, похожи, то, скорее всего, метод исследования надежен и может дать пригодные для использования результаты, поскольку эксперты собрали одинаковые данные от группы. Это полезно для методов исследования, где у каждого оценщика могут быть свои критерии, но в итоге могут получиться похожие результаты исследования, например:

Пример: Несколько специалистов по поведению могут наблюдать за игрой группы детей, чтобы определить их социальное и эмоциональное развитие, а затем сравнить записи, чтобы проверить межрейтинговую надежность.

4. Надежность внутренней согласованности

Проверка внутренней согласованности в исследовании включает в себя проверку того, что ваши внутренние методы исследования или части методов исследования дают одинаковые результаты. Существует два типичных способа определения этого показателя:

  • Тест на надежность с разделением пополам: Вы можете провести этот тест, разделив метод исследования, например, опрос или тест, пополам, предоставив обе половины отдельно группе выборки, а затем сравнив результаты, чтобы убедиться, что метод может давать последовательные результаты. Если результаты совпадают, то результаты метода исследования, скорее всего, надежны.
  • Тест межпунктовой надежности: При такой оценке вы назначаете выборочные группы нескольких пунктов тестирования, как при тестировании надежности параллельных форм, и вычисляете корреляцию между результатами каждого из методов. Имея эту информацию, вы вычисляете среднее значение и используете это число для определения надежности результатов.

Пример: Вы можете дать отделу уборки компании анкету о том, какие чистящие средства работают лучше всего, но разделите ее пополам и дайте каждую половину отделу отдельно и рассчитайте корреляцию, чтобы проверить надежность разделения пополам.

Позже вы опрашиваете сотрудников отдела уборки, затем собираете их в небольшие фокус-группы и наблюдаете за их работой, чтобы определить, какие чистящие средства используются чаще всего и какие нравятся людям больше всего. Вы рассчитываете корреляцию между этими ответами и усредняете результаты, чтобы найти среднюю межпунктовую надежность.

Надежность vs. валидность в исследованиях

Надежность и валидность могут помочь исследователям оценить качество проекта. Несмотря на сходство, эти два понятия измеряют несколько разные вещи:

  • Надежность: Надежность измеряет согласованность набора исследовательских мер.
  • Валидность: Валидность фокусируется на точности набора исследовательских мер.

Например, если вы взвешиваете предмет несколько раз и всегда получаете один и тот же результат, значит, результаты надежны. Если вы сравниваете измеренный вами вес и обнаруживаете, что он совпадает с фактическим весом предмета, указанным производителем, это свидетельствует о том, что ваши результаты достоверны.

Вакансии, использующие оценку надежности для исследований

Исследователи во многих областях используются для поиска информации и анализа данных, которые могут улучшить результаты деятельности компании, создать лучшие продукты для потребителей или повысить уровень благосостояния населения. Большинство исследовательских профессий используют ту или иную форму проверки надежности данных, чтобы убедиться в их надежности и полезности для целей работодателя.

Вот некоторые профессии, которые часто проверяют достоверность данных:

  • Социолог СМИ
  • Ученые-пищевики
  • судебно-медицинские эксперты
  • Маркетинговые аналитики
  • Ученые-медики
  • Экономисты
  • Аналитики по вопросам политики
  • Поведенческие ученые
  • Бизнес-аналитики

Советы по проверке надежности методов исследования

Проводя исследования и анализируя результаты, учитывайте следующие советы по проверке надежности методов исследования и обеспечению последовательности в работе:

  • Планируйте заранее: Планирование — ключевой шаг для обеспечения готовности в большинстве научных экспериментов, поэтому старайтесь заранее планировать методы исследования и исследования. Вы можете спланировать место для проведения исследования с вашей выборочной группой, определить способ распространения материалов для тестирования или установить критерии заранее.
  • Обратите внимание на окружающую среду: Если вы проводите исследование с одной и той же группой испытуемых несколько раз, часто бывает полезно записать, в какой обстановке группа проходит тестирование. Это связано с тем, что некоторые факторы, например, дождь, холодная комната или кашель, могут повлиять на готовность группы участвовать в исследовании.
  • Подумайте об участниках: Подумайте о том, как ваша группа может отреагировать и понять материалы, которые вы им представите. Например, группе детей может понадобиться простой набор вопросов для опроса, в то время как группа взрослых может самостоятельно прочитать более сложные вопросы.
  • Тщательно анализируйте результаты: Сравнивая результаты своих исследований, тщательно просматривайте их, чтобы убедиться, что вы уловили любые ошибки и точно определили надежность результатов. Вы можете даже попросить коллегу изучить результаты вместе с вами и высказать свое мнение о надежности данных, полученных вашими методами исследования.
  • Подумайте о типе исследования: Различные виды исследований могут получить больше пользы от определенных тестов на надежность, чем от других, потому что в каждой области исследований измеряются разные вещи. В маркетинге вы можете регулярно использовать различные фокус-группы для определения привлекательности продукта, а социолог может наблюдать за поведением и регулярно сравнивать записи, чтобы получить различные профессиональные мнения по тому или иному вопросу.

Надежность качественных методов и качество данных Текст научной статьи по специальности «Психологические науки»

Аннотация научной статьи по психологическим наукам, автор научной работы — Елена Рождественская

В этой статье мы рассмотрим различные критерии качества в отношении получаемых в качественном исследовании данных. Для этого привлекается теоретико-методологическая дискуссия о стратегии применяемых качественных методов. Но при этом «качество» качественных исследований вряд ли может быть включено в разряд априорных правил. Определенные принципы могут помочь повысить качество или доверие к результатам качественного исследования, в то время как согласие с ними еще не гарантирует их качества.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по психологическим наукам , автор научной работы — Елена Рождественская

Современные критериальные системы валидности качественных исследований в психологии

Исследования со смешанными методами (mixed methods research): интеграция количественного и качественного подходов

Количественные и качественные методы в научных исследованиях в сфере медицинского образования: Руководство AMEE № 90: часть 2

Со-авторизация, но не соавторство: приключения транскрипта в цифровую эпоху
Со-авторизация, но не соавторство: приключения транскрипта в цифровую эпоху
i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Надежность качественных методов и качество данных»

Надежность качественных методов и качество данных1

В этой статье мы рассмотрим различные критерии качества в отношении получаемых в качественном исследовании данных. Для этого привлекается теоретико-методологическая дискуссия о стратегии применяемых качественных методов. Но при этом «качество» качественных исследований вряд ли может быть включено в разряд априорных правил. Определенные принципы могут помочь повысить качество или доверие к результатам качественного исследования, в то время как согласие с ними еще не гарантирует их качества.

Ключевые слова: валидность, надежность, качественные методы, процессуаль-ность исследования

В перспективе постпозитивистской традиции социальные науки могут раскрыть объективные и общезначимые факты, следуя ясной процедуре и правилам, которые включают тщательно контролируемые наблюдения эмпирических явлений, беспристрастную и логичную аргументацию, объективный анализ как устранение интерпретации исследователя. В соответствии с так называемым научным методом, факты должны быть представлены объективно, а не интерпретативно. Но описание, объяснение, предсказание и оценка причин и последствий социальных явлений не могут быть достигнуты в отсутствие оценки и интерпретации (см.: Fielding, 2005; Mottier, 2005). С другой стороны, не состоятельна в качественном подходе и крайне субъективистская позиция, поскольку она не может быть сфальсифицирована в том, что все данные и их интерпретации верны априори. Большинство дисциплин в социальных науках давно признали взаимосвязь между контекстом, культурой и традицией, чувствами и пониманием, но, как ни странно, эти факторы, как правило, рассматриваются только с точки зрения людей, которых мы изучаем. Иногда мы признаем важность контекста в интерпретации эмпирических данных, когда обсуждаем исследовательский процесс в абстрактных терминах, но мы, как правило, не принимаем во внимание контекстуальные элементы при разработке исследовательского вопроса или в презентации основных результатов исследования. И все же это обоюдоострая эпистемологическая проблема: не только те, которых мы исследуем, погружены в субъективно устроенную реальность, в которой порождается смысл, но и мы как исследователи придаем значение эмпирическим феноменам, в равной степени застревая в нашей собственной субъективности (см., напр.: Gergen, 1973). Как минимум, два элемента опосредуют исследователя и эмпирические наблюдения: во-первых,

1 Статья подготовлена в рамках проекта «Межпоколенная социальная мобильность от ХХ века к XXI: четыре генерации российской истории», поддержанного Российским научным фондом. Грант № 14-28-00217.

* Рождественская Елена, доктор социологических наук, профессор департамента социологии НИУ ВШЭ, ведущий научный сотрудник ИС РАН. rigasvaverite@gmail.com.

Но признаем, эта позиция содержит противоречие: с одной стороны, мы не можем

получить доступ к объективному и универсальному пониманию эмпирических феноменов, Ф

измерения. Какие принципы мы можем принять для определения качества эмпирических ш качественных исследований социальных процессов, которые признают субъективную св

но, с другой стороны, мы хотим оценить истинность утверждений о ней или качество ее

и интерпретативную природу наших исследовательских усилий, но в то же время гарантировали бы результаты, одновременно эмпирически строгие и заслуживающие доверия?

Качественные аспекты эмпирического исследования, как правило, включают поня- о тия «валидность» и «надежность», особенно в области психометрии и эконометрики. ^

Качество измерения в социологии традиционно связано с понятиями надежности (как устойчивость и воспроизводимость получаемых результатов) и валидности (как соответствие измерения поставленной цели). Соответственно различаются внешняя валидность как возможность обобщения и переноса результатов на иной объект и внутренняя валидность как уверенность в контроле над процессом наблюдения или замера данных. Упоминаемый Г. Батыгиным тип валидности — конструктная валидность (И. Девятко ^ предпочитает называть его валидностью по содержанию) — связывает измерительный ¡в инструмент со структурой теории. Предполагается, что инструмент измеряет опреде- о ленное свойство, и это предположение интерпретируется в терминах теории; устанав- ет ливается круг свойств, связанных или не связанных с инструментом; предполагаемые g отношения подтверждаются либо не подтверждаются эмпирическими данными. Вали- Q, дизация осуществляется в случае подтверждения предсказания. Не валидность объяс- ^ няется тем, что инструмент не измеряет предполагаемое свойство либо ошибочностью Ф избранной теоретической модели, либо неверным измерением критериев проверки lQ предсказания (Батыгин, 1986, с. 66-71; Девятко, 2006, с. 173).

Анализ проблематики критериев качества в качественном исследовании в зарубежной исследовательской традиции показывает широкую тематизацию этого важного компонента исследовательского процесса. Если соблюдение вышеупомянутых критериев качества в качественном исследовании видится мало возможным ввиду эмерджентной природы получаемого знания, и полный консенсус недостижим, то из этого вытекает необходимость частичного консенсуса. Его диктует сама множественность, плюральность как одна из основных черт качественных исследований, в терминах М. Бельтран, «когнитивный плюрализм». Исследователи в настоящее время чаще видят преимущества в междисциплинарном сотрудничестве, которое преодолевает замкнутость специальных дисциплинарных дискурсов. Как известно, развитие качественных исследований за последние десятилетия привело к появлению новых подходов и тенденций, которые трудно систематизировать в одной модели (Denzin, Lincoln, 2005).

Упомянутая плюральность качественных исследований превращает обеспечение качества измерения в проблему. Исследователь вынужден сосредоточиться на сложном выборе на пересечении нескольких линий напряжения — 1) риск формализма versus риск спекуляции, 2) практика и методологическая строгость versus теория, открытие, углубление и 3) хорошее качество versus отсутствие исследования. Первые два компонента — методологические и основные для оценки качества. Как показано на рисунке 1, эти компоненты могут быть визуально представлены пересечением осей. Вертикальная ось будет представлять требования к качеству, ориентированные на методологическую строгость и связанные с тем, что некоторые авторы (Seale, 2004) определили как «внутренний» диалог. Горизонтальной оси будут соответствовать открытия и теории (Sandelowski, Barroso, 2003). Квадрат в результате наложения осей представляет собой область, где будет располагаться критериальное качество и, следовательно, область, где методологические предложения, направленные на его оценку, должны быть сформулированы. Если мы отходим от методологической строгости, мы скоро окажемся в сфере спекуляций. Если пренебрегаем углублением теории, основного компонента качественных исследований, возникает опасность формализма, в метафорах «трупного окоченения» (Sandelowski, 1993) или «методолатрии» (Chamberlain, 2000).

Обнаружив координаты области возможного консенсуса в области оценки качества качественных исследований, теперь мы можем сосредоточить внимание на компонентах, которые присутствуют в оценке качества. Дискуссия на эту тему имела следствием договоренность о выделении характеристик, присущих качественной методологии научных исследований, с учетом влияния различных теоретических подходов (Emden, Sandelowski, 1998; Thorne, 2001). В этом конвенциональном списке воспроизводятся общепринятые критерии — достоверность, заменяемость, надежность и подтверждае-мость (Lincoln, Guba, 1985), а также введены новые термины: достоверность, ясность, креативность, яркость, тщательность, сенситивность (Whitemore, Chase, Mandle, 2001). Уточняя прежние критерии в направлении их открытой интеграции, как это получилось у Кальдерона (Calderón, 2009), вырисовываются четыре критерия — эпистемологическая и методологическая адекватность, релевантность, валидность и рефлексивность. Критерий эпистемологической и методологической адекватности ответственен за то, что изучается в качестве объекта исследования в настоящее время, соответствуют ли

В целом дискуссия относительно надежности и валидности развивается в двух на-

ментирован и максимально детализирован. В дискуссии (Kirk, Miller, 1986) отдифферен- Ф

цированы три формы надежности: к

■ «донкихотская» надежность (насколько долго метод может непрерывно приводить ш

к тем же результатам) — тривиальна; св

диахроническая надежность как стабильность измерения или наблюдения (если объект не меняется, критерий эффективен); синхронная надежность достижима при условии близости результатов в один о и тот же момент измерения, но различными инструментами (авторы подчеркива- ^

ют, что этот критерий наиболее показателен, если он не оправдывается).

Процедурная надежность особенно важна в этнографическом обследовании, в котором стандартизация заметок и протоколов повышает надежность этого вида данных (Kirk, Miller, 1986, р. 57). Правила транскрипции, проясняющие процедуру транскрипции разговоров, имеют ту же функцию повышения надежности данных. Для повышения надежности в этнографии Уолкотт предлагает свой ряд условий: ^

1) исследователь должен воздерживаться от разговора в поле, слушать больше, на- ¡в сколько возможно, о

2) производить заметки точные, насколько возможно, ет

3) начинать писать раньше,

4) с отстранением, С

5) отчет должен быть полным, та

7) получить отзыв от других коллег в поле, lQ

8) презентация должна быть сблансированной с различных аспектов,

9) аккуратно выполненной (Wolcott, 1994, р. 127-128).

И все же валидность в дискуссии получает больше внимания, чем сюжет надежности (Flick, 2006, р. 371). Вопрос валидности можно сформулировать следующим образом: если исследователь что-то наблюдает, то что он думает по поводу того, что он видит. И здесь возможны три ошибки: видеть отношения так, словно они неправильны (№ 1), отвергать их, если они и в самом деле неправильны (№ 2), и, наконец, задавать неправильные вопросы (№ 3) (Kirk, Miller, 1986, р. 29-30). Поэтому основной акцент валидности в качественном исследовании заключается в обнаружении связи между изучаемыми отношениями и их версией у исследователя. С точки зрения Уве Флика, явно не разделяющего позиции социального конструктивизма, искажение этой связи тем меньше, чем шире представление о том, что реальность существует независимо от социальных конструкций (восприятий, интерпретаций, презентаций), то есть, насколько эмпирически

укоренены эпистемологические конструкции исследователя. В этом контексте Хаммер-сли подчеркивает позицию «тонкого реализма» (Hammersley, 1992, р. 50-52). Эта позиция имеет три допущения: 1) валидность знания не может быть оценена с уверенностью, речь лишь о правдоподобии, 2) феномены существуют независимо от наших претензий к ним, 3) реальность становится доступной через пересечение различных перспектив вокруг феномена, поэтому исследование помогает презентировать реальность, но не воспроизводить ее. Эта позиция приводит к необходимости реформулирования концепта валидности. Так, Мишлер начинает идею реформулирования с процесса валидации, определяя ее как «социальную конструкцию знания» (Mishler, 1990, р. 417), во время которой мы «оцениваем надежность собранных наблюдений, интерпретаций, и генерализаций» (Mishler, 1990, р. 419), и фактически превращает ее в социальный дискурс, приспособленный к анализу нарративов.

Проблема качества качественного исследования

с точки зрения процессуальности

Ряд авторов (напр.: Morse et all., 2002; Seale, 2004) подчеркивают важность рассмотрения проблемы качества как динамического процесса, в котором качество возможно обеспечить на каждом этапе процесса исследования. Практикующие исследователи знают, что эта практика никогда не разворачивается линейно, итерационным образом, проводя постоянное дублирование между различными фазами. Следовательно, необходимо оправдать для оценки каждой из следующих фаз или моментов — определение и обоснование вопроса и цели исследования, поиск литературы и теоретической поддержки, дизайн, выбор источников информации и методов генерализации, анализа и обсуждения результатов — рекомендации, которые будут выполнены адекватно каждому шагу (Blaxter, 2000; Sandelowski, Barroso, 2002). Такие оценочные работы также влияют на проверку и совершенствование методов и процедур, используемых в процессе исследования (например, триангуляция, подробное описание вмешательств), на формирование дифференцированной оценки качества. Как обобщает У. Флик (Flick, 2006, р. 369-370), наиболее важные предложения для каждой фазы процесса оценки качества, то визуально это можно представить на следующей таблице (табл. 1).

Критерии качества Процесс Написание

методологическая адекватность, релевантность, рефлексивность Основные вопросы: исследовательский вопрос, уместность качественной методологии, прецеденты и предыдущие исследования, релевантность и важность проекта, этические требования — Введение-обоснование Статья как целое

методологическая адекватность, валидность, рефлексивность Дизайн и методологическая стратегия: адекватность теоретического фокуса, методов, техники, контекст исследования, гибкость, итеративность, циркулярность j 1 Статья как целое Участники и методы

Окончание табл. 1

Критерии качества Процесс Написание

валидность, рефлексивность, методологическая адекватность Сбор и формирование коллекции данных: Отбор/рекрутмент участников, взаимодействие между исследователями и участниками, сатурация, техники валидации > 1 Участники и методы Результаты

валидность, рефлексивность, методологическая адекватность Анализ информации: аналитические методы, итеративность/циркуляр-ность, связность, открытие, описание/теоретическое конструирование, интерпре-тативное соучастие, техники валидации -1 Результаты Дискуссия и выводы

релевантность, валидность, методологическая адекватность Заключительная фаза исследования: новизна и важность результатов, применимость/генерализация, внутренняя и внешняя связность, понятность и ясность, ограничения и новые вопросы 1 4 Дискуссия и выводы Статья как целое

Как видно из структуры таблицы, здесь увязываются стадии процесса исследования, критерии качества и фазы написания отчета или статьи.

Ниже мы критически рассмотрим возможности валидации в процессуальном плане, и, чтобы сделать нашу задачу более управляемой, мы будем рассматривать исследовательский процесс концептуально по частям, решая задачу, прежде всего, внутренней валидности:

■ на уровне разработки вопроса исследования;

■ анализа данных, а также

Мы делаем это, потому что озабоченность качеством по-разному актуализируется в этих четырех областях и потому, что мы хотели бы подчеркнуть, что, в отличие от многих текстов по методам исследований, сбор данных и анализ данных являются двумя взаимосвязанными, но отдельными исследовательскими процессами. Например, не включенное или включенное наблюдение, интервью и фокус-группы, как правило, рассматриваются как качественные методы исследования. При ближайшем рассмотрении, однако, становится ясно, что эти методы касаются в первую очередь того, как данные собраны, т. е. это методы сбора данных. Методы анализа данных, т. е. то, что мы делаем с нашими наблюдениями, после того как они собираются, могут включать в себя некоторые формы контент-анализа, нарративного анализа, анализа дискурса и т. д. На практике, конечно, сбор и анализ данных тесно связаны. Однако, отделяя эти процессы концептуально на субпроцессы сбора и анализа, мы можем обнаружить различные претензии к качеству, которые возможно соблюсти, чтобы улучшить качество наших исследований, как во время процесса сбора, так и для повышения качества анализа и интерпретации.

i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Качество на стадии концептуализации исследовательского вопроса

Две проблемы связаны с качеством качественных методов исследования, которые возникают в процессе концептуализации и разработки вопроса исследования: выбор метатеории и предположений, связанных с определенным исследовательским подходом (Bergman, Coxon, 2005). К тому моменту, когда исследователи оказываются втянуты в исследовательский проект, они, как правило, полностью социализированы в определенной теоретической традиции исследования. На факультетах и в отделах институтов доминируют определенные метатеории, руководители проектов следуют конкретным идеологиям, теориям и взглядам, а также явным или неявным предпочтениям грантирующих фондов, что, как правило, направляет исследователей в конкретных траекториях путей познания, проведения и представления результатов исследований. Институционализированная традиция и моды в социальных науках социализируют исследователей в рамках некоторого коридора теорий, например, социального конструктивизма, рационального выбора или постмодернизма, детерминируя набор «линз» или методологии и методов. Точнее, метатеоретические подходы различным образом выстраивают предположения о природе социального действия и смыслонаделения, и, таким образом, подготовленные исследователи, вероятно, замеряют, классифицируют, анализируют и интерпретируют данные по-разному. Можно предположить, что большинство исследователей просто придерживаются определенной традиции, но действительно ли они осознают это?

Приобретенные таким образом фундаментальные теории социологического знания, которыми руководствуются при выборе темы исследования, разумеется, влияют и на определение рамки исследования. Лишь немногие из потенциальных аспектов, связанных с темой исследования, явно рассматриваются в ходе исследовательского процесса. Например, изучение девиантного поведения молодежи может включать в себя вопросы, касающиеся возраста, пола, социального положения, сексуальной идентичности, национальных, региональных и культурных соображений, морали, экономики, личных и коллективных историй, религиозности, мотивов, социальных сетей в оффлайне и онлайне, поведения, ценностей, аффектов, референтных групп, детских переживаний, отношений с родителями на протяжении всей жизни и т. д. Этот список представляет собой ряд аспектов, которые в принципе могут быть изучены. Кроме того, хотя большинство из этих аспектов может иметь отношение к девиантному поведению молодежи, реально лишь небольшая группа потенциальных аспектов темы будет изучена. Зачастую процесс отбора аспектов, которые в конечном итоге найдут свое место в дизайне исследовательского проекта, осуществляется на основе не только их связи с темой, но и вследствие интереса, умений, опыта и привычек исследователя, финансовых требований и временных ограничений, результатов исследований из смежных областей или в других странах, доступа к данным, знакомства с конкретными методиками, например, компьютерной обработки данных и т. д.

Вероятно, бесполезно судить о надежности и валидности исследовательского проекта, основываясь только на выборе метатеории. Какой теоретический подход лучше или хуже — марксизм или теория рационального выбора, например, — следует отнести к идеологии. Но рефлексия об этом плодотворна, так как может позволить исследователю быть самокритичным с точки зрения ограничений, внедренных в концептуализацию вопроса исследования, понимание задач в ходе классификации данных, а также выводы из результатов анализа.

Качество на стадии сбора данных: качество инструмента и качество данных

Качество процесса сбора данных в качественных методах можно разделить концептуально на качество инструмента или собственно метода сбора данных и качество данных, полученных этим инструментом. Мы ограничим здесь наше обсуждение качества проблемами, которые возникают в интервью. Тем не менее подобные аргументы могут

быть релевантны и по отношению к другим качественным методам сбора данных, в том

числе, фокус-группам, наблюдению и пр. >

Ряд условий сопровождает наблюдаемые феномены, которые выбраны таким образом, чтобы приобрести статус данных: мы присваиваем статус данных тому, что мы мо- I жем наблюдать, что, как мы думаем, имеет отношение к нашему исследовательскому с^ вопросу, и чему, по разным причинам, мы отдаем приоритет по сравнению с другими о эмпирическими наблюдениями. О субъективном характере выбора данных со стороны к исследователя и его контекста было сказано выше. Сбор данных является процессом се- ф лективного отбора эмпирических феноменов и приписывания отношения к ним с огляд- щ кой на исследовательский вопрос. Таким образом, данные ничего, кроме проинтерпре- ^ тированного наблюдения, не представляют, и наши результаты сильно зависят от того, как мы придаем статус данным (Coombs, 1964). Багаж методических знаний, который

формирует наш выбор критериев, соотносится с массивом необработанных данных, как,

поступают как реакция на взаимодействия между исследователем и респондентом. Для того чтобы убедиться, что собеседник понимает задаваемые вопросы, можно,

как одна из возможных стратегий, проводить по крайней мере два типа эксперимен- ^

к вопросу нашего исследования (например, типы и границы отношений). Во-вторых, ф с использованием этого материала, просим респондентов помочь нам построить анке- св

тальных исследований: во-первых, проведение неструктурированных, разведочных интервью, в которых мы просим респондентов описать ключевые понятия, относящиеся

ту, парафразируя каждый из вопросов, просим сказать, что они думают по поводу того, что мы пытаемся оценить. Из этих экспериментальных исследований мы выявляем не только различные аспекты методологии исследования (например, порядок вопроса, на- о вязанный вопрос), но и существенную информацию о теме исследования с точки зрения ^ участников, открытых к предположениям о том, что исследователь не знает и знать не щ хочет. Короче говоря, экспериментальные исследования дают нам ключ к тому, понимаем ли мы достаточно, что респонденты имеют в виду, когда они выражают свое мнение.

Социальные психологи доказывают, что информаторы часто противоречивы: их по-

поведения кажутся несовместимыми с другими поведенческими реакциями и ценностя-

ведение кажется несовместимым с заявленными позициями или ценностями, модели $

ми. Когда мы говорим о внутренней согласованности в рассказах людей во время интер- ¡в вью, мы не пытаемся создать последовательность там, где ее нет. Вместо этого мы ищем о явные несоответствия, которые указывают на еще неисследованные или неправильно ет истолкованные аспекты, касающиеся темы исследования. Отсутствие внутренней со- ^ гласованности в течение интервью предупреждает интервьюера, что он, возможно, не- О, правильно понял высказывание, или что, может быть, за пределами этого объяснения та существует явное несоответствие, которое откроет дополнительные аспекты о позиции Ф собеседника. В целом мы выступаем за исследование конструкции, в рамках которой и] осуществляется сбор данных, позволяющих оценить построение смысла в непосредственном контексте рассказчика, а не приписывать его на основе скудной информации самим исследователем.

Но концептуальное различие между разными фазами процесса исследования не означает, что концептуализация вопроса исследования, сбор данных, анализ и интерпретации могут быть разделены на практике. Например, глубинные интервью обычно включают в себя явный или неявный анализ, по крайней мере с точки зрения разведки о том, что респонденты говорят или делают во время интервью. Зондирование представляет собой форму предварительного анализа, поскольку часто основано на специальном анализе. Содержание заявления интервьюируемого, например когда он утверждает, что он не считает себя подверженным риску подхватить ВИЧ-инфекцию, несмотря на активную половую жизнь, явно амбивалентно. И мы можем использовать зонды не только для того, чтобы узнать, почему он придерживается этой точки зрения, но и для того, чтобы

узнать, что он понимает под «рискованным» и «безопасным» поведением. С помощью зондов, таким образом, мы пытаемся определить не только позиции респондентов по вопросу, но и то, какие аспекты они соединяют с этим вопросом, какое отношение и позиции такие аспекты вызывают. У нас могут быть априорно конкретные теории в нашем исследовательском сознании, когда мы формулируем зонды или хотим проверить, действительно ли мы понимаем ответ респондента в соответствии с тем, как он понял вопрос. Хотя зонды представляют собой опасное наводящее средство разъяснения и донесения дополнительной информации, осознание их эффекта может помочь оценить степень интервенции, с которой ответ был спровоцирован самим интервьюером.

Выше мы поставили конкретные вопросы, касающиеся связности, достоверности, надежности и валидности, относящиеся к фазе сбора данных. Мы выделили несколько искусственно фазы концептуализации вопроса исследования и методов сбора данных. Однако большинство решений, принятых в ходе процесса исследования, отражают предварительный анализ, так что на практике концептуализация, сбор данных, анализ данных и интерпретация итеративны, неразрывно связаны между собой.

Качество на стадии анализа и интерпретации данных

Для того чтобы анализировать и интерпретировать эмпирические феномены в ходе проведения исследований в качественной традиции, исследователи занимаются категоризацией и кодированием. Субъективный элемент, присущий этим процессам, хорошо известен и отмечен многими исследователями (см.: Bergman, 2002; Jahoda, 1993; van Dijk, 1998). Исследователи, как правило, выбирают одну из трех позиций по отношению к субъективному элементу в эмпирическом исследовании: 1) принять субъективность как неизбежный недостаток, 2) полагать его недостатком, который может быть частично устранен путем тщательного дизайна исследования, или 3) принять этот феномен как естественную часть исследования. Здесь мы рассмотрим различные аспекты субъективности в процессе аналитики и интерпретации и обсудим, в какой степени дизайн исследования может или не может улучшить качество интерпретаций.

Определение присутствия и отсутствия, а также сходства и различия между эмпирическими феноменами является основой, на которой строятся смысл и понимание. Процесс построения категорий, их содержание, границы, их связи друг с другом имеют центральное значение для понимания социального действия и целеполагания. Как говорит Коксон: «Категоризации и классификации — как размещение ряда вещей в небольшом количестве групп и оснащение правилом, согласно которому такое распределение произведено, — являются, вероятно, наиболее фундаментальными операциями в мышлении и языке, и имеют решающее значение для широкого круга дисциплин» (Coxon, 1999, p. 1).

В рамках исследовательского процесса категоризацию нужно понимать в более широком смысле — восприятие или регистрация объекта или события в среде предполагают акт категоризации, и через этот акт категоризации объект или событие одновременно наделяются смыслом. Связи между классификациями и системой выстраиваемого знания не закрывают тот факт, что уже существующие интерпретации устанавливают условия и ограничения для последующих интерпретаций тех или иных признаков феноменов и событий, а также имеет место дискурсивная власть навязывания смысла, который вкладывается в предпочтительные интерпретации по сравнению с альтернативными интерпретациями. Категоризации являются функцией построения смысла и, таким образом, связаны с социально-культурными нормами, ценностями, традициями, идеологиями, практикой и т. д. Влияние последних нужно понимать не как отклонение (как что-то, что нуждается в контроле или элиминировании) в наших усилиях по отбору и классификации эмпирических феноменов, а, скорее, в качестве фрейма знаний и отсылок, в соответствии с которыми эмпирические наблюдения могут быть классифицированы и, таким образом, поняты и обобщены.

До сих пор мы подчеркивали субъективную, зависимую от контекста, и социально-

культурную природу категоризации во время аналитического процесса. Соответствен- >< но, это может показаться противоречивым для введения концепта валидности. Многие

исследователи и методисты считают, что валидность и субъективность непримиримы I

из-за их различных эпистемологических позиций: валидность якобы принадлежит к по- с^

зитивистской парадигме, в то время как субъективность принадлежит к «иной» иссле- о

довательской традиции (постмодернистской, качественной, интерпретативной или к

этнографической). Прежде всего, это касается исследовательского вопроса, который ш

управляет сбором данных и, таким образом, влияет на тип категорий и правила катего- щ

ризации. Часто, однако, оказывается, что связь между вопросом исследования и данны- ^ ми не совсем убедительна. В этом смысле, вслед за Дж. Тьюки, самая большая угроза валидности заключается в том, что данным адресуются неправильные вопросы (цит. по:

Bergman, Coxon, 2005). Чтобы исследовать эту проблему более внимательно, рассмо-

Категоризация является процессом упорядочивания эмпирических наблюдений в отношении их сходства или различия. Функция категоризации в процессе исследования состоит в отборе эмпирических феноменов в соответствии с правилами, которые,

часто меняются в зависимости от направленности исследовании и теоретических пара-

как полагают, связаны с конкретным вопросом исследования. Категории, однако, стро- Ф

ятся не только на основе естественных моделей (например, классификация химических к

элементов в соответствии с их весом, структурой или близостью к другим элементам), ш

но, что важно для социальных наук, являются активными конструкциями, которые иссле- св

дователи навязывают данными. Множественные категоризации одних и тех же данных „

дигм. Таким образом, эмпирические суждения о степени сходства зависят от категорий о и границ категорий, которые исследователь применяет к свободному набору эмпириче- ^

ских наблюдений. Набор эмпирических феноменов категоризируется в соответствии со смысловой структурой, которая как существует до, так и возникает эмерджентно в результате процесса категоризации и кодирования, что, в свою очередь, подтверждают категории, которые формулируются в процессе категоризации эмпирических феноменов. Тем не менее классификация не является чисто пристрастным или эгоцентрическим процессом, а, скорее, социальная и культурная среда исследователей предписывает ^ и простраивает в значительной степени содержание и границы категорий. Социально- ¡в культурное влияние на процесс классификации осуществляется, по крайней мере, дву- о мя способами: во-первых, они находятся под влиянием общих правил, т. е. ценностей, ет норм, идеологий и т. д., во-вторых, они находятся под влиянием непосредственного кон- g текста культурных норм и классификаций. Q,

Категоризация может быть применена к любой совокупности, взятой эмпирически та или теоретически, например, ситуаций, отдельных лиц, семей, групп, племен, организа- Ф ций, культур, народов, действий, слов, заявления, тем, фраз, картинок, звуков, запахов, lQ взаимодействий, сетей, систем, статусов, концепций, методов, теорий, архитектурных стилей, выражений лица и т. д. Кроме того, классификация может включать в себя сравнительные аспекты таких объектов, как гендерные группы, национальности, возрасты, социальное положение, уровень образования и т. д.

Тем не менее анализ начинается прежде, чем данные будут собраны. Как констатировал Клайд Кумбс (Coombs, 1964), эмпирические феномены, которые в конечном итоге вырастают до статуса данных, это лишь малое подмножество наблюдаемых явлений. Как показано на рисунке 2, только часть потенциально наблюдаемых (но, по каким-либо причинам, не попадающих в фокус наблюдения) эмпирических феноменов, соответствующих исследовательскому вопросу, рассматривается исследователем на самом деле, и только часть этого подмножества в конечном итоге будет признана данными. Таким образом, предварительная категоризация эмпирических феноменов имеет место там, где наблюдаемые эмпирические явления неявно разделены на данные и не-данные.

Критерии отбора в этом процессе включают множество решений, таких как методологические и теоретические предпочтения исследователей, удобство замера, стоимость, академические привычки, предпочтения, выраженные оценочными инстанциями или органами финансирования научных исследований и т. д. Как отмечают Ван Маанен, Мэннинг и Миллер: «Решение, что должно считаться единицей анализа, — принципиальный вопрос в интерпретативном исследовании, требующий суждения и выбора» (van Maanen, Mannin, Miller, 1986, р. 5), что близко позиции Коксона: «Ответ на вопрос «Что мне делать с информацией, как только я собрал ее. будет зависеть в значительной степени от уже принятых решений и от того, какие предположения исследователь [привносит] для интерпретации наблюдений» (Coxon, 1999, р. 5).

Рис. 2. Типы эмпирических феноменов

Если отбор данных, то есть идентифицированные как данные из широкого набора эмпирических наблюдений, зависит от суждений и теоретического выбора, и если они тесно связаны с контекстом, в котором работают исследователи (Bergman, 2002), то, разумеется, исследователи должны обосновать свой выбор. Соответствие данных, а также целесообразность отбора в коллекцию данных и аналитических процедур могут быть засвидетельствованы по крайней мере четырьмя способами:

■ Аргумент авторитетом: претензии на адекватность, релевантность теории, предположениям или процедурам часто осуществляются через прямые ссылки на авторитетных персонажей, группы или институты. Например, известный способ цитирования научных («по словам профессора N. в Московском университете. »), политических деятелей, Фондов изучения мнения («как показали многолетние наблюдения Левада-Центра. ») часто используется для аргументации при особенном выборе данных, процедуры или категоризации. Ясно, что это является эффективным способом, чтобы оправдать процедуры исследования и выводы, и может презентироваться как способ валидности.

Конечно, опытные авторы могут избирательно использовать аргумент авторитетом, что

укрепляет саму линию аргументации, так что этот способ стратегической верификации >< знания, хотя и эффективен и широко распространен, тем не менее является наиболее

угрожающим целостности исследования и его результатам. I

■ Предыдущие эмпирические исследования: очевидно, что практически невоз- с^

можно провести исследования в рамках избранной сферы, не сопоставляя ее с эмпи- о

рической работой других исследователей. Чтобы соотнести свое исследование с лан- к

дшафтом предыдущих исследований в конкретной области, авторы цитируют выводы ф

других эмпирических исследований для того, чтобы либо согласовать либо дистанциро- щ

ваться в отношении к парадигмам, теориям, подходам или процедурам. Авторы обычно ^ используют фразы типа «Иванов не принял во внимание. » или «как Петрова убедительно продемонстрировала. ». Эта стратегия также служит в качестве аргумента автори-

том часто связаны с предварительными эмпирическими исследованиями, а посредством использования логики либо деконструкции контраргументов эти задачи могут быть объединены, чтобы сделать аналитику и интерпретации последовательней и согласованней.

■ Теория: как уже упоминалось, теоретические основы предписывают и простраи- ^ вают в значительной степени не только то, что будет считаться релевантными данными, Ф но и то, как данные будут анализироваться и интерпретироваться. Например, марксист- св

ский подход будет погружен в социально-классовый конфликт, а гендерный подход будет открещиваться от эссенциализма в пользу социального конструктивизма, что будет иметь следствием не только разные критерии в процедуре замера релевантных данных, о но и в том, как эти данные должны быть проанализированы и проинтерпретированы. Как ^

и прежде, теория накладывает априорные ограничения на то, что должно и может быть д.

изучено и как, а также позволяет более согласованно представить связный путь прове- .со

■ Логический аргумент: выбор и стратегическое представление аргументов авторитетом, предыдущие эмпирические исследования и теории — это только один способ, ^ в котором логический аргумент оправдывает некоторые исследовательские решения по ^ сравнению с другими решениями. Сравнения и контрастирования, обобщение, синтез ¡в являются также мерами, которые помогают оправдать отбор и анализ данных. Отбор о правил, т. е. на каком основании некоторые категории были выбраны, и эмпирические ет

примеры, т. е. как эмпирическая очевидность «вписывается» в категории, также в значи-

тельной степени основываются на логических доводах. Никакие данные или категории О,

не говорят сами за себя, но должны быть объяснены и оправданы. 5

Эти четыре инструмента, очевидно, взаимозависимы, например, аргументы авторите- Ф

Итак, хотя практически все научно-исследовательские решения в процессе качественного исследования, от исследовательского вопроса до интерпретации полученных данных, зависят в какой-то степени от субъективных оценок и суждений, это не освобождает исследователей от того, чтобы сделать эти элементы явными (эксплицитными) насколько возможно, чтобы реализовать исследование более последовательным и убедительным. Если избирается другой путь, исследователи должны, что называется, «чеканить собственную монету» — свою терминологию, потому что они отвергают конструкции, которые, возможно, возникли в другой эпистемологической традиции.

В любом случае, необходима подотчетность практики исследования, прежде всего путем явного описания шагов исследования, которые позволяют вынести на суд читателей правдоподобность результатов исследования. В этом смысле П. Г. Свенборн (Swanborn, 1996) предлагает раскрывать читателю методологические решения и интерпретативные суждения. А K. Сил (Seale, 1999) идет дальше и предлагает сделать научно-исследовательское сообщество арбитром качества в надежде, что через форму демократических переговоров в рамках исследовательского сообщества сформулируются принципы качества процедур. Отнесемся к этому предложению скептически, ведь только в очень абстрактных терминах мы можем говорить о почти всегда разделяемом научно-исследовательским сообществом научном этосе, вместо этого исследовательские сообщества, как отмечал еще Кун, правят своими исследовательскими направлениями как вотчинами и ревниво охраняют их от вторжения или революции.

Валидность должна, безусловно, присутствовать в каждом исследовательском решении. Хотя никогда не будет возможно доказать, что процедура или результат валидны в объективном смысле, «плодотворная одержимость» (термин см.: Lather, 1993) качеством существенно работает на правдоподобность и убедительность эмпирических исследований.

Батыгин Г. С. Обоснование научного вывода в прикладной социологии. М.: Наука, 1986.

Девятко И. Ф. Методы социологического исследования: уч. пособие для вузов. М.: Университет, 2006.

Bergman M. M. Reliability and Validity in Interpretative Research During the Conception of the Research Topic and Data Collection // Sozialer Sinn. 2002. № 2. P. 317-331.

Bergman M. M., Coxon A. P. M. The Quality in Qualitative Methods // Forum: Qualitative Social Research [On-line Journal]. 2005. № 2 (6). URL: http://www.qualitative-research.net/fqstexte/2-05/05-2-34-e.htm (accessed: 1.11.2014).

i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Blaxter M. Criteria for Qualitative Research // Medical Sociology News. 2000. № 26. P. 34-37.

Calderón С. G. Assessing the Quality of Qualitative Health Research: Criteria, Process and Writing // Forum: Qualitative Social Research [On-line Journal]. 2009. № 2 (10). URL: http://www.qualitative-research.net/index.php/fqs/article/viewArticle/1294/2806 (accessed: 1.11.2014).

Chamberlain K. Methodolatry in Qualitative Health Research // Journal of Health Psychology (Special issue on Critical and Qualitative Approaches to Health Psychology). 2000. № 5. P. 289-296.

Coombs C. A Theory of Data. New York: Wiley, 1964.

Coxon A. P. M. Sorting Data: Collection and Analysis. Thousand Oakes: Sage Publications, 1999.

Denzin N. K., Lincoln Y. S. The Sage Handbook of Qualitative Research. Thousand Oaks: Sage Publications, 2005.

Emden C., Sandelowski M. The Good, the Bad, and the Relative, part 1: Conceptions of goodness in qualitative research // International Journal of Nursing Practice. 1998. № 4. P. 206-212.

Fielding N. The Resurgence, Legitimation and Institutionalization of Qualitative Methods [23paragraphs] // Forum: Qualitative Social Research [On-line Journal]. 2005. № 6 (2). URL: http://www. qualitative-research.net/fqs-texte/2-05/05-2-32-e.htm (accessed: 1.11.2014).

Flick U. An Introduction to Qualitative Research. London, Thousand Oaks, New Delhi: Sage Publications, 2006.

Gergen K. Social Psychology as History // Journal of Personality and Social Psychology. 1973. № 26. P. 309-320.

Hammersley M. Some Reflections on Ethnography and Validity // Qualitative Studies in Education. 1992. № 5 (3). P. 195-203.

Hammersley M., Atkinson P. Ethnography: Principles in practice. London: Routledge, 1983.

Kirk J., Miller M. L. Reliability and Validity in Qualitative Research. London: Sage Publications, 1986.

Lather P. Fertile Obsession: Validity after Poststructuralism // Sociological Quarterly. 1993. № 34 (4). P. 673-693.

Lincoln Y. S., Guba E. G. Naturalistic Inquiry. Newbury Park, CA: Sage Publications, 1985.

Malterud K. Qualitative Research: Standards, Challenges, and Guidelines // Lancet. 2001. № 358.

Mishler E. Validation in Inquiry-guided Research: the Role of Exemplars in Narrative Studies // Harvard I

Educational Review. 1990. № 60 (4). P. 415-442. c|

Morse J. M., Barrett M., Mayan M., Olson K., Spiers J. Verification Strategies for Establishing O

Reliability and Validity in Qualitative Research // International Journal of Qualitative Methods. 2002. № 1. K

URL: http://www.ualberta.ca/~iiqm/backissues/1_2Final/html/morse.html (accessed: 1.11.2014).

Mottier V. The Interpretive Turn: History, Memory, and Storage in Qualitative Research [21 paragraphs] // Forum: Qualitative Social Research [On-line Journal]. 2005. № 6 (2). URL: http://www. qualitative-research.net/fqs-texte/2-05/05-2-33-e.htm (accessed: 1.11.2014).

Sandelowski M. Rigor or Rigor Mortis: the Problem of Rigor in Qualitative Research Revisited // O

Advances in Nursing Science. 1993. № 16 (2). P. 1-8. §

Sandelowski M., Barroso J. Reading qualitative studies // International Journal of Qualitative cd

Methods. 2002. № 1 (1). P. 74-108. URL: https://ejournals.library.ualberta.ca/index.php/UQM/article/ view/4615/3764 (accessed: 1.11.2014).

Sandelowski M., Barroso J. Classifying the findings in qualitative studies // Qualitative Health I

Research. 2003. № 7. P. 905-923. CD

Seale C. The Quality of Qualitative Research. London: Sage, 1999. K Seale C. Quality in Qualitative Research // Qualitative research practice / Ed. by C. Seale, G. Gobo, J. F. Gubrium, D. Silverman. London: Sage, 2004. P. 409-419.

Swanborn P. G. A Common Base for Quality Control Criteria in Quantitative and Qualitative Research // ^

Quality and Quantity. 1996. № 30. P. 19-35. K

Thorne S. E. The Implications of Disciplinary Agenda on Quality Criteria for Qualitative Research // The o

nature of qualitative evidence / Ed. by J. M. Morse, J. M. Swanson, A. J. Kuzel. Thousand Oaks, CA: Sage, ^

2001. P. 141-159. CD

van Maanen J., Manning P. K., Miller M. L. Qualitative Research Methods Series. Newbury Park, CA:

Whittemore R., Chase S. K., Mandle C. L. Validity in Qualitative Research // Qualitative Health tg

Research. 2001. № 11. P. 522-537.

Wolcott H. F. Transforming Qualitative Data. Thousand Oaks, CA: Sage, 1994. I

Что мы понимаем под валидностью метода исследования?

Валидность в дословном переводе с английского языка означает «устойчивый, пригодный, соответствующий». В научных кругах данный термин используется, как показатель, который оценивает пригодность той или иной методики исследования в конкретной ситуации, условиях.

Что мы понимаем под валидностью метода исследования?

Валидность в дословном переводе с английского языка означает «устойчивый, пригодный, соответствующий». В научных кругах данный термин используется, как показатель, который оценивает пригодность той или иной методики исследования в конкретной ситуации, условиях.

Нередко валидность ставят на одну ступень вместе с таким понятием как «надежность». Данный критерий определяет уместность и эффективность, надежность выбранных методов исследования: что и как они измеряют и характеризуют, какую картину отражают, для чего производится оценка.

Чем ближе исследователь подбирается к главному признаку проблемы, который позволяет оценить ее характер и влияние с помощью определенной методики, тем выше ее валидность. Сам процесс проверки действенности (качества) и эффективности, применимости методов исследования называется валидизацией.

Виды валидности методов исследования

Выбор методов научного исследования зависит от ряда фактов: области наук (гуманитарные или прикладные), необходимость проведения анализа с расчетной частью или простое сопоставление фактов, наличие конкретных данных для анализа и пр.

Следует отметить, что в одном исследовании выбранный метод может быть валидным, а в ином – вовсе неэффективен. Поэтому валидность выбранной методики следует оценивать в рамках конкретной научной работы, а не в сравнении с иными исследованиями.

В науке выделяют несколько разновидностей валидности методов исследования:

Виды валидности методов исследования

  • Теоретическая валидность.

Данный вид определяется сопоставлением показателей, рассчитанных с помощью выбранной методики, с аналогичными показателями, рассчитанными по другому методу. Важно, чтобы рассчитанные параметры были теоретически зависимы, то есть оценивали один и тот же предмет, учитывали одни и те же факторы или схожие факторы влияния, демонстрировали теоретическую зависимость (то есть имели принадлежность к конкретному объекту или суждению).

Этот показатель определяют с помощью корреляции одно и того же показателя или свойства, рассчитываемого с помощью разных методов исследования. При этом важно соблюдение: обе методики должны быть связаны с одной и той же гипотезой или теорией.

Данный критерий рассчитывается или проявляется благодаря действию опытно-логического метода исследования. В частности, он находит отражение на реакции, мышлении, эмоциях, поведении испытуемых объектов. Данный способ применим больше в психологической отрасли, когда требуется оценить реакцию или психологическое состояние человека в конкретной ситуации.

Эмпирическая валидность методов исследования будет выше тогда, когда выбранная методика продемонстрирует тот факт, что полученные данные соответствуют реальным данным испытуемого, то есть во время проведения «чистого» или «естественного» эксперимента: когда поведение объекта в рамках исследования будет полностью совпадать с поведением в реальной жизни.

Нужна помощь преподавателя?

Мы всегда рады Вам помочь!

  • Внешняя валидность.

Данный критерий имеет сходства с эмпирической валидность. Его особенностью является то, что здесь важно установить связь между конкретными параметрами выбранного метода исследования с внешними проявлениями испытуемого (поведением) в реальной жизни.

Этот показатель проявляется в том, что выбранная методика позволяет достичь поставленной цели исследования, доказывает или опровергает эффективность выдвинутой гипотезы. Фактически, внутренняя валидность демонстрирует соответствие методики исследования его содержанию. Валидность выбранного метода выше тогда, когда он показывает, что все коэффициенты и действия измеряют именно то, что требуется, связывая эти проявления с внешними признаками проблемы (ее симптомами).

Как оценить валидность методов исследования?

Ученые выделяют следующие критерии эффективности и применимости (то есть валидности) выбранной методики исследования:

Как оценить валидность методов исследования

  1. Критерии исполнения.

Этот параметр зависит от конкретных результативных показателей. Например, объем выполненных заданий, успеваемость, время (на протяжении которого выполнялось упражнение или задание), полученные навыки и пр.

Эти элементы связаны с отношением испытуемого к конкретным обстоятельствам, положениям и заданиям. Это можно оценить в ходе интервью, опросов, тестирований и др.

  1. Физиологические критерии.

Они оценивают факторы воздействия на объект исследования, то есть, то что могло оказать влияние при решении вопроса: обстановка и комфорт (свет или шум и пр.), сложность задания, наличие знаний и умений для выполнения задания и пр.

Эти параметры применимы в психологических исследованиях. Например, когда требуется подобрать объект исследования или испытуемое лицо, которое чаще или реже подвергалось различным ЧП.

Для оценки методик используют различные параметры. Они зависят от типа исследования в зависимости от области наук (экономическое, техническое, психологическое, юридическое и пр.).

Среди наиболее распространенных критериев валидности также выделяют:

— поведенческие: эмоции, поведение, реакция в определенных условиях или ситуации;

— успехи в различных видах деятельности: на работе, учебе, творческом поприще, в социуме (авторитет) и пр.;

— самостоятельность и самоорганизация: умение организовывать и проводить различные действия (взятие проб, проведение эксперимента, разработка заданий и пр.);

— подбор методики в зависимости от ситуации или адаптация исследователя: анализ полученных данных и координация действий в зависимости от ситуации.

Следует отметить, что рассмотреть валидность только что разработанной методики очень сложно, а на практике практически невозможно. Доказательство ее валидности фактически приводится в рекомендательной части научной работы, когда исследователь доказывает эффективность предложенных мер, проводит апробацию результатов исследования.

Трудности с учебой?

Помощь в написании студенческих и
аспирантских работ!

От чего зависит надежность исследования

Когда мы говорим о валидности измерения, нас интересует, насколько точно значения, получаемые с помощью этого измерения, соответствуют истинным значениям измеряемой переменной. Когда мы говорим о надежности измерения, нас интересует устойчивость получаемых с его помощью значений. Можем ли мы, применяя измерение несколько раз, получить для любого данного объекта одно и то же значение или же в результате разных подходов одним и тем же объектам приписываются разные значения? Если при неоднократном применении некоторого измерения один и тот же объект не получает одного и того же значения, это измерение является ненадежным показателем соответствующего понятия. Чтобы гарантировать надежность линеек, их изготавливают из нерастяжимого материала. Если бы линейки изготовляли из растяжимых материалов, они вполне могли бы [c.110] показывать разную длину одного и того же объекта (даже в том случае, если его длина на самом деле не изменилась) просто потому, что линейка растягивается и сжимается.

Если измерение ненадежно, оно не может быть валидным, поскольку по крайней мере некоторые различия в оценках, приписанных объектам, обусловлены ошибками измерения, а не истинными различиями между объектами. Вспомним наш пример с исследованием уличного освещения. Что, если используемый нами световой счетчик окажется настолько чувствительным, что будет фиксировать не только свет от уличных фонарей, но и лунный свет? Тогда значения переменной качество уличного освещения для каждой улицы будут зависеть как от яркости уличных фонарей, так и от случайных факторов, таких, как фазы Луны и характера облачности. В той степени, в которой эти случайные факторы влияют на наши результаты, измерение оказывается невалидным отражением действительных различий в качестве уличного освещения. В этом случае ненадежность обусловливает невалидность.

Измерение может быть вполне надежным и все-таки невалидным. Вспомним приводившееся в качестве примера исследование того, в какой степени люди в разных государствах одобряют политику своего правительства. Мы говорили, что вопросы, задаваемые в ходе обследования, могут привести к невалидным измерениям, поскольку в авторитарных странах люди боятся говорить правду о том, что они думают. Так как данный фактор обусловливает скорее систематическую, чем случайную ошибку, вопросы могли бы давать весьма устойчивые результаты. Вне зависимости от того, сколько раз их спрашивают, люди могли бы отвечать одно и то же. Это, однако, не делает измерение валидным.

Таким образом, измерение может быть надежным, не будучи валидным, но не может быть валидным, не будучи надежным. В то время как валидность уязвима и со стороны систематической, и со стороны случайной ошибки, надежность подвергается опасности лишь со стороны последней. Это означает, что, если в предшествующих исследованиях измерение было убедительно валидизировано, мы можем использовать его, не беспокоясь о его надежности: [c.111] если измерение валидно, оно должно быть надежно. Однако, продемонстрировав надежность, мы не гарантируем валидность .

Как застраховаться от ненадежности? Как определить, надежно ли данное измерение? Чтобы предотвратить угрозу ненадежности, необходимо знать о различных источниках случайных ошибок измерения, описанных нами в данной главе, и делать все возможное для установления контроля над ними. Следует, в частности, продумывать реальный процесс измерения и проводить предварительное тестирование инструментов измерения для выявления ранее неизвестных причин случайных ошибок.

В социальных науках часто бывает довольно сложно определить, надежно ли предлагаемое нами измерение. Это происходит потому, что истинное значение переменных, с которыми мы имеем дело, может коренным образом изменяться с течением времени и под давлением обстоятельств: люди меняют свое мнение под влиянием опыта; государства начинают по-иному распределять ресурсы между социальными службами и ведомствами оборонного характера в ответ на возникновение военной угрозы и т. п. Когда реальные значения так или иначе изменяются, трудно бывает отличить результаты воздействия случайных ошибок измерения от действительных колебаний в рамках измеряемых понятий. Это означает, что тесты на надежность следует проводить через максимально короткие промежутки времени.

В социальных науках имеется три типа методов установления надежности измерений. Первый – это метод неоднократного тестирования. В этом случае одно и то же измерение снова и снова применяется в отношении одного и того же набора объектов. Если объекты всякий раз получают одну и ту же оценку, измерение считается надежным. Трудности с данным методом возникают в том случае, когда измерение связано с интервьюированием людей (в отличие от измерения характеристик неодушевленных объектов или осуществления скрытого наблюдения за людьми). Если мы повторяем вопросы через короткий промежуток времени, интервьюируемые могут помнить данные ими ранее ответы и, стараясь быть последовательными, будут повторять эти ответы, вместо того чтобы правдиво отвечать на поставленный вопрос. Если возникает [c.112] такая ситуация, мы оказываемся не в состоянии правильно оценить надежность вопросов как показателя для данного понятия. Пытаясь избежать такого тест-эффекта, мы могли бы приступить к повторному опросу лишь по прошествии значительного промежутка времени. Однако в этом случае мы столкнемся с другой проблемой: с течением времени истинные значения переменной могли измениться, и мы можем оказаться не в состоянии отличить изменения в оценках, возникающие из-за ненадежности измерения, от действительных изменений переменной.

Указанная проблема привела к созданию другого теста на надежность – метода альтернативной формы. В соответствии с этим методом в один и тот же момент разные формы измерения применяются к одной и той же группе объектов либо одно и то же измерение применяется к разным группам объектов. В этом случае тест-эффект невозможен, поскольку ни один объект не измеряется более одного раза, а так как измерения не отделены друг от друга никакими временными интервалами, на результатах измерений не могут сказаться реальные изменения исследуемых переменных. Однако успех этой стратегии зависит от того, насколько хорошо сопоставимы друг с другом альтернативные формы измерения как измерения данного понятия, и от того, действительно ли две группы эквивалентны с точки зрения дистрибуции измеряемой переменной. Если у нас есть основания полагать, что эти условия выполняются, то, чем более близки оценки по двум измерениям или по двум группам, тем более мы можем быть уверены в надежности измерения. Однако если в нашем распоряжении нет сравнимых измерений или групп, мы не можем использовать данный метод должным образом.

Наконец, последний способ тестирования надежности измерения известен под названием метода подвыборки. Этот метод заключается в том, что, сформировав выборку из объектов, мы делим ее на несколько подвыборок таким образом, чтобы все они были похожи друг на друга. Затем мы применяем одно и то же измерение ко всем подвыборкам и используем сходство или различие результатов для подвыборок как показатель надежности измерения. Поскольку мы используем одно и то же измерение, у нас нет [c.113] необходимости заботиться о сопоставимости, как в случае метода альтернативной формы; а так как для обеспечения эквивалентности подвыборок мы можем опираться на теорию выборки, нам не приходится беспокоиться о том, что выбранные для измерения группы окажутся недостаточно однородными. Так как ни один объект не измеряется дважды, мы можем не считать тест-эффект угрожающим точности нашего теста на надежность; а поскольку [c.114] измерения осуществляются одновременно, реальные изменения переменной не могут иметь значения для данного метода, как это происходит в случае метода неоднократного тестирования. Однако возможность использования метода подвыборки определяется тем, в состоянии ли мы получить такую большую выборку, что, разделив ее на части, мы будем располагать подвыборками, достаточными для того, чтобы применяемые нами статистические тесты были осмысленными. Это не всегда возможно и может послужить препятствием для использования метода подвыборки при проверке надежности.

Для интерпретации результатов каждого из этих тестов на надежность имеется множество статистических процедур 8 .

У описанных методов много разновидностей. Какой из вариантов в наибольшей степени подойдет для данного исследовательского проекта, будет зависеть от того, каким временем и возможностями располагает исследователь, а также от характера исследования. Например, если мы хотим измерить уличное освещение на основании оценки освещенности разных кварталов, сделанной обученными наблюдателями, мы можем спокойно воспользоваться методом неоднократного тестирования, не думая ни о каком тест-эффекте. Уличное освещение не будет изменяться просто потому, что его кто-то измеряет, и поэтому можно позволить разным наблюдателям независимо друг от друга оценивать одну и ту же улицу в одну и ту же ночь. Мы не сможем в такой же степени доверять этому методу, если наше измерение качества уличного освещения будет основываться на ответах, данных самими жителями на вопросы интервью.

Вне зависимости от того, какой тест на надежность мы предпочли использовать, надежность измерений важно установить до того, как будет начато исследование. Это требует предварительного тестирования измерения посредством сбора данных, предназначенных исключительно для оценки инструментов, которые будут использоваться в самом исследовании. Если нам не удастся это сделать, то может оказаться, что наши измерения ключевых переменных ненадежны (и поэтому невалидны), и выясниться это может лишь после того, как исследование завершено. А это означает, что мы не сможем доверять [c.115] результатам исследования и что наши усилия были полностью или частично потрачены впустую. Предварительное тестирование солидности и надежности измерения должно быть составной частью любого исследовательского проекта, если в нем используются измерения, которые не были где-нибудь убедительно валидизированы, или если этот проект полагается на измерения, которые были валидизированы только в условиях, очень сильно отличающихся от тех, в которых они будут использоваться. [c.116]

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *