скачать doc
ВНЕШНЯЯ ВАЛИДНОСТЬ:
ПРЕДСТАВЛЕННОСТЬ ИЗУЧАЕМОЙ ПОПУЛЯЦИИ
Эффективность любого из описанных нами экспериментов определяется тем, в какой мере его результаты можно распространить на интересующую исследователя популяцию: покупателей универсамов. курсантов, которые будут учиться сажать самолет Т-37, студентов, которым предстоит изучать испанский язык в высшей школе Постгейта. Нам понятно, что выборка испытуемых из популяции не может представлять последнюю безупречно. Такой она могла бы стать лишь в безупречном эксперименте, а он, как мы знаем, неосуществим. В эксперименте полного соответствия испытуемые фактически и были бы той популяцией, к которой затем будут применяться полученные результаты. С этой точки зрения внешняя валидность реального эксперимента зависит от того, насколько мы приближаемся к столь недостижимой цели благодаря своим способам отбора испытуемых.
Данный аспект вопроса о внешней валндности можно было бы обсуждать на примере эксперимента с привлечением одной и той же группы испытуемых для разных условий (когда оба условия предъявляются каждому испытуемому в последовательности АББЛ). Но мы продолжим анализ схем экспериментов с межтрупповым сравнением, это позволит нам лучше соотнести вопросы внешней и внутренней валидности.
Отбор из популяции
Популяций существует очень много. Многие будущие покупатели, летчики и студенты, которые будут изучать испанский, пока еще дети или даже не родились. С другой стороны, более и менее обширные, популяции, из которых можно выбирать испытуемых, уже существуют, например все студенты Соединенных Штатов, начавшие изучать курс испанского языка. В одном из трех исследований этой главы—в эксперименте с мысленной тренировкой — использовалась относительно небольшая популяция. Но, конечно, курсантов на воздушной базе в Уильямсе гораздо больше, чем можно было привлечь в качестве испытуемых для эксперимента. Поэтому случайная стратегия применялась в этом случае не для распределения всех имеющихся и распоряжении курсантов, а для отбора экспериментальных групп из данной популяции.
Случайный отбор групп
Сейчас можно подробно описать процедуру отбора групп (с равным числом испытуемых для каждого из экспериментальных условий), которой воспользовался Пратер. Это четвертая схема межгруппового сравнения—случайный отбор групп.
Предположим, популяция включает 810 курсантов, и из нее надо отобрать 30 человек, но 15 в каждую экспериментальную группу. Как нужно действовать в этом случае? Сначала фамилии 810 курсантов запи сывают по алфавиту, и каждому присваивается порядковый номер от 1 до 810. Затем, как всегда, бросают игральную кость и определяют, с какой колонки таблицы 4.3 начать отбирать испытуемых. Выпадает, скажем, 5, и начинают с пятой колонки сверху (17-—20). При этом в каждом числе учитывают только три последних знака из четырех. Первое число в колонке— 5993, и три последних знака дадут 993. Это число указывает вам порядковый помер курсанта, которого нужно отобрать для эксперимента. Но такого курсанта нет, их всего 810. Тогда нужно просто перейти к следующему числу—3508. Из алфавитного списка отбирается курсант под номером 508. Следующим будет курсант под номером 223 п т. д. до тех пор, пока из 810 курсантов не будут отобраны 30 человек для эксперимента.
Если номер случайно повторится, скажем, еще раз встретится 508, его нужно пропустить и перейти к следующему. Зачисляя курсантов поочередно в одну из двух групп, вы получите по 15 испытуемых для каждого экспериментального условия. Чтобы знать, сколько людей отобрано, лучше всего ставить цифру 1 около фамилии первого отобранного курсанта, 2—около второго н так к каждому до 30.
Оценка внешней валидности. Приведенная процедура обеспечит вам случайный отбор 30 испытуемых из популяции в 810 человек. Достаточно ли велика такая выборка? Это зависит от степени различий среди популяции курсантов по их способности учиться сажать самолет Т-37. Поскольку перед допуском к тренировочной программе курсанты проходят тщательную про-^P'ty, У tiac сеть все основания считать, что группа довольно однородна, слишком неудачных испытуемых в ней нет. Поэтому даже небольшая выборка из 30 человек может оказаться достаточной. Мы имеем право рассчитывать на результаты, близкие к результатам эксперимента полного соответствия, где в обоих экспериментальных условиях участвовали бы все члены популяции (эксперимент, впрочем, совершенно бесполезный). Популяция хорошо представлена выборкой испытуемых, поэтому внешняя валидность эксперимента (в данном смысле) удовлетворительна.
Однако всегда есть опасность, что при более широком распространении результатов внешняя валидность окажется нарушенной. Если распространить результаты эксперимента на будущих курсантов-пилотов, может возникнуть вопрос: представительна ли популяция из 810 курсантов, обучающихся сейчас, для популяции курсантов, которые будут учиться через несколько лет? Знать этого наверняка мы не можем, необходимо провести сравнение вступительных экзаменов, сопоставить оценки курсантов по тестам на способности и т. д. Если эти данные сильно изменяются, то эксперимент окажется несоответствующим по параметру испытуемых. Легко убедиться, чto индивидуальные вариации—одна из тех «дополнительных» переменных, уровень которой должен всегда быть соответствующим. Этот случай хорошо сравнить с «неправильным» вариантом эксперимента Джека Моцарта, в котором тот пытался применить результаты, полученные на вальсах, к будущему разучиванию сонат. Там дополнительной переменной, находившейся на несоответствующем уровне, был тип музыки; здесь ею могут стать индивидуальные характеристики испытуемых.
Связь внешней и внутренней валидностм при отборе из популяции
Схема межгруппового сравнения. При использовании схемы эксперимента, которая применялась в исследовании с мысленной тренировкой, когда разные экспериментальные условия даются разным группам испытуемых, существует связь между внешней и внутренней валидностью. Если не только вся выборка, но и отдельные группы испытуемых, отобранные для каждого из условий, достаточно хорошо представляют изучаемую популяцию, то эти группы можно считать эквивалентными. Едва ли они будут соответствовать популяции, не будучи подобными одна другой. Поэтому в экспериментах данного типа достижение внешней валидности (в отношении испытуемых) обеспечивает один из важных аспектов внутренней валидности. Ведь основным
источником нарушения внутренней валидности в эксперименте с межгрупповым сравнением являются различия между испытуемыми каждой группы.
Напротив, для достижения внутренней валидностй эксперимента, т. е. уравнивания групп испытуемых, участвующих в каждом из условий, вовсе не обязательно, чтобы эти испытуемые были представительной выборкой исследуемой популяции. Предположим, что для эксперимента отобрали тех 30 курсантов, которые первыми вошли в класс для занятий. После этого их можно разделять на две группы с помощью любого ранее описанного приема, в том числе путем случайного распределения, но представительной выборкой популяции курсантов они все равно не станут. Таким образом, мы видим, что подобие групп по индивидуальным характеристикам еще ничего не говорит о представимости популяции. Внешняя валидность эксперимента обеспечивает его внутреннюю валидность, но обратное отношение не сохраняется.
Схема интраиндивидуального сравнения. В эксперименте с сообщениями о ценах можно было бы использовать интраиндивидуальную схему. Каждый испытуемый мог бы пройти все три экспериментальных условия. Но между внешней и внутренней валидностью такого эксперимента не будет абсолютно никакой связи. Если выборка испытуемых хорошо представляет популяцию, то достигается высокая внешняя валидность. Однако внутренняя валидность индивидуального эксперимента нарушается главным образом за счет влияний предшествующих проб, различия задач и изменчивости поведения во времени. На представительность выборки эти факторы не влияют. Так что даже если тщательно контролировать их, это все равно не позволит улучшить репрезентативность выборки, т. е. внешнюю валидность эксперимента.
Послойный случайный отбор
Выделение слоев можно применять вместе со случайным отбором испытуемых внутри каждого слоя точно так же, как при случайном распределении слоев. Это дает пятую и последнюю схему эксперимента с межгрупповым сравнением—случайный отбор групп с выделением слоев. В эксперименте с мысленной тренировкой основанием для выделения слоев могут быть, например, оценки курсантов в тестах на пространственное воображение. Тогда по высоким, средним и низким оценкам в популяции из S10 курсантов можно было бы выделить три слоя по 270 в каждом. Из каждого такого слоя можно отобрать по 5 испытуемых для каждого try двух условий и, таким образом, получить выборку из 30 человек.
Если основание выделения слоев (здесь — оценка в тесте на пространственное воображение) связано с изучаемым видом деятельности (здесь—обучение сажать самолет Т-37), то данная процедура дает крупное преимущество. При одном и том же количестве испытуемых она обеспечит лучшую представленность популяции, и это повысит внешнюю валидность эксперимента. А поскольку применяется схема эксперимента с межгрупповым сравнением, то внутренняя валидность тоже будет выше.
Привлечение испытуемых, имеющихся в наличии
Если в эксперименте участвуют не случайно отобранные представители популяции, а уже имеющиеся в наличии, будь то специально привлеченные испытуемые («заложники») или добровольны, то вопрос о репрезентативности выборки становится весьма серьезным. Мы его уже рассматривали, когда обсуждали репрезентативность группы курсантов-летчиков набора одного года по отношению к наборам будущих лет. То же относится и к воображаемому эксперименту с обучением испанскому языку. Могут ли 100 участников эксперимента представить всех будущих студентов, которые будут учить испанский? Часто такие ситуации достаточно постоянны, и поэтому подобные проблемы не слишком серьезны.
дает пятую и последнюю схему эксперимента с межгрупповым сравнением—случайный отбор групп с выделением слоев. В эксперименте с мысленной тренировкой основанием для выделения слоев могут быть, например, оценки курсантов в тестах на пространственное воображение. Тогда по высоким, средним и низким оценкам в популяции из S10 курсантов можно было бы выделить три слоя по 270 в каждом. Из каждого такого слоя можно отобрать по 5 испытуемых для каждого try двух условий и, таким образом, получить выборку из 30 человек.
Если основание выделения слоев (здесь — оценка в тесте на пространственное воображение) связано с изучаемым видом деятельности (здесь—обучение сажать самолет Т-37), то данная процедура дает крупное преимущество. При одном и том же количестве испытуемых она обеспечит лучшую представленность популяции, и это повысит внешнюю валидность эксперимента. А поскольку применяется схема эксперимента с межгрупповым сравнением, то внутренняя валидность тоже будет выше.
Привлечение испытуемых, имеющихся в наличии
Если в эксперименте участвуют не случайно отобранные представители популяции, а уже имеющиеся в наличии, будь то специально привлеченные испытуемые («заложники») или добровольны, то вопрос о репрезентативности выборки становится весьма серьезным. Мы его уже рассматривали, когда обсуждали репрезентативность группы курсантов-летчиков набора одного года по отношению к наборам будущих лет. То же относится и к воображаемому эксперименту с обучением испанскому языку. Могут ли 100 участников эксперимента представить всех будущих студентов, которые будут учить испанский? Часто такие ситуации достаточно постоянны, и поэтому подобные проблемы не слишком серьезны.
Но что вы скажете о 75 добровольцах как представителях популяции покупателей универсамов? Нет никаких оснований полагать, что такая группа представляет всех покупателей. Хотя возможно, как раз тот факт, что участники эксперимента намного превосходят всю популяцию покупателей по своей заинтересованности, свидетельствует о достоверности полученных результатов. Иначе говоря, если даже эти, в каком-то смысле самые лучшие, испытуемые не смогли успешно воспользоваться вычислительным устройством (условие Б), то не стоит надеяться, что в более обширной популяции покупателей это устройство окажется эффективным. Когда в эксперименте участвует явно не репрезентативная выборка, то лучше прямо об этом сказать.
Обзор схем межгрупповых сравнений
В этой главе мы встретили так много различных схем, что запомнить их все сразу довольно трудно. Вам поможет табл. 4.4. В пей представлена классификация этих схем согласно типам стратегий построения экспериментальных групп и типам набора испытуемых. Приводится также общая оценка каждой из шести схем: насколько успешно решаются в них проблемы внутренней и внешней валидности. Две ячейки в таблице не заполнены, так как соответствующие комбинации типа стратегий и типа набора испытуемых просто невозможны. Подбор пар и привлечение реальных групп имеют смысл только в случае распределения испытуемых, но не их отбора.
Вы видите, что стратегия подбора пар, а также случайного распределения и отбора с выделением слоев обеспечивает более высокую внутреннюю валидность, чем случайная стратегия, Это объясняется тем, что зачастую при одном и том же числе испытуемых можно сделать группы более эквивалентными. Хуже всего— сравнивать реально существующие группы, в их подлинности никогда нельзя быть уверенным из-за множества побочных влияний. При отборе испытуемых из популяции стратегия послойного случайного отбора может
обеспечить также более высокую внешнюю валидность по сравнению с обычной случайной стратегией. Нередко она позволяет лучше представить популяцию.
При распределении групп мы не можем оценить внешнюю валидность эксперимента непосредственно. За исключением эксперимента на реальных группах: здесь приходится сомневаться уже в том, что группы представляют одну и ту же популяцию. При распределении выборки испытуемых по разным экспериментальным условиям для ответа на вопрос о внешней валидности эксперимента нужны дополнительные данные. Нам необходимо знать, адекватны ли такие значимые индивидуальные характеристики испытуемых, как возраст, образование, социальные и экономические условия их жизни, соответствующим характеристикам изучаемой популяции.
При оценке каждой из приведенных схем мы предполагали наличие достаточно большого числа испытуемых. Если число испытуемых слишком мало, то мала и надежда на хорошую представленность популяции (внешнюю валидность), да и достичь подобия групп [внутренней валидности) становится труднее.
Но что вы скажете о 75 добровольцах как представителях популяции покупателей универсамов? Нет никаких оснований полагать, что такая группа представляет всех покупателей. Хотя возможно, как раз тот факт, что участники эксперимента намного превосходят всю популяцию покупателей по своей заинтересованности, свидетельствует о достоверности полученных результатов. Иначе говоря, если даже эти, в каком-то смысле самые лучшие, испытуемые не смогли успешно воспользоваться вычислительным устройством (условие Б), то не стоит надеяться, что в более обширной популяции покупателей это устройство окажется эффективным. Когда в эксперименте участвует явно не репрезентативная выборка, то лучше прямо об этом сказать.
Обзор схем межгрупповых сравнений
В этой главе мы встретили так много различных схем, что запомнить их все сразу довольно трудно. Вам поможет табл. 4.4. В пей представлена классификация этих схем согласно типам стратегий построения экспериментальных групп и типам набора испытуемых. Приводится также общая оценка каждой из шести схем: насколько успешно решаются в них проблемы внутренней и внешней валидности. Две ячейки в таблице не заполнены, так как соответствующие комбинации типа стратегий и типа набора испытуемых просто невозможны. Подбор пар и привлечение реальных групп имеют смысл только в случае распределения испытуемых, но не их отбора.
Вы видите, что стратегия подбора пар, а также случайного распределения и отбора с выделением слоев обеспечивает более высокую внутреннюю валидность, чем случайная стратегия, Это объясняется тем, что зачастую при одном и том же числе испытуемых можно сделать группы более эквивалентными. Хуже всего— сравнивать реально существующие группы, в их подлинности никогда нельзя быть уверенным из-за множества побочных влияний. При отборе испытуемых из популяции стратегия послойного случайного отбора может
обеспечить также более высокую внешнюю валидность по сравнению с обычной случайной стратегией. Нередко она позволяет лучше представить популяцию.
При распределении групп мы не можем оценить внешнюю валидность эксперимента непосредственно. За исключением эксперимента на реальных группах: здесь приходится сомневаться уже в том, что группы представляют одну и ту же популяцию. При распределении выборки испытуемых по разным экспериментальным условиям для ответа на вопрос о внешней валидности эксперимента нужны дополнительные данные. Нам необходимо знать, адекватны ли такие значимые индивидуальные характеристики испытуемых, как возраст, образование, социальные и экономические условия их жизни, соответствующим характеристикам изучаемой популяции.
При оценке каждой из приведенных схем мы предполагали наличие достаточно большого числа испытуемых. Если число испытуемых слишком мало, то мала и надежда на хорошую представленность популяции (внешнюю валидность), да и достичь подобия групп [внутренней валидности) становится труднее.