.RU

Диагностика интеллекта 65 - Психология общих способностей (издание 2-е, расширенное, дополненное)



Диагностика интеллекта 65

описание теста, я ограничусь лишь необходимым минимумом информации, а так­же уместной теоретической и метрологической характеристикой теста.

Первая версия теста предложена в 1939 году (шкала Векслера—Бельвью, по названию клиники Bellevue) для диагностики интеллекта людей в возрасте от 7 до 69 лет. Д. Векслер подверг критике существующие тесты (в первую оче­редь, тест Стэнфорд—Бине) считая их непригодными для тестирования взрос­лых. Традиционный показатель IQ — «умственный возраст» — совершенно не­применим для характеристики интеллекта взрослых. Большинство тестов ин­теллекта ориентированы на скорость, что может вызвать, по мнению Векслера, затруднения у пожилых людей.

В традиционных тестах много места занимали шаблонные операции со сло­вами и примитивные задания, сконструированные для детей.

Отказавшись от группировки заданий по возрастному параметру, Векслер объединил тестовые задания в сходные по содержанию субтесты, внутри субте­стов задания были расположены по уровню трудности. Вместо показателя «ум­ственный возраст» он впервые ввел возрастные нормы.

Результат испытуемого соотносился с нормами той возрастной группы, к которой он принадлежал на момент тестирования. Переход от абсолютных пока­зателей к относительным был и силой, и слабостью методики Векслера, посколь­ку этот прием постулировал константность IQ человека на протяжении жизни.

Используются 3 варианта теста Векслера: тест WAIS, предназначенный для тестирования взрослых (от 16 до 64 лет), тест WISC — для тестирования детей и подростков (от 6,5 до 16,5 года) и тест WPPSI (для детей от 4 до 6,5 года).

В России адаптированы первые два варианта теста, которые мы и будем рассмат­ривать в этом разделе.

Тест WAIS опубликован в 1955 году, редакция теста — WAIS-R вышла в 1981 году [9].

Тест включает в себя 11 субтестов. Из них 6 составляют вербальную шкалу и 5 — невербальную. В вербальную часть вошли следующие субтесты.

1. ^ Общая осведомленность: включает 29 вопросов. Диагностирует уровень простых знаний. Нет вопросов, требующих специальных и теоретических знаний. Правильный ответ оценивается в 1 балл.

2. Понимание: 14 заданий на понимание смысла выражений. Оценивается способность к суждениям. Оценка в зависимости от правильности ответа: О, 1, 2 балла.

3. Арифметика: включает 14 задач из курса арифметики начальной школы. Задачи решаются устно. Диагностируется легкость оперирования числовым ма­териалом. Оценивается как правильность, так и затраченное время.

4. ^ Нахождение сходства: 13 заданий. Испытуемый должен подвести 2 пред­мета под общую категорию, выявить, что между ними общего. Диагностируется по­нятийное мышление. Оценка в зависимости от правильности ответа: О, 1, 2 балла.

5. ^ Запоминание цифр: первая часть содержит ряды, в которых от 3 до 9 цифр. Испытуемый должен прослушать цифры и устно их воспроизвести.

66 Глава 3

Вторая часть включает ряды от 2 до 8 цифр. Испытуемый должен воспроизвести ряд в обратном порядке.

6. ^ Словарный запас: 42 понятия. Тест направлен на изучение вербального опыта и умения давать определения понятиям. Испытуемый должен объяснить значение слова. Первые 10 слов — распространенные в обыденной речи, следу­ющие 20 слов — средней сложности, последние 12 — абстрактно-теоретические понятия. Оценка от 0 до 2 баллов. Вербальная шкала тесно коррелирует с общей культурой испытуемого и академической успеваемостью. Результаты сильно зависят от языковой культуры испытуемого (от владения языком, на котором написан текст). Оценки по субтестам «Осведомленность», «Понятливость» и «Словарный запас» характеризуют общий уровень развития испытуемого, прак­тически не изменяются с возрастом и при старении. Полагают, что они опреде­ляются уровнем образования испытуемых. Я же считаю, что связь иная: по­скольку успешность выполнения этих субтестов в наибольшей степени корре­лирует с общим IQ, а также в наибольшей степени определяется генетически (см. раздел «Психогенетика общих способностей»), то скорее всего скорость накопления вербальных знаний определяет успешность и уровень образования.

Особняком стоит субтест «Сходство». Результаты его выполнения говорят о способности к логическому мышлению, обобщению и абстрагированию. Оцен­ки по тесту ухудшаются при старении. Вероятно, успешность его выполнения в большей мере детерминирована «текучим» интеллектом по Кэттеллу, нежели успешность выполнения других субтестов вербальной шкалы.

Субтест «Арифметический» диагностирует не только успешность решения вычислительных задач, но и произвольную концентрацию внимания. Результаты его выполнения зависят от профессии и уровня образования и мало изменяются при старении.

Субтест «Повторение цифр» наиболее слабо коррелирует с общим интел­лектом и направлен на определение объема кратковременной памяти и уровня активного внимания. Включение этого субтеста в шкалу Векслер обосновывал его диагностической ценностью: неспособность воспроизвести 4 цифры в пря­мом порядке свидетельствует о слабоумии. Прямое воспроизведение при старе­нии ухудшается незначительно, обратное — несколько значительней.

Наиболее устойчивы по отношению к воздействию различных факторов (интуиция, общее состояние испытуемого, болезнь и пр.) результаты теста «Сло­варный запас», поэтому его часто используют в качестве «точки отсчета» при анализе профиля оценок по субтестам шкалы Д. Векслера.

Невербальная шкала, или «шкала действий», состоит из 5 субтестов.

7. Шифровка (или Цифровые символы): является вариантом теста на кодовые замены. Испытуемый должен написать под каждой цифрой (всего 100) соответствующий символ за 1,5 минуты. На бланке приводится «ключ»: под каждой из 9 цифр нарисован определенный символ. Диагностируется зрительно-моторная скорость. Оценка успешности определяется числом правильно зашифрованные цифр.

Диагностика интеллекта 67

8. ^ Недостающие детали (или Завершение картинок)', состоит из 21 кар­точки, на которых изображены картинки с отсутствующей деталью, и диагности­рует зрительную наблюдательность, а также способность выявлять существен­ные признаки. Время решения одной задачи — 20 с. Правильный ответ оценива­ется 1 баллом.

9. ^ Конструирование блоков (Кубики Косса): 40 заданий. Включает набор карточек с красно-белыми чертежами и набор красно-белых кубиков. Испытуе­мый должен, глядя на образец, собрать из кубиков картинку. Диагностируются двигательная координация и визуальный синтез. Оценивается точность и время решения.

10. ^ Последовательные картинки: 8 серий картинок. Каждая серия пред­ставляет сюжет. Картинки предъявляются в определенной неправильной после­довательности. Испытуемый должен их правильно расположить. Диагностиру­ются способности организации целого из частей, понимания ситуации, экстрапо­ляции. Оценка определяется правильностью и временем решения.

11. ^ Сборка объекта (Складывание фигур): 4 задания. Испытуемый должен собрать фигуру хорошо знакомого предмета из отдельных деталей (фигуры «че­ловек», «профиль», «рука», «слон»). Диагностируется способность к синтезу цело­го из деталей. Оценка зависит от времени и правильности сборки.

В целом невербальная шкала диагностирует не только знания, но и способ­ность индивида к моторно-перцептивному взаимодействию с объектами окружа­ющего мира, зависящую от опыта деятельности.

Первоначально Д. Векслер полагал, что невербальный интеллект больше зависит от психофизиологических задатков индивида, но данные близнецовых исследований опровергли эту гипотезу.

Наиболее комплексным (принадлежность его к этой части теста весьма условна) тестом невербальной шкалы является «Шифровка», диагностирующая свойства внимания, восприятия, координации. Результаты его выполнения быст­ро ухудшаются после 40 лет.

Наиболее информативным субтестом невербальной шкалы многие авторы считают «Кубики Косса». Аналогичен по содержанию и тест «Сборка объек­тов».

Успешность выполнения этих трех тестов зависит от развития сенсомотор-ной координации, между тем как результаты по тестам «Недостающие детали» и «Последовательные картинки» не зависят от развития моторики, а в большей мере определяются когнитивными способностями. По мнению Векслера, успеш­ность выполнения этих двух тестов определяется опытом восприятия окружа­ющей среды и приобщенностью к культуре.

Итог проведения теста во многом зависит от того, какие складываются отно­шения между психодиагностом и испытуемым.

Тестирование производится по адаптивному алгоритму. Первые задания большинства вербальных субтестов (а также «Кубики Косса») предназначены для лиц, подозреваемых в умственной отсталости. В случае, если испытуемый, не

68



Рис. 17. Проведение теста WISC-R (Д Векслер) Субтест «Сборка объектов»

Диагностика интеллекта 69

подозреваемый в умственной отсталости, не выполняет задания основной серии, то ему предъявляются первые задания.

Процесс интерпретации результатов выполнения части вербальных тестов не полностью алгоритмизирован и предполагает активное участие эксперимен­татора.

Обработка и интерпретация результатов может проходить на трех уровнях:

1) подсчет и интерпретация баллов общего интеллекта, вербального и невер­бального интеллектов, 2) анализ профиля оценок выполнения субтестов испыту­емыми на основе подсчета соответствующих коэффициентов, 3) качественная интерпретация индивидуального профиля с привлечением данных наблюдения за поведением испытуемого в ходе обследования и прочей диагностической ин­формации.

Стандартный вариант обработки заключается в подсчете первичных «сы­рых» оценок по каждому субтесту. Затем «сырые баллы» по соответствующим таблицам переводятся в стандартные и отображаются в виде профиля. «Сы­рые» оценки отдельно по вербальной и невербальной части суммируют, а затем находят по таблицам соответствующие показатели общего, вербального и невер­бального IQ (см. табл. 7).

Таблица 7. Классификация IQ-показателей по Векслеру

IQ-показатель

Уровень интеллектуального развития

Процент выявления (по выборке 1,7 тыс. лиц от 16 до 64 лет)

130 и выше

Весьма высокий интеллект

2,2

120-129

Высокий интеллект

6,7

110-119

«Хорошая норма»

16,1

90-109

Средний уровень

50,0

80-89

Сниженная норма

16,1

70-79

Пограничный уровень

6,7

69 и ниже

Умственный дефект

2,2




Дополнительным является индекс возрастного снижения интеллекта. Со­гласно данным Векслера, все субтесты его батареи делятся на две группы: основ­ные, успешность выполнения которых мало зависит от возраста, и субтесты, ре­зультаты выполнения которых ухудшаются с возрастом.

К первым он отнес: «Словарный», «Осведомленность», «Составление фигур», «Обнаружение недостающих деталей», ко второй группе — «Воспроизведениие цифр», «Обнаружение сходства», «Шифровка» и «Кубики Косса».

К»__________________________________________________Глава 3

Коэффициент возрастного снижения интеллекта (DQ) равен:

ТНР - ТПР

DQ= ———————х 100%,

ТНР

где ТНР — показатель по субтестам с неизменными результатами, ТПР — пока­затели по тестам с переменными результатами.

При анализе профиля выполнения субтестов используется ряд дополни­тельных индексов.

Важнейшей характеристикой является показатель разброса баллов, полу­ченных испытуемыми за выполнение каждого субтеста:

^ £ Xi -X|

11

- ZX;

где Хг — балл за выполнение отдельного субтеста, а Х == ——

Наиболее часто употребляется коэффициент словарного разброса: разница между шкальной оценкой данного субтеста и оценкой по субтесту «Словарный запас». Значение баллов по этому субтесту, как правило, всегда выше, чем по другим, поэтому за исключением редких случаев отклонение является величи­ной отрицательной.

Алгебраическая сумма этих отклонений называется «сложным словарным разбросом»: его величина также почти всегда отрицательная. Оценка по субте­сту «Словарный» наиболее показательна для общего интеллекта и относительно стабильна при нарушениях адаптации индивида к среде.

Реже используют индекс модифицированного среднего разброса — разницу между оценкой любого вербального субтеста и оценкой всех остальных вербаль­ных субтестов (кроме субтестов «Числовые ряды» и «Арифметический») или баллом любого невербального теста и средней оценкой всех остальных невер­бальных тестов. Эта оценка отражает связь достижений испытуемого в отдель­ном субтесте с центральной тенденцией его достижений в остальных субтестах.

Иногда используют показатель «среднего разброса» — разницу между оцен­кой по одному из субтестов и средней арифметической оценкой всех субтестов (кроме субтестов «Арифметический» и «Числовые ряды»). Этот показатель от­ражает отношения отдельных достижений субъекта к центральной тенденции всех достижений. В медико-психологической практике вычисление этих показа­телей используется для уточнения диагноза. Например, считается, что значитель­ная величина 'отрицательного словарного разброса является показателем психо­за, в частности, преобладание отрицательного словарного разброса в невербаль­ной части — показатель депрессии, а резкое снижение уровня выполнения вербальных тестов относительно балла по субтесту «Словарный» является при­знаком прогрессирующего шизофренического процесса и т. д.

^ Диагностика интеллекта 71

При индивидуальном тестировании используются более тонкие интерпрета­ции диагностического профиля по тесту Векслера.

Оценки по шкале Векслера сопоставлялись с оценками, которые получают те же испытуемые по шкале Стэнфорд—Бине. Как правило, интеллектуалы получа­ют более высокий балл по шкале Стэнфорд—Бине, нежели по шкале Векслера. Наоборот, интеллектуально отсталые получают более высокие оценки по тесту Векслера, нежели по тесту Стэнфорд—Бине.

Надежность WAIS весьма велика: 0,97, по шкале вербальной — 0,96, а по шкале действий — 0,93.

Наименее надежны «Запоминание цифр», «Сборка объектов» и «Расположе­ние картинок» (0,6). Наиболее надежен субтест «Словарный запас» (0,96).

Корреляция уровня успеваемости и результаты по вербальной шкале равны 0,40-0,50.

Факторизация теста WAIS, проведенная Дж. Коэном, дала следующие резуль­таты [10].

Обнаружен единый фактор, объясняющий 50 % всей дисперсии.

Выявлены 3 «групповых» фактора:

1. Вербальное понимание («Словарный запас», «Осведомленность», «Понима­ние», «Нахождение сходства»).

2. Перцептивная организация (главным образом — «Конструирование бло­ков» и «Сборка объектов»).

3. Обозначен Дж. Коэном как фактор «памяти» и включает субтесты «Ариф­метика», «Запоминание цифр». Значение этого фактора резко возрастает "^^^s^s^s-^s^ss^K^es^K.

Мне кажется, что Дж. Коэн получил классические результаты, аналогичные парциальным факторам, выделенным Спирменом: «лингвистические», «механиче­ские» и «числовые» способности. Вдобавок третий фактор более тесно связан с «текучим» интеллектом по Кэттеллу, отсюда повышение его значимости к старости.

Очевидно, тесты группируются не по виду «процесса», а по принципу сход­ства материала, заложенного в задании.

Шкала интеллекта для детей (WISC) вышла в 1950 году, усовершенствован­ный вариант WISC-R издан в 1974 году. Шкала предназначена для тестирования детей в возрасте от 6,5 до 16,5 года. В тест входят 12 субтестов, соответствующих субтестам теста WAIS, но дополненных более легкими однотипными заданиями.

В шкалу действия включен дополнительный субтест «Лабиринты». Кроме того, при проведении исследования субтест «Понимание» может быть заменен «Запоминанием цифр», а субтест «Лабиринт» субтестом «Кодирование». При диагностике субтесты вербальной и невербальной частей чередуются.

Показатели дополнительных тестов при подсчете IQ не учитываются.

Субтест «Лабиринт» состоит из возрастающих по трудности лабиринтов. Испытуемый должен выполнить его за определенный промежуток времени (най­ти выход), подсчитываются ошибки и регистрируется время.

72 ____________________________Глава 3

Надежность теста WISC-R практически столь же велика, как и теста WAIS (см. табл. 8-9).

При повторном тестировании детей значение общего IQ возрастает на 7 единиц, вербального IQ — на 3,5 единицы, невербального IQ — на 9 единиц, что в очередной раз подтверждает предположение о наибольшей тренируемости невербального интеллекта.

Факторизация выявила 3 групповых фактора: общего вербального понима­ния, восприятия пространства и «памяти» — как и при анализе WAIS.

Психогенетические исследования показали, что наследственностью обуслов­лены оценки по субтестам «Осведомленность», «Словарный», «Шифровка». Со­циальными факторами определяются оценки тестов «Понятливость», «Недоста­ющие детали», «Последовательные картинки», «Кубики Косса».

Наиболее трудными в выполнении являются субтесты «Словарный» и «Складывание фигур», наиболее легкими — «Арифметический», «Кубики Косса», «Недостающие детали», «Шифровка».

У детей с задержкой психического развития снижен вербальный интеллект. Между тем у воспитанников детских домов снижен невербальный интеллект (субтесты «Последовательные картинки», «Складывание фигур»). Это лишний раз подтверждает мысль о зависимости уровня развития невербального интел­лекта от опыта взаимодействия с социокультурной средой [II].

При дифференциальной диагностике задержки психического развития у де­тей особое значение имеют оценки по тестам «Сходство», «Словарный» и «По­следовательные картинки» [12].

Часто тест WISC применяется в дефектологической и патопсихологической диагностике, в частности при дифференцировке умственной отсталости от задер­жки психического развития. Наибольшие различия между нормой и задержкой психического развития (ЗПР) наблюдаются по субтесту «Сходство» и невербаль­ной шкале, причем величина разброса значений в профиле у детей с ЗПР больше, чем у олигофренов.

В 1967 году опубликована версия теста Векслера для детей WPPSI (возраст 4-6,5 года). Шкала состоит из 11 субтестов (10 основных, 1 — дополнитель­ный). Восемь субтестов представляют собой облегченные и адаптированные варианты WISC. Три субтеста были разработаны заново.

Субтесты сгруппированы в вербальную и невербальную шкалы. При прове­дении диагностики субтесты WPPSI из вербальной и невербальной частей чере­дуются друг с другом. Эксперимент проводится как в один, так и в два приема.

В вербальную шкалу входят субтесты «Осведомленность», «Словарный за­пас», «Арифметика», «Нахождение сходства», «Понимание» и дополнительный субтест «Предложения». В шкалу действий входят субтесты «Дом животного», «Завершение картинок», «Лабиринты», «Геометрические схемы», «Конструирова­ние блоков» («Кубики Косса»).

Новыми по сравнению с WISC являются субтесты «Предложения», «Дом животного» и «Геометрические схемы». Субтест «Предложения» заменил тест

Диагностика интеллекта 73

«Запоминание цифр» из WISC, им либо заменяют любой вербальный тест, либо применяют дополнительно. Субтест «Дом животного» (вместо «Шифровка» из WISC) состоит из карт с изображением собаки, цыпленка, рыбы и кошки. Ребе­нок должен расставить домики в соответствии с ключом по изображениям животных. При выполнении субтеста «Геометрические схемы» ребенок должен скопировать 10 чертежей с помощью цветного карандаша.

Факторизация теста дала один общий и два групповых фактора: вербальный и невербальный, причем вес невербального фактора возрастал от младших возраст­ных групп к старшим (пропорционально накоплению опыта взаимодействия с внешней средой).

В нашей стране тест Векслера неоднократно переводился и адаптировался.

Первая адаптация WAIS была проведена в Психоневрологическом научно-исследовательском институте им. В.М.Бехтерева (1956) в Ленинграде.

Последняя по времени адаптация теста WAIS произведена психологами Санкт-Петербургского государственного/университета (1991).

Таблица 8. Коэффициенты надежности IQ-показателей в шкале Векслера

Вариант шкалы

IQ-показатель

Коэффициент надежности

Способ определения надежности

WAIS

Вербальный Практический Общий

0,96 0,93-0,94 0,97

Расщепление (возрастные группы 18-19, 25-34, 45-54 и более лет)

WISC-R

Вербальный Практический Общий

0,94-0,93 0,90 0,96-0,95

Ретестирование (интервал 1 мес.) Расщепление (отдельно для каждой из 11 возрастных групп)

WPPSI

Вербальный Практический Общий

0,87-0,90 0,84-0,91 0,92-0,94

Ретестирование (интервал 1 мес.) для каждой возрастной группы




Таблица 9. Величины стандартной ошибки измерения (ст^)'IQ-показателей в шкале Векслера

Вариант

IQ-показатель

Значение о

m

WISC

Вербальный Практический Общий

3,00-5,19 4,74-5,61 3,36-4,25

WAIS

Вербальный Практический Общий

3,0 4,0 2,6




74 ___ Глава 3

Тест WISC адаптирован А. Ю. Панасюком (1973) и издан Институтом гиги­ены детей и подростков Минздрава СССР. В варианте А. Ю. Панасюка замене­ны задания, не соответствующие условиям нашей страны. Изменения коснулись, в первую очередь, вербальной части — субтестов «Понятливость», «Осведом­ленность», «Словарный» и, в меньшей мере, субтеста «Сходство». Тест был про­верен на надежность сопоставлением результатов группы здоровых детей и группы олигофренов (стадия дебильности).

Данные здоровых и умственно отсталых детей различались на высоком уров­не значимости (а < 0,001). Оценка здоровых детей полностью укладывалась в нормативы, предложенные Векслером.

В 1992 году Ю. Филимоненко и В. Тимофеев выпустили «Руководство к методике исследования интеллекта у детей Д. Векслера». Авторы, исправив не­которые погрешности описания Панасюка, предприняли попытку унифицировать работу экспериментатора с WAIS и WISC. Методика выпущена Государствен­ным предприятием «ИМАТОН» (Санкт-Петербург). Тест Векслера для взрос­лых WAIS также выпускается предприятием «ИМАТОН» и поступает в рознич­ную и оптовую продажу.

Другую русскоязычную адаптацию теста WISC предприняли под руковод­ством Ю. 3. Гильбуха сотрудники отдела психодиагностики НИИ психологии Украины (Киев) в 1992 году. Руководство «Измерение интеллекта детей» под ред. Гильбуха и прилагаемый к нему тест WISC производится и распространяет­ся научно-практическим центром «Психодиагностика и дифференцированное обучение» (Киев).

Автор не располагает сведениями об использовании и адаптации в России и странах СНГ шкалы WPPSI.

Тест Векслера очень часто применяется в исследованиях отечественных психологов. В качестве примера подобного рода работ приведем исследование аспиранта лаборатории психологии способностей Института психологии РАН А. В. Чернина [13]. Автор использовал тест WISC для определения влияния соци­альных и биологических факторов на уровень интеллекта детей 5-6 лет перед поступлением их в школу.

Учитывались следующие факторы: 1) социальные: образование и профессия родителей, состав семьи, материальная обеспеченность и другие, 2) биологиче­ские: актуальное состояние здоровья, пренатальная травматизация и течение родов, перенесенные острые и хронические заболевания и другие.

Наиболее отчетливая корреляция развития различных особенностей интел­лекта детей обнаружена с профессией родителей. Причем профессия матери связана со становлением вербального интеллекта (субтесты «Арифметический», «Понятливость», «Сходство»). У детей, матери которых — преподаватели и врачи, вербальный интеллект выше. Профессия отцов отражается в развитии невер­бального интеллекта (субтесты «Последовательные картинки», «Кубики Косса», «Сложение фигур»). Наиболее благоприятны для развития интеллекта детей такие профессии отцов, как учитель, инженер.

Диагностика интеллекта ___ ________ 75

Естественно, что общий IQ коррелирует с уровнем образования родителей. Это может объясняться как генетическими (что вероятнее), так и средовыми факторами.

Неблагополучное, стремительное течение родов и связанная с ним гипоксия головного мозга отрицательно влияют на развитие интеллекта детей, по преиму­ществу — вербального, что в очередной раз подтверждает мысль о его биологи­ческой детерминации (отчасти — генетической). Из невербальных функций особо страдают функции, связанные с пространственным мышлением (субтест «Кубики Косса»). Таким образом, при пренатальной травматизации страдают интеллектуальные способности, тесно связанные с врожденным общим интел­лектом. Следует заметить, что общая двигательная и познавательная активность детей положительно коррелировала с вербальным интеллектом.

В целом же первоначальная гипотеза Д. Векслера о врожденности и психо­физиологической обусловленности развития невербального интеллекта и о социально-средовой обусловленности развития вербального интеллекта опровергну­та: факты свидетельствуют о прямо противоположной зависимости.

^ ТЕСТЫ СТРУКТУРЫ ИНТЕЛЛЕКТА

Группа этих тестов весьма многочисленна. Практически все они основаны на модели структуры интеллекта Терстоуна или на различных модификациях этой модели. Все тесты этой группы являются скоростными, то есть требуют от испытуемого проявить высокую продуктивность за небольшой промежуток вре­мени. Тесты структуры интеллекта можно проводить как индивидуально, так и с группой испытуемых, поэтому их относят к «групповым тестам».

Тесты структуры интеллекта имеют прототипы, существовавшие до возник­новения факторных теорий интеллекта. К числу подобных относится аналити­ческий тест интеллекта О. Мейли (AIT), предложенный им в 1928 году и состо­ящий из 6 субтестов. Но в нашей стране он распространения не получил.

Аналогом тестов структуры интеллекта является тест интеллекта «Психо­логические профили», разработанный Г. И. Россолимо в 1909 году.

Тест включал в себя 11 субтестов. С его помощью определялся уровень раз­вития психических процессов. Тип интеллекта испытуемого выявлялся на основе анализа профиля баллов, полученных за выполнение отдельных субтестов.

К числу наиболее широко применяемых в России тестов структуры интел­лекта принадлежит тест Р. Амтхауэра (Amthauer Intelligenz-Struktur-Test, 1ST). Тест предложен автором в 1953 году (последняя редакция — 1973 года). Он предназначался для дифференцированного отбора кандидатов на разные виды профессионального обучения и для профессионального отбора [14]. На русском языке тест впервые описан в монографии В. М. Блейхера и Л. Ф. Бурлачука «Психологическая диагностика интеллекта и личности» (Киев: Вища школа. 1978).


76 Глава 3

Тест составлен Амтхауэром в трех формах: Л, В и С. Модификация 1ST — 70 имеет четыре формы (А, В, С, D).

Р. Амтхауэр рассматривал интеллект как специализированную подструктуру в целостной структуре личности, состоящую из различных факторов (речевого, счетно-математического, пространственных представлений, мнемического).

Автор при составлении теста исходил из двух предпосылок: 1) корреляция результатов каждого субтеста с результатами по всему тесту должна быть максимальной, 2) корреляция между субтестами должна быть возможно мини­мальной (но положительной).

Тест валидизирован на максимально широкой профессиональной выборке и предназначен для испытуемых от 13 до 60 лет.

Р. Амтхауэр ввел только возрастные нормы, полагая установленной зависи­мость социального опыта от возраста испытуемого.

Тест диагностирует четыре компонента интеллекта: вербальный, счетно-ма­тематический, пространственный, мнемический. Корреляция этих факторов (три из которых аналогичны факторам Спирмена) равна 0,36. Время выполнения теста 90 мин.

В тест входят 9 субтестов. Во всех субтестах, кроме 4, 5 и 6, использованы задания закрытого типа.

1. «Логический отбор» (LS) — исследуется «чувство языка» по Р. Амтхауэ-ру. Испытуемый должен завершить предложение, выбрав подходящее сло­во из списка.

2. «Определение общих признаков» (GE) — исследуется способность к по­нятийной абстракции. Даются пять слов, из которых испытуемый должен выбрать единственное, не имеющее смысловой связи с остальными.

3. «Аналогии» (AN) — тестируются комбинаторные способности. Даются три слова, между первым и вторым есть смысловая связь. Испытуемый должен подобрать к третьему слову четвертое, которое находилось бы с ним в аналогичной связи.

4. «Классификация» (KL) — оценивается способность к суждению. Испыту­емый должен обозначить два слова общим понятием.

5. «Счет» (RA) — тестируется уровень развития арифметического мышле­ния. Испытуемый должен решить 20 арифметических задач.

6. «Ряды чисел» (ZR) — тестируется индуктивное мышление. Нужно уста­новить закономерность числового ряда, продолжить его.

7. «Выбор фигур» (FS) — исследуется пространственное воображение. Предъявляются разделенные на части фигуры. Нужно выбрать фигуру, соответствующую разделенной.

8. «Кубики» (WU) — тестируется умение мысленно оперировать объемными телами в пространстве. Дается рисунок куба в измененном положении. Нужно из предложенных рисунков выбрать куб, соответствующий данному (см. рис. 18).


^ Диагностика интеллекта 77



а б в г


0@@0@

ОУ 02 03 04 05

Рис. 18. Образец задания и инструкции к субтесту VIII тестовой батареи Р. Амтхауэра. Первый ряд фигур состоит из пяти разных кубов, обозначенных буквами а, б, в, г, д Кубы расположены так, что из шести граней вы у каждого куба видите три. В каждом из последующих рядов вам предлагается один из этих пяти кубов, повернутый по-новому Ваша задача — определить, которому из пяти кубов соответствует куб, приведенный в очередном задании. В перевернутых кубах, естественно, могут появиться и новые значки Куб 01 представляет измененное положение куба а. Поэтому обведите на своих листах отве­тов в разделе VIII в строке 01 букву «а». Второй куб 02 соответствует кубу д, третий 03 — кубу б, 04 — в, 05 — г.

9. «Задание на сосредоточение внимания и память» (ME). Предлагается за­помнить ряд слов и найти эти слова среди других.

Каждое правильное решение оценивается в один балл (кроме 4-го субтеста). Первичные оценки переводятся в шкальные. Суммы первичных баллов по всем субтестам переводятся в общую оценку уровня интеллекта.

Отдельно анализируется профиль. Амтхауэр предполагает, что в том случае, когда наивысшие результаты получены по первым четырем субтестам, у испытуе­мого развиты «теоретические способности». В том случае, когда результаты луч­ше по последним пяти субтестам, более развиты «практические способности».

Показатели ретестовой надежности теста (при повторном обследовании че­рез один год): 0,83-0,9. Надежность параллельных форм — 0,95. Корреляция с учебной успеваемостью, по данным Амтхауэра, — 0,46, с экспертными оценками уровня интеллекта — 0,62.

В СССР тест часто адаптировался. Наиболее известные адаптации сделаны Л. К. Акимовой с соавторами в 1984 году [15] и В. Н. Намазовым и А. Н. Жмы-риковым в 1988 году [16]. Первая адаптация была проведена на выборке школь­ников 7—10-х классов (450 человек). Проверялась ретестовая надежность: те­стировался 101 человек через один год (г=0,83). Корреляция общего балла по тестированию с учебной успеваемостью варьировала от 0,44 до 0,52. Вычисля­лись корреляции: между вербальным субтестом и успеваемостью по гуманитар­ным предметам (колебались в пределах от 0,20 до 0,53), а также между резуль­татами пространственных субтестов и успеваемостью по техническим предме-, там (от 0,23 до 0,34).


78 Глава 3

Адаптация В. Н. Намазова и А. Н. Жмырикова, осуществленная на базе Мос­ковского городского центра профконсультации, касалась переформировки зада­ний вербальных субтестов. Стандартизация теста проводилась на учащихся стар­ших классов средних школ, ПТУ (16-17 лет), студентах и курсантах вузов (18-21 год), инженерно-технических работниках и управленцах (22-25 лет). Авторы не ограничились только нормами для разных возрастных групп, были вычислены нормы для учащихся ПТУ, учащихся средних школ, студентов и курсантов 1-2-х курсов, а также специалистов, имеющих высшее образование.

Авторы адаптации предлагают свой вариант интерпретации оценок теста структуры интеллекта, исходя из качественной выборки испытуемых (род заня­тий, образование, возраст) и стандартных оценок в единицах IQ.

Надежность теста проверялась повторным тестированием испытуемых че­рез 4 недели, и коэффициент корреляции «тест—ретест» изменялся в зависимо­сти от выборки от 0,74 до 0,91.

Оценки «теоретического интеллекта» (4 первых субтеста) сравнивались с достижениями по гуманитарным предметам, а оценки «практического интеллек­та» (5—9-й субтесты) — с достижениями в «точных науках» (физике и матема­тике). Коэффициенты корреляции колебались от 0,58 до 0,89.

Тест Амтхауэра применялся во многих отечественных исследованиях, в ча­стности при изучении влияния ситуации на проявление испытуемыми интеллек­туальных способностей.

Быть может, наиболее часто используются на практике и в исследователь­ской работе тесты DAT и GATB.

Тест DAT (Differential Apttitude Test) создан в 1947 году и неоднократно пересматривался. Батарея была предназначена для тестирования учащихся VII-XII классов средней школы США в ходе профессиональной консультации.

Создатели тестов включали в него задания, выполнение которых позволило бы прогнозировать успешность обучения в высшей школе. Авторы исходили не только из практических нужд, но и учитывали результаты факторно-аналитиче­ских исследований.

Батарея разбита на две формы: S и Т. Тест включает в себя 8 субтестов.

1. Вербальное мышление. Используются двойные аналогии. От испытуемого требуется заполнить пропуски слов в предложении, выбрав нужную пару слов из списка.

2. Числовые способности. Испытуемому предлагают простые уравнения. Он должен выбрать подходящий ответ.

3. Абстрактное мышление. Испытуемый должен продолжить серию геомет­рических фигур.

4. Пространственные отношения. Предъявляются развертки геометрических тел. Испытуемый должен выбрать фигуру, соответствующую развертке.

5. Техническое мышление. Даны картинки, описывающие определенную фи­зическую ситуацию. Нужно ответить на вопрос, поняв физический прин­цип действия механизма.


Диагностика интеллекта 79

6. Скорость и точность восприятия. Предъявляется серия буквенных пар, одна из которых выделена. Испытуемый должен найти эту комбинацию на бланке ответов.

7. Грамотность. Испытуемому предъявляется список слов, он должен прове­рить правильность их написания.

8. Использование языка. Дается предложение, которое содержит граммати­ческие или синтаксические ошибки. Испытуемый должен их найти.

Общее время выполнения теста очень велико (до 5 часов), поэтому часто применяют сокращенные варианты.

Нормы были получены на основе обработки результатов тестирования бо­лее 64 тыс. учащихся средних школ 33 штатов и округа Колумбия.

Тест DAT относится к тестам предельных возможностей. Надежность теста очень велика (0,90). Взаимные корреляции субтестов близки к 0,50. Результа­ты сопоставления данных теста с оценками школьной успеваемости показали, что корреляции достаточно велики.

К числу наиболее прогностичных относятся субтесты «Вербальное мышле­ние» (0,39-0,50), «Числовые способности» (0,32-0,48), «Предложения» (0,30-0,52). Суммарный показатель теста «Числовые способности» и «Вербальное мышление» характеризует способность к обучению (коэффициент корреляции с учебными достижениями варьирует в пределах 0,70-0,80).

Корреляция показателей DAT с успешностью производственной деятельно­сти колеблется от 5 до 45 % в различных исследованиях.

В нашей стране DAT используется сравнительно редко. В частности, Е. В. Кузь­мина, Н. Е. Милитанская использовали переведенные 5 субтестов теста DAT (реадаптирован в Братиславе, ЧССР, в 1973 году) при исследовании связи общих умственных способностей и профессиональных интересов школьников. В ис­следовании применялись субтесты: «Вербальное мышление», «Числовые способ­ности», «Техническое мышление», «Абстрактное мышление», «Пространственные отношения».

Авторы установили, что склонность к профессиям типа «человек—человек» (по Е. А. Климову) отрицательно коррелирует с общим интеллектом (г= -0,40) и уровнем технического мышления (г = -0,30). Вместе с тем уровень общего интеллекта положительно коррелирует с интересом к физике и математике (0,31; 0,34).

Несколько ранее (в 1940 году, позднейшая версия 1956 года), чем DAT, была разработана другая батарея общих способностей — GATB. GATB создана по заказу Службы занятости США для целей профессиональной ориентации и рас­становки кадров в армии и в государственных учреждениях. Разработчики GATB провели факторный анализ 50 тестовых батарей (в каждой было от 15 до 29 субтестов) и обнаружили, что они во многом идентичны. Были отобраны 59 субтестов, которые после обработки данных сгруппировались в 10 факторов. Первоначально для диагностики способностей использовались 15 субтестов.


80 Глава 3

В позднейшую версию GATB вошли 12 субтестов, а число факторов было сокра­щено до 9.

Стандартные нормы были получены на выборке 4000 рабочих и служащих США. Надежность теста весьма велика (г = 0,90). Внешняя валидность теста характеризуется высокой положительной корреляцией с успешностью профес­сиональной деятельности. Для разных групп она колеблется от 0,40 до 0,84. Для большинства профессий этот показатель равен 0,6. На базе GATB разработан ряд модификаций — батареи для определенных групп профессий (SATB — Spe­cial Aptitude Test Battery, NATB и другие).

На основе многолетних обследований в США установлены системы показа­телей, характеризующих способности, необходимые для овладения той или иной профессией или их группой. «Система профессиональных способностей» (ОАР) разработана для нескольких десятков профессий.

Тестирование по GATB в США прошли десятки тысяч испытуемых. На сегодняшний день он является самым распространенным тестом общих способ­ностей.

Батарея относится к тестам структуры интеллекта, но тестирует также пер­цептивные и сенсомоторные способности.

Приведем список факторов и субтестов.

1. G — общие способности к обучению. Балл получается на основе сложе­ния показателей 3 тестов: вербального, числового и теста на восприятие трехмерного пространства.

2. V — вербальные способности. Измеряются тестом на выделение из груп­пы слов, которые имеют сходное или противоположное значение.

3. N — числовые способности. Тестируются двумя тестами: «Арифметиче­ские задачи» (50 задач) и «Арифметические упражнения» (50 простых заданий с одним действием).

4. S — пространственные способности. Тестируются заданиями на восприя­тие форм: испытуемому дается чертеж с разверткой объемной фигуры, он должен отобрать изображение, соответствующее развертке.

5. Р — восприятие формы. Измеряется двумя тестами. В первом тесте пред­лагается два набора фигур на двух частях листа. Фигуры одинаковы, отли­чаются лишь расположением и разворотом. Нужно найти идентичные фигуры. Во втором тесте требуется установить, какое из четырех изобра­жений соответствует образцу.

6. Q — мысленное восприятие слов («скорость восприятия клерка»). Испы­туемый должен выявить идентичность написания слов в парах (150 пар).

7. К — двигательная координация. Испытуемый должен по образцу как мож­но быстрее нарисовать линии в квадратиках.

8. F — пальцевая моторика. Измеряется двумя тестами «психомоторной лов­кости». В первом тесте испытуемый должен, действуя обеими руками, вы­нимать стержни из отверстий верхней части доски и вставлять в отвер-


^ Диагностика интеллекта 81

стия нижней части доски. Тест повторяется трижды. Во втором тесте испытуемый одной рукой вынимает стержень и, поворачивая его, вставляет другим концом в то же отверстие. Тест повторяют три раза. 9. М — ручная моторика. Измеряется двумя тестами на пальцевую подвиж­ность. Даются доски со 100 отверстиями (50 в каждой половине). В верхней части доски вставлены металлические заклепки. На доске есть стержень с набором шайб. В первом тесте испытуемый должен взять заклепку, надеть шайбу и вставить их в нижнюю часть доски. Во втором тесте он должен вернуть заклепки и шайбы в исходное положение.

Нетрудно заметить, что 8 субтестов в батарее являются бланковыми, а четы­ре требуют специального оборудования.

Все субтесты являются высокоскоростными. При обработке результатов «сырые» оценки переводятся в стандартные, и затем анализируется их профиль. Тест GATB применяется более чем в 30 странах.

В ФРГ на основе GATB создан немецкоязычный аналог — тестовая батарея BET (Berufteignungstest). Так же как и GATB, он состоит из 12 субтестов и диагностирует 9 факторов.

В нашей стране BET адаптирован сотрудниками ЛГУ В. К. Гайдой, О. С. Дей-некой, Н.Н.Ивановой и Е.С.Алешиной [17]. Были пересмотрены вербальные субтесты, осуществлен анализ трудности и дискриминантной способности за­дач. Валидизация и рестандартизация проводилась на группе старшеклассни­ков (120 человек). Факторная структура теста оказалась аналогична данным Г. Шмале и Г. Шмидке (ФРГ).

Интеллектуальные субтесты батареи достаточно надежны (0,73-0,98).

Разработчики теста проверили его (Тест общих профессиональных способ­ностей — ТОПС) на внешнюю «текущую» валидность и экспертную валидность (по интеллектуальным субтестам: 0,68-0,93).

Тест ТОПС широко используется в профессиональной ориентации и иссле­довательской работе.

В частности, автор этой книги применял ТОПС (интеллектуальные субтес­ты) при изучении связи между успешностью выполнения интеллектуальных те­стов и текущей школьной успеваемостью (оценками) по отдельным учебным предметам. Оказалось, что текущие оценки успеваемости независимы от оценок по интеллектуальным субтестам BET. Более того, оценки успеваемости по раз­ным предметам теснее связаны друг с другом, нежели субтесты BET. Исключе­ние составили данные по 9-му классу. Очевидно при переходе от 8-го к 9-му классу (исследование 1988 года) уровень сложности программ повышается, и успешность обучения в большей мере начинает зависеть от способностей, чем от других факторов (дисциплинированность, мотивация и пр.)

Подведем итоги. Большинство тестов интеллекта, созданных на основе иерар­хических или структурных моделей, явно или неявно диагностируют общий ин­теллект (G — фактор по Спирмену) и основные групповые факторы, а именно:

82

пространственный, числовой и вербальный. Диагностические исследования пока­зывают, что так называемый «невербальный интеллект» является комплексным образованием, развитие которого определяется преимущественно опытом испы­туемого по взаимодействию с окружением, а общий и вербальный интеллекты в большей мере зависят от наследственных и биологических факторов (например, травматизации при родах). Подтверждение этого вывода мы найдем в главе, посвященной развитию интеллекта.

ЛИТЕРАТУРА

1. Анастази А. Психологическое тестирование. Ч. 1-2. М.: Педагогика, 1982.

2. .Rasc/i G. On specific objectivity // Danish Handbook of Philosophy. 1977. Vol. 14. P. 58-94.

3. Rasch G. Probabilistic model for intelligence and attainement tests. Chicago: Univ. of Chicago Press, 1980.

4. Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. М., 1989.

5. Юсупов Ф.М. Принципы конструирования невербальных тестов способностей // Автореферат дис. на соиск. степ. канд. психол. наук. М., 1993.

6. Дружинин В. Н. Психологическая диагностика способностей: теоретические основы. Саратов: СГУ, 1990.

7. Осипов Г. В., Андреев Э. П. Методы измерения в социологии. М.: Наука, 1977.

8. Ямпольский Л. П. Измерение продуктивности интеллектуальной деятельности / / Вопросы психологии. 1984. № 5. С. 142-147.

9. Wechsler D. Manual for the Wechsler adult intelligence scale. N.Y., 1955.

10. Cohen J. A factor analytically based rationale for the Wechsler Adult Intelligence Sca­le // Journal of Consulting Psychology. 1957, № 21.

11. Рабочая книга школьного психолога/ Под ред. Н. В. Дубровиной. М.: Просвещение, 1988.

12. Шаумаров Г. В. К оценке значения интеллектуальных тестов в диагностике и изуче­нии развития детей с интеллектуальной недостаточностью // Дефектология. 1979. № 6. С. 16-24.

13. Развитие и диагностика способностей/ Отв. ред. В.Н.Дружинин, В. Д. Шадриков. М.: Наука, 1991. С. 77-84.

14. Amthauer R. Intelligenz und Beruf // Zeitschrift fur experimentale und angewandte Psychology. 1953. Bd 1.

15. Общая психодиагностика // Под ред. А. А. Бодалева и В. В. Столина. М.: МГУ, 1987.

16. Намазов В. П., Жмыриков А. Н. Психолого-педагогические методы исследования инди­видуально-личностных особенностей. М.,1988.

17. Диагностика профессиональных и познавательных способностей. М.: ИПАН, 1988. С.155-170.



bolshaya-scena.html
bolshaya-sovetskaya-enciklopediya.html
bolshaya-voenno-morskaya-peredislokaciya-novosti-10.html
bolshe-da-menshe-britanskaya-blagotvoritelnaya-organizaciya-plan-uk-razmestila-na-avtobusnih-ostanovkah-interaktivnuyu.html
bolshe-mezhdisciplinarnih-lekcij-shkola-seminar-dlya-molodih-uchenih-himicheskaya-fizika-dlya-nanobiotehnologij-budet-provedena-pri-uchastii-vedushih-specialistov.html
bolshe-sporta-luchshe-zhizn-otchet-o-rabote-pravleniya-s-aprelya-2006-goda-po-aprel-2011-goda.html
  • upbringing.bystrickaya.ru/lovushki-yazika-sergej-georgievich-kara-murza-oppoziciya-vibor-est.html
  • turn.bystrickaya.ru/plan-uroka-organizacionnij-moment-aktualizaciya-temi-uroka-izlozhenie-novogo-uchebnogo-materiala-itog-uroka-zadanie-na-dom.html
  • zanyatie.bystrickaya.ru/rabochaya-programma-po-nemeckomu-yaziku-v-nachalnoj-shkole-obshaya-harakteristika-uchebnogo-predmeta-stranica-5.html
  • ucheba.bystrickaya.ru/programma-disciplini-ekonomika-i-politika-velikobritanii-dlya-specialnosti-080102-65-mirovaya-ekonomika-podgotovki-specialista.html
  • urok.bystrickaya.ru/programma-disciplini-anglijskij-yazik-napravleniya-080500-62-biznes-informatika-podgotovki-bakalavra-pravitelstvo-rossijskoj-federacii.html
  • books.bystrickaya.ru/domashnee-zadanie-na-period-karantina-po-matematike-dlya-10-klassa-mikova-i-e.html
  • esse.bystrickaya.ru/rasskaz-tamari-vfitnes-klube-ya-okazalas-sluchajno-prishla-prosto-za-kompaniyu.html
  • kontrolnaya.bystrickaya.ru/programmi-organizacii-obedinennih-nacij-po-okruzhayushej-srede-sedmaya-specialnaya-sessiya.html
  • tetrad.bystrickaya.ru/voprosi-dlya-podgotovki-k-zanyatiyu-rabochaya-tetrad-po-bioorganicheskoj-himii.html
  • paragraph.bystrickaya.ru/meropriyatiya-dlya-uchashihsya-i-ih-roditelej-publichnij-doklad.html
  • crib.bystrickaya.ru/istochnik-zhurnal-o-rossijskom-rinke-lekarstv-remedium-2-2004-god-str-33-71-spisok-literaturi.html
  • knigi.bystrickaya.ru/skazka-pro-begemotika.html
  • college.bystrickaya.ru/-3-igri-eppopei-b-v-kupriyanov-m-i-rozhkov-i-i-frishman-vzroslie-igri-dlya-detej-metodicheskoe-posobie.html
  • gramota.bystrickaya.ru/zadachi-razvivat-tvorcheskie-sposobnosti-vospitannikov-vospitivat-lyubov-k-maloj-rodine-privivat-chuvstvo-gordosti-za-svoih-zemlyakov.html
  • books.bystrickaya.ru/e-i-nikitina-russkaya-rech-razvitie-rechi-10-klass-uchebnoe-posobie-izdatelstvo-drofa-data-izdaniya-2006.html
  • doklad.bystrickaya.ru/upravlyaemaya-raketa-tipa-r-27e-istrebitel-mig-29-vipolnen-po-normalnoj-aerodinamicheskoj-sheme-s-plavnim-sopryazheniem.html
  • kanikulyi.bystrickaya.ru/zabludivshiesya-v-buryatii-moskovskie-turisti-samostoyatelno-vishli-k-bajkalu-mchs-gazeta-rg-vostochnaya-sibir-internet-versiya-11082011.html
  • uchitel.bystrickaya.ru/rabochaya-programma-istoriya-kadetskih-korpusov-dlya-vospitannikov-9-11-klassov-vozrast-obuchaemih-14-17-let.html
  • notebook.bystrickaya.ru/gospodinu-kofi-annanu-programma-akciya-rossiya-dlya-budushego-programma-urusvati-urusvati.html
  • ucheba.bystrickaya.ru/proekt-rasshirenie-dostupa-k-pravosudiyu-cherez-razvitie-centrov-mediacii-i-potrebitelskogo-konsultirovaniya.html
  • upbringing.bystrickaya.ru/kursovaya-rabota-po-nalogovomu-pravu-nalogooblozhenie-igornogo-biznesa-v-rossijskoj-federacii-.html
  • student.bystrickaya.ru/34-nakopiteli-na-magnitnih-diskah-v-p-dyakonov-a-n-chernichin-novie-informacionnie-tehnologii-chast-osnovi.html
  • exchangerate.bystrickaya.ru/grishkin-mihail-nikolaevich-informacionnij-byulleten-profsoyuza-798-2009-g.html
  • student.bystrickaya.ru/2132-opasnie-i-vrednie-proizvodstvennie-faktori-analiz-riska-avarij-tehnogennih-sistem-konspekt-lekcij.html
  • essay.bystrickaya.ru/brmanova-i-7-orta-mektebn-direktori.html
  • textbook.bystrickaya.ru/import-medicinskih-uslug-ili-eksport-bolnih-zdravoohranenie-rossii.html
  • holiday.bystrickaya.ru/nachinat-nuzhno-bilo-vchera-vremya-novostej-andreeva-olga-22062006-107-str-4.html
  • literature.bystrickaya.ru/ekomissiya-evropejskogo-soobshestva-obzor-sushestvuyushih-sootvetstvuyushih-dokumentov-i-opredelenie-osnovnih-elementov.html
  • doklad.bystrickaya.ru/vladimir-zhirinovskij-nachal-za-upokoj-radio-44-mayak-19-11-2004-novosti-15-00-00-evteeva-natalya-44.html
  • znanie.bystrickaya.ru/administrativnaya-otvetstvennost.html
  • doklad.bystrickaya.ru/uchitelej-matematiki-i-fiziki-metodicheskaya-razrabotka-k-uroku-po-matematike-na-temu-sdrobyami-v-mir-zhivotnih.html
  • tests.bystrickaya.ru/konsultantplyus-novoe-v-rossijskom-zakonodatelstve-ezhenedelnie-obzori-stranica-20.html
  • institut.bystrickaya.ru/termometri-soprotivleniya.html
  • doklad.bystrickaya.ru/uroka-fio-avtora-kravcova-t-a-prepodavatel-matematiki-visshaya-kategoriya.html
  • tests.bystrickaya.ru/letz-zep-the-offical-tribute-of.html
  • © bystrickaya.ru
    Мобильный рефератник - для мобильных людей.