Главная

Популярная публикация

Научная публикация

Случайная публикация

Обратная связь

ТОР 5 статей:

Методические подходы к анализу финансового состояния предприятия

Проблема периодизации русской литературы ХХ века. Краткая характеристика второй половины ХХ века

Ценовые и неценовые факторы

Характеристика шлифовальных кругов и ее маркировка

Служебные части речи. Предлог. Союз. Частицы

КАТЕГОРИИ:






Глава 4 Процедура и основные характеристики психологического 11 страница





дробно рассмотрены в учебниках математической статистики для психологов.

Применение плана для двух рандомизированных групп с тести­рованием после воздействия позволяет контролировать основные источники внутренней невалидности (как их определяет Кэмпбелл). Поскольку предварительное тестирование отсутствует, исключен эффект взаимодействия процедуры тестирования и содержания экс­периментального воздействия и сам эффект тестирования. План по­зволяет контролировать влияния состава групп, стихийного выбы­вания, влияния фона и естественного развития, взаимодействие со­става группы с другими факторами, исключить эффект регрессии за счет рандомизации и сравнения данных экспериментальной и кон­трольной групп. Однако при проведении большинства педагогичес­ких и социально-психологических экспериментов необходимо жест­ко контролировать исходный уровень зависимой переменной, будь то интеллект, тревожность, знания или статус личности в группе. Рандомизация — лучшая процедура из возможных, но не дающая абсолютной гарантии правильности выбора. Когда существуют со­мнения в результатах рандомизации, применяют план с предвари­тельным тестированием.

2. План для двух рандомизированных групп с предварительным и итоговым тестированием. Рассмотрим структуру этого плана:

1. Экспериментальная группа R 0,ХО,
2. Контрольная группа R 0, 0,

 

План с предварительным тестированием пользуется популяр­ностью у психологов. Биологи больше доверяют процедуре рандо­мизации. Психолог прекрасно знает, что каждый человек своеобра­зен и отличен от других, и подсознательно стремится уловить эти различия с помощью тестов, не доверяя механической процедуре ран­домизации. Однако гипотеза большинства психологических иссле­дований, особенно в области психологии развития ("формирующий эксперимент"), содержит прогноз определенного изменения свой­ства индивида под влиянием внешнего фактора. Поэтому план "тест — воздействие — ретест" с рандомизацией и контрольной группой очень распространен.

При отсутствии процедуры уравнивания групп этот план пре­образуется в квазиэкспериментальный (он будет рассмотрен в разд. 5.2).

Главный источник артефактов, нарушающий внешнюю валид-ность процедуры, — взаимодействие тестирования с эксперименталь­ным воздействием. Например, тестирование уровня знаний по оп­ределенному предмету, перед проведением эксперимента по заучи­ванию материала, может привести к актуализации исходных знаний и к общему повышению продуктивности запоминания. Достигается это за счет актуализации мнемических способностей и создания ус­тановки на запоминание.

Однако с помощью этого плана можно контролировать другие внешние переменные. Контролируется фактор "истории" ("фона"), так как в промежутке между первым и вторым тестированием обе группы подвергаются одинаковым ("фоновым") воздействиям. Вмес­те с тем Кэмпбелл отмечает необходимость контроля "внутригруп-повых событий", а также эффекта неодновременности тестирова­ния в обеих группах. В реальности невозможно добиться, чтобы тест и ретест проводились в них одновременно. План превращается в квазиэкспериментальный, например:

R О, Х О, R О, О,

Обычно контроль неодновременности тестирования осуществля­ют два экспериментатора, проводящие тестирование двух групп одновременно. Оптимальной считается процедура рандомизации по­рядка тестирования: тестирование членов экспериментальной и кон­трольной групп производится в случайном порядке. То же самое де­лается и с предъявлением — не предъявлением экспериментального воздействия. Разумеется, такая процедура требует значительной чис­ленности экспериментальной и контрольной выборок (не менее 30— 35 человек в каждой).

Естественное развитие и эффект тестирования контролируются за счет того, что они одинаково проявляются в экспериментальной и контрольной группах, а эффекты состава групп и регрессии (Кэмп­белл, 1980) — процедурой рандомизации.

Результаты применения плана "тест — воздействие — ретест" представлены в 4-клеточной таблице 2 х 2:

При обработке данных обычно используются параметрические критерии t и F (для данных в интервальной шкале). Вычисляются три значения t: сравнение 1) 0, и Qy 2) 0, и 0^; 3) Од и 0^. Гипотезу о значимом влиянии независимой переменной на зависимую можно принять в том случае, если выполняются два условия: а) различия


между 0, и 0, значимы, а между Од и 0^ — незначимы и б) различия между 0^ и 0^ значимы. Гораздо удобнее сравнивать не абсолютные значения, а величины прироста показателей от первого тестирова­ния ко второму (5д). Вычисляются 5„,з и 5ц,„ и сравниваются по t-кри-терию Стьюдента. В случае значимости различий принимается экс­периментальная гипотеза о влиянии независимой переменной на зависимую.

Группа Т ест
    1-й 2-й
1-я 0, 0.
2-я 0, 0<

 

Рекомендуется также применять ковариационный анализ по Фи­шеру. При этом показатели предварительного тестирования берутся в качестве дополнительной переменной, а испытуемые разбиваются на подгруппы в зависимости от показателей предварительного тес­тирования. Тем самым получается следующая таблица для обработ­ки данных по методу MANOVA:

Группа Урог вень
Эксперимент   2.....П
    0, 0,.....0„
Контроль 0„„ 0„.,.....0„

 

Применение плана "тест — воздействие — ретест" позволяет кон­тролировать влияние "побочных" переменных, нарушающих внут­реннюю валидность.

Внешняя валидность связана с возможностью переноса данных на реальную ситуацию. Главным же моментом, отличающим экспе­риментальную ситуацию от реальной, является введение предвари­тельного тестирования. Как мы уже отметили, план "тест — воздей­ствие — ретест" не позволяет контролировать эффект взаимодейст­вия тестирования и экспериментального воздействия: предваритель­но тестируемый испытуемый "сенсибилизируется" — становится более чувствительным к воздействию, так как мы измеряем в экспе­рименте именно ту зависимую переменную, на которую собираемся воздействовать с помощью варьирования независимой переменной.

Для контроля внешней валидности используется план Р.Л.Соло­мона, который был предложен в 1949 г.

3. План Соломона для четырех групп. Этот план объединил два ранее рассмотренных плана.

1. Эксперимент 1: R О, Х 0,

2. Контроль!: R 0^ 0^

3. Эксперимент 2: R X О,

4. Контроль 2: R Од

План включает две экспериментальные и две контрольные группы и по сути является мультигрупповым (типа 2 х 2), но для удобства изложения он рассматривается в этом разделе.

План Соломона представляет собой объединение двух планов:

первого, когда не производится предварительного тестирования, и второго — "тест — воздействие — ретест". С помощью "первой час­ти" плана можно контролировать эффект взаимодействия первого тестирования и экспериментального воздействия. Соломон с по­мощью своего плана выявляет эффект экспериментального воздей­ствия четырьмя разными способами: при сравнении 1) 0- —0; 2) 0 — 0„3)0,-0„и4)0,-0з.

Если провести сравнение 0^ с 0, и 0,, то можно выявить совмест­ное влияние эффектов естественного развития и "истории" (фоно­вых воздействий) на зависимую переменную.

Кэмпбелл, критикуя предложения Соломона по поводу схемы обработки данных, предлагает не обращать внимания на предвари­тельное тестирование и свести данные к схеме 2 х 2, пригодную для применения дисперсионного анализа.

Предварительное Воздей ствие
тестирование        
    Да Нет
Есть 0, 0<
Нет 0, 0„

 

Сравнение средних по столбцам позволяет выявлять эффект экспе­риментального воздействия — влияние независимой переменной на зависимую. Средние по строкам показывают эффект предваритель­ного тестирования. Сравнение средних по ячейкам характеризует взаимодействие эффекта тестирования и экспериментального воз­действия, что свидетельствуете мере нарушения внешней валиднос­ти.


В том случае, когда эффектами предварительного тестирования и взаимодействия можно пренебречь, переходят к сопоставлению О и 0^ методом ковариационного анализа. В качестве дополнительной переменной берутся данные предварительного тестирования по схе­ме, приведенной для плана "тест— воздействие — ретест".

Наконец, в некоторых случаях необходимо проверить сохране­ние во времени эффекта воздействия независимой переменной на зависимую: например, выявить, приводитлн новый метод обучения к долгосрочному запоминанию материала. Для этих целей приме­няют следующий план:

1. Эксперимент 1: R О Х 0-

2. Контроль!: R Од О,

3. Эксперимент 2: R О, Х О,

4. Контроль 2: R 0^ О,

Планы для одной независимой переменной и нескольких групп

Иногда сравнения двух групп недостаточно для подтверждения или опровержения экспериментальной гипотезы. Такая проблема возникает в двух случаях: а) необходимость контроля внешних пере­менных; б) необходимость выявления количественных зависимос­тей между двумя переменными.

Для контроля внешних переменных используются различные ва­рианты факторного экспериментального плана. Что касается выяв­ления количественной зависимости между двумя переменными, то необходимость ее установления возникает при проверке "точной" экспериментальной гипотезы. В эксперименте с участием двух групп в лучшем случае можно установить факт причинной связи между независимой и зависимой переменными. Но между двумя точками можно провести бесконечное множество кривых. Для того, чтобы убедиться в наличии линейной зависимости между двумя перемен­ными, следует иметь хотя бы три точки, соответствующие трем уров­ням независимой переменной. Следовательно, экспериментатор дол­жен выделить несколько рандомизированных групп и поставить их в различные экспериментальные условия. Простейшим вариантом является план для трех групп и трех уровней независимой переменной:

Эксперимент!: R X, О,

Эксперимент 2: R X, 0^

Контроль: R 0^

Контрольная группа в данном случае — это третья эксперимен­тальная группа, для которой уровень переменной Х==0.

При реализации этого плана каждой группе предъявляется лишь один уровень независимой переменной. Возможно, и увеличение числа экспериментальных групп соответственно числу уровней не­зависимой переменной. Для обработки данных, полученных с по­мощью такого плана, применяются те же статистические методы, которые перечислены выше.

Простые "системные экспериментальные планы", как ни удиви­тельно, очень редко используются в современных эксперименталь­ных исследованиях. Может быть, исследователи "стесняются" вы­двигать простые гипотезы, помня о "сложности и многомерности" психической реальности? Тяготение к планам с многими независи­мыми переменными, более того — к многомерным экспериментам не способствует ясному объяснению причин человеческого поведе­ния. Как известно, "умный поражает глубиной идей, а дурак — раз­махом строительства". Лучше предпочесть простое объяснение лю­бому сложному, хотя регрессионные уравнения, где все всему рав­няется, и запутанные корреляционные графы могут произвести впе­чатление на некоторые диссертационные советы.

Факторные планы

Факторные эксперименты применяются тогда, когда необходи­мо проверить сложные гипотезы о взаимосвязях между переменны­ми. Общий вид подобной гипотезы: "Если А,, А;,, •••,\, то В". Такие гипотезы называются комплексными, комбинированными и др. При этом между независимыми переменными могут быть различные от­ношения: конъюнкции, дизъюнкции, линейной независимости, ад­дитивные или мультипликативные и др. Факторные эксперименты являются частным случаем многомерного исследования, в котором пытаются установить отношения между несколькими независимы­ми и несколькими зависимыми переменными. В факторном экспе­рименте проверяются одновременно, как правило, два типа гипотез:

1) гипотезы о раздельном влиянии каждой из независимых пере­менных;

2) гипотезы о взаимодействии переменных, а именно — как при­сутствие одной из независимых переменных влияет на эффект воз­действия на другой.

Факторный эксперимент строится по факторному плану. Фак­торное планирование эксперимента заключается в том, чтобы все уровни независимых переменных сочетались друг с другом. Число экспериментальных групп равно числу сочетаний уровней всех не­зависимых переменных.

Сегодня факторные планы наиболее распространены в психоло-


I

гии, поскольку простые зависимости между двумя переменными в ней практически не встречаются.

Существует множество вариантов факторных планов, но на прак­тике применяются далеко не все. Чаще всего используются фактор­ные планы для двух независимых переменных и двух уровней типа 2х2. Для составления плана применяется принцип балансировки. План 2х2 используется для выявления эффекта воздействия двух переменных на одну независимую. Экспериментатор манипулирует возможными сочетаниями переменных и уровней. Данные приве­дены в простейшей таблице:

2-я переменная 1-я пере мепная
    Есть Нет
Есть    
Нет    

 

Реже используются четыре независимые рандомизированные группы. Для обработки результатов применяется дисперсионный анализ по Фишеру.

Реже используются другие версии факторного плана, а именно:

3х2 или 3х3. План 3х2 применяется в тех случаях, когда нужно установить вид зависимости одной зависимой переменной от одной независимой, а одна из независимых переменных представлена ди­хотомическим параметром. Пример такого плана — эксперимент по выявлению воздействия внешнего наблюдения на успех решения ин­теллектуальных задач. Первая независимая переменная варьируется просто: есть наблюдатель, нет наблюдателя. Вторая независимая переменная — уровни трудности задачи. В этом случае мы получаем план 3х2:

1-я переменная 2-я 1 перемени ая
    Легкая Средняя Трудная
Есть наблюдатель      
Нет наблюдателя      

 

Вариант плана 3х3 применяется в том случае, если обе незави­симые переменные имеют несколько уровней и есть возможность

выявить виды связи зависимой переменной от независимых. Этот план позволяет выявлять влияние подкрепления на успешность вы­полнения заданий разной трудности.

Уровень сложности задачи Интенси вность сти муляции
    Низкая Средняя Высокая
Низкий      
Средний      
Высокий      

 

В общем случае план для двух независимых переменных выгля­дит как N х М. Применимость таких планов ограничивается только необходимостью набора большого числа рандомизированных групп. Объем экспериментальной работы чрезмерно возрастаете добавле­нием каждого уровня любой независимой переменной.

Планы, используемые для исследования влияния более двух не­зависимых переменных, применяются редко. Для трех переменных они имеют общий вид L х М х N.

Чаще всего применяются планы 2х2х2: "три независимые пере­менные — два уровня". Очевидно, добавление каждой новой пере­менной увеличивает число групп. Общее их число 2, где n — число переменных в случае двух уровней интенсивности и К — в случае К-уровневой интенсивности (считаем, что число уровней одинаково для всех независимых переменных). Примером этого плана может быть развитие предыдущего. В случае когда нас интересует успеш­ность выполнения экспериментальной серии заданий не только от общей стимуляции, которая производится в форме наказания — удара током, но и от соотношения поощрения и наказания, мы применя­ем план 3х3х3.

Упрощением полного плана с тремя независимыми переменны­ми вида L х М х N является планирование по методу "латинского квадрата". "Латинский квадрат" применяют тогда, когда нужно ис­следовать одновременное влияние трех переменных, имеющих два урсгвня или более. Принцип "латинского квадрата" состоит в том, что два уровня разных переменных встречаются в эксперименталь­ном плане только один раз. Тем самым процедура значительно уп­рощается, не говоря о том, что экспериментатор избавляется от не­обходимости работать с огромными выборками.

Предположим, что у нас есть три независимые переменные, с тремя уровнями каждая:


1.L„K„L3

2. М„ М„ М,

3. А, В, С

План по методу "латинского квадрата" выглядит следующим об­разом:

    L, Ч L,
м, А, в. С,
м, В, с, А,
м, С, А, В;

 

Такой же прием используется для контроля внешних перемен­ных (контрбалансировка). Нетрудно заметить, что уровни третьей переменной N (А, В, С,) встречаются в каждой строке и в каждой колонке по одному разу. Комбинируя результаты по строкам, столб­цам и уровням, можно выявить влияние каждой из независимых переменных на зависимую, а также степень попарного взаимодей­ствия переменных.

"Латинский квадрат" позволяет значительно сократить число групп. В частности, план 2х2х2 превращается в простую 4-клеточ-ную таблицу:

2-я переменная 1-я пере менная
    Есть Нет
Есть А В
Нет В А

 

Применение латинских букв в клеточках для обозначения уров­ней 3-й переменной (А — есть, В — нет) традиционно, поэтому ме­тод назван "Латинский квадрат".

Более сложный план по методу "греко-латинского квадрата" при­меняется очень редко. С его помощью можно исследовать влияние на зависимую переменную четырех независимых. Суть его в следу­ющем: к каждой латинской группе плана с тремя переменными при­соединяется греческая буква, обозначающая уровни четвертой пере­менной.

Рассмотрим пример. У нас четыре переменные, каждая из кото-

рых имеет три уровня интенсивности. План по методу "греко-ла­тинского квадрата" примет такой вид:

    L, L, L,
м, А„ В» С.
М, Вр с. А„
м, С, А„ В.

 

Для обработки данных применяется метод дисперсионного ана­лиза по Фишеру. Методы латинского и греко-латинского квадрата пришли в психологию из агробиологии, но большого распростране­ния не получили. Исключением являются некоторые эксперименты в психофизике и психологии восприятия.

Главная проблема, которую удается решить в факторном экспе­рименте и невозможно решить, применяя несколько обычных экс­периментов с одной независимой переменной, — определение взаи­модействия двух переменных.

Рассмотрим возможные результаты простейшего факторного экс­перимента 2 • 2 с позиций взаимодействия переменных. Для этого нам надо представить результаты опытов на графике, где по оси абс­цисс отложены значения первой независимой переменной, а по оси ординат — значения зависимой переменной. Каждая из двух пря­мых, соединяющих значения зависимой переменной при разных значениях первой независимой переменной (А), характеризует один из уровней второй независимой переменной (В). Применим для про­стоты резулматы не экспериментального, а корреляционного иссле­дования. Условимся, что мы исследовали зависимость статуса ре­бенка в группе от состояния его здоровья и уровня интеллекта. Рас­смотрим варианты возможных отношений между переменными.

Первый вариант: прямые параллельны — взаимодействия пере-


Больные дети имеют более низкий статус, чем здоровые, незави­симо от уровня интеллекта. Интеллектуалы имеют всегда более вы­сокий статус (независимо от здоровья).

Второй вариант: физическое здоровье при наличии высокого уров­ня интеллекта увеличивает шанс получить более высокий статус в группе.

В этом случае получен эффект расходящегося взаимодействия двух независимых переменных. Вторая переменная усиливает влияние первой на зависимую переменную.

Третий вариант: сходящееся взаимодействие — физическое здо­ровье уменьшает шанс интеллектуала приобрести более высокий ста­тус в группе. Переменная "здоровье" уменьшает влияние перемен­ной "интеллект" на зависимую переменную. Есть и другие случаи этого варианта взаимодействия: переменные взаимодействуют так, что увеличение значения первой приводит к уменьшению влияния второй с изменением знака зависимости.

У больных детей, обладающих высоким уровнем интеллекта, меньше шанс получить высокий статус, чем у больных детей с низ­ким интеллектом, а у здоровых — связь интеллекта и статуса пози­тивная.

Теоретически возможно представить, что больные дети будут

иметь больший шанс получить высокий статус при высоком уровне интеллекта, чем их здоровые низкоинтеллектуальные сверстники.

Последний, четвертый, возможный вариант наблюдаемых в ис­следованиях отношений между независимыми переменными: слу­чай, когда между ними существует пересекающееся взаимодействие, представленное на последнем графике.

Итак, возможны следующие взаимодействия переменных: нуле­вое; расходящееся (с различными знаками зависимости); сходящее­ся (с одинаковым и разными знаками зависимости); пересекающее­ся.

Оценка величины взаимодействия проводится с помощью дис­персионного анализа, а t-критерий Стьюдента используется для оценки значимости различий групповых X.

Во всех рассмотренных вариантах планирования эксперимента применяется способ балансировки: различные группы испытуемых ставятся в разные экспериментальные условия. Процедура уравни­вания состава групп позволяет производить сравнение результатов.

Однако во многих случаях требуется планировать эксперимент так, чтобы все его участники получили все варианты воздействия независимых переменных. Тогда на помощь приходит техника контр­балансировки.

Планы, в которых воплощается стратегия "все испытуемые — все воздействия", МакКолл называет ротационными экспериментами, а Кэмпбелл — "сбалансированными планами". Чтобы не было пута­ницы между понятиями "балансировка" и "контрбалансировка", бу­дем использовать термин "ротационный план".

Ротационные планы строятся по методу "латинского квадрата", но, в отличие от рассмотренного выше, по строкам обозначены группы испытуемых, а не уровни переменной, по столбцам — уровни воздей­ствия первой независимой переменной (или переменных), в клеточках таблицы — уровни воздействия второй независимой переменной.


Пример экспериментальною плана для трех групп (А, В, С) и двух независимых переменных (X, Y) с тремя уровнями интенсив­ности (1-й, 2-й, 3-й) приводим ниже. Нетрудно заметить, что этот план можно переписать и так, чтобы в клеточках стояли уровни пере­менной Y.

Группа Уровни 1-и перем СН110И
    X, х! X,
А Y, Y, Y,
В Y, Y, Y,
С Y, Y, Y,

 

Кэмпбелл рассматривает этот план среди квазиэксперименталь­ных на основании того, что неизвестно, кон гролируется ли с его по­мощью внешняя валидность. Действительно, вряд ли в реальной жизни испытуемый может получить серию таких воздействий, как в эксперименте.

Что касается взаимодействия состава групп с другими внешними переменными, источниками артефактов, то рандомизация групп, согласно утверждению Кэмпбелла, должна минимизировать влия­ние этого фактора.

Суммы по столбцам в ротационном плане свидетельствуют о раз­личиях в уровне эффекта при разных значениях одной независимой неременной (X или Y), а суммы по строкам должны характеризовать различия между группами. Если группы рандомизированы удачно, то межгрупповых различий быть не должно. Если же состав группы является дополнительной переменной, возникает возможность ее проконтролировать.

Схема контрбалансировки не позволяет избежать эффекта тре-нировки, хотя данные многочисленных экспериментов с примене­нием "латинского квадрата" не позволяют делать такой вывод.

Подводя итог рассмотрению различных вариантов эксперимен­тальных планов, предлагаем их классификацию. Эксперименталь­ные планы различаются по таким основаниям:

1. Число независимых переменных: одна или больше. В зависи­мости от их числа применяется либо простой, либо факторный план.

2. Число уровней независимых переменных: при двух уровнях речь идет об установлении качественной связи, при трех и более — коли­чественной связи.

3. Кто получает воздействие. Если применяется схема "каждой группе — своя комбинация", то речь идет о межгрупповом плане. Если же применяется схема "все группы — все воздействия", то речь идет о ротационном эксперименте. Готтсданкер называет его кросс-индивидуальным сравнением.

Схема планирования эксперимента может быть гомогенной или гетерогенной (в зависимости от того, равно или не равно число не­зависимых переменных числу уровней их изменения).

Планы экспериментов для одного испытуемого

Эксперименты на выборках с контролем переменных — ситуа­ция, которую широко стали использовать в психологии с 10—20-х годов XX в. Особое распространение экспериментальные исследо­вания на уравненных группах получили после создания выдающим­ся биологом и математиком Р.А.Фишером теории планирования экс­периментов и обработки их результатов (дисперсионный и ковариа­ционный анализы). Но психологи применяли эксперимент задолго до появления теории планирования исследования выборок. Первые экспериментальные исследования проводились с участием одного испытуемого— им являлся сам экспериментатор либо его ассистент. Начиная с Г.Фехнера (I860), в психологию пришла техника экспе­риментирования для проверки теоретических количественных ги­потез.

Классическим экспериментальным исследованием одного испы­туемого стала работа Эббингауза, которая проведена в 1913г. Эб-бингауз исследовал забывание с помощью заучивания бессмыслен­ных слогов (изобретенных им же). Он заучивал серию слогов, а за­тем пытался их воспроизвести через определенное время. В итоге была получена классическая кривая забывания: зависимость объема сохраненного материала от времени, прошедшего с момента заучи­вания.

В эмпирической научной психологии взаимодействуют и борют­ся три исследовательские парадигмы. Представители одной из них, традиционно идущей от естественно-научного эксперимента, счи­тают единственно достоверным знанием только то, которое добыва­ется в экспериментах на эквивалентных и репрезентативных выбор­ках. Основной аргумент сторонников этой позиции — необходимость контроля внешних переменных и нивелирования индивидуальных различий для нахождения общих закономерностей.

Представители методологии "экспериментального анализа пове­дения" критикуют сторонников статистического анализа и плани­рования экспериментов на выборках. По их мнению, нужно прово-


дить исследования с участием одного испытуемого и применением определенных стратегий, которые позволят в ходе эксперимента ре­дуцировать источники артефактов. Сторонниками этой методоло­гии являются такие известные исследователи, как Б.Ф.Скиннер, Д.Мюррей и др.






Не нашли, что искали? Воспользуйтесь поиском:

vikidalka.ru - 2015-2024 год. Все права принадлежат их авторам! Нарушение авторских прав | Нарушение персональных данных