Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология Образование Политология Производство Психология Стандартизация Технологии |
Раздел 2.– «Эмпирическая социология»Стр 1 из 15Следующая ⇒
Конспект лекции по учебной дисциплине «Социология» Раздел 2.– «Эмпирическая социология» В лекции будут освещены четыре вопроса: 1. Структура и функции эмпирического исследования в социологии 2. Количественные методы социологического исследования 3. Качественные методы социологического исследования 4. Организация социологического исследования в социальной сфере Структура и функции эмпирического исследования в социологии Виды и функции социологического исследования
Социологическое исследование. В самом общем виде социологическое исследование можно определить как систему логически последовательных методологических, методических и организационно-технических процедур, связанных единой целью: получить достоверные данные об изучаемом социальном явлении или процессе. Социологическое исследование включает в себя четыре организационно автономных и вместе с тем содержательно взаимосвязанных этапа: • методологическую и методическую подготовку исследования; • сбор первичной социологической информации; • компьютерную обработку собранной информации; • математический и содержательный анализ обработанной информации, подготовку отчета, формулирование выводов и рекомендаций.
Функции социологического исследования. Социологическое исследование выполняет следующие основные функции: Познавательная функция - открывает новые знания о функционировании и развитии общества и его отдельных сфер, о сущности социальных явлений и процессов, роль человека в них, позволяет построить целостную картину реальной жизни социума, спрогнозировать его развитие; Методологическая функция - обеспечивает реализацию междисциплинарной связи социологии с другими науками о человеке и обществе, что приводит новые подходы в изучении социальной действительности, важные открытия на стыке разных научных направлений; Практическаяфункция - состоит в выработке практических мер по совершенствованию социальной реальности, эффективного контроля над процессами; Информационнаяфункция - способствует получению информации о состоянии и тенденциях развития явлений и процессов общественной жизни, функционирования общностей, групп, отдельных индивидов, их потребностей, мотивов, реального и вербального поведения, общественного мнения, что формирует информационную базу познания реальности; Управленческая функция - обеспечивает социальное управление на всех уровнях функционирования социума, обратную связь между субъектами (властными, административными структурами, руководителями предприятий, организаций) и объектами (населением, отдельными социальными группами, работниками) управления, выработка научно обоснованных управленческих решений.
Программа социологического исследования
Программа социологического исследования — это изложение его теоретико-методологических предпосылок (общей концепции) в соответствии с основными целями предпринимаемой работы и гипотез исследования с указанием правил процедуры, а также логической последовательности операций для их проверки. Функции программы социологического исследования. Методологическая функция - позволяет определить научную проблему, для решения которой проводится исследование. Сформулировать цель и задачи исследования, зафиксировать исходные представления об изучаемом объекте, установить отношение данного исследования к ранее выполненным исследованиям. Методическая функция - позволяет разработать общий логический план исследования. Показывает, как использовать методы сбора и анализа информации, позволяет провести сравнительный анализ результатов, полученных в аналогичных исследованиях. Организационная функция - о беспечивает разработку четкой системы разделения труда между членами исследовательского коллектива, обеспечивает контроль за ходом исследования.
В идеальном случае программа исследования опросного метода включает следующие элементы: Методологический раздел 1. Формулировка проблемы. 2. Обоснование актуальности проблемы. 3. Цель исследования. 4. Задачи исследования. 5. Объект исследования. 6. Предмет исследования. 7. Интерпретация основных понятий. 8. Гипотезы исследования. Методический раздел 1. Определение типа исследования. 2. Обоснование типа выборочной совокупности. 3. Выбор методов сбора информации. 4. Логико-концептуальная схема анкеты. 5. Логическая структура анкеты. 6. График динамики сложности вопросов. 7. Примерный инструментарий. Программа дополняется рабочим планом, в котором упорядочиваются этапы работы, сроки осуществления исследования, оцениваются необходимые ресурсы и т.д.
Формулировка проблемы, обоснование актуальности проблемы. В простейшем случае проблема социологического исследования заключается в недостаточной осведомленности о реальной социальной ситуации, вследствие чего невозможно использовать уже имеющееся знание для регулирования социальных процессов. Можно выделить две стороны проблемы: гносеологическую и предметную. В гносеологическом смысле (т.е. с точки зрения познавательного процесса) проблемная ситуация - это противоречие между знанием о потребностях людей и каких-то результативных практических или теоретических действиях и незнанием путей, средств, методов, способов, приемов реализации этих необходимых действий, что в свою очередь, упирается в отсутствие знаний законов тех объектов, которыми приходится оперировать. Предметная сторона проблемы социологического исследования — это некое социальное противоречие, требующее организации целенаправленных действий для его устранения или выбора одной из возможных альтернатив социального развития. Формулировка проблемы и выделение объекта и предмета исследования - первый шаг в разработке программы.
Определение цели и задач исследования. Цель исследования – это модель ожидаемого конечного результата. Целью исследования может быть: · получение описательной информации; · разработка диагноза (т.е. анализ причин формирования проблемной ситуации); · разработка прогнозов развития событий; · разработка практических рекомендаций по изучению ситуации. Определение цели исследования позволяет далее упорядочить процесс научного поиска в виде последовательности решения основных, частных, а также дополнительных задач. Задачи исследования формулируют вопросы, на которые должен быть получен ответ для реализации цели исследования. Основные задачи исследования отвечают его целевой установке. Частные задачи исследования вытекают из общих как их детализация. Дополнительные задачи ставятся для подготовки будущих исследований, проверки побочных (возможно, весьма актуальных), не связанных с данной проблемой гипотез, для решения каких-то методических вопросов и т.п. Гипотезы исследования. Гипотеза исследования - это обоснованное предположение о структуре, характере элементов и связей изучаемых социальных объектов, о механизмах их функционирования и развития. По степени общности различаются · гипотезы-основания (исходные) · гипотезы-следствия Исходные гипотезы должны быть развернуты в цепочку выводных гипотез-следствий. В эмпирическом исследовании проверяются именно гипотезы-следствия, которые сформулированы в менее общих понятиях, чем исходные предположения. С помощью гипотез-следствий раскрывается содержание терминов и связей гипотез-оснований. Проверка гипотез-следствий возможна лишь в случае, если все термины, в которых они формулируются, были подвергнуты эмпирической интерпретации и операционализации. С точки зрения задач исследования различаются · основные гипотезы · неосновные гипотезы Эти гипотезы относятся к разным задачам. Главное внимание при выдвижении гипотез уделяется основным гипотезам, относящимся к центральному вопросу исследования. По степени разработанности и обоснованности различаются · первичные гипотезы (рабочие) · вторичные гипотезы (выдвигаются взамен первичные, если они опровергаются эмпирическими данными). По содержанию различаются · Описательные гипотезы – это предположение о существующих свойствах объекта, о характере связей между изучаемыми элементами данного объекта. · Объяснительные гипотезы – это предположение о степени тесноты связей, взаимодействий и причинно-следственных зависимостей в изучаемых социальных явлениях и процессах. По уровням анализа различаются · теоретические гипотезы ( определяют характер связей в идеализированных объектах) · статистические гипотезы ( объясняют характер связей в системе) · эмпирические гипотезы ( объясняют взаимосвязь эмпирических признаков в системе операциональных понятий и показателей) . Основные требования к гипотезам. · Гипотеза не должна содержать понятий, не получивших эмпирической интерпретации. · Гипотеза не должна противоречить ранее установленным научным фактам. · Она должна быть простой. Лучше исходить из максимально простого и общего основания. · Хорошая гипотеза приложима к более широкому кругу явлений, нежели та область, которая непосредственно наблюдается в исследовании. · Гипотеза должна быть проверяема на данном уровне теоретических знаний и практических возможностей исследователя. · Должна быть обеспечена репрезентативность, валидность, надежность данных, с помощью которых осуществляется проверка гипотезы. · Содержание гипотезы не должно быть тривиально и не должно сводится к суждениям здравого смысла. · Для повышения подтверждаемости гипотетического суждения следует стремиться к выдвижению возможно большего числа взаимосвязанных гипотез.
Репрезентативность выборки. Репрезентативность выборки – свойство выборки адекватно отражать характеристики генеральной совокупности. Для обеспечения репрезентативности требуется полный и точный перечень единиц выборочной совокупности. Этот перечень образует основу выборки. Элементы, предназначенные для отбора, называются единицами отбора (люди, домохозяйства). Единицы отбора могут совпадать с единицами наблюдения, поскольку единицей наблюдения считается элемент генеральной совокупности, с которого непосредственно ведется сбор информации. Обычно единица наблюдения – это отдельный человек. Отбор из списка лучше всего производить, нумеруя единицы и используя таблицу случайных чисел, хотя часто используется квази-случайный метод, когда из перечня простого берется каждый n -й элемент. Если основа выборки включает список единиц отбора, то структура выборки подразумевает их группирование по каким-то важным признакам, например, распределение индивидов по профессии, квалификации, полу или возрасту. Если в генеральной совокупности, например, 30% молодежи, 50% людей среднего возраста и 20% пожилых, то и в выборочной совокупности должны соблюдаться те же самые процентные пропорции трех возрастов. К возрастам могут добавиться классы, пол, национальность и т.д. Для каждой устанавливаются процентные пропорции в генеральной и выборочной совокупности. Расхождение структуры двух совокупностей ведет к ошибке репрезентативности. Таким образом, структура выборки – процентные пропорции признаков объекта, на основании которых составляется выборочная совокупность. Если тип выборки говорит о том, как попадают люди в выборочную совокупность, то объем выборки сообщает о том, какое их количество попало сюда. Объем выборки – количество единиц выборочной совокупности. Поскольку выборочная совокупность (или выборка, что одно и то же) – это часть генеральной совокупности, отобранной с помощью специальных методов, ее объем всегда меньше объема генеральной. Поэтому так важно, чтобы часть не искажала представления о целом, то есть репрезентировала его. Специалисты считают, что наилучшая выборка – не обязательно большая. Однако огромная выборка не гарантирует успеха, если генеральная совокупность «плохо перемешана», то есть является неоднородной. Однородной считается такая совокупность, в которой контролируемый признак, например, уровень грамотности, распределен равномерно, не образует пустот или сгущений. Таким образом, на репрезентативность данных влияют не количественные характеристики выборочной совокупности (ее объем), а качественные характеристики генеральной совокупности – степень ее однородности. Расхождение между генеральной и выборочной совокупностью называется ошибкой репрезентативности, допустимое отклонение – 5%. Предположим, что средний ежемесячный семейный доход пенсионеров в генеральной совокупности составляет 2 тыс. руб., а в выборочной – 6 тыс. руб. Это означает, что социолог опрашивал только зажиточную часть пенсионеров, а в его исследование вкралась ошибка репрезентативности. Иными словами, ошибкой репрезентативности называется расхождение между двумя совокупностями – генеральной, на которую направлен теоретический интерес социолога и представление о свойствах которой он хочет получить в конечном итоге, и выборочной, которая выступает одновременно как объект обследования и средство получить информацию о генеральной совокупности. Ошибка выборки – отклонение средних характеристик выборочной совокупности от средних характеристик генеральной совокупности. На практике она определяется путем сравнения известных характеристик генеральной совокупности с выборочными средними. В социологии при обследованиях взрослого населения чаще всего используют данные переписей населения, текущего статистического учета, результаты предшествующих опросов. В качестве контрольных параметров обычно применяются социально-демографические признаки. Ошибки выборки подразделяются на два типа – случайные и систематические. Случайная ошибка – это вероятность того, что выборочная средняя выйдет (или не выйдет) за пределы заданного интервала. К случайным ошибкам относят статистические погрешности, присущие самому выборочному методу. Они уменьшаются при возрастании объема выборочной совокупности Второй тип ошибок выборки – систематические ошибки. Если социолог решил узнать мнение всех жителей города о проводимой местными органами власти социальной политике, а опросил только тех, у кого есть телефон, то возникает предумышленное смещение выборки в пользу зажиточных слоев, то есть систематическая ошибка.
Некоторые способы избежать ошибки выборки: · каждая единица генеральной совокупности должна иметь равную вероятность попасть в выборку, · отбор желательно производить из однородных совокупностей, · надо знать характеристики генеральной совокупности, · при составлении выборочной совокупности надо учитывать случайные и систематические ошибки.
Классификация шкал. · Номинальная шкала (шкала наименований). · Порядковая шкала. · Интервальная шкала. · Шкала отношений. Номинальная шкала. Номинальная шкала – это шкала, классифицирующая по названию: nomen (лат.) – имя, название. Название не измеряется количественно, а лишь позволяет отличить один объект от другого или одного субъекта от другого. Номинальная шкала – это способ классификации объектов или субъектов с целью распределения по ячейкам классификации, для перехода от наименований к числам, путем подсчета количества наблюдений в каждой из ячеек. Номинальная шкала может состоять из ячеек «признак проявился – признак не проявился». Пример: Ваш пол? 1. Мужской 2. Женский Порядковая шкала. Порядковая шкала – это шкала, классифицирующая по принципу «больше – меньше». В порядковой шкале должно быть не меньше трех классов. Ячейки теперь уместнее называть классами, поскольку по отношению к классам употребляются определения «низкий», «средний», «высокий». Пример: Насколько Вы удовлетворены условиями труда? 1. Вполне удовлетворен 2. Скорее удовлетворен, чем нет 3. Скорее не удовлетворен 4. Совершенно не удовлетворен Интервальная шкала Интервальная шкала – шкала, классифицирующая по принципу «больше на определенное количество единиц – меньше на определенное количество единиц». Каждое из возможных значений признака отстоит от другого на равном расстоянии. Полученные данные могут быть обработаны с помощью непараметрических критериев. Интервальная шкала представляет собой полностью упорядоченный ряд с равными интервалами между пунктами, причем отсчет начинается с произвольно выбранной точки (отсутствует нуль). Шкала отношений Шкала отношений – это шкала, классифицирующая объекты или субъекты пропорционально степени выраженности измеряемого свойства. Добавляется экспериментально установленный нуль. В шкалах отношений классы обозначаются числами, которые пропорциональны друг другу: 2 так относится к 4, как 4 к 8. По отношению к показателям частот возможно применение всех арифметических действий: сложение, вычитание, деление и умножение. Пример: Сравнение продолжительности времени, затрачиваемого в неделю на различные виды досуговой деятельности позволяют выявить, что на просмотр телевизионных передач (12-14 часов в неделю) жители России тратят в 6-7 раз больше времени, нежели на чтение (2 часа).
Индексы в социологии. Индексом называется обобщенный (производный) показатель, сформированный из исходных посредством математических операций. В социологии индекс рассматривается как сводный числовой показатель, полученный в результате исследования и анализа данных, т.е. на основе других данных. Здесь индекс выступает как единый показатель свойств переменной или нескольких переменных. Такой индекс используется для измерения латентной переменной. Сущность индексного метода в социологии состоит в редукции (" сжатии" ) социальной информации и сведение ее к единому показателю. При этом не имеет значения количество признаков-индикаторов объекта, подвергшихся " сжатию". Индекс как эмпирический показатель может создаваться на начальном этапе исследования и в результате исследования. Например, применительно к латентной переменной " удовлетворенность работой", описанная процедура будет означать обращение к респонденту с просьбой сказать, устраивает ли его зарплата, симпатичны ли ему товарищи по работе, авторитетен ли для него непосредственный начальник и т.д. Другими словами, одну " большую" удовлетворенность мы как бы " разлагаем" на много " маленьких". Каждый вопрос в таких случаях чаще всего сопровождается веером возможных ответов, отвечающих, скажем, традиционной пятибалльной шкале от " полностью устраивает" до " совершенно не устраивает" и т.д. Далее мы полагаем, что максимальной удовлетворенности работой отвечает совокупность максимальных баллов - ответов по всем вопросам, минимальной удовлетворенности - совокупность минимальных баллов-ответов, а в промежуточном случае - удовлетворенность тем больше, чем больше суммарный балл. Сумма " маленьких" удовлетворенностей составляет одну " большую". Простые индексы Пример: Существует 2 группы респондентов, одна из которых, читает материалы на политические темы регулярно, другая – нерегулярно. Чтобы сравнить эти группы между собой «по уровню обращаемости к материалам на политические темы», следует сконструировать индекс. Обозначим условно буквой А тех респондентов, кто читает материалы на политические темы регулярно, и буквой Б тех, кто читает их редко. Тогда искомый индекс может принять вид:
Разность читающих материалы на политическую тему часто и читающих их редко, деленное на число всех опрошенных.
Определим границы измерения значений индекса. Для этого предположим, что все опрошенные читают сообщения на политические темы регулярно ( Б =0). Тогда значение индекса равно +1.
Если предположить, что все опрошенные читают эти материалы редко ( А =0), то значение индекса равно -1.
Таким образом, индекс изменяется в диапазоне от +1 (все опрошенные читают сообщения на политические темы регулярно) до -1 (все опрошенные читают эти материалы редко).
Индекс принимает значение 0, при А=Б (при условии, что число читающих сообщения на политические темы регулярно равно числу читающих их редко).
Пример: Расчет простого индекса может быть применен, например, для решения следующей задачи. Пусть проведен опрос в 4-х группах, обобщены результаты и вычислены значения индекса.
Комплексные индексы
Пример: Задача измерить, как изменилась оценка населением своего имущественного статуса в июне 2015 г. по сравнению с июнем 2014 г.
Чтобы выяснить, какие социальные группы потерпели наибольший материальный ущерб, был использован такой интегральный показатель, как индекс имущественного статуса различных социальных групп.
Для дифференциации значений показателей по степени их интенсивности им были приписаны веса: +1 показателю а +0, 5 показателю b -0, 5 показателю с -1 показателю d
Индекс имущественной статусности рассчитан по формуле:
Индекс изменяется в интервале от +1 (абсолютное благополучие) до -1 (абсолютная нищета).
Практическое задание: 1. Вычисляем индекс имущественной статусности в июне 2014 г.
2. Вычисляем индекс имущественной статусности в июне 2015 г.
Вывод: у респондентов в июне 2015 г. наблюдается понижение имущественного статуса по сравнению с июнем 2014 г..
Аналитический индекс – это обобщенный (производный) показатель, сформированный из исходных данных посредством математических операций. Он строится на основе эмпирических индикаторов и показателей, полученных в ходе исследования, либо от их производных. Например, попытаемся найти индекс уровня беспокойства выпускников по поводу трудоустройства по специальности после окончания вуза. У каждого респондента есть оценка по порядковой шкале с тремя или пятью градациями.
Пример: Введение
Данные приемы, в первую очередь, помогают грамотно организовать получение информации при помощи эмпирических методов, а также дают возможность преобразовать полученные данные в научное знание при помощи методов анализа и интерпретации. Исходя из критерия этапности, все научные исследования проходят в три этапа: подготовительный, основной и заключительный. Основной этап представляет собой процесс исследования: ученый производит сбор данных об объекте с помощью специальных методов, вступая с ним в контакт. Этот этап, как правило, в максимальной степени отражает специфику исследования. На заключительном этапе производится обработка полученной эмпирической информации и переработка ее в результат. Результаты сопоставляются с выдвинутыми гипотезами по проблематике, объясняются и включаются в имеющуюся в данной области систему знаний. Неэмпирические методы используются на первом и третьем этапах исследования, эмпирические — на втором. На примере методов, применяющихся в социологических исследованиях, эту классификацию можно представить следующим образом (рис. 2). Еще один часто используемый вид классификации методов исследования является деление их на «качественные» и «количественные». Задачей данной лекции является познакомить студентов с содержанием и особенностями количественных методологии, ее возможностями и ограничениями, сферой использования в исследовательской практике социолога.
.
Рис. 2. Классификация методов социологического исследования
Главные характеристики количественных методов – «формализм» и «массовость». Исследуемые переменные заданы разработчиком заранее и отступление от них в процессе сбора уже невозможно, а массовый сбор однотипных данных предшествует их количественной, цифровой обработке. Методика формализованных исследований направлена на фиксацию строго определенного набора анализируемых признаков объекта и количественное их измерение. Их отличительная особенность заключается в том, что в них исследуемые переменные заданы ученым заранее. Основной задачей исследований с использованием количественных методов является получение численной оценки состояния объекта изучения или реакции респондентов на некое событие. Данные методы используются, когда необходимы точные, статистически надежные численные данные. Несомненным плюсом количественных методов является четкая структура, можно опросить определенное количество людей (выборка) от населения России (генеральная совокупность) и получится, что на руках у исследователя мнение всей страны по этому вопросу (репрезентативность выборки). Т.е. чтобы узнать мнение всех россиян, не обязательно опрашивать каждого, надо опросить определенный процент каждой из групп населения. Количественные исследования ориентированы на получение цифровой информации о большом числе объектов исследования: молодежи, избирателей, читателей, покупателей и т.п. Такие исследования проводятся, когда необходимы точные и надежные данные. Количественные методы исследования основаны на строгих статистических конструкциях. Это позволяет не просто получить мнения и оценки, а выяснить точные количественные значения изучаемых показателей. То есть результаты таких исследований достоверны, их можно распространять на конечный объект исследования. Количественные методы исследований – это основной инструмент получения информации для планирования и принятия решений в случае, когда необходимые гипотезы уже сформированы при помощи качественных методов. А также для проверки уже сформулированной гипотезы или оценки различных вариантов практических действий. Основные характеристики количественной стратегии социологического исследования представлены в таблице 1.
Таблица 1. Основные характеристики количественной стратегии социологического исследования
К несомненным плюсам количественных методов относится объективный характер процедуры исследования и возможность перепроверки надежности и валидности результатов. Количественные методы позволяют достаточно быстро изучать и обобщать большое количество информации, сравнивать результаты исследований, полученные на разных выборках, дают возможность построения математических моделей исследуемых объектов. Вместе с тем, количественные методы не лишены недостатков. Они не способны объяснить глубинный смысл происходящих явлений и процессов.
Сравнительный метод.
Измеренные в ходе исследования характеристики объектов сравниваются между собой, что позволяет выявить их многообразие, взаимосвязи и эволюцию социальных явлений. Сущность метода заключается в сравнении характеристик социального субъекта (индивида, группы, общности) в конкретный момент времени, или сравнения разных субъектов по каким-то видам социальных характеристик. Сравниваются показатели, на определенных стадиях развития объекта. Особенно продуктивен сравнительный подход в эволюционном изучении социального объекта. Вне сравнительного метода немыслимы все исследования социальных изменений. Конкретизация сравнительного метода, носит название «метода поперечных срезов». Сравнительный метод допускает использование различных эмпирических методов при сборе данных об объекте исследования.
объ Лонгитюдный метод.
Подобное продолжительное отслеживание объекта помогает анализировать изменения в его существовании и прогнозировать дальнейшее развитие. В социологии лонгитюд используется при изучении временной динамики показателей социального объекта. Специфическая форма реализации — метод «продольных срезов».
В зависимости от продолжительности исследования лонгитюды делятся на 3 вида наблюдений: кратковременные, долговременные и ускоренные. Кратковременное наблюдение проводятся тогда, когда в истории объекта присутствуют существенные изменения, скачки в развитии. Долговременный лонгитюд продуктивен для изучения анализа масштабных периодов развития, взаимосвязи между периодами или отдельными изменениями. Ускоренное наблюдение используется, в основном, в исследованиях длительных периодов существования объекта, но за короткое время. В зависимости от направленности исследования выделяются ретроспективное, перспективное и сочетанное наблюдение. Ретроспективное наблюдение дают возможность изучать объект или его отдельные свойства в прошлом. Перспективный метод - это способ текущего наблюдения за развитием объекта до определенного момента. Сочетанное наблюдение предполагает синтез двух предыдущих методов. В зависимости от применяемых способов различают истинное лонгитюдное, смешанное и псевдолонгитюдное наблюдение. Истинный лонгитюд – это длительное систематическое наблюдения за объектом. При смешанном лонгитюде продольное наблюдение дополняется поперечными срезами, которые дают информацию о других объектах. Этот способ оправдан в случае исследования социальных общностей, состав которых со временем уменьшается. Псевдолонгитюд заключаются в получении показателей для разных социальных групп в упорядочивании показателей во времени. Показатели замеряют, проводя поперечные срезы, то есть, используя усредненные данные по каждой группе. Комплексный метод (подход). Комплексная стратегия предполагает проведение комплексного исследования социального объекта. Исследование посвящается изучению объекта, общего для нескольких социальных наук, В данном подходе объект один, а предметы – разные. Пример выполнения кейс-задания: Ситуация 1. Задание: разработать модельный примериспользования системы методов социологического исследования для сбора обработки, анализа и интерпретации социологической информации в социологическом исследовании по теме: «Удовлетворенность лиц с ограниченными возможностями здоровья качеством предоставляемых социальных услуг». Заполнить таблицу. Обосновать выбранные методы исследования. Проблема исследования: Группа московских пенсионеров, получающих бесплатные лекарства российского производства, недовольна качеством поставляемых препаратов, и желает их замены на лекарственные средства, желательно, производимые в европейских странах, с развитой медицинской инфраструктурой |
Последнее изменение этой страницы: 2017-05-06; Просмотров: 86; Нарушение авторского права страницы