Контуры мультимодальности в теории социальной семиотики

⇐ ПредыдущаяСтр 7 из 22Следующая ⇒

Не представляется возможным говорить «от имени» мультимодальности, ведь не существует никакого согласованного определения мультимодальности как таковой. Во-первых, будь то в данной дискуссии или в других, в использовании термина мультимодальность часто имеют место неясность и неустойчивость: не понятно, что имеется в виду: наименование самого явления во «внешнем» социально-семиотическом мире или название «подхода» — теории об исследованиях и практиках вокруг этого явления.

Во-вторых, наполнение термина и его использование зависят от интересов и потребностей практиков, исследователей или теоретиков. Отношение к термину мультимодальность и его использование в общей области гуманитарных и социальных наук варьируются в широком спектре: от того, что можно было бы охарактеризовать как «позиция здравого смысла» (common sense positions), к «позиции теории» (theory-based positions). Среди этих позиций также наблюдаются существенные различия. Исследователи и теоретики, придерживающиеся позиции, основанной на здравом смысле, как правило, оставляют свои существующие теоретические рамки и допущения без изменений, разве что, с какими-то «поверхностными» поправками на периферии. Те же, кто придерживается позиции, основанной на теории, как правило, интегрируют мультимодальность в теоретические рамки, которые используют. Проясню свою собственную позицию: она основывается на теории, с интересами группирующимися вокруг проблем смысла (meaning), производства смыслов (meaning-making), производителей смыслов (meaning-makers) и агентивности (agency). Используемая мной теоретическая рамка – это социальная семиотика, для которой все эти вопросы находятся в фокусе.

«Позиция здравого смысла» может быть выражена такими репликами, как: «Знаете, я всегда занимался мультимодальностью», — со многими вариациями, типа: «Мультимодальность была всегда; в этом нет ничего нового»; «когда я читаю роман, я очень хорошо осознаю его мультимодальность, скажем, в диапазоне метафор, в нем используемых»; «конечно же, я обращаю внимание на образы, где бы они ни использовались»; или «что заставляет вас думать, что язык и письмо больше не важны? ». Лингвист может сказать раздраженно: «Разумеется, я отдаю себе отчет в том, что есть «тон голоса» и «выражение лица»; и да, я знаю, что это значит! Но экстралингвистические характеристики не моя забота: на то они и экстра-лингвистические! ». В рамках этих распространенных позиций, будь то в практической деятельности или в исследованиях, мультимодальность часто рассматривается как «добавление еще чего-то, чему стоит уделить внимание». «Добавление» ощущается как «увеличение рабочей нагрузки», «увеличение сложности исследовательских материалов» или как «рассеивание внимания, отвлечение от реальной направленности работы» и так далее. В ходе проведения исследований возражения могут возникнуть в форме: «Скажи мне, у кого есть время, на расшифровку всего этого? ».

«Позиция добавления» бьет мимо цели. Ведь как и во всех усилиях по теоретизированию, цель здесь состоит в том, чтобы наилучшим образом разобраться, каков «мир, попавший в кадр», и понять, как его можно описать. На самом общем уровне цель состоит в том, чтобы добиться всеобъемлющего преобразования взгляда на проблемную область и превратить этот новый взгляд в общепринятый базис научных исследований и практической деятельности.

На другом конце спектра представлены «позиции теории». Здесь мультимодальность (в «сильном смысле») рассматривается как составляющая интегрированная, когерентная область источников по вопросам, занимающим центральное место в соответствующей дисциплине и теории. Учитывая новизну мультимодальности, ни саму эту область с попытками ее теоретизирования, ни ее категории и сущности нельзя считать полностью изученными, описанными, установленными. Большинство ученых, работающих с мультимодальностью, понимают, что многие, если не все, культурные ресурсы для представления, включенные в рамки мультимодальности, были ранее объектом продолжительного и пристального внимания в ряде других отдельных дисциплин. История искусства имеет дело с изображением; психология – с жестами; литературоведение – с письмом; киноведение – с движущимися изображениями, освещением, музыкой, звуковым сопровождением; антропология – с танцем. В каждом случае соответствующая дисциплина привнесла свои вопросы в изучение конкретного культурного ресурса – изображения или, скажем, движения, и разработала собственное понимание этого ресурса с перспективы своих вопросов. Часто несколько дисциплин уделяют внимание одному и тому же ресурсу, и не менее часто одна дисциплина уделяет внимание сразу нескольким ресурсам.

Мультимодальность не теория; она очерчивает область социально-семиотического действия и взаимодействия — как с исследовательской, так и с прикладной точки зрения. Иными словами, мультимодальность называет и описывает область для работы, но она не является теорией. Тем не менее, раз уж есть некоторая расширенная область рассмотрения, то есть и потребность в интегрирующей теоретической рамке, которая была бы полностью приспособлена для всех входящих в рассматриваемую область сущностей и позволяла бы их объяснять. И в то время как мультимодальность фокусирует внимание на области рассмотрения, теория — ею может быть социальная семиотика — предоставляет (большую часть) категорий и инструментов.

Все, кто работают с мультимодальностью (в качестве исследователей, теоретиков, практиков), работают в рамках своей конкретной дисциплины и ее теорий. Это обеспечивает, явно или нет, интегрированный подход к мультимодальности, а также к соответствующим дескриптивным и аналитическим инструментам (их большинству). Это может быть археология, теория музыки, психология, музееведение, педагогика. Конкретная дисциплина и теория совместно формируют виды вопросов, которые ставятся перед мультимодальностью или, наоборот, которые стало возможным поставить в широких рамках мультимодальности. Социальной семиотикой как всеохватывающей и интегрирующей теорией виды вопросов уже в основном сформированы — это вопросы о смысле и производстве смыслов, о ресурсах для производства смыслов и о социальных агентах как производителях смыслов, а также о характеристиках среды, в которой эти агенты действуют. Существенны при этом риторически ориентированные вопросы агентивности (agency) и аудиентивностей (audiences), а также вопросы о распределении власти.

Категории социальной семиотики отображают социальные интересы и потребности сообществ, члены которых выработали и оформили свои семиотические ресурсы, а также постоянно их (пере)оформляют. Они включают в себя как материальные средства, модусы (modes), так и нематериальные – концептуальные средства, категории, которые формируют социальный и культурный мир. Это категории для представления сущностей, действий и отношений; это жанры, фреймы, формы текстуального связывания (forms of cohesion); категории осмысления времени, пространства; виды реализма и фактуальности и т.д. В социальном семиотическом подходе к мультимодальности все модусы вместе с этими нематериальными семиотическими категориями составляют одну интегрированную область культурных и/или семиотических ресурсов сообщества.

На данной стадии разработки понятия мультимодальности важно поставить вопрос о том, какие теоретические допущения могут предоставить единый и согласованный подход к мультимодальности как «проекту».

Минимально таких допущений может быть два, возможно три. Первое таково: «языка» самого по себе, будь то в качестве речи или в письменной форме, уже не достаточно в качестве «единственного», «центрального», «магистрального» пути доступа к основополагающим вопросам некоторых дисциплин. Второе допущение может быть следующим: все модусы в совокупности составляют интегрированный ресурс, при этом каждый из модусов реализует специфические значимые характеристики своих аффордансов^{^[31]} (affordances). Третье: если рассматриваются несколько модусов, независимо от используемой теории, все они должны быть теоретическим образом интегрированы на каком-то уровне общности.

Мульти- в слове мультимодальность предполагает, что существует целый ряд модусов, общедоступных для воспроизводства всеми членами сообщества. Многие (хотя и не все) модусы встречаются в широком диапазоне сообществ: таковы, например, письменность, жесты, изображения. С другой стороны, устная речь является модусом, не доступным для членов сообщества «с нарушениями речи».

⇐ Предыдущая 2 3 4 5 678 9 10 11 Следующая ⇒