Методы и технологии компьютерного сурдоперевода


Министерство образования и науки Российской Федерации НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ




М.Г. ГРИФ




МЕТОДЫ И ТЕХНОЛОГИИ КОМПЬЮТЕРНОГО СУРДОПЕРЕВОДА Утверждено Редакционно-издательским советом университета в качестве учебного пособия











НОВОСИБИРСК

2012

УДК 004.822(075.8) Г 857


Рецензенты:



канд. техн. наук, доц. А.В. Гаврилов', канд. техн. наук, доц. В. С. Поздняков



            Гриф М.Г.


Г 857 Методы и технологии компьютерного сурдоперевода: учеб. пособие / М.Г. Гриф. - Новосибирск: Изд-во НГТУ, 2012.-76 с.


           ISBN 978-5-7782-2092-8


          Учебное пособие раскрывает подходы, модели, методы и технологии построения систем компьютерного сурдоперевода русской речи (текста) на русский жестовых язык для поддержки коммуникаций глухих и слышащих граждан России.
          Пособие адресовано студентам и специалистам, изучающим системы искусственного интеллекта и человеко-машинного взаимодействия.

           Работа подготовлена на кафедре автоматизированных систем управления для студентов дневного отделения по курсу взаимосвязанных дисциплин «Интеллектуальные системы» и «Системы искусственного интеллекта» (ООП по направлениям 230100.68 «Информатика и вычислительная техника» (магистерская программа «Компьютерное моделирование систем», квалификация «магистр»), 230100.62 «Информатика и вычислительная техника» (квалификация «бакалавр»)



                                                                  УДК 004.822(075.8)



ISBN 978-5-7782-2092-8

                     © Гриф М.Г., 2012
                     © Новосибирский государственный

технический университет, 2012

            ОГЛАВЛЕНИЕ



ВВЕДЕНИЕ...............................................5
ГЛАВА 1. ПОСТАНОВКА ЗАДАЧИ АВТОМАТИЗАЦИИ СУРДОПЕРЕВОДА ДЛЯ ГЛУХИХ...............................7
  1.1. Типы автоматических сурдопереводчиков...........7
  1.2. Варианты организации интерлингвы в автоматических сурдопереводчиках....................................9
   1.2.1. Система ZARDOZ...............................9
   1.2.2. Использование виртуальной реальности в качестве интерлингвы.......................................14
  1.3. Вариант построения семантического языка-посредника..22
   1.3.1. Требования к языку-посреднику...............22
   1.3.2. Возможный способ построения семантического языка.24
  1.4. Описание моделей взаимосвязей в семантике русского звучащего и разговорного русского жестового языков...29
   1.4.1. Неформальное описание интерлингвы...........30
   1.4.2. Критерии выделения параметров действий......33
ГЛАВА 2. АНАЛИЗ ОСОБЕННОСТЕЙ РАЗГОВОРНОГО РУССКОГО ЖЕСТОВОГО ЯЗЫКА..............................39
ГЛАВА 3. РАЗРАБОТКА СТРАТЕГИЙ КОМПЬЮТЕРНОГО СУРДОПЕРЕВОДА.........................................47
  3.1. Общая схема системы перевода русского текста на русский жестовый язык.......................................47

3

  3.2. Подсистема анализа русского текста..............49
   3.2.1. Досемантический анализ русского текста.......49
   3.2.2. Семантический анализ текста..................52
   3.2.3. Описание констант русского словаря...........53
3.2.4. Примеры использования программных модулей анализа русского текста.............................56
ГЛАВА 4. ПРИКЛАДНЫЕ СИСТЕМЫ КОМПЬЮТЕРНОГО СУРДОПЕРЕВОДА..........................................59
Библиографический список...............................71

                ВВЕДЕНИЕ




   Примерно 10 % населения любой страны мира - это лица с ограниченными возможностями здоровья по слуху. Так, в России сейчас около 13 миллионов глухих и слабослышащих. Подавляющее большинство из них в повседневной жизни использует русский жестовый язык (РЖЯ). Существует проблема физической нехватки сурдопереводчиков для обеспечения биолингвистических потребностей глухих людей во всех областях их жизнедеятельности: в системе образования, здравоохранении, социальных службах, сотовой связи и т. п. Постепенная замена человека-сурдопереводчика на компьютерный сурдопереводчик служит благородной задаче разрушения барьеров, препятствующих коммуникации глухих и слышащих граждан России [1-26]. В России и в мире известны системы компьютерного сурдоперевода естественного языка (речи) на калькирующий национальный жестовый язык. Например, система Say It Sign It исследовательского центра IBM Hursley в Великобритании и программно-аппаратный комплекс жестовой речи в Институте социальной реабилитации Новосибирского государственного технического университета. Однако внедрение указанных программных систем в различные области жизнедеятельности глухих тормозится по следующим причинам: 1) отсутствие эффективных программных систем распознавания непрерывной русской речи; 2) перевод русского текста преимущественно на калькирующий жестовый язык, что затрудняет его восприятие глухими; 3) отсутствие признанной грамматической системы русского жестового языка; 4) отсутствие эргономичной системы визуализации жестового языка.
   Для решения указанных проблем в настоящем учебном пособии сделана попытка изложить с системных позиций современный подход к построению систем компьютерного сурдоперевода. Кроме того, данный вопрос недостаточно освещен в имеющейся учебной литературе. Учебное пособие содержит также ряд новых научных результатов, в частности, стратегии перевода русского текста на русский жестовый язык. Рассматриваемые подходы, модели, методы и технологии ком

5

пьютерного сурдоперевода русской речи (текста) на русский жестовый язык предназначены как студентам, так и специалистам в области систем искусственного интеллекта и человеко-машинного взаимодействия. Автор выражает благодарность А.А. Бертик, О.О. Корольковой, Л.Г. Панину, М.К. Тимофеевой, Е.Б. Цою за ценные советы и замечания при написании учебного пособия.

ГЛАВА 1




                ПОСТАНОВКА ЗАДАЧИ АВТОМАТИЗАЦИИ СУРДОПЕРЕВОДА ДЛЯ ГЛУХИХ




            1.1. ТИПЫ АВТОМАТИЧЕСКИХ СУРДОПЕРЕВОДЧИКОВ


   Выделяют два основных подхода к построению автоматических сурдопереводчиков: перевод, базирующийся на правилах (rule-based), и перевод, базирующийся на данных (data-based). В системах первого типа правила перевода строятся вручную на основе знания обоих языков; в системах второго типа правила выводятся автоматически на основе компьютерного анализа языковых данных, не опирающегося на какие-либо предварительные знания об устройстве рассматриваемых языков. Примером системы второго типа может служить статистический автоматический перевод. Ввиду отсутствия достаточно представительных корпусов параллельных текстов, по которым система могла бы обучаться, извлекая из них закономерности соотнесения текстов русского звучащего языка (РЗЯ) с текстами русского жестового языка, этот подход в настоящее время не представляется реализуемым.
   Системы первого типа различаются по степени глубины анализа переводимого текста.
   При прямом переводе синтаксический (и тем более семантический) анализ не проводится, перевод осуществляется на основе установления лексических соответствий. Перевод типа трансфер базируется на более глубоком анализе, доходящем до уровня синтаксиса или семантики. Синтаксическое/семантическое представление переводимого текста преобразуется (на основе заложенных в систему правил) в синтаксическое/семантическое представление другого языка, которое затем служит основой генерации перевода. Такая стратегия перевода восходит к идеям В. Ингве (Victor Yngve), высказанным в конце 50-х годов прошлого века.
   Еще более глубокий анализ текста происходит при переводе, базирующемся на построении искусственного языка-посредника (интер

7

лингвы). Эта стратегия перевода восходит к идеям Уоррена Уивера (Warren Weaver), предложенным в 1955 г. [27], и состоит в использовании схемы перевода, при которой текст одного языка преобразуется в текст другого языка на основе сведения обоих текстов к общему для них (в идеале не зависящему от языков L1 и L2) семантическому представлению на языке-посреднике. В самом общем виде схему перевода можно изобразить так (рис. 1.1):

Рис. 1.1. Схема перевода, использующего интерлингву

    Существуют два типа стратегий построения интерлингвы [27].
    1.   Создание универсального языкового описания, обобщающего (синтаксические или семантические) средства разных естественных языков. К этому подходу близок метод, используемый в системе [28].
    2.   Создание языка-посредника, непосредственно моделирующего не естественные языки, а сам мир, о котором говорят на этих языках. Формализация знаний о мире позволяет включать в процесс перевода процедуры логического вывода, основанные на соображениях из области здравого смысла. Например, систему ZARDOZ [29, 27, 30] ее авторы относят именно к этому классу.
    Опыт разработки систем машинного перевода показывает, что чем более универсален язык-посредник, тем сложнее построить качественную и работоспособную систему перевода. Поэтому для автоматического перевода, ориентированного на два языка (РЗЯ и РЖЯ), построение универсального семантического описания, распространяющегося на большее число языков, было бы излишне. Второй подход отличается от первого тем, что вместо универсального описания языка строится универсальное описание мира. Но и такая замена тоже опирается на довольно жесткое требование к системе перевода. Если система ориентирована только на пару языков, то достаточно построить интерлингву, являющуюся универсальной именно для них, т. е. использование семантического языка-посредника, пригодного для описания семантик только тех двух языков, между которыми устанавливаются переводные соответствия.
    Различия между звучащим языков и жестовым языком очень существенны, такой межъязыковой перевод преобразует одну модальность

8

(звуковую или графическую) в другую (пространственную). Поэтому для построения универсальной (для этих языков) модели мира необходима интерлингва, создаваемая на основе глубокого семантического анализа. Такой вариант построения языка-посредника используется как в уже названной ранее системе ZARDOZ, так и в системе с многоходовой архитектурой перевода, описанной в [31,32].
   Далее рассматриваются те принципы устройства этих двух систем, которые представляются полезными также и для построения системы автоматического перевода для РЖЯ.

1.2. ВАРИАНТЫ ОРГАНИЗАЦИИ ИНТЕРЛИНГВЫ В АВТОМАТИЧЕСКИХ СУРДОПЕРЕВОДЧИКАХ

1.2.1. СИСТЕМА ZARDOZ
   В системе ZARDOZ используется промежуточный язык-посредник (Doll Control Language, DCL), ориентированный на управление компьютерным изображением человека. Авторы этой системы особое внимание уделяли творческим аспектам языка, в частности, метафорам и созданию новых знаков. Кратко процесс перевода в ZARDOZ описывается следующим образом.
   Построение семантического представления входного текста опирается на имеющуюся в системе базу соответствий между лексемами и концептами. Получающееся в результате описание содержания текста на языке-посреднике дает независимый от обоих языков (т. е. английского и амслена) уровень представления. Поскольку метафорические и метонимические средства звучащих и жестовых языков не совпадают, из языка-посредника устраняются все случаи их использования в переводимом языке. В языке-посреднике информация представляется в виде фреймовой структуры.
   На следующем этапе данная структура переводится в выходную последовательность знаков, используемую далее для создания программы на языке DCL. На этом этапе подключаются средства, предназначенные для разрешения анафорических ссылок, генерации синтаксических конструкций выходного языка, построения соответствий типа концепт-знак для преобразования структурных составляющих интерлингвы в знаки выходного языка.
   В системе ZARDOZ внимание акцентируется на одном из важных для автоматического сурдоперевода аспекте: на соотношении метафор

9

звучащего и жестового языка. Метафорические средства этих языков, как уже говорилось, не совпадают, значит, при переходе к языку-посреднику необходимо метафоры устранять.
   Синтаксическая информация в составе языка-посредника. Несмотря на то что интерлингва системы ZARDOZ представляет собой описание семантики, она отчасти сохраняет и синтаксическую информацию. Дело в том, что одна и та же ситуация может быть описана разными текстами входного (звучащего) языка. Если семантика текста трактуется как описание ситуации, представленной в тексте, то она должна быть тождественна для всех текстов, эту ситуацию описывающих. Однако языковой способ описания ситуации тоже может быть важен при переводе. Например, в симметричных предикатах типа познакомиться, помириться, встретиться оба участника действия (аргументы предиката) равноправны: фразы Иван познакомился с Петром и Петр познакомился с Иваном могут трактоваться как описывающие одну и ту же ситуацию знакомства. Однако в предложении в роли активного субъекта может выступать лишь один из названных людей, поэтому фразу Иван познакомился с Петром следует переводить иначе, чем фразу Петр познакомился с Иваном. В системе ZARDOZ интерлингва сохраняет подобную синтаксическую информацию о роли аргументов рассматриваемого предиката. Так, два предложения: Почему Мэри вышла замуж за Билла? и «Почему Билл женился на Мэри? (Why did Магу marry Bill?, Why did Bill marry Mary?) в интерлингве этой системы будут отображаться в виде одной и той же структуры, но в ней будет указано, какой из участников выступает в роли субъекта [29].
   Новые смыслы и новые обозначения. Любой компьютерный переводчик сталкивается с проблемой недостаточности используемого в системе словаря. Новые понятия и новые слова могут оказаться за пределами этого словаря, в частности, из-за того, что в жестовом языке отсутствуют средства выражения некоторых смыслов, выразимых в звучащем языке. Для разрешения таких проблем перевода в системе ZARDOZ предусмотрен специальный аппарат, способный создавать новые знаки.
   При жестовой коммуникации всегда есть возможность отобразить новый смысл, для которого нет готового знака, посредством дактильной азбуки, воспроизводящей слово звучащего языка. Однако помимо этого в ZARDOZ используются алгоритмы создания новых знаков, имитирующие естественное словотворчество носителей жестового языка. Рассмотрим несколько типов таких знаков.

10

   Если новых концептов много, то использование дактильной азбуки делает речь довольно неуклюжей и трудной для восприятия. Поэтому со временем такие знаки имеют тенденцию упрощаться, сохраняя лишь часть составляющих их букв (обычно первую), например, исполняемое побуквенно левой рукой слово J-A-P-A-N (Япония) уменьшается до демонстрации левой рукой одной лишь буквы J. Это самый простой способ образования нового знака в ZARDOZ.
   Использование иерархии понятий - еще один способ образования знаков, имитирующий интуицию носителей жестового языка. Например, если в жестовом языке нет обозначения для аспирина, то этот знак может быть образован посредством сочетания знаков А + МЕДИЦИНА¹ (тем самым этот знак будет отличен от знака тайленола, образованного посредством сочетания Т + МЕДИЦИНА).
   Для отображения более конкретного пространственного представления могут вводиться знаки, указывающие локализацию. Например, головн-я боль - это ЛОБ + БОЛЕТЬ, а поясничная боль - это ПОЯСНИЦА + БОЛЕТЬ.
   Интересные варианты словотворчества - метонимия и пространственная метафора.
   Наиболее эффективная эвристика для создания знака опирается на иерархию понятий, используемую в интерлингве: из нее выбирается толкование, соответствующее расширению рассматриваемого смысла. Например, смысл слова сэндвич отображается как ЕДА В ХЛЕБЕ (FOOD INSIDE BREAD).
   Еще один вариант создания знака: подобрать для рассматриваемого концепта последовательность подходящих метонимий, имеющих жестовые обозначения, и построить фреймовую структуру с соответствующими слотами. Так, ветчина может быть обозначена знаком СВИНЬЯ МЯСО (PIG MEAT), поскольку ветчина» занимает позицию слота мясо во фрейме свинья. Обозначение для смысла сэндвич из свинины в амслене таково: СВИНЬЯ + МЯСО (это понятие в амслене подчинено понятию, выражаемому знаком ЕДА) + ВНУТРИ + ХЛЕБ.
   Пространственная метафора часто рассматривается как концептуальная структура, лежащая в основе естественного языка. Эта мысль, связываемая прежде всего с именами Дж. Лакоффа, М. Джонсона и восходящая к традиции эмпиризма, очень популярна в современной когни

   ¹ Жесты принято обозначать соответствующими им словами, напечатанными прописными буквами.

11

тивной лингвистике. Суть ее в следующем. Концептуализация (осмысление) человеком мира основывается на эмпирически доступной физической реальности, поэтому истоки всех (в том числе абстрактных) понятий лежат в сенсорном опыте и, следовательно, структурируются в тех же терминах, какие человек создает применительно к физической реальности. Основной вид сенсорного опыта - пространственный, поэтому пространственная метафора позволяет сводить абстрактные понятия к физическому опыту.
    Как считают авторы [29], это свойственно не только звучащим, но и жестовым языкам, причем вторым - в большей степени, так как в них пространство используется не только как основа концептуализации, но и как среда, в которой реализуется план выражения языка.
    В системе ZARDOZ используется специальное инструментальное средство поддержки метафор (scaffolding model of metaphor), представляющее собой своеобразное пространственное исчисление, определенное на метафорических конструктивных элементах вверх, вниз, соединить, разъединить (up, down, contact, discontact). Эти элементы используются как строительные блоки для образования смысла. Из них может быть сформирована семантика многих повседневных понятий (как абстрактных, так и конкретных), например, Цены на продукты (зарплаты, настроение и т. д.) повышаются. Элемент соединить/ разъединить усматривается при разговоре о сближении/расхождении мыслей, а также в словах типа знакомство, дружба, женитьба. Таким образом, ZARDOZ позволяет динамически создавать новые, основанные на метафоре, знаки, не существовавшие ранее в жестовом языке. Как уже говорилось, между метафорами жестового языка и метафорами звучащего языка имеются различия, однако пространственные метафоры в большей степени универсальны, чем прочие виды метафор, поэтому использование их в качестве одного из средств порождения названий новых понятий вполне возможно.
    Сегментация жестового пространства как составляющая семантического описания. Хотя пространственные характеристики обсуждаемых объектов присутствуют и в звучащем языке, носители жестового языка обладают гораздо более развитыми навыками пространственного видения и рассуждения (рис. 1.2).
    Этот факт должен учитываться при разработке системы автоматического сурдоперевода.

12