Системы обработки ЕЯ: кл-ция, области прим-я.

Междисциплин прикладное направ-е "обработка ЕЯ" (пер англо термина Natural Language Processing) возникло в к.60-х гг. и разв-сь в рамках научно-технолог-й дисциплины "искус. интеллект".

Пр-ма автомат обработки (АО) ЕЯ привлекает ученых самых разл спец-тей: матем-в, спец-тов по искус интеллекту, линг-тов. Необх усл-е построения таких с-м -- наличие прост и надежн процедур перехода от предст-ия инфои в виде предл-ий на входе ЭВМ к предст-ию ее на внут я-ке с-мы.

Для с-м, обесп-их доступ к инфо в огр-ой области знаний, предложен шир спектр м-дов анализа: от предст-я запросов в виде наборов ключев слов до получ-я графов синт-х и семант-х стрр входных т-тов.

СОЕЯ, 4 группы: форматные, с текстовой основой, с огранич логикой и с общим выводом.

1) Форматные с-мы (ФС)-- наиб прост диалоговые с-мы, обычно исп-ют 2 жестких формата: 1 – д/предст-ия знаний, хранимых в с-ме, 2 – д/предст-ия входных и выходных сооб-й. Пример: модель общения, исп-щая табличн я. Вх сооб-е = таблица, заполняемая челом. Вых сооб-е = табличная формау. Таблица реглам-ет формат и порядок слов в предл-ях, что упрощает программы обработки и сп-бы хр-я данных в ЭВМ. ФС исп-ся д/созд-я простых инфо–справочных и учетных с-м. Они имеют узк целевую направ-сть и х-ся инфо-й жесткостью, не позвол-й перестраивать их д/др целей.

2) В с-мах с текстовой основой непоср-но хранится т-т на ЕЯ. Т-т снабжается схемами индексирования, на основе кот строятся запросы, и произв-ся поиск запраш-х предл-й или фрагментов т-та. Наиб распрост-ы с-мы, исп-щие дескрипторные я-ки. Дескрипторы – это лекс 1цы инфо-поискового я-ка, обл-щие смысловой однозн-тью. Они исп-ся д/индексирования текста. Дескрипторы и связи м/у ними устан-ся на основе анализа профес-го я-ка пользователя и формализуются в виде дескрипторного графа. При общении разреш-ся исп-ть слова только из словаря дескрипторов. Стра запроса строится в соотв-ии со стр-ой связей м/у дескрипторами. Недосток этих я-ов – невозм-ть организации процедур выбора более сложных, чем поиск по дескрипторному графу.

3) С-мы с ограниченной логикой исп-ют формальные модели предст-я знаний с упрощ-ми с-ми логического вывода. Наиб известные с-мы эт группы реализованы с исп-ем я-ов PLANNER и LISP.

4) С-мы с общим выводом исп-ют шир класс формальных моделей: семант модели, сети фреймов, нечеткие лингв-ие переменные, предикатные модели и др. В ряде работ с-мы общения реализованы с исп-ем универс процедуры доказ-ва теорем. Форма предст-я инфо в них не зависит от особ-тей самой с-мы общения. Это св-во дает возм-ть исп-ть такие с-мы в любой области, представимой в исчислении предикатов. Интеллектуальная в части яз общения с-ма д понимать т-т ЕЯ или ограниченного ЕЯ.

ЕЯ содержит все ср-ва д/выр-я алгоритмов и данных при их машин обработке, поэт он м служить прекрасным ср-вом комм-ции чел-а и ЭВМ. Любая Автоматизированная Инфо-ая С-ма, поэтому д им в своем составе набор ср-в АО ЕЯ-сообщений. ЕЯ сост из словаря и грамматики – любая с-ма АО ЕЯ-сообщений д им в составе «ср-ва грам обработки» и «ср-ва словарной (семант) обработки». С-мы подобн рода наз интеллектуальным интерфейсом.

Ср-ва грам обработки ЕЯ предст-ют собой формализованный набор правил грам-ки рус я. Но т.к. изм-е слов не всегда вклад-ся в рамки регулярности, то формализованной мб не вся грам-ка. Формализованный набор мб не полным и из–за недостаточной научности грам-ки. Т.о., все неучтенные правила м считать недопустимыми.

При формализации словаря наиб приемлема -- поуровневая обработка лекс 1иц. Д/каж предметной области дб определен словарь исходных (непроизводных) лекс 1иц (нижний уровень), посредством кот и с исп-ем инфо об имеющихся аффиксах м исчислять семантику любого производного слова, при этом средствами с-мы м получать нов производные слова, имея их семант отображение.

Итак, любой вид машин обработки ЕЯ-сообщений вкл-ет обработку отд-х лекс 1иц. Обработка отд-х слов – обработка сост-х слово частей: корня и аффиксальных частей. Стра подс-мы семантобработки ЕЯ-сообщений мб представлена в виде:

1. Модель текста

2. Модель фразы (группы слов)

3. Модель с/с-я (пары слов)

4. Модель слова

o модели аффиксов

o модель корня

Стра с-мы АО ЕЯ продиктована стр-рой смысла т-та, ибо любой т-т расчленяет на части именно смысл. Само слово нерасчленимо на части и именно смысл элем-х морфов позв-ет выд-ть в нем min-ые значимые 1цы.

ЕЯ представлен, с т.з. морфологии, одноморфными и многоморфными словами. С т.з. слвобрзвния одноморфные слова это – непроизводные лекс 1цы, многоморфные – производные. Смысл произв слова исх из семантики морфов, вх-щих в состав произв слова, поэт естест часть модели я -- модель его слвобр-го уровня.

Первонач-но исчис-ся смысл корня + работа подс-м моделей аффиксов = исчис-ся смысл производного слова. Такая орг-ция с-м семант анализа позволяет ускорить АО т-тов.

Не нашли, что искали? Воспользуйтесь поиском: