Программы для компьютерного анализа текста

Возможности. Функция программы сканирование выделенного и отображение результата в всплывающих окнах:

1) Поиск по шаблону. Можно вводить слова, содержащие "*" и "?" как шаблоны.

2) Нечеткий запрос. Можно воспользоваться "нечётким запросом". Он использует алгоритм Левенштейна для подсчёта похожести двух слов, и выдаёт слова, которые наиболее подходят введённому запросу. Для использования этой возможности запрос должен начинаться с "/".

3) Полнотекстовой поиск предназначен для поиска слова в словаре без помощи индекса. Более медленный поиск, но позволяет искать совпадения в текстах статей.

4) Сканирование выделенного. При выделении слова и, в зависимости от настроек, при нажатии клавиш его перевод отображается в всплывающем окне.

5) Управление словарями. Выключение ненужных словарей, а также установка порядок их использования при запросе.

6) Поиск в интернете для различных он-лайн словарей.

7) Произношение слов. При наличии звуковых записей словарь может выполнять произношение слов.

8.)Перевод полных текстов, используя интернет-сервисы.

 

В приложении вы можете найти словарь моей собственной разработки.

 

1. 2. Орфокорректоры (или спеллчекеры) :

А) MS Word - Microsoft Word (часто - MS Word, WinWord или просто Word) - это текстовый процессор, предназначенный для создания, просмотра и редактирования текстовых документов, с локальным применением простейших форм таблично-матричных алгоритмов. Текстовый процессор, выпускается корпорацией Microsoft в составе пакета Microsoft Office. Первая версия была написана Ричардом Броди (Richard Brodie) для IBM PC, использующих DOS, в 1983 году. Позднее выпускались версии для Apple Macintosh (1984), SCO UNIX и Microsoft Windows (1989).

Б) aspell - GNU Aspell (или просто Aspell) - свободная программа для проверки орфографии, разработанная для замены Ispell. Это стандартная программа проверки орфографии для системы GNU. Она также компилируется под другие Unix-подобные операционные системы и Microsoft Windows. Основная программа лицензируется на условиях GNU LGPL, а документация - на условиях GNU FDL. Словари для неё доступны примерно на 70 языках. Основной разработчик - Кевин Аткинсон (Kevin Atkinson).

1. 3. Системы автоматизированного  перевода, в т.ч. программы управления  памятью переводов :

А) OmegaT - система автоматизированного перевода, поддерживающая память переводов, написана на языке Java. Возможности продукта включают сегментацию исходного текста на основе регулярных выражений, использование точных (англ. exact ) и неточных (англ. fuzzy ) соответствий с уже переведенными фрагментами, использование словарей, поиск контекстов в базах данных переводов и работу с ключевыми словами.

Начиная с версии 2.04 OmegaT также может переводить текущий абзац текста через Google Translate.

Для работы OmegaT требуется версия Java 1.4, которая доступна для ОС GNU/Linux, Mac OS X и Microsoft Windows, Windows NT. Может работать с OpenJDK.

OmegaT поддерживает разнообразные форматы исходных документов: текстовые файлы (включая Unicode), файлы HTML/XHTML, StarOffice, OpenOffice.org и OpenDocument (ODF), а также файлы DocBook, MediaWiki, Microsoft OOXML, файлы .po (portable object) для библиотеки интернационализации gettext, XLIFF и текстовые файлы со структурой "Ключ=Значение". С файлами старых проприетарных форматов Microsoft Office (Word, Excel и PowerPoint) OmegaT не может работать непосредственно, их необходимо перевести в формат OpenDocument (например, с помощью OpenOffice.org) или OOXML с помощью Microsoft Office 2007.

Б) Trados - система автоматизированного перевода, первоначально (с 1992 года) разработанная немецкой компанией Trados GmbH. Является одним из мировых лидеров в классе систем Translation Memory (TM, Память переводов).

Система Trados состоит из модулей, предназначенных для перевода текстов различного формата: документов Microsoft Word, презентаций PowerPoint, текстов в формате HTML и других метаданных, документов FrameMaker, InterLeaf и др., а также для ведения терминологических баз данных (модуль MultiTerm). Последняя версия системы, выпущенная независимой компанией Trados - 7.0. Последняя версия Trados на сегодняшний день - SDL Trados Studio 2009.

Принцип работы. Концепция Translation Memory предполагает выявление в переводимом тексте фрагментов, переводы которых уже имеются в базе данных переводов, и за счет этого сокращение объема работы переводчика. Фрагменты, оставшиеся непереведёнными, передаются дальше для ручной обработки переводчику или системе машинного перевода (Machine Translation, MT). Переводчик на этом этапе может выделить вновь переведённые фрагменты и занести новые пары параллельных текстов на двух языках в базу данных. Такая схема наилучшим образом работает в случае однотипных текстов, где повторяемость словосочетаний достаточно высока, т. е. в случае разного рода инструкций для пользователей, технических описаний.

2) Системы  распознавания символов OCR :

А) Finereader - система оптического распознавания символов разработанная российской компанией ABBYY.

Возможности. Поддерживает распознавание текста на 186 языках и имеет встроенную проверку орфографии для 38 из них. По некоторым данным, после некоторого обучения системы она может начать распознавать рукописный текст, но его нужно будет учить под почерк пользователя.

Б) CuneiForm - свободно распространяемая открытая система оптического распознавания текстов российской компании Cognitive Technologies.

Первоначально система CuneiForm была разработана компанией Cognitive Technologies как коммерческий продукт. CuneiForm поставлялся с некоторыми моделями сканеров. Однако после нескольких лет перерыва разработки, 12 декабря 2007 года анонсировано открытие исходных текстов программы, которое состоялось 2 апреля 2008 года.

Особенности. CuneiForm позиционируется как система преобразования электронных копий бумажных документов и графических файлов в редактируемый вид с возможностью сохранения структуры и гарнитуры шрифтов оригинального документа в автоматическом или полуавтоматическом режиме. Система включает в себя две программы для одиночной и пакетной обработки электронных документов. CuneiForm - Шрифтонезависимая система.

В) Tesseract - свободная программа для распознавания текстов, разрабатывавшаяся Hewlett-Packard с середины 1980-х по середину 1990-х, а затем 10 лет "пролежавшая на полке". Некоторое время назад (в августе 2006 г) Google купил её и открыл исходные тексты под лицензией Apache 2.0 для продолжения разработки. В настоящий момент программа уже работает с UTF-8, поддержка языков (включая, русский с версии 3.0) осуществляется с помощью дополнительных модулей.

Г) OCRopus - OCR-система на базе не так давно открытого распознающего ядра — tesseract. Программный пакет для распознавания текста, развивающийся по принципам Open Source и распространяющееся под Apache License 2.0. По задумке разработчиков, с помощью OCRopus станет возможным определять текстовое содержимое на цифровых изображениях и переводить его в обычный текстовый формат для дальнейшего редактирования. Помимо печатного текста, программа сможет распознавать и рукописные материалы. По состоянию на альфа-релиз, OCRopus использует язык моделирования код из другого проекта поддерживаемого Google OpenFST. OCRopus в настоящее время доступна только для GNU/Linux, но существуют сборки и для Debian GNU/Hurd и Debian GNU/kFreeBSD.

Использование. В настоящее время OCRopus использует только интерфейс командной строки, принимая указания на входные изображения с текстом, и выводя данные в формате hOCR (открытый формат на основе HTML). Если необходим более точный контроль, можно указать в командной строке команды для выполнения конкретных операций (например, распознание одной строки).

 

Заключение

 

Подводя итоги можно сказать, что компьютерный анализ текста является значимым приемом изучения специфики текстового воплощения концептуальной картины мира, позволяющим постичь особенности стиля.

В ходе работы были получены следующие результаты:

Выявлено, что тема компьютерного анализа текста не до конца изучена, так как нет ее конкретного определения.

Из главы 2, раздела 2.2 "Проблемы компьютерного анализа текста" видно, что проблем в разработке компьютерного анализа весьма много. Они, конечно, решаются, но не все и в замедленном темпе.

Из главы 3 "Программы для компьютерного анализа текста" также видно, каково разнообразие компьютерных программ, которые считывают информацию и позволяют осуществить анализ текста на компьютере.

Преимущества компьютерного анализа перед аналогичным исследованием тестов в ручную, на мой взгляд, очевидны. Он позволяет сэкономить время на структурировании результатов, оформлении их в таблицах, графиках, определениях.

Таким образом, тема "Компьютерный анализ текста" весьма интересна при изучении, и не до конца изучена. Нет определенного понятия компьютерному анализу текста, нет единого документа, где был бы собран, структурирован материал по заданной теме. Трудности были в том, чтобы отобрать необходимые данные, выделить в них главные особенности, а также сделать отобранный материал доступным, понятным для пользователя.

 

 

 

 

 

 

 

 

 

 

 

 

Библиографический список и сайтография

1. Анализ документов [Электронный  ресурс]. – Режим доступа: http://inforaz.narod.ru/analiz–2.html.

2. Анализ текста [Электронный  ресурс]. – Режим доступа: http://ru.wikipedia.org/wiki/%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%B0.

3. Анисимов Анатолий. Компьютерная  лингвистика для всех: мифы. Алгоритмы. Язык [Электронный ресурс] / Анатолий  Анисимов. – Режим доступа: http://lib.ru/CULTURE/ANISIMOW/lingw.txt.

4. Валгина, Н. С. Теория текста : учеб. пособие / Н. С. Валгина. – М. : Логос, 2003. – 280 с.

5. Веб–аналитика [Электронный ресурс]. – Режим доступа: http://ru.wikipedia.org/wiki/%D0%92%D0%B5%D0%B1_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0.

6. Воронько Владимир, Костинский  Александр. Компьютерный анализ  текстов [Электронный ресурс] / В. Воронько, А. Костинский. – Режим доступа: http://archive.svoboda.org/programs/sc/2001/sc.062601.asp.

7. Ермаков, А. Е. Компьютерная  лингвистика и анализ текста [Текст] / А. Е. Ермаков // Мир ПК. – 2002. – N9. –  С.86-88.

8. Ермаков, А. Е. Компьютерная  лингвистика и анализ текста [Электронный  ресурс] / А. Е. Ермаков. – Режим доступа: http://www.osp.ru/pcworld/2002/09/163968/.

9. Ермаков, А. Е., Плешко, В. В. Компьютерный анализ текста при сборе информации к досье из открытых источников [Электронный ресурс] / А. Е. Ермаков, В. В. Плешко. Режим доступа: http://www.rco.ru/article.asp?ob_no=1562.

10. Каневский, Е. А., Саганенко, Г. И. Концептуальное обоснование компьютерного анализа массивов с текстами [Электронный ресурс] / Е. А. Каневский, Г. И. Саганенко. – Режим доступа: http://www.isras.ru/files/File/4M/9/Saganenko,%20Kanaevskij.pdf.

11. Компьютерная лингвистика [Электронный ресурс]. – Режим  доступа: http://elanina.narod.ru/lanina/index.files/intell/lingvistik.htm.

12. Компьютерная лингвистика [Электронный ресурс]. – Режим  доступа: http://www.krugosvet.ru/enc/gumanitarnye_nauki/lingvistika/KOMPYUTERNAYA_LINGVISTIKA.html.

13. Компьютерный анализ  генетических текстов [Электронный  ресурс]. – Режим доступа: http://gen–inj.narod.ru/44.htm.

14. Николина, Наталия Анатольевна. Филологический анализ текста: учеб. пособие для студентов вузов, обучающихся по специальности "Рус. яз. и лит." / Н. А. Николина. – 2–е изд., испр. и доп. – Москва : Академия, 2007. – 272 с.

15. Орлова, О. В. Компьютерный  анализ поэтического текста и  моделирование ассоциативно–смыслового  поля ключевого концепта творчества  автора [Электронный ресурс] / О. В. Орлова. – Режим доступа: http://huminf.tsu.ru/e–jurnal/magazine/1/orlova.htm.

16. Петров, А. Н. Компьютерный  анализ текста [Электронный ресурс] : историография метода / А. Н. Петров. – Режим доступа: http://kleio.asu.ru/aik/krug/3/20.shtml.

17. Пятницкая, Анастасия Сергеевна. Программа для поиска фактов  в тексте RCO Fact Extractor 1.0 [Электронный ресурс] / А. С. Пятницкая. – Режим доступа: http://www.ko.ru/ru/samizdats/?id=4073.

18. Романова, Т. В. О содержании  понятия концептуальный анализ текста / Т. В. Романова // Вестник Оренбургского государственного университета. – 2004. – N 1. – С. 20-24.

 

 

 

 

 

 

 

 

Приложение

Приложение 1Скриншоты программы

Внешний вид программы:

Осуществление поиска слова(в данном случае слова belt):

Осуществление ввода нового слова(в данном случае cat):

 

Приложение 2 Листинг программы:

unit Unit1;

 

interface

 

uses

  Windows, Messages, SysUtils, Classes, Graphics, Controls, Forms, Dialogs,

  StdCtrls;

 

type

  TForm1 = class(TForm)

    Edit1: TEdit;

    Memo1: TMemo;

    Label1: TLabel;

    Label2: TLabel;

    Button1: TButton;

    ListBox1: TListBox;//Классы

    Edit2: TEdit;

    Label3: TLabel;

    Button2: TButton;

    Memo2: TMemo;

    Label4: TLabel;

    Button3: TButton;

    Button4: TButton;

    Button5: TButton;

    procedure FormCreate(Sender: TObject);//процедуры

    procedure Button2Click(Sender: TObject);

    procedure Button4Click(Sender: TObject);

    procedure Button3Click(Sender: TObject);

    procedure Button5Click(Sender: TObject);

    procedure Button1Click(Sender: TObject);

    procedure ListBox1Click(Sender: TObject);

    procedure FormClose(Sender: TObject; var Action: TCloseAction);

  private

    { Private declarations }

  public

    { Public declarations }

  end;

 

var

  Form1: TForm1;

  NovSlovo, NovPerevod: String;

  i, p, j, h1, h2: integer;

 

implementation

 

{$R *.DFM}

 

procedure TForm1.FormCreate(Sender: TObject);//Загрузка списка переводов в нижней части окна

begin

ListBox1.Items.LoadFromFile('Slovar.txt');

j:=-1;

h1:=ListBox1.Items.Count;

end;

 

procedure TForm1.Button2Click(Sender: TObject);

begin

  NovPerevod:='';

  NovSlovo:='';

  i:=-1;

  While i<Memo2.Lines.Count Do

   begin

    i:=i+1;

    NovPerevod:=NovPerevod+Memo2.Lines[i];

   end;

  NovSlovo:=Edit2.text+' - '+NovPerevod;

  ListBox1.Items.Add(NovSlovo);

 

end;

 

procedure TForm1.Button4Click(Sender: TObject);

begin

Edit2.clear;

Memo2.Lines.Clear;

end;

 

procedure TForm1.Button3Click(Sender: TObject);

begin

Edit1.clear;

Memo1.Lines.Clear;

j:=-1;

end;

 

procedure TForm1.Button5Click(Sender: TObject);//процедура сохранения

begin

ListBox1.Items.SaveToFile('Slovar.txt');

end;

 

procedure TForm1.Button1Click(Sender: TObject);//процедура поиска перевода

begin

  While j<ListBox1.Items.Count-1 Do

   begin

    j:=j+1;

    p:=Pos(Edit1.Text, ListBox1.Items[j]);

     if p>0 then

      begin

       Memo1.Lines.Clear;

       Memo1.Lines.Add(ListBox1.Items[j]);

       break;

      end;

     if j=ListBox1.Items.Count-1 then

      begin

       if p=0 then

        ShowMessage('Не найдено');

       end;

   end;

ListBox1.ItemIndex:=J;