Базы данных в интернете

Сегодня системой Archie охвачено свыше тысячи анонимных FTP - серверов. Содержимое объединенной базы данных Archie составляет свыше 20 Гигабайт (2,5 млн. имен файлов и их описания).

Veronika - подруга Archie - очень постое, ориентированное на систему Copher индексное описание распределенных по сети компьютерных архивов. Veronika - индексная база данных.

На настоящее время суммарная индексная база системы Veronika содержит приблизительно 15 млн. записей, которые описывают ресурсы на более чем 5000 Copher - серверах, а также отдельные ресурсы приблизительно 5000 серверов, в т.ч. 3900 ресурсов WWW - серверов и около 1000 ресурсов, доступных в telnet - сеансе. Актуализация записей в базе Veronika производится приблизительно раз в месяц. Veronika производит поиск ресурсов, просматривая только заголовки документов.

Как правило, для доступа к услугам Veronika используется программа Gopher - клиента. Доступ к любому из серверов Veronika можно получить:

• применяя программу Gopher - клиента;
• применяя систему шлюзов Gopher - mail;
• применяя программу WWW - клиента.

2. Поиск информации в Интернет. Основные системы и средства.

"Всемирная  паутина" в Интернет - это миллионы  документов с неструктурированной  текстовой информацией (а также с графикой, аудио, видео).

С начала 90-х годов интенсивно развиваются справочные службы Интернет, которые помогают пользователям найти нужную информацию, и эти службы делятся на две категории: универсальные и специализированные.

В универсальных службах используют обычный принцип поиска в неструктурированных документах - по ключевым словам.

Ключевым словом (Keyword) документа называют отдельное слово или словосочетание, отражающее содержание данного документа. Во многих текстовых процессорах ключевым словом является текст, осуществляющий поиск нужной информации.

Универсальная служба поиска (поисковая система) - это комплекс программ и мощных компьютеров.

Специальная программа (поисковый робот) непрерывно просматривает страницы «Всемирной паутины», выбирает ключевые слова и адреса документов, где эти слова обнаружены. Отдельный файл, который содержит информацию о физическом расположении записей в каком-либо файле базы данных. Вместо этого, чтобы просматривать фактический файл базы данных, программы базы данных пользуются индексами, что позволяет существенно ускорить поиск нужной информации

Web - сервер принимает от пользователя запрос на поиск, преобразуя его и передавая специальной программе - поисковой машине.

Поисковая машина просматривает базу данных индексов, составляет список страниц, которые удовлетворяют условиям запроса, и возвращает его Web - серверу.

Web - сервер оформляет результаты выполнения запроса в удобном для пользователя виде и передает их на машину клиента.

Среди наиболее известных и мощных поисковых систем:

• Alta Wista
• Infoseek
• Lycos,
• российская система "Рэмблер".

Специализированные справочные службы - это тематические каталоги (subject catalogs), где собраны более или менее структурированные сведения об адресах серверов по той или иной тематике. В отличие от универсальных баз индексов, тематические каталоги составляют специалисты и обеспечивают клиента более строгой, достоверной систематизированной информацией о Сети.

Также, многие сайты Интернет располагают собственными механизмами поиска (в пределах данного сайта). В первую очередь это механизм контекстного поиска, а также специализированный поиск по фамилиям, товарам (рекламные сайты), фирмам и т.д.

2. Доступ к базам данных с использованием технологии WWW.

Основные достижения Web - это простота опубликования информации в сети, удобство и сравнительная стандартизованность доступа к документам, наличие достаточно развитых средств поиска. Но в целом способы представления, хранения и поиска информации в WWW относятся к категории информационно-поисковых систем (ИПС). ИПС применялись для хранения слабоструктурированной и редко изменяемой информации. Базы данных в узком смысле - это хранилища структурированной, изменяемой информации, причем информация в базе данных должна всегда находиться в согласованном состоянии.

Именно базы данных содержат основные знания человечества. В конце двадцатого века с появлением технологии баз данных, накопились больше информации, чем за всю предыдущую историю. Но чтобы получить нужную информацию, пользователю надо иметь физический доступ к соответствующей СУБД, быть в курсе модели данных, знать схему базы данных и, наконец, уметь пользоваться соответствующим языком запросов. Что касается языка запросов, то проблему частично решает протокол ODBC, позволяющий направлять ограниченный набор операторов SQL к произвольному серверу баз данных.

1. Доступ к базе данных на стороне сервера.

Механизм реализуется за счет наличия двух более или менее стандартизованных средств: возможности включения форм в документ, который составлен с использованием языка гипермедийной разметки HTML, и возможности использования внешних по отношению к серверу Web программ, взаимодействующие через специфицированный протокол CGI (Common Gateway Interface) или внедренный позже API (Application Program Interface).

При реализации на основе CGI общая схема реализации доступа к базе данных на стороне Web-сервера выглядит так:

• при просмотре документа клиент встречает ссылку на страницу, которая содержит одну или несколько форм, предназначенных для запроса данных из базы данных;
• клиент запрашивает эту страницу; помимо незаполненных форм страница может содержать общую информацию о базе данных и о назначении предлагаемых форм;
• если клиента действительно интересует информация из базы данных, полученную на основе предложенных форм, то он заполняет одну из форм и отправляет заполненную форму на сервер;
• получив заполненную форму, сервер запускает соответствующую внешнюю программу, передавая ей параметры и получая результаты на основе протокола CGI;
• внешняя программа преобразует запрос, который выражен с помощью заполненной формы, в запрос на языке, понятном серверу баз данных (обычно это язык SQL).

2. Доступ к базе данных на стороне клиента.

Наиболее мощные средства обеспечения доступа к базам данных на стороне Web-клиента обеспечивает язык Java. Java - это объектно-ориентированный язык программирования, который является "безопасным" подмножеством языка С++. А именно, Java не содержит средств адресной арифметики, не поддерживает механизм множественного наследования и т. д. Различают:

• язык Java, для которого существуют компиляторы в так называемый "мобильный код";
• язык JavaScript, который обычно используется для расширения возможностей языка HTML за счет добавления процедурной составляющей;
• и программный продукт HotJava, который является интерпретатором мобильных кодов Java.

Для обеспечения доступа к базам данных на стороне Web-клиента наиболее существенно наличие языка Java. Технология разработки HTML-документа позволяет написать произвольное количество дополнительных Java-программ, откомпилировать их в мобильные коды и поставить ссылки на соответствующие коды в теле HTML-документа. Такие дополнительные Java-программы называются апплетами (Java-applets). Получив доступ к документу, который содержит ссылки на апплеты, клиентская программа просмотра запрашивает у Web-сервера все мобильные коды. Коды могут начать выполняться сразу после размещения в компьютере клиента или быть активизированы с помощью специальных команд.

Так как апплет представляет собой произвольную Java-программу, то он может быть специализирован для работы с внешними базами данных. Более того, система программирования Java включает развитый набор классов, которые предназначены для поддержки графического пользовательского интерфейса. Опираясь на использование этих классов, апплет может получить от пользователя информацию, которая характеризует его запрос к базе данных, в том же виде, как если бы использовался стандартный механизм форм языка HTML, а может применять какой-либо другой интерфейс.

Для взаимодействия Java-апплета с внешним сервером баз данных разработан специализированный протокол JDBC, сочетающего функции шлюзования между интерпретатором мобильных Java-кодов и ODBC, а также включает ODBC.

3. Создание приложений с базами данных для Интернета и интрасетей.

Здесь рассматриваются основные понятия, такие, как активный сервер Web, и относительно новый класс программ — приложения Web. Называются они такпотому что их работа самым непосредственным образом связана с серверами Web, которые составляют основу информационной структуры Интернета.

1. Основы работы сервера Web.

Ни для кого не секрет, что серверы Web хранят информацию в виде текстовых файлов, которые также называются страницами сервера Web. Помимо текста, такие страницы могут содержать ссылки на другие страницы, ссылки на графические изображения, аудио- и видеоинформацию, различные объекты ввода данных, а также другие объекты.

Каждая страница сервера Web имеет свой так называемый универсальный адрес ресурса Universal Resource Locator (URL). Для того чтобы получить доступ к той или иной странице, пользователю нужно указать ее адрес URL программе браузера.

Когда пользователь указывает браузеру адрес страницы сервера Web, то она начинает загружаться с сервера. При этом браузер устанавливает соединение с сервером Web, применяя протокол передачи данных Hyper Text Transfer Protocol (HTTP), получает нужную страницу и разрывает соединение. Принятая страница отображается в окне браузера. Этот процесс показан на рис. 1.

Рис. 1. Взаимодействие браузера и сервера Web.

2. Пассивные и активные серверы Web.

Есть пассивные и активные серверы Web. Если страницы сервера содержат только статическую текстовую и мультимедийную информацию, а также гипертекстовые ссылки на другие страницы, то сервер называется пассивным. Когда же страницы сервера ведут себя аналогично окнам обычных интерактивных приложений, вступая в диалог с пользователем, то это активный сервер.

Вероятнор, статический сервер Web не может служить основой для создания интерактивных приложений в сети Интернет с базами данных, потому, что он не предусматривает никаких средств ввода и обработки запросов.

1. Программы CGI.

Чтобы сервер Web мог вести диалог с пользователем, разработан механизм программных расширений сервера, который основан на применении стандартного шлюзового интерфейса Common Gateway Interface (CGI). Программы CGI пользуются этим интерфейсом для получения информации от пользователя, для ее обработки и отправки обратно в виде нового документа HTML, ссылки на существующий документ или на другой объект.

При этом для ввода информации со стороны пользователя в документ HTML встраиваются формы, которые содержат такие органы управления, как текстовые поля, списки, переключатели, кнопки и т. д. В основном одна из кнопок предназначена для завершения ввода. Когда пользователь заполнит всю форму, он должен нажать эту кнопку, и данные из полей формы передаются программе CGI. После обработки данных, программа CGI динамически формирует новый документ HTML с результатами обработки и отправляет его обратно пользователю. При необходимости программа CGI может обращаться к СУБД. Этот процесс проиллюстрирован на рис. 2

Рис. 2. Формирование динамических документов HTML с помощью CGI и ISAPI.

Программа CGI работает на сервере как отдельный процесс. В рамках этого процесса она может обращаться к базам данных для выборки или обновления информации.

2. Приложения ISAPI.

Если сервер Web создан на базе Microsoft Internet Information Server, вместо программ CGI можно использовать приложения ISAPI, которые реализованны в виде библиотек динамической загрузки DLL.

Приложения ISAPI условно делятся на расширения ISAPI и фильтры ISAPI.

1. Расширения ISAPI.

Расширения ISAPI выполняют такие же функции, что и программы CGI. Но есть и очень важные отличия.

Самое главное из них это то, что расширение ISAPI загружается в адресное пространство сервера Web, но не работает как отдельный процесс. Притом такая загрузка выполняется один раз, когда к расширению обращается первый пользователь. В будущем расширение остается в оперативной памяти и может быть задействовано без повторной загрузки.

В результате расширения, ISAPI работают быстрее по сравнению с программами CGI, а именно, когда сервер Web посещают много пользователей.

2. Фильтры ISAPI.

Фильтры ISAPI, так же как и расширения ISAPI, реализованы в виде библиотек динамической загрузки DLL, но они предназначены для другого. Фильтры ISAPI могут контролировать весь поток данных между браузером и сервером Web на уровне протокола HTTP. По этой причине их можно применять для решения задач, как динамическая перекодировка и шифрование данных, создание дополнительных процедур аутентификации пользователей, сбор статистической информации об использовании ресурсов сервера и т. д.

3. Активные страницы ASP.

Технология ASP предполагает интенсивное применение серверных сценариев и объектов COM для создания активных серверов Web. При ее использовании на сервере Microsoft Internet Information Server располагаются текстовые файлы с расширением asp, которые содержат операторы языка HTML, и сценарии, которые составлены на языках JScript или VB Script.