This page is an archived copy on Gagin.ru personal site




АрхивРеклама в журналеКнига отзывов
ПодпискаВыходные данныеОбратная связь






Солдат спит - служба идет


Максим ТИГУЛЕВ
makst@uc.ru

Все мы уже привыкли к тому, что Интернет работает в реальном времени, так называемом онлайн (online) режиме, что ответы на наши запросы от всех служб приходят практически сразу, и что есть службы, вообще не функционирующие в оффлайн (offline) режиме, то есть при отсутствии соединения с Сетью. Но может ли возникнуть потребность работать с информацией из Сети, не будучи подключенным в этот же момент? Почему бы и нет. Ведь работа оффлайн может помочь сэкономить и время, и деньги. Экономия времени? Предположим, что вы любите с утра за чашкой кофе прочитать новости, узнать прогноз погоды и курсы валют. А времени на загрузку необходимых страниц у вас мало - вас ждут дела. В этом случае неплохо бы заранее иметь уже готовую свежую копию интересующих вас страниц на жестком диске, и тогда медленная скорость соединения никак не сможет испортить вам настроение. Или вас интересуют определенные темы, и вы хотите постоянно иметь новые материалы - наверняка у вас есть целый каталог закладок (bookmarks). Отслеживать все изменения на этих серверах весьма затруднительно. Поручите программе в заданном порядке в указанное время обходить все эти ссылки и обновлять информацию на локальном диске.

Экономия денег? Многие провайдеры, разработав гибкую систему оплаты времени доступа, снижают цены в ночное время. Так, например, компания Data Force IP с 2:00 до 8:00 берет плату $0,9 за час работы против $1,8 в дневное время (информация получена на сервере компании www.dataforce.net). И никто не заставляет вас работать ночью. Специальная программа запустит обновление страниц в указанное время и, пока вы спите, сделает все что требуется: обновит содержимое HTML-страниц локального диска, загрузит указанные файлы и даже поможет осуществить поиск информации в Сети, отсылая запросы к поисковым системам и собирая их ответы.

Удобно? Пример из жизни. Мой брат, увлекающийся группой "Аквариум", узнал, что открылся сервер www.aquarium.ru и захотел иметь у себя на компьютере все его содержимое. "Сделай доброе дело, и оно тебя достанет", - говорят умные люди. Помню, сколько мне пришлось повозиться, сохраняя на диске файлы HTML и графику, а затем заменяя длинные имена файлов (тогда у брата была Windows 3.1) и исправляя гипертекстовые ссылки. Если бы я знал, что есть программы для копирования содержимого сервера на диск, я не столкнулся бы с таким объемом рутинной работы.

Итак, существуют средства для загрузки информации в оффлайн-режиме, которые носят название оффлайн-броузеров (Offline Browser). Сетевое сообщество предлагает несколько таких программ, и принципы их функционирования весьма различны. Простейшие из них просто "исследуют кэш" вашего броузера (Cash Explorer), точнее то, что там осталось после последнего сеанса работы. Эти программы не обеспечивают распределения и классификации собранного материала и не имеют средств составления расписаний работы, а потому не будут рассмотрены в этой статье.

Программы посложнее используют для загрузки содержимого собственные модули, а для его просмотра - стандартный броузер. К тому же размер кэша броузера обычно невелик, его содержимое меняется часто, что не позволяет производить обновление существующей информации (в дополнение к уже собранной). Эти программы гораздо "умнее" - они позволяют создавать проекты (projects) для обработки различной информации, распределять информацию по каталогам, создавать расписания (schedules) для загрузки содержимого в заданное время. Удобные мастера (wizards) помогут вам составить проект обработки, настроить его и назначить время начала работы. Взаимодействие этих программ с броузером реализуется двумя путями.

Первый, весьма элегантный способ - собственная база программы с загруженными гипертекстовыми страницами представляется броузеру как прокси-сервер (proxy) по адресу 127.0.0.1 (адрес-петля). Что такое прокси-сервер? Обычно он устанавливается провайдером и заносит на жесткий диск, в так называемый кэш, имеющий значительные размеры, всю информацию, загруженную пользователем из Сети. При очередном обращении прокси проверяет, нет ли запрошенных файлов в кэше. Если такие файлы есть, то они передаются непосредственно пользователю без обращения к удаленному серверу. В противном случае, прокси запрашивает Сеть, получает данные и, сохранив их в кэше, передает пользователю. Такой способ работы позволяет сократить загрузку канала провайдера и обычно увеличивает скорость работы пользователя. Так вот, большинство современных броузеров знают про существование прокси и, если подставить вместо него некую базу, то броузер даже не заметит подвоха и будет работать, как в реальной Сети. Мало того, Starfish InternetMeter, который я использую для отсчета времени соединения и измерения скорости передачи данных, тоже не сомневается в реальности соединения, вовсю мигает нарисованными на панели задач "лампочками" SD/RD и помещает в свой журнал сведения о подключении. Кстати, если понадобится обратиться к данным, отсутствующим в базе, при восстановлении онлайн-соединения работа будет легко продолжена, запрос просто уйдет к удаленному серверу. Стоит упомянуть небольшой недостаток: оффлайн-броузер сам должен вызывать Netscape или Explorer, перенаправляя настройки его прокси на себя, поэтому ему необходимо постоянно находиться в памяти, так как, если его закрыть, то броузер "уткнется" в proxy-петлю и не сможет работать.

Второй способ не столь красив, но также прост. Все требуемые HTML-страницы и графика собираются в каталог на диске, все гипертекстовые ссылки автоматически перенаправляются на файлы в этом каталоге, а броузеру передается ссылка на начальную страницу. В этом случае настройки прокси остаются прежними, оффлайн-броузер не обязательно должен находиться в памяти, да и вообще можно обойтись без нее, просматривая содержимое сервера на любом другом компьютере, в котором есть Netscape или Explorer. Правда, в этом случае меняется содержимое страниц (точнее, гипертекстовые ссылки), но это чаще всего не имеет большого значения. Этот же вариант предоставляет возможность сделать зеркальное отображение содержимого сервера на жестком диске, не изменяя ссылок и восстанавливая структуру каталогов оригинала. Было опробовано автором на примере того же www.aquarium.ru - впечатляет: оффлайн-броузер легко и быстро, создав все каталоги и не забыв даже файл формата RealAudio 2.0, сделал на моем локальном диске то, на что я потратил несколько часов.

Вкратце рассмотрим продукты, относящиеся к категории "умных" оффлайн-броузеров. Среди них есть как простые, функции которых ограничены сваливанием всего материала в определенное время в определенное место (Internet Angel), так и сложные, поддерживающие внутренние базы данных и сложные расписания работы (Fetch, Anawave WebSnake, Teleport Pro, Web Whacker). Попался также забавный оффлайн-броузер, который только и умеет, что отображать уже имеющиеся на диске HTML-файлы и графику, даже не подозревая о существовании выхода в Сеть, а сам пытается подражать "серьезным" броузерам (его зовут NavRoad).

Оффлайн-броузер Fetch (to fetch, англ. - приносить что-либо) относится к группе, реализующей первый, прокси-метод. Он предоставляет возможность просматривать страницы в оффлайн режиме, запрашивать различные поисковые механизмы по заданию, а также организовывать адреса страниц по категориям (также работает как механизм закладок - bookmarks). Имеется также развернутое средство для создания расписаний работы, равно как и мастер для создания проектов. Мастер расписаний работы (Fetch Sсheduler) поможет создать для каждого проекта свой план загрузки, как простой - на один раз, так и сложной, разложенный по дням недели. Для его вызова из программы воспользуйтесь пунктом меню Go/Sсhedule Fetch. Пробную версию программы можно загрузить с сервера ftp://lgm.uc.ru/incoming/maks/fetch.exe. На сервере сообщают, что она полностью работоспособна в течение 30 дней, но будет работать вечно после бесплатной (!) регистрации. Я, решив проверить, заполнил и отослал форму с кучей вопросов. Примерно через сутки на мой E-mail адрес пришло письмо с кодом для регистрации. Попробовал - работает!

Другой оффлайн-броузер, Anawave WebSnake, относится ко второму типу и имеет несколько дополнительных возможностей. Например, с его помощью легко можно создать зеркальное изображение веб-сервера на вашем локальном диске (mirror site) с воссозданием структуры его каталогов. Реализована возможность "вытягивать" с указанных страниц адреса электронной почты, попадающиеся в тексте (хороший инструмент для автоматизации составления списков рассылки). Можно создать карту интересующего вас сервера (server map), которая по сути является иерархическим списком всех доступных URL его страниц. Используя эту карту, можно сразу попасть (в онлайн режиме) в нужное место сервера. Если вам необходимо скачать из Сети какие-то файлы, настройте автоматический механизм на известные адреса, и задача будет выполнена в указанное время. Расписание загрузки является здесь свойством проекта и доступно в меню "Project Properties" на закладке "Schedule". Версию программы с ограничением в 30 дней работы можно сгрузить с сервера ftp://ftp01.anawave.com/pub/snk1_0b3.exe. Если она вам понравилась, то у вас есть возможность купить ее прямо на сервере www.anawave.com/websnake/ по кредитной карте.

Остальные упомянутые выше броузеры не несут в себе ничего нового по сравнению с описанными, поэтому вряд ли имеет смысл их рассматривать детально. Teleport Pro - программа, работающая по второму способу (каталог) и очень похожа на WebSake, только без поиска E-mail адресов. Демонстрационная версия имеет ограничение по количеству загружаемых файлов (200). Желающие попробовать могут воспользоваться адресом: www.tenmax.com/pro.html. На этой странице также можно зарегистрировать свою версию программы, оплатив регистрацию с помощью кредитной карты. WebWhacker использует прокси-метод и имеет даже меньше возможностей, чем Fetch. Демонстрационная версия ограничена глубиной "раскопок" в два уровня сервера. При покупке по кредитной карте прямо на сервере www.ffg.com вы получите код, который позволит превратить демо-версию в полноценную. Мы рассмотрели лишь некоторые средства для работы в Сети, не требующие непосредственного подключения во время работы.

Оффлайн-броузеры по идее своей перекликаются, конечно, с "хитом сезона" - технологией PUSH ("проталкивание" информации), предложенной компанией Microsoft. Новый продукт компании Internet Explorer 4.0, который сейчас находится в состоянии демонстрационной программы для разработчиков (Developers Preview), будет предлагать как уже описанный оффлайн-просмотр, так и специальную технологию отслеживания изменений на серверах СDF - Channel Definition Format (формат описания каналов). Но это уже отдельная история.



Ваше имя:   E-mail:
Как вам материал?
Хороший   Так себе   Плохой
А длина?
В самый раз   Перебор   Слишком мало  
Ваше мнение:


АрхивСледующий материалКнига отзывов
К оглавлениюПредыдущий материалОбратная связь

Журнал "Интернет". Регистрационное свидетельство Госкомпечати РФ N. 016370 от 16.07.1997 г. Распространяется через сети розничной торговли, через компьютерные сети, а также путем подписки. Мнение редакции по тем или иным вопросам может не всегда совпадать с мнениями авторов. Редакция не несет ответственности за содержание рекламных материалов. При перепечатке ссылка на журнал "Интернет" обязательна.
Copyright © 1997 Журнал "Internet"
Copyright © 1997 Netskate
E-mail: imag@netskate.ru
Телефон: 245-45-84