@scratching

Здравствуйте!

Мы работаем над интересным проектом. Общая идея продукта — создать возможность человеку, не знакомому с техническими аспектами парсинга (web-scrapping, data mining), автоматизированно собирать разнородную информацию, пост-обрабатывать, агрегировать и использовать в своих целях, как то создание различного рода ресурсов, сбор и анализ статистики, наполнение готовых ресурсов. В работе с Пользователем крайне важно минимально беспокоить его чрезмерным получением от него данных и максимально использовать уже предоставленные им данные.

Сейчас находимся на этапе постановки задачи, разработки ТЗ и поиска сотрудников для начальных этапов. Полная версия текущего ТЗ — https://docs.google.com/docume... ZzSyI/edit
Будем рады любой критике и обсуждению, а также людям, у которых был необходимый для проекта опыт.

0

@chizz

А можно пару конкретных примеров того, что можно будет сделать с помощью вашего продукта? А то по описанию это мега-универсальный комбайн-конструктор.

0

@scratching

chizz, в подробном ТЗ упомянуто, что на первом этапе проекта хотелось бы просто сделать качественное решение, которое сможет обходить любой сайт и парсить DOM-дерево, типизируя страницы, получая только необходимые данные и структурировать данные. Как результат пользователь либо просто получает данные, либо API, для доступа к актуальным данным, либо сайт, который привязан через API к получаемым данным, и отображает их.

0

@chizz

scratching, но нам надо будет сначала самим построить эту модель? Или я скормлю адрес сайта вашему приложению, он построит дерево и предложит мне варианты, что я оттуда и в каком виде смогу забрать?

И все-таки хотелось бы видеть пример на каком-либо сайте.
Вот например с сайта top.rbc.ru я смогу с помощью вашего приложения скопировать все заголовки и ссылки и вывести их в нужном формате? И что мне для этого нужно будет сделать?

0

@scratching

Не совсем, вы сможете достраивать эту модель в процессе обучение системы работе с сайтом. Если для сайта уже готовы парсеры, можете позаимствовать модель или её часть из них.

Вы будете строить пути до всех данных, показывая все страницы (типизируя их при помощи какого-то критерия, например, особый вид URL, наличие какого-то элемента DOM-дерева на странице) и переходы системе, на каждой странице вы будете типизировать её, страница будет обрабатываться парсером в зависимости от типа. Получение данных со страницы будет WYSIWYG, то есть вы будете как в Object Inspector выделять элемент страницы, система будет подбирать jQuery-селектор, которым такие элементы можно доставать с любой такой страницы и способ пост-обработать данные.

0

@chizz

scratching, звучит очень даже заманчиво.
Буду следить за ходом вашей разработки с интересом

1