Скрипт парсинга форума

Author Роман Чернышов    Category PHP     Tags , Комментариев 0 Дата 31 Июл

Доброго времени! Предстояла интересная задача, написать скрипт парсинга форума, а именно парсинга тем, сообщений, ников пользователей, времени и даты сообщения, по возможности подписи в сообщении и аватарку если есть. Скрипт получался многоуровневый и представлял собою небольшую систему, так, что теперь я его называю система парсинга форумов;)

Принцип работы не сложен, разделяется на следующие этапы:
— Обход форума на поиск разделов
— Обход разделов на поиск в них форумов
— Обход форумов и сбор сообщений в них(со всеми прочими данными)
— Запись полученных данных в БД
— Последующая публикация разделов, форумов и сообщений в новый форум.

При обучении парсера важную роль играет шаблон HTML форум, т.к. парсер работает по принципу сбора информации из полученного DOM дерева HTML страницы. По этой причине парсинг каждого форума уникален, требуется настройка Xpath запросов, возможно корректировка из-за ЧПУ форума, а также применение Regexp в тех случаях когда xpath не может добраться до того или иного элемента ввиду некорректности Dom дерева(по причине кривой верстки например).
При работе используются PHP библиотеки domDocument, XPath, Curl — думаю их назначение всем понятно.

В общем задача оказалась весьма не простой и интересной, в интернетах много встречал информации о подобного рода парсерах(грабберах), но живых примеров в руки не попадалось.

Если вам требуется подобное решение то пишите через форму обратной связи (контакты).

Оставить комментарий

Об авторе и блоге Чернышов Р.В. Сертификат. Топ 10% лучших фрилансеров, Чернышов Р.В.

Друзья, всем привет!

Меня зовут Роман Чернышов, я веб-разработчик и данный блог посвящен моим проектам и бизнесу.

Тут я делюсь личным опытом
и отвечаю на вопросы. Я всегда готов к сотрудничеству с вами, готов реализовать проект любой сложности(опыт 10+ лет).

Если у вас есть вопросы, предложения, вы хотите совершить покупку моих решений или заказать работу, пишите!



Последние вопросы
Последние комментарии
Меню

Archive

Качественный хостинг сайтов CMS Для сайта услуг хостинга