Парсер для сайта на движке Bitrix(с модулем iBlock)

Автор: Роман Чернышов    Опубликовано: 6 мая 2021

CMS Bitrix, она же «1С-Битрикс: Управление сайтом» особо в представлении не нуждается, без преувеличения на сегодняшний день, это одна из самых популярных коммерческих CMS в российском сегменте интернета для управления контентом сайта. Сегодня я хочу рассказать о скрипте-парсере, разработкой которого я занимался в последнее время, предназначенного для сбора данных со сторонних источников и публикации их на сайт под управлением CMS Bitrix, в частности в модуль Информационные блоки(iBlock). Пару слов о модуле iBlock — это мощный и гибкий механизм для хранения и выборки информации различными способами, применяется для расширения стандартного функционала CMS Bitrix. подробнее

Категории: CMS, PHP     Теги: парсер, парсер для bitrix

Автоматизация процессов с помощью PantomJS

Автор: Роман Чернышов    Опубликовано: 25 ноября 2018

Друзья, доброго времени! Нередко возникает необходимость автоматизировать те или иные рабочие процессы, которые осуществляются вручную через интернет браузер. Это может быть проставление статусов, рассылка уведомлений и сообщений, отслеживание меняющихся данных или парсинг страниц какого либо каталога. Например в одном моем проекте была необходимость отслеживать появление новых прогнозов на спортивные матчи, которые публиковались на специализированных сайтах и были доступны только авторизированным пользователям. При этом на сайте стояла сложная система авторизации, и простым PHP Curl, имитировать работу пользователя было достаточно сложно. Решением проблемы, оказался, отличный безоконной браузерный движок PantomJS, позволяющий написать скрипт-бота на JS под выполнение любых задачи. Далее обо всем подробнее. подробнее

Категории: JavaScript / jQuery, Бизнес, Система     Теги: PantomJS, автоматизация процессов, боты, парсер

Парсинг сайтов любой сложности (обучаемый парсер-бот)

Автор: Роман Чернышов    Опубликовано: 2 апреля 2018

Привет Друзья! В течении долго-го времени я работал над своим новым парсером-ботом, да именно так парсом который умеет собирать данные с сайтов любой сложности и при этом имеющего функционал бота, т.е. его можно обучить совершать на сайте те или иные действия: кликать, вставлять и копировать текст, работать с формами, работать с динамическим контентом и многое другое. В этой статье я расскажу про функцию парсинга и о принципах работы моего нового решения, в следующей статье подробнее поговорим про функционал бота. подробнее

Категории: JavaScript / jQuery, jQuery, PHP     Теги: javascript, парсер

Парсинг данных (форумы, каталоги, сайты)

Автор: Роман Чернышов    Опубликовано: 15 августа 2015

Очень часто возникает потребность в получении большого количества данных с какого-либо сайта, форума, каталога. В таком случае ручной метод сбора информации является очень сложным, в виду большего объема записей и информации содержащихся вних. Плюс все собранные данные требуется оформить соответствующим образом, разложить все значения по ячейкам, записи сформировать в таблицу, каталог. Также часто требуется связать получаемые данные с уже имеющимися таблицами, например: полученный список медицинский учреждений с базой городов и регионов. Все это, и даже больше, можно автоматизировать воспользовавшись услугой парсинга данных. подробнее

Категории: Услуги     Теги: парсер, парсинг, Прасинг данных, услуга парсинга

Консультации по парсингу сайтов

Автор: Роман Чернышов    Опубликовано: 14 апреля 2015

Доброго времени уважаемые читатели моего блога! Я хочу поделиться с вами новость, о том, что по истечению длительного времени, пока я работал над разработкой различным парсеров сайтов, у меня накопился достаточно большой багаж знаний. В результате чего, я решил предоставить всем желающим услуги по консультированию разработки парсеров. С одной стороны тема достаточно освещенная на специализированных форумах и блогах, но с другой, как не пытайся раскрыть данный вопрос, всегда остается множество подводных камней. подробнее

Категории: PHP, Прочее     Теги: консультации, парсер

Скрипт парсинга форума

Автор: Роман Чернышов    Опубликовано: 31 июля 2013

Доброго времени! Предстояла интересная задача, написать скрипт парсинга форума, а именно парсинга тем, сообщений, ников пользователей, времени и даты сообщения, по возможности подписи в сообщении и аватарку если есть. Скрипт получался многоуровневый и представлял собою небольшую систему, так, что теперь я его называю система парсинга форумов;) подробнее

Категории: PHP     Теги: парсер, парсер форума

Парсер курсов валют на PHP

Автор: Роман Чернышов    Опубликовано: 15 мая 2012

Хочу поделиться с вами некоторыми наработками в области парсинга(граббинга), в данном случае речь пойдет о парсинге курсов валют. В качестве донора мы будем рассматривать сайт ЦБРФ, т.к. он всегда поддерживает актуальные данные, всегда доступен и вообще многие сайты берут информацию о курсах именно с него. подробнее

Категории: PHP     Теги: php, парсер

Настраиваем NewsGrabber JC, HTML ленту новостей

Автор: Роман Чернышов    Опубликовано: 18 марта 2011

Продолжение статьи по настройке NewsGrabber JC. Дополнение.
Первую основную часть вы можете прочитать тут: Интрукция по настройке NewsGrabber JC для Joomla

В качестве примера возьмем HTML ленту новостей с этого сайта — www.example.ru/poetry/34
При настройке ленты новостей для парсинга в режиме HTML мы проделываем все те же шаги, что и при настройке ленты RSS за исключением последнего десятого шага настройки, а именно настройка вкладки Обработчик.

И так во вкладке Обработчик необходимо выбрать режим работы парсера, т.е. как он будет обрабатывать ленту, как RSS поток или как HTML страницу. подробнее

Категории: CMS, HTML     Теги: newsgrabber, граббер, парсер, парсер html

Граббер RSS

Автор: Роман Чернышов    Опубликовано: 30 ноября 2010

После нескольких дней напряженной работы, нашел немного времени и решил выложить пример граббера RSS лент написанного на PHP. Времени по прежнему нету, каждая минута на вес золота, поэтому расписывать все в глубочайших подробностях к сожалению нет возможности. По этому расскажу коротко, как написать граббер или парсер за 15 минут. подробнее

Категории: PHP     Теги: php, rss, граббер, парсер

Интрукция по настройке NewsGrabber JC для Joomla

Автор: Роман Чернышов    Опубликовано: 9 ноября 2010

Компонент для Joomla, благодаря которому можно обеспечить свой сайт постоянному авто-наполнению контентом. Достаточно просто настроить источники с которых будет браться информация. Поддерживаются как RSS ленты так и HTML источники. Как и следует из названия NewsGrabber JC, это компонент — полноценный граббер материала, будь то текста или картинок.

Несмотря на то, что в интернете достаточно информации по работе и настройки компонента, мне очень часто поступают просьбы, о помощи в работе со столь, на мой взгляд простым инструментом. В связи с чем был написан этот мануал, инструкция или пособие, назвать можно как угодно. Так же я прилагаю два видео ролика и кучу картинок, благодаря которым, надеюсь вы сможете разобраться во всем и не тратить уйму времени на изучение методом тыка. подробнее

Категории: CMS     Теги: joomla, newsgrabber, граббер, инструкция, парсер