Просмотр всех статей с метками парсер

Парсер для сайта на движке Bitrix(с модулем iBlock)

Author Автор: Роман Чернышов    Опубликовано: 6 мая 2021

Парсер для сайта на движке BitrixCMS Bitrix, она же «1С-Битрикс: Управление сайтом» особо в представлении не нуждается, без преувеличения на сегодняшний день, это одна из самых популярных коммерческих CMS в российском сегменте интернета для управления контентом сайта. Сегодня я хочу рассказать о скрипте-парсере, разработкой которого я занимался в последнее время, предназначенного для сбора данных со сторонних источников и публикации их на сайт под управлением CMS Bitrix, в частности в модуль Информационные блоки(iBlock). Пару слов о модуле iBlock — это мощный и гибкий механизм для хранения и выборки информации различными способами, применяется для расширения стандартного функционала CMS Bitrix. подробнее

Category Категории: CMS, PHP     Tags Теги: ,

Автоматизация процессов с помощью PantomJS

Author Автор: Роман Чернышов    Опубликовано: 25 ноября 2018

Автоматизация процессов с помощью PantomJSДрузья, доброго времени! Нередко возникает необходимость автоматизировать те или иные рабочие процессы, которые осуществляются вручную через интернет браузер. Это может быть проставление статусов, рассылка уведомлений и сообщений, отслеживание меняющихся данных или парсинг страниц какого либо каталога. Например в одном моем проекте была необходимость отслеживать появление новых прогнозов на спортивные матчи, которые публиковались на специализированных сайтах и были доступны только авторизированным пользователям. При этом на сайте стояла сложная система авторизации, и простым PHP Curl, имитировать работу пользователя было достаточно сложно. Решением проблемы, оказался, отличный безоконной браузерный движок PantomJS, позволяющий написать скрипт-бота на JS под выполнение любых задачи. Далее обо всем подробнее. подробнее

Парсинг сайтов любой сложности (обучаемый парсер-бот)

Author Автор: Роман Чернышов    Опубликовано: 2 апреля 2018

Новый парсер контентаПривет Друзья! В течении долго-го времени я работал над своим новым парсером-ботом, да именно так парсом который умеет собирать данные с сайтов любой сложности и при этом имеющего функционал бота, т.е. его можно обучить совершать на сайте те или иные действия: кликать, вставлять и копировать текст, работать с формами, работать с динамическим контентом и многое другое. В этой статье я расскажу про функцию парсинга и о принципах работы моего нового решения, в следующей статье подробнее поговорим про функционал бота. подробнее

Category Категории: JavaScript / jQuery, jQuery, PHP     Tags Теги: ,

Парсинг данных (форумы, каталоги, сайты)

Author Автор: Роман Чернышов    Опубликовано: 15 августа 2015

parserОчень часто возникает потребность в получении большого количества данных с какого-либо сайта, форума, каталога. В таком случае ручной метод сбора информации является очень сложным, в виду большего объема записей и информации содержащихся вних. Плюс все собранные данные требуется оформить соответствующим образом, разложить все значения по ячейкам, записи сформировать в таблицу, каталог. Также часто требуется связать получаемые данные с уже имеющимися таблицами, например: полученный список медицинский учреждений с базой городов и регионов. Все это, и даже больше, можно автоматизировать воспользовавшись услугой парсинга данных. подробнее

Консультации по парсингу сайтов

Author Автор: Роман Чернышов    Опубликовано: 14 апреля 2015

parse1Доброго времени уважаемые читатели моего блога! Я хочу поделиться с вами новость, о том, что по истечению длительного времени, пока я работал над разработкой различным парсеров сайтов, у меня накопился достаточно большой багаж знаний. В результате чего, я решил предоставить всем желающим услуги по консультированию разработки парсеров. С одной стороны тема достаточно освещенная на специализированных форумах и блогах, но с другой, как не пытайся раскрыть данный вопрос, всегда остается множество подводных камней. подробнее

Category Категории: PHP, Прочее     Tags Теги: ,

Скрипт парсинга форума

Author Автор: Роман Чернышов    Опубликовано: 31 июля 2013

Доброго времени! Предстояла интересная задача, написать скрипт парсинга форума, а именно парсинга тем, сообщений, ников пользователей, времени и даты сообщения, по возможности подписи в сообщении и аватарку если есть. Скрипт получался многоуровневый и представлял собою небольшую систему, так, что теперь я его называю система парсинга форумов;) подробнее

Category Категории: PHP     Tags Теги: ,

Парсер курсов валют на PHP

Author Автор: Роман Чернышов    Опубликовано: 15 мая 2012

Хочу поделиться с вами некоторыми наработками в области парсинга(граббинга), в данном случае речь пойдет о парсинге курсов валют. В качестве донора мы будем рассматривать сайт ЦБРФ, т.к. он всегда поддерживает актуальные данные, всегда доступен и вообще многие сайты берут информацию о курсах именно с него. подробнее

Category Категории: PHP     Tags Теги: ,

Настраиваем NewsGrabber JC, HTML ленту новостей

Author Автор: Роман Чернышов    Опубликовано: 18 марта 2011

Продолжение статьи по настройке NewsGrabber JC. Дополнение.
Первую основную часть вы можете прочитать тут: Интрукция по настройке NewsGrabber JC для Joomla

В качестве примера возьмем HTML ленту новостей с этого сайта — www.example.ru/poetry/34
При настройке ленты новостей для парсинга в режиме HTML мы проделываем все те же шаги, что и при настройке ленты RSS за исключением последнего десятого шага настройки, а именно настройка вкладки Обработчик.

И так во вкладке Обработчик необходимо выбрать режим работы парсера, т.е. как он будет обрабатывать ленту, как RSS поток или как HTML страницу. подробнее

Category Категории: CMS, HTML     Tags Теги: , , ,

Граббер RSS

Author Автор: Роман Чернышов    Опубликовано: 30 ноября 2010

граббер rssПосле нескольких дней напряженной работы, нашел немного времени и решил выложить пример граббера RSS лент написанного на PHP. Времени по прежнему нету, каждая минута на вес золота, поэтому расписывать все в глубочайших подробностях к сожалению нет возможности. По этому расскажу коротко, как написать граббер или парсер за 15 минут. подробнее

Category Категории: PHP     Tags Теги: , , ,

Интрукция по настройке NewsGrabber JC для Joomla

Author Автор: Роман Чернышов    Опубликовано: 9 ноября 2010

Компонент для Joomla, благодаря которому можно обеспечить свой сайт постоянному авто-наполнению контентом. Достаточно просто настроить источники с которых будет браться информация. Поддерживаются как RSS ленты так и HTML источники. Как и следует из названия NewsGrabber JC, это компонент — полноценный граббер материала, будь то текста или картинок.

Несмотря на то, что в интернете достаточно информации по работе и настройки компонента, мне очень часто поступают просьбы, о помощи в работе со столь, на мой взгляд простым инструментом. В связи с чем был написан этот мануал, инструкция или пособие, назвать можно как угодно. Так же я прилагаю два видео ролика и кучу картинок, благодаря которым, надеюсь вы сможете разобраться во всем и не тратить уйму времени на изучение методом тыка. подробнее

Category Категории: CMS     Tags Теги: , , , ,
Автор блога
Роман Чернышов
Веб-разработчик,
Full Stack
Senior, Architect
PHP, JavaScript, Node.JS, Python, HTML 5, CSS 3, MySQL, Bash, Linux Admin
Заказать работу
предложить оффер

Моя книга
Книга. Веб-разработчик. Легкий вход в профессию
Печатная книга
Веб-разработчик.
Легкий вход в профессию
Оформить предзаказ
Последние вопросы
Список вопросов
Последние комментарии
Меню

Archive

Мои проекты
Insurance CMS Love Crm CMS Совместные покупки Мой PHP Framework Хостинг для моих клиентов Лицензии на мой софт и поддержка