Почему парсинг сайта не всегда может быть полностью автоматическим

Author Автор: Роман Чернышов    Опубликовано: 9 апреля 2021

парсинг не полностью автоматическийДоброго времени друзья! Работая с проектами которые включают в себя парсинг(сбор, анализ) данных со сторонних источников, я очень часто встречаюсь с задачей которая звучит как: Реализовать полную автоматизацию процесса парсинга, без последующего вмешательства разработчика(оператора). Иными словами, один раз сделать и забыть, чтобы система работала автономно и не требовала внимания(времени, сил и денег). Задача звучит разумно, оно и понятно, что автоматизация и стабильность это залог успеха проекта, особенно если речь о бизнес процессах, которые влияют в том числе и на прибыль компании. Но, к сожалению это не всегда возможно, зачастую парсинг требует периодического подключение оператора(квалифицированного специалиста) на протяжении всей его работы. Поэтому перед разработкой парсера, необходимо оценивать не только стоимость его разработки, но и стоимость его дальнейшего обслуживания(сопровождения). Далее я расскажу почему и какие проблемы возникают в процессе парсинга, как их может устранит оператор, и чего это стоит. подробнее

Интеграция по API с страховым маркетплейсом INSSMART

Author Автор: Роман Чернышов    Опубликовано: 11 марта 2021

INSSMART интеграция по API Доброго времени друзья! Сегодня я хочу рассказать о сервисе INSSMART который позиционирует себя как маркетплейс электронного страхования, то есть воспользовавшись им, любой желающий может оформить страховку будь то Е-ОСАГО, КАСКО, Ипотека или Животные. Зарегистрировавшись на сайте INSSMART вы можете стать страховым агентом, проводя все сделки через него, в свою очередь INSSMART сотрудничает с несколькими десятками страховых компаний, что позволяет, при оформлении полиса, выбрать наилучшее предложение, как по стоимости самого полиса, так и по комиссионному вознаграждению(которые вы получите). Маркеплейс имеет также API для взаимодействия с ним техническими средствами, например для подключения к нему вашего проекта, если вы работаете в области страхования. Ранее я уже рассказывал про аналогичные решения от Ингуру, Сравни и Пампаду. Сегодня я хочу рассмотреть API для Е-ОСАГО, его техническую сторону, возможности, методы и примеры работы. Далее обо всем по порядку. подробнее

Регистрация программы для ЭВМ или базы данных в Роспатенте

Author Автор: Роман Чернышов    Опубликовано: 27 декабря 2020

Роспатент логоДоброго времени друзья! Сегодня я хочу рассказать, на примере своего личного опыта, как автора и веб-разработчика, о регистрации программы для ЭВМ(программного обеспечения) или базы данных в Федеральной службе по Интеллектуальной Собственности (Роспатент), зачем и для чего это может быть нужно, чем полезно, а также как произвести оценку возможности регистрации, подготовить все необходимые документы и код программы(что поверьте также немаловажно), подать заявку и собственно получить на руки свидетельство. подробнее

Парсер для форума XenForo

Author Автор: Роман Чернышов    Опубликовано: 22 декабря 2020

Парсер XenForo XenForo — движок, набирающий все большую популярность, среди сайтов-форумов, вместе с этим растет и его сообщество, пишутся плагины, патчи и хаки, и ко мне все чаще обращаются клиенты с различными задачами по доработке данного движка. Среди многообразия задач и решений, выделается интерес к моей разработке парсера, который в том числе я адаптировал под работу с движком форума XenForo. Это значит, что парсер может получать данные с любых сайтов и сохранять их в базу данных XenForo, тем самым наполняя сайт: разделами, форумами, темами, сообщениями, пользователями(в том числе их публично-доступными данными включая аватар) и т.д. Далее я расскажу подробнее о логике работы парсера и о технической части касаемо XenForo. подробнее

Category Категории: CMS, PHP     Tags Теги: ,

Интеграция Тинькофф банк Эквайринг на сайт для приема платежей

Author Автор: Роман Чернышов    Опубликовано: 18 декабря 2020

Прием платежей на сайте, на сегодняшний день это неотъемлемая часть, без преувеличения, любого бизнеса, и услуга интернет-эквайринга от банка Тинькофф, на мой взгляд одна из самых востребованных, поэтому вопрос о технической интеграции сайта с данным сервисом весьма актуален. В этой статья я хочу сделать небольшой обзор вариантов подключения интернет-эквайринга на свой сайт, а именно их техническую часть, в данный перечень входят: использование готового решения, платежный модуль для CMS; платежный виджет, HTML код формы; прямая работа с API; использование PHP класса для быстрого подключения на стороне сервера. Также рассмотрим настройки рабочего терминала для взаимодействия с сайтом. подробнее

Category Категории: CMS, PHP     Tags Теги: , ,

PHP скрипт для проведения акций с призами на сайте(автоматизированный маркетинг)

Author Автор: Роман Чернышов    Опубликовано: 16 декабря 2020

Скрипт для проведения акцийИзучая статистику продаж по каждому покупателю, и его средний ежемесячный чек(денежная сумма которую покупатель тратит в нашем интернет-магазине), я задумался о том, как бы подтолкнуть его к совершению чуть большего числа покупок в месяц, относительно того что он совершает сейчас. И вообще как бы сделать так, чтобы была возможность периодически влиять на активность покупателей. Очевидным решением является организация на сайте акций, например при покупке в течении недели свыше установленной суммы — подарок! Но покупателей у нас много, интересы у них разные, а акции неплохо бы проводить периодически и желательно с минимальной затратой времени и сил — на автомате(автоматизированный маркетинг). В итоге родилась идея, затем тех.задание и был написан скрипт — который позволяет автоматизировать процесс проведения акций на сайте, отслеживать выполнений условий, давать возможность выбора подарка из списка(если есть варианты), выводить статистику и многое другое. Собственно об этом скрипте я и хочу рассказать. Далее обо всем по порядку. подробнее

Скрипт калькулятора емкости HDD для видеонаблюдения

Author Автор: Роман Чернышов    Опубликовано: 3 декабря 2020

HDD для видеонаблюденияПри покупке и установки систем видеонаблюдения, одним из главных вопросов является — жесткий диск какого объема стоит установить в качестве основного хранилища видеозаписей? Понятно, что чем больше — тем лучше, но такой подход не всегда оправдан с экономической точки зрения, ведь самый дешевый HDD на 6ГБ (именно таков максимально поддерживаемый объем у распространённых систем видеонаблюдения), стоит порядка 150$. В виду чего разумно будет установить HDD оптимального размера, а для этого нужно произвести расчет требуемого места на диске. Для этого я написал скрипт, который позволяет произвести расчет емкости, учитывая ряд параметров. подробнее

API определения типа одежды по фото

Author Автор: Роман Чернышов    Опубликовано: 2 декабря 2020

API определения типа одеждыДоброго времени! В последние несколько лет, интернет торговля и технологии связанные с ней, шагнули далеко вперед, все чаще на сайтах популярных маркет-плейсов, таких как Aliexpress или WildBerries можно встретить всевозможные фишки(функции, инструменты), которые делают жизнь пользователей удобнее, а вероятность покупки еще выше. Одной из таких функций, является поиск товаров по фото — пользователю достаточно загрузить изображение и система распознает вещи на нём, а затем подберет похожие товары. Сегодня я хочу рассказать об API сервиса распознавания одежды по фото, в частности сервис распознает тип одежды, гендерную принадлежность, категорию, плюс ко всему прочему возвращает ряд характеристик самого фото. Далее обо всем по порядку. подробнее

Интеграция сайта со СДЭК по API

Author Автор: Роман Чернышов    Опубликовано: 24 сентября 2020

Доброго времени друзья! Поговорим об интеграции с сервисом курьерской доставки СДЭК, ранее я уже писал об этом, но с тех пор функционал моих решений существенно подрос, и мне снова есть чем с вами поделиться. Преимущества интеграции CRM/CMS системы(вашего сайта, интернет магазина и т.д.) со СДЭК весьма ощутимы, в частности интеграция позволяет создавать заявки на отправку посылок в пару кликов прямо из личного кабинета менеджера(кто обрабатывает заказы), а также отслеживать их статусы и передвижение. Автоматическое заполнение полей заявки с указанием данных получателя и параметров посылки — экономит время, силы и как следствие деньги. Для сравнения, ручное создание заявки в личном кабинете СДЭК занимает ~2 минуты, а полуавтоматическое ~15-20 секунд, что в 6-8 раз быстрее. А если ежедневное количество отправляемых посылок равно 50 или 100?… В этой статье я расскажу о функционале, который я реализовал интегрируя CRM/CMS со СДЭК, и который можно интегрировать в вашу веб-платформу. подробнее

Виджет от страхового агрегатора или прямая интеграция со страховыми компаниями?

Author Автор: Роман Чернышов    Опубликовано: 4 сентября 2020

Виджет от страхового агрегатора или прямая интеграция по APIДоброго времени друзья! Так как ко мне часто обращаются клиенты, желающие начать свой страховой бизнес по продаже полисов ОСАГО онлайн(с нуля или переходя из оффлайна), очень  часто возникает вопрос: какое решение использовать для продажи страховых полисов клиентам? При этом, одним из рассматриваемых ими вариантов является — виджет от страхового агрегатора(такие как Пампаду, Сравни, Ингуру и т.д.). Собственно об этом и я хочу поговорить, сравнить такое решение(такой виджет) с прямой интеграцией со страховыми компаниями(без всяких агрегаторов), в чем его преимущество, недостатки и вообще стоит ли его использовать для автоматизации процесса страхования, ведь как ни странно многие думают, что это одно и тоже(что сторонний виджет, что собственная интеграция с СК) мол разницы нет, а это далеко не так! подробнее

Автор блога
Роман Чернышов
Веб-разработчик,
Full Stack
Senior, Architect
PHP, JavaScript, Node.JS, Python, HTML 5, CSS 3, MySQL, Bash, Linux Admin
Заказать работу
предложить оффер

Моя книга
Книга. Веб-разработчик. Легкий вход в профессию
Печатная книга
Веб-разработчик.
Легкий вход в профессию
Купить за 359₽
Популярные записи
Последние вопросы
Список вопросов
Последние комментарии
Меню

Archive

Мои проекты
Insurance CMS Love Crm CMS Совместные покупки Мой PHP Framework Хостинг для моих клиентов Лицензии на мой софт и поддержка