Почему парсинг сайта не всегда может быть полностью автоматическим
Автор: Роман Чернышов
Опубликовано: 9 апреля 2021 
Доброго времени друзья! Работая с проектами которые включают в себя парсинг(сбор, анализ) данных со сторонних источников, я очень часто встречаюсь с задачей которая звучит как: Реализовать полную автоматизацию процесса парсинга, без последующего вмешательства разработчика(оператора). Иными словами, один раз сделать и забыть, чтобы система работала автономно и не требовала внимания(времени, сил и денег). Задача звучит разумно, оно и понятно, что автоматизация и стабильность это залог успеха проекта, особенно если речь о бизнес процессах, которые влияют в том числе и на прибыль компании. Но, к сожалению это не всегда возможно, зачастую парсинг требует периодического подключение оператора(квалифицированного специалиста) на протяжении всей его работы. Поэтому перед разработкой парсера, необходимо оценивать не только стоимость его разработки, но и стоимость его дальнейшего обслуживания(сопровождения). Далее я расскажу почему и какие проблемы возникают в процессе парсинга, как их может устранит оператор, и чего это стоит. подробнее
Категории: 
Теги: 
Доброго времени друзья! Сегодня я хочу рассказать о сервисе INSSMART который позиционирует себя как маркетплейс электронного страхования, то есть воспользовавшись им, любой желающий может оформить страховку будь то Е-ОСАГО, КАСКО, Ипотека или Животные. Зарегистрировавшись на сайте INSSMART вы можете стать страховым агентом, проводя все сделки через него, в свою очередь INSSMART сотрудничает с несколькими десятками страховых компаний, что позволяет, при оформлении полиса, выбрать наилучшее предложение, как по стоимости самого полиса, так и по комиссионному вознаграждению(которые вы получите). Маркеплейс имеет также API для взаимодействия с ним техническими средствами, например для подключения к нему вашего проекта, если вы работаете в области страхования. Ранее я уже рассказывал про аналогичные решения от 
Доброго времени! В последние несколько лет, интернет торговля и технологии связанные с ней, шагнули далеко вперед, все чаще на сайтах популярных маркет-плейсов, таких как Aliexpress или WildBerries можно встретить всевозможные фишки(функции, инструменты), которые делают жизнь пользователей удобнее, а вероятность покупки еще выше. Одной из таких функций, является поиск товаров по фото — пользователю достаточно загрузить изображение и система распознает вещи на нём, а затем подберет похожие товары. Сегодня я хочу рассказать об API сервиса распознавания одежды по фото, в частности сервис распознает тип одежды, гендерную принадлежность, категорию, плюс ко всему прочему возвращает ряд характеристик самого фото. Далее обо всем по порядку. 
Доброго времени друзья! Сегодня я хочу рассказать о своей разработке, которая будет полезна владельцам сайтов(агентам, страховым компаниям и т.д.) и сервисов по страхованию ОСАГО. Все больше водителей интересуются оформлением страховых полисов ОСАГО онлайн, а также коэффициентом бонус-малус(КБМ) который напрямую зависит от безаварийного вождения и влияет на стоимость страхового полиса. Кроме коэффициента на текущую дату, водитель также может получить историю его изменений за последние несколько лет, для этого достаточно воспользоваться моим решением, а именно скриптом для получения истории страхового коэффициента бонус-малус(КБМ) из базы РСА(Российский Союз Автомобилистов). Данный скрипт представляет собой готовое решение, которое можно интегрировать на любой сайт, предоставив тем самым пользователям отличный сервис. Далее обо всем подробнее. 
Приветствую друзья! Недавно я завершил работу по интеграции сайта своего клиента с хранилищем(Object Storage) на Яндекс Облаке. Так как на сайте планируется размещение большого количества изображений пользователями, было принято решение воспользоваться облачными технологиями(хранилищем), для размещения на нем всех файлов изображений. Для этого в CMS системе сайта были переписаны все скрипты, отвечающие за загрузку, сохранение и удаление изображений. Объем работ был не таким большим, а благодаря 
Доброго времени друзья! Рынок авто-страхования неуклонно растет на протяжении последних десяти лет, от части это связано с массовой автомобилизацией страны, все больше людей предпочитают иметь свой авто. В этой связи, актуальным как никогда становится бизнес по продаже страховых полисов, а вместе с этим и техническая составляющая — интеграция с API страховых компаний. Сегодня мы рассмотрим работу с API страховой компании Согласие(ранее я у же рассказывал, про 
Добрый день друзья! Длительное время я работал над новой версий скрипта по расчету и оформлению полиса ОСАГО(
Доброго времени, друзья! Страховые компании становятся все более технологичны, а также дружелюбны к своим партнерам и агентам, все чаще предоставляя доступ к своим сервисам по средствам API(Application programming interface). В этой статья я хочу рассказать про доступ к API от страховой компании Страховой дом ВСК, который позволяет работать с полисами ОСАГО, а именно производить предварительный расчет стоимости полиса, отправлять заявку на оформление и производить его покупку. Партнерам и агентам, API позволяет разработав свою 
Доброго времени друзья! Сегодня я поделюсь с вами своим опытом работы с API страховой компании СПАО «Ингосстрах», которая предоставляет услуги в сферах: авто-страхование, страхование имущества и страхование туристов. По каждому из направлений Ингосстрах предоставляет возможность работы с веб-сервисом по средствам API, обеспечивая разработчиков такими методами как: расчет премии по договору, получение справочников, получение журналов договоров, привязка БСО к договорам, получение кросс-продуктов и многое другое. Доступ к веб-сервисам основан на единых технических стандартах: SOAP, WSDL, HTTPS, TCP/IP. Далее обо всем подробнее. 
