SELFPARSER - УНИВЕРСАЛЬНЫЙ ПАРСЕР КОНТЕНТА
SelfParser - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца.
Особенности и работа парсера
Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который забивает базу DLE. Одним словом, сейчас парсер может наполнять сайты на DLE. В дальнейших обновлениях я буду добавлять обработчики для wordpress и т.д. (по запросу), а так же улучшать саму работу парсера, добавлять настройки и возможности. Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается .
Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку.
Возможности
Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.
SelfParser - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца.
Особенности и работа парсера
Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который забивает базу DLE. Одним словом, сейчас парсер может наполнять сайты на DLE. В дальнейших обновлениях я буду добавлять обработчики для wordpress и т.д. (по запросу), а так же улучшать саму работу парсера, добавлять настройки и возможности. Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается .
Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку.
Возможности
- Независимая админка.
- Парсер работает не зависимо, то есть сам по себе и не зависит от того, какая CMS установлена.
- Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
- Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
- Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/... как положено и добавляет вложения в конец полной новости.
- При создании шаблона, можно проверить его работу, как он получает контент.
- Парсить контент как с HTML тегами, так и без них.
- Включение / выключение шаблонов.
- Ведение логов.
- Статус активности.
- Возможность парсить данные через прокси SOCKS5 типа.
- Возможность удалять скрипты или не удалять.
- Возможность удалять ненужные элементы из полученного контента.
- Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
- Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
- Работа по крону через простой HTTP запрос.
- Адаптивная панель управления.
- Для DLE:
- возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
- добавлять данные как в одну, так и сразу в несколько категорий на сайт.
- добавлять новые посты сразу или ставить на модерацию.
Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.