Перейти к содержимому


- - - - -

A-Parser 1.2 - Продвинутый Парсер ПС, Кейвордов, Контента


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 22

#1 A-Parser Support

A-Parser Support

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 44 сообщений

Отправлено 04 Ноябрь 2019 - 15:45

A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, email, телефоны, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 70 парсеров

На сегодняшний день A-Parser развился в невероятный SEO комбаин, позволяющий покрыть огромное число задач для SEO-специалистов и вебмастеров любого уровня подготовки:
  • ??спользуйте встроенные парсеры чтобы с легкостью получать и анализировать любые данные
  • Воспользуйтесь нашим каталогом парсеров и пресетов для расширения возможностей A-Parser и решения нестандартных задач
  • Если вы продвинутый пользователь - создавайте свои собственные парсеры на основе регулярных выражений или XPath
  • Владеете JavaScript? Тогда A-Parser предлагает вам беспрецедентную возможность программировать свои собственные парсеры, используя всю мощь возможностей A-Parser!
  • Для автоматизации мы предлагаем API позволяющий легко встроить A-Parser в ваши бизнес процессы, а также для создания сервисов любого уровня сложности на базе нашего парсера
Изображение

Кроме этого мы предоставляем услуги по составлению заданий и написанию парсеров под ваши задачи, в кратчайшие сроки и по демократичной цене. Хотите спарсить целиком интернет магазин(Ozon, Amazon, AliExpress)? Проверить 100 миллионов сайтов по вашим признакам? Получить данные с любого сайта в структурированном виде(CSV, JSON, XML, SQL)? В решении этих задач поможет наша дополнительная платная поддержка

A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:
  • SEO-оптимизация сайтов и Web-аналитика
    • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
    • Оценка сайтов и доменов по множеству параметров
    • Мониторинг позиции любых сайтов в поисковых системах
    • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
    • Отслеживание обратных ссылок
    • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
    • Сбор и оценка ключевых слов
    • Сбор списка обратных ссылок
    • ?? многое другое
  • Web-безопасность
    • Сбор и фильтрация баз ссылок по признакам
    • Определение CMS сайтов
    • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
  • Сетевое администрирование
    • Работа с DNS службой - резолвинг доменов в IP адреса
    • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера
A-Parser обладает следующими преимуществами:
  • Колоссальная производительность
    • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
    • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
    • Множественные оптимизации сложных операций
    • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
  • Промышленные масштабы
    • Парсер разрабатывался с учетом работы с неограниченным размером данных
    • Способен обрабатывать сотни миллионов и миллиардов запросов
    • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
  • Автономность
    • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
    • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
    • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
  • Поддержка более 70 парсеров
  • Создание собственных пресетов
    • ??спользование регулярных выражений
    • Поддержка XPath
    • Поддержка многостраничного парсинга
    • Проверка контента и наличия следующей страницы
  • Создание собственных парсеров
    • Быстрая разработка на JavaScript
    • Многопоточность и работу с прокси обеспечивает A-Parser
  • Распознавание каптчи
    • Поддержка множества сервисов: антигейт, cheap-captcha.com, rucaptcha.com и любых других на основе AntiGate API
    • Поддержка CapMonster и XEvil
  • Мощные инструменты для формирования запросов и результатов
    • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
    • Подстановки для запросов: из файла; перебор слов, символов и цифр
    • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
    • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
    • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)
  • Гибкость настроек
    • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
    • Настроить можно все - никаких рамок и ограничений
    • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
  • Сетевые возможности
    • Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
    • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
    • Полностью асинхронная работа с сетью, включая работу с DNS
  • API
    • Возможность интегрировать и управлять парсером из своих программ и скриптов
    • Полная автоматизация бизнес-процессов
    • Клиенты для PHP, Perl, Python и NodeJS
  • Постоянные улучшения и исправления
    • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
    • С тех пор было выпущено более 100 новых версий, включающих множество улучшений и исправлений
    • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
  • Техническая поддержка
    • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
    • Создана подробная документация по A-Parser'у, открыт форум для пользователей
    • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
    • Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера
Более подробно ознакомится с возможностями парсера можно в полноценной документации

A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:

Изображение

Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.
Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

#2 A-Parser Support

A-Parser Support

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 44 сообщений

Отправлено 06 Ноябрь 2019 - 18:28

Сборник статей #9: анализ страниц сайта, парсинг всех страниц сайта из индекса и проверка запросов

9-й сборник статей. В нем мы разберемся, как делать пресеты для анализа всех страниц сайта, научимся парсить все ссылки сайта из индекса ПС и будем проверять существование запросов. Поехали!

Создание пресета для анализа страниц сайта
Анализ страниц на сайте - это один из самых популярных кейсов использования А-Парсера. При этом можно собирать очень много различных параметров, начиная от проверки доступности и заканчивая поиском определенных слов на странице.
О том, как сделать простой анализатор сайта и пойдет речь в этой статье.
Изображение

Парсинг разными способами максимум результатов из индекса поисковых систем
Парсинг из индекса поисковых систем всех страниц сайта - это еще один популярный кейс для A-Parser. ПС ограничивают кол-во результатов по одному запросу, поэтому нужно как-то обходить это ограничение. Как это сделать - описано в нашей статье.
Изображение

Проверка существования запросов
Пресет из этого примера позволяет проверить базу ключевых слов и определить, был ли запрос одноразовым без постоянного спроса или нет. Тем самым появляется возможность отфильтровать семантику и оставить только "хорошие" запросы. Больше деталей, а также готовый пресет - по ссылке выше.
Изображение


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - пишите здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей

Изображение

#3 A-Parser Support

A-Parser Support

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 44 сообщений

Отправлено 21 Ноябрь 2019 - 22:31

Видео урок: Парсинг сайта в глубину на основе парсера HTML::LinkExtractor

В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.

Изображение

В уроке рассмотрено:
  • Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
  • Получение title (с очисткой от HTML сущностей)
  • Получение таких параметров как:
    • кол-во предыдущих редиректов
    • код ответа сервера
    • кол-во внешних ссылок
Полезные ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Изображение

#4 A-Parser Support

A-Parser Support

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 44 сообщений

Отправлено 05 Декабрь 2019 - 11:59

Сборник рецептов #36: уникальность текста, парсер GitHub, посещаемость сайтов, результаты розыгрыша

36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего telegram чата, которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:

Изображение


А теперь перейдем непосредственно к сборнику.

Проверка текста на уникальность

Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.

Изображение

Парсер Github

Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.

Изображение

Парсинг количества трафика на сайтах

Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.

Изображение

Кроме этого были обновлены: Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение

#5 A-Parser Support

A-Parser Support

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 44 сообщений

Отправлено 13 Декабрь 2019 - 03:21

1.2.713 - новые парсеры: Telegram и eBay, оптимизации во встроенных парсерах, новые инструменты

Изображение

Улучшения
  • Добавлен новый парсер Изображение Telegram::GroupScraper, который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
  • Добавлен новый парсер Изображение Shop::eBay, который позволяет парсить поисковую выдачу на ebay.com
  • Изменения в парсерах Google:
    • Добавлена переменная $detected_geo, в которой содержится информация о геолокации
    • В связи с неактуальностью удалены опции:
      • Old desktop computer (IE6) в Device
      • Util::AntiGate preset
      • Use digit captcha
  • В Изображение SE::Yandex увеличено максимальное значение Pages count до 25
  • В Изображение SE::Google::Images добавлена поддержка новой верстки
  • В Изображение Util::ReCaptcha2 добавлена поддержка capmonster.cloud
  • Парсер Изображение SE::MailRu полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
  • Парсер Изображение SE::Yandex::Direct полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
  • Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
  • JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров
Исправления в связи с изменениями в выдаче
Исправления
  • В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
  • Исправлены проблемы с рандомизацией в некоторых случаях
  • Исправлена ошибка в Social::Instagram::post при парсинге только массивов данных
  • Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
  • JS парсеры: исправлена работа с Node.js модулем socks
Изображение

#6 A-Parser Support

A-Parser Support

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 44 сообщений

Отправлено 24 Декабрь 2019 - 08:47

Сборник рецептов #37: парсинг Twitter, поиск и скачивание картинок, парсинг групп в Telegram

37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

Парсер постов из Twitter
Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.

Изображение

JS::ImagesFromSE
Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.

Изображение

Пресеты для парсинга публичных групп в Telegram
Начиная с версии 1.2.709 в А-Парсер был добавлен Изображение Telegram::GroupScraper. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета: Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение

#7 A-Parser Support

A-Parser Support

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 44 сообщений

Отправлено 04 Январь 2020 - 17:28

Сборник статей #10: отслеживание цен с уведомлением, парсинг характеристик товаров, редиректы

10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

Периодический мониторинг цен с уведомлением в Telegram

В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.

Изображение

Сбор характеристик товара

Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.

Изображение

Всё о редиректах

Большая справочная статья, посвященная тематике редиректов.

Изображение

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей Изображение

#8 A-Parser Support

A-Parser Support

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 44 сообщений

Отправлено 17 Январь 2020 - 11:52

Видео урок: Парсинг тематических доменов из Google и получение различных параметров по доменам

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.

Изображение

В уроке рассмотрено:
  • Парсинг поисковой выдачи Google
  • Вывод уникальных результатов в качестве главных доменов
  • Получение таких параметров как:
    • зарегистрирован домен или нет
    • дата регистрации и дата окончания регистрации домена
    • язык сайта
    • title и description
    • индекс качества сайта
    • позицию в глобальном рейтинге Alexa
    • cтрану с наибольшим числом трафика по Alexa
    • позицию в рейтинге этой страны по Alexa
Полезные ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Изображение

#9 A-Parser Support

A-Parser Support

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 44 сообщений

Отправлено 28 Январь 2020 - 04:33

1.2.752 - полноценная поддержка Node.js, функция Memory Saver, оптимизация производительности

Изображение

Улучшения
  • Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: https://a-parser.com/threads/5807/
  • Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
  • Улучшена производительность ИзображениеSE::Yandex
  • В ИзображениеShop::Amazon добавлена возможность подключать антигейт, а также поддержка сессий
  • В ИзображениеSE::Google::ByImage добавлена возможность выбирать язык интерфейса, язык результатов и страну
  • Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%
Исправления в связи с изменениями в выдаче Исправления
  • Исправлена работа Bypass Cloudflare в некоторых случаях
  • Исправлена работа при малом числе прокси
  • Исправлена проблема при редактировании дополнительных форматов результатов
Изображение

#10 A-Parser Support

A-Parser Support

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 44 сообщений

Отправлено 07 Февраль 2020 - 08:40

Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Парсер Яндекс Кью

Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.

Изображение

Парсинг сайтов из Яндекс.Радар

Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.

Изображение

Определение типа сайта по Яндекс Радару

И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.

Изображение

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение




Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных