RSS-лента

Лучшие CMS интернета бесплатно для создания сайта

Июл
5

Граббер wordpress сайтов.

Всем привет. Сегодня статья будет посвящена автоматическому наполнению контентом, сайтов работающих на cms wordpress. Существует несколько способов автоматического наполнения, из них мы рассмотрим два наиболее популярных: автоматическое наполнение при помощи плагинов — грабберов и наполнение контентом сайтов при помощи граббер скриптов.

граббер
Рассмотрим первый способ наполнения блога контентом с помощью wordpress плагинов — RSS граберов. Два наиболее популярных RSS-граббера это: FeedWordpress и Wp-0-matic. Дальше по-немногу о каждом.

RSS-граббер FeedWordpress.

Это плагин использует RSS для того, чтобы выуживать оттуда данные, и автоматически оформлять их в виде отдельного поста.

Возможности плагина FeedWordpress:

  • Без проблем грабит различные новостные ленты формата — RSS и Atom.
  • Распределяет сграбленные заметки по категориям блога.
  • Автонаполнение блога настраивается по расписанию, Вам не понадобится настраивать крон.
  • Позволяет публиковать анонсы сграбленных статей, так и новость полностью со ссылкой на источник.

Итак, теперь переходим к установке и детальной настройке плагина  FeedWordpress. Скачиваем плагин  FeedWordpress.  Устанавливаем и активируем на WordPress плагин RSS-агрегатор FeedWordPress. Здесь каких-то особенностей нет. Все делаем по стандартной схеме.
Поле установки FeedWordPress в админ панели блога появляется раздел «Syndication». В нем выбираем подраздел «Syndicated Sites» в этом подразделе в поле: Website feed URL  добавляем адрес фида, который будем грабить к примеру мой: goldserfer.ru/feed/rss и жмем кнопку Add:

добавляем фид

 Теперь переходим к настройкам фида, на изображении ниже все это показано в деталях:

добавляем фид

Первый блок настроек отвечает за обновление – автоматическое или вручную. Выбираем автоматическое.

12

Устанавливаем интервал проверки фидов «Update scheduling:» на 60 минут (или как Вам нравится). Устанавливаем «Publication:» в «Hold syndicated posts for review; mark as Pending». Т.е. новые посты будут публиковаться не сразу а помечаться как отложенные для публикации. Зачем это надо. Дело в том что синонимайзер не всегда отрабатывает. Зачастую он отказывается работать с постами в которых есть картинки. Или посты бывают ну совсем не в тему. Да и заголовки не мешает иногда подправлять. Но если Вы хотите полную автоматизацию не взирая на недостатки устанавливайте «Publication:» в режим «Publish syndicated posts immediately».

После того, как я все настроил, последний штрих – захожу в раздел Syndication и жму кнопку Update. Импортирование по расписанию началось.

Rss — граббер плагин Wp-0-matic

  • Поддерживает все известные форматы RSS.
  • Позволяет объединять несколько лент в одну категорию.
  • Запускается либо в ручном режиме, либо автоматически, но требует настройки Cron.

Найти ленты с которых можно грабить новости, не составит труда. Можно пройти по блогам. Либо, взять известные ленты, такие как liverss.ru или rssportal.ru

Этот плагин не лучше и не хуже предыдущего – он просто другой. У обеих плагинов есть свои преимущества и недостатки. Только опытным путем можно определиться с выбором плагина, поэтому попробуйте оба.

А теперь давайте приступим непосредственно к установке и настройке плагина WP-O-Matic. Скачиваем плагин WP-O-Matic. Установка плагина стандартная.

Заходим в Настройки/WP-o-matic и сщздаем новую компанию и жмем submit.

wp-o-matic

Далее, после создания новой компании выбираем вкладку Feeds и заполняем четыре адреса которые будем грабить. Во вкладке Categories, устанавливаем куда будут размещаться сграбленные статьи. Теперь, переходим на вкладку Rewrites. Здесь, можно прописать те слова которые мы хотим заменить  в сграбленных статьях. Во вкладке Options поставьте галочку напротив строчки Cache images. Сохраните.

В отличии от плагина FeedWordPress, вам не нужно публиковать статьи, они уже автоматически опубликованы, а синонимайзер их уникализировал.

Получай первым обновления блога!

Введите Ваш e-mail:


Комментарии (17) на “Граббер wordpress сайтов.”

  • Владимир (5 коммент.) 3 Февраль 2014 в 3:18

    Так эти плагины грабят только заголовки а не сами статьи на которые ведут ссылки с rss ленты.

    • Евгений (7 коммент.) 4 Май 2014 в 7:33

      Отличные плагины, сам 2 день «граблю». Только надо RSS найти с полными статьями.
      Автору огромное спасибо)

  • Руслан (4 коммент.) 5 Сентябрь 2014 в 15:42

    Автор, а скажите, сколько живет новостной сайт на граббинге? Я слышал что 1-2 месяца, потом яндекс его банит из за того что типа новости неуникальные, хотя лично я знаю много новостных сайтов, которые состоят на 90-95 процентов из копи паста, а посещаемость огромная. Правда авторы другого граббера оговариваются что если правильно использовать, то ничего не будет, но это всего лишь слова.

    Есть ли разница для яндекса или гугла , новости копипастятся вручную или граббятся на автомате? То есть они это могут обнаружить? И как вообще относятся?

    Почему так происходит и как можно избежать этого?

    2- как внешне выглядят сграбленные новости? Есть ли там разметка, фотки и пр, чтобы красиво выглядить или выглядит как простыня?

    С уважением,

    Руслан

    • CMSONY
      CMSONY (172 коммент.) 5 Сентябрь 2014 в 16:27

      К копипасту поисковики вполне нормально относятся, если в конце каждой статьи указывать первоисточник (можно использовать даже nofollow). А огромная посещаемость таких ресурсов с копипастом, зависит от многих факторов (траст ресурса, баннерные сети, и.т.п). Все зависит от того сколько вы вкладываете денег в раскрутку ресурса…

  • Руслан (4 коммент.) 6 Сентябрь 2014 в 9:15

    Cmsony, то есть если грабить новости с помощью граббера и ставить ссылки на первоисточник , то не забанят?
    Траст-новый сайт, банеров не будет.

    А что вы имеете в виду под словом вкладывать ? Ссылки и пр или копирайт?

    • CMSONY
      CMSONY (172 коммент.) 6 Сентябрь 2014 в 22:12

      Да, если ставить ссылки на первоисточник, то не забанят, а трастовый сайт нужен для того чтоб в индекс страницы попадали быстро и ранжировались поисковиками выше первоисточников…

  • Руслан (4 коммент.) 7 Сентябрь 2014 в 22:57

    Спасибо большое.

    Я еще что подумал- а если например новость копипастить вручную или с помощью граббера какого либо, есть ли в этом разница для поисковых систем? То есть может они на грабинг хорошо смотрят а на ручной копипаст- плохо или наоборот? Или они одинаково смотрят?

    2- если на такой новый сайт который использует грабинг, слать трафик через сервисы накруток поведенческиз факторов типа юзератор, мовебо или др чтобы они ставили лайки, делились и твитили, шансы что забанят уменьшатся или без разницы? Так как на одном из последних докладов яндекс заявил что отслеживает юзеров на таких биржах.
    Однако они постоянно работают

    • CMSONY
      CMSONY (172 коммент.) 8 Сентябрь 2014 в 16:48

      Грабить сайты вручную, очень утомительно, а при помощи программы можно настроить граббинг с РСС ленты и постить их автоматом по 5-6 статей, в ручную это наверное не очень реально. Поисковикам пофиг делаете вы ручной граббинг или программой. При помощи сервисов типа юзератор и.т.п вы только улучшите поведенческие факторы, плюс это дополнительный приток пользователей из социальных сетей. На счет доклада яндекса, могу сказать только одно: не нужно злоупотреблять лайками и ретвитами в таких системах, а аккаунты пользователей при помощи которых делаются эти лайки и ретвиты жестко модерировать на хорошие и плохие… И все будет гуд).

  • руслан (4 коммент.) 9 Сентябрь 2014 в 7:03

    аа, вот теперь, более или менее понятно.

    а по поводу «злоупотребления лайками», ВЫ имеет в виду, что плохо именно из за мониторинга таких сервисов яндексом или из за того, что если скажем новый сайт, посещение скажем 10 человек и вдруг 50-60 лайков и ретвитов и соответственно повышенное внимание со стороны ПС?
    На searchgine постоянно пишут, что все сайты с граббингом уходят ВСЕГДА в бан, но может они имеют в виду не сайты для людей, а говносайты для продажи сссылок?

    2- и такой вопрос- Вот вы писали-«он просто другой. У обеих плагинов есть свои преимущества и недостатки. Только опытным путем можно определиться с выбором плагина, поэтому попробуйте оба.»
    Если добавить к ним еще wpgrabber точка ру, для новостного интерактивного агрегатора с блогом или возможностью комментировать какой больше подойдет?

    спасибо заранее,
    Руслан

    • Граббер (1 коммент.) 15 Сентябрь 2014 в 8:51

      Пользовался всеми из вышеописанных граберов — wpgrabber лучший из них, но немного сложноват в настройках, wpgrabber.biz — заказываю здесь настройку лент.

  • Саша (2 коммент.) 13 Декабрь 2014 в 19:53

    Скажите а можно ли скачать все фото с сайта вордпресс обойдя водяные знаки !?

    • CMSONY
      CMSONY (172 коммент.) 26 Март 2015 в 22:05

      Нет, так как на фото и изображения, наносятся водяные знаки (Watermark), и показываются не исходники а именно watermark изображения.

  • Alisa (1 коммент.) 14 Март 2015 в 19:06

    А есть что-то что бы полностью статьи грабило?)

    • CMSONY
      CMSONY (172 коммент.) 26 Март 2015 в 22:07

      Чтоб полностью статьи грабило, вам нужно найти сайты отдающие полную RSS ленту, а не ее заголовок.

  • реалист (1 коммент.) 21 Март 2015 в 20:01

    Ну награбили мы статей, а что дальше. Если на сайте будет один копипаст, то поискового трафика не видать

    • CMSONY
      CMSONY (172 коммент.) 26 Март 2015 в 21:59

      С чего вы взяли что трафика не будет?

  • KVA (1 коммент.) 14 Май 2015 в 19:38

    Помогу с настройками плагинов WP для граббинга статей. Пишите на geotronix@bk.ru.

Оставить комментарий


вверх