Feedly крал ваш контент - вот история и их код

  • Lesley Fowler
  • 0
  • 1253
  • 150
Реклама

На прошлой неделе Feedly выкатил спорный новый “особенность” - похищение ссылок на каналы для кражи трафика у миллионов блоггеров.

Перенаправление общих ссылок с Feedly на собственное представление Feedly статьи вместо самой статьи на оригинальном сайте - это проблема для создателей оригинального контента во многих блогах. Это не только приводит к потере трафика, но и обманчиво для тех, кто следит за определенным блогом.

Вот полная история того, почему люди злятся, и как один блоггер помог исправить ситуацию. Я также углубляюсь в их исходный код, чтобы показать вам, насколько грязные их маленькие хитрости.

Срок погашения: Цифровой ридер был оригинальным источником для этой новости - я просто решил исследовать немного дальше и посмотреть точно, что они были до.

Во-первых, хорошие новости

На момент написания, поведение было несколько исправлено, так что укороченные ссылки Feedly действительно отправлялись на сайт создателей, но быстрая проверка кода состояния HTTP. 10 лучших сайтов для кодов ошибок и устранение неполадок 10 лучших сайтов для кодов ошибок и Устранение неполадок показало, что перенаправление не было выполнено обычным способом на уровне сервера с перенаправлением 301 или 302 (200, который отправляет Feedly, означает “да, у нас есть эта страница, держись”; 404 средства “не найдено”; 301 означает “постоянное перенаправление на другой URL; в то время как 302 означает “временное перенаправление”).

Это означало, что перенаправление выполнялось в JavaScript, поэтому я хотел узнать больше. Используя инструмент извлечения веб-страниц из командной строки, называемый curl, я смог получить исходный код примера ссылки Feedly на Techmeme.com до того, как произошло перенаправление (поскольку CURL не будет выполнять JavaScript) - и это выявило некоторые неожиданные лакомые кусочки. Вот что я нашел.

(Я загрузил полный исходный код здесь, если вы хотите посмотреть - я только показываю некоторые интересные фрагменты ниже)

Некоторые люди были обеспокоены последствиями SEO, когда их контент был украден и переиздан в другом месте; хорошая новость заключается в том, что Feedly правильно установить отн =“канонический” метатег, чтобы указать Google, что все значения ссылок должны быть переданы на исходный сайт. Однако невозможно установить, было ли это добавлено после того, как жалобы начались или присутствовали с самого начала..

  

Они раздеваются

Вероятно, это была ошибочная попытка дублирования функциональности типа «Читабельность». 6 Букмарклетов, которые повысят скорость и производительность вашего веб-серфинга. 6 Букмарклетов, которые повысят скорость и производительность вашего веб-серфинга. В отличие от ваших обычных закладок, они не архивируют URL-адреса, скорее, букмарклеты - это небольшие Java-апплеты с функциональностью в один клик. Существуют сотни ..., которые сводят страницу к ее основным элементам, Feedly убирает все кнопки рекламы, отслеживания и публикации в социальных сетях, которые могли быть встроены в исходный элемент фида. Вот полный список убираемых вещей:

 var visualExcludePatterns = ["feedproxy", "feedburner", "/ ~", "feeds.wordpress.com", "stats.wordpress.com", "googleadservices.com", "feedads", "tweet-this", " fmpub " "- объявления", "_ реклама", "Pheedo", "Zemanta"," u.npr.org/iserver","openx.org","slashdot-it","smilies","/ico- " "commindo-media.de", "creatives.commindo-медиа", "doubleclick.net", "i.techcrunch", "AdView", "/ feed.gif", " объявления."," / AVW .php”,"Сор-Digg-это", "подача-форсунка", "/ плагины /", "tweetmeme.com", "_ _ значок", "/ объявление -", "акция-кнопка", "feedsportal.com", "BuySellAds "," holstee "," musictapp "," / ad _ "," / button / "," donate.png "," / спонсоры / "," googlesyndication.com "," / pagead "," / adx "," активы / корм-FB», "активы / корм-TW", "feedburner.com/~ff","gstatic.com","feedsportal.com"]; 

Вынимая “жертвовать” По некоторым причинам кнопка кажется особенно раздражающей.

Они угоняют ссылки

Здесь мы подошли к самому серьезному вопросу, поскольку Feedly не только очищал контент с вашего сайта, но и отбрасывал любые оригинальные кнопки социальных сетей и переписывал метаданные. Это означает, что когда кто-то впоследствии поделится этим предметом, он будет делиться ссылкой Feedly, а не оригинальным сообщением. Любой, кто нажмет на эту ссылку, сразу перейдет к Feedly.

Снимок скриншота содержимого из TheDigitalReader

Так что, спросите вы? Когда сообщение становится вирусным, оно может принести огромную пользу рассматриваемому сайту - повысить количество просмотров страниц и доходы от рекламы, а также расширить аудиторию. Feedly открыто похитил эту конкретную выгоду с сайта, чтобы расширить собственную базу пользователей. Код Feedly включал в себя проверки мобильных устройств, которые направляли бы пользователей на соответствующую страницу магазина приложений..

 функция action (где) var actionName = "follow"; var url = "http://feedly.com/#" + encodeURIComponent ("subscription /" + feedInfo.id); if (/iPhone| iPad/i.test (navigator.userAgent)) actionName = "install"; url = "http://itunes.apple.com/us/app/feedly/id396069556";  else if (/android/i.test (navigator.userAgent)) actionName = "install"; url = "market: // details? id = com.devhd.feedly";  _gaq.push (['_trackEvent', bucket (), actionName + "." + where, feedInfo.id]); window.setTimeout (function () document.location.href = url;, 20); window.event.cancelBubble = true window.event.stopPropagation (); window.event.preventDefault (); 

Не было “просто сделать статью проще для просмотра” - это было кража трафика, просто и ясно. Это действительно не круто.

Их первое исправление: жестко закодированный список исключений

Когда Digital Reader впервые пожаловался Feedly, их ответом было перекодировать Javascript, чтобы включить список исключения. Они буквально добавили проверку к каждой ссылке в Feedly, чтобы узнать, был ли это элемент из The Digital Reader, и если да, чтобы обойти угон страницы.

 var siteExcludePatterns = ["/ TheDigitalReader /"]; функция shouldExcludeSite (url) 

Это, конечно, абсолютно нелепый способ сделать это - планировали ли они добавить этот список со временем, и все больше блоггеров жаловались?

Нейт из The Digital Reader ответил:

где вы выходите, требуя, чтобы я отказался от вашего угона? Это все равно, что сказать, что мне нужно попросить кого-нибудь прекратить избивать меня кошельком в лицо. И все же вы думаете, что это разумно?

Их второе исправление: быстрый взлом, чтобы обойти весь код

После того, что я могу только предположить, было подавляющее число жалоб, которые последовали, они отрегулировали фильтр угона следующим образом:

 if (kind == "partal "|| shouldExcludeSite (" http://www.techmeme.com/131202/p30#a131202p30 ") || true) document.body.innerHTML =" "; document.location.href = "http://www.techmeme.com/131202/p30#a131202p30"; 

“частичный” относится к очищенному контенту, являющемуся полным или частичным фидом - нет смысла перехватывать фиды, которые в конце концов публикуют только выдержку. Предположительно, эта функция начиналась как единственная проверка, которая происходила при выборе, отправлять пользователя на исходный сайт или нет. Вы можете увидеть первое исправление после этого, которое вызывает функцию, чтобы проверить, есть ли этот сайт в списке сайтов, которые отказались; но потом мы видим их окончательное решение на месте -

 || правда.

Если у вас есть опыт программирования, вы узнаете быстрый взлом, который говорит “следующий код всегда будет выполняться”, и обычно используется только при отладке. Если какое-либо из этих 3 условий выполнено (первые два больше не имеют значения), Feedly мгновенно перенаправляет пользователей на исходный сайт..

И вот где он стоит сейчас. Итак, что мы узнали?

По сути, Фидли создавал своего рода упрощенный опыт чтения, но способ, которым они это делали, - переписывание ссылок для распространения своего собственного сервиса через последующие социальные сети было чертовски отвратительным. Это не единственный плохой шаг, который недавно сделал Feedly - в прошлом месяце они начали требовать входа в систему с учетными записями Google+ (увидев, как хорошо работает вход в Google+ для YouTube. Раздел комментариев YouTube теперь исправлен, благодаря Google+ Раздел комментариев YouTube сейчас Очистка, предоставлено Google+ Google очистил YouTube с помощью новой системы комментирования в Google+. Теперь вы увидите самые популярные комментарии, полученные от людей в ваших кругах Google+ и от владельца видео. , но это тоже было быстро отменено. Урок заключается в том, что вы, возможно, захотите начать поиск альтернативного читателя. Конец Google Reader близок: готовьтесь с этими альтернативными программами для чтения RSS Конец Google Reader близок: готовьтесь с этими альтернативными программами для чтения Google Reader мертв. К июлю главный RSS-сервис Интернета навсегда закрывается, оставляя пользователям возможность найти замену самостоятельно. Если вы ищете эквивалент Google, это всего лишь ..., если вы уже не потратили $ 99 на учетную запись Pro..




О современных технологиях, просто и доступно.
Ваш гид в мире современных технологий. Узнайте как использовать технологии и гаджеты, которые нас окружают каждый день и научитесь открывать интересные вещи в Интернете.