Как да намалим дублирано съдържание

0 Comments | Posted by Dimitar Danailov - Software Developer in , SEO

В последните 2 години, дублираното съдържание се оказа един от най-големите бичове за съвременните уебмастъри. И въпреки че от правят доста промени в алгоритъма, задачата по отстраняване на този нежелан проблем остава в ръцете на управляващите сайта.

Какво е дублирано съдържание?

Това са всички страници с идентично или близко съдържание на други такива в самия сайт.

Дублирано съдържание в един сайт може да се появи поради няколко причини:

1. Използване на www версия на сайта, както и на такава без www. Може да се каже, че това е най-малкият проблем, защото точно в тази насока се справят горе-долу добре. Все пак, за да не оставяме избора на машинен алгоритъм, може да използвате следните два реда код във вашия .htaccess файл:

RewriteCond %{} ^(.+)\.vashdomain.com$ [NC]
RewriteRule ^(.*) $1 [R=301,L]

Имайте предвид, че тази директива може да се напише по още няколко начина. Също така, ако пренасочвате от версия без www към такава с www, трябва да ползвате:

RewriteCond %{} !^vashdomain.com$ [NC]
RewriteRule ^(.*) $1 [R=301,L]

Може да укажете и в Webmaster Tools коя версия на сайта предпочитате да ползвате, но опитът показва, че e по-добре контролът да е във ваши ръце.

2. Програмистите често указват началната страница на сайта като / , /index.php , /index.html , /index.jsp и всякакви подобни варианти. Това, разбира се, създава дублирани страници на началната на вашия сайт. От това положение също има изход, особено ако не ви се “почиства” след погромистите (опс, програмистите).

В гореспоменатия .htaccess файл слагате кода:
RewriteCond %{} /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]

Моля, имайте предвид, че за Java базирани сайтове това не е решение.

3. Дублирано съдържание поради използване на параметри/сесии в URL. Още един от пропуските на любимите ми колеги – програмистите. Често (и в повечето случаи ненужно) програмистите изплющяват по някой друг параметър в URL, защото така е по-лесно. Примерно след някакво търсене в сайта, за да “запомнят” избор, който сте направили в сайта (валута, местоположение, др.), но в крайна сметка, страницата, която ботът “вижда” е идентична на “оригиналната”.

Какво може да се направи в подобен случай?

a) Учтиво молите програмистите да си свършат съвестно работата, отправяте молитви към Всевишния да им налее малко разум и правите курбан за здраве (не тяхното, за вашето – високото кръвно при този вариант е гарантирано!)
б) Обръщате се към canonical тага (support/webmasters/bin/answer.py?answer=139394). Имайте предвид, че действието му е препоръчително (за разлика от robots.txt, където е задължително), но в един по-дълъг период от време (2-3 месеца) се съобразява с него и ви осигурява спокоен сън и спестени пари от курбан.

4. Има случаи, когато програмистите нямат вина за дублираното съдържание (изненада ). Това са списъци с резултати от търсене, списъци от етикети, категории, архиви и други автоматично генерирани страници. Често, когато тези списъци са големи, се налага странициране, което евентуално може да наложи подреждане на тези списъци по дата, азбучен ред и други признаци. Този тип новогенерирани страници също се счита от за дублирано съдържание.

Тук решенията са няколко:
а) Използване на canonical, както в предходния пример.
б) Използване на noindex, follow мета таг в дублираните страници
в) Използване на rel=“next” and rel=“prev” при странициране 2011/09/pagination-with-relne…
г) Използване на JavaScript линкове (при странициране)
д) Комбинация от горните 4 метода

5. Дублирано съдържание при системите за управление на съдържанието чрез екстри като принтирай тази страница, изтегли в PDF формат и др. На пазара има голямо количество безплатни системи за управление на съдържанието. Независимо дали са безплатни или платени, всички те имат общ недостатък – генерират дублирани страници чрез екстри като принтирай тази страница (виж в текстов формат), изтегли в PDF формат. Всички тези екстри са вероятно полезни за потребителите, но определено създават неприятности на уебмастърите.

Решението е:
Всички от методите в предхоната точка без в). Ще кажете: добре де, как аджеба се слага canonical или nonidex на тесктови, XML, PDF или други подобни страници? Много просто – чрез ползване на htaccess файл (2011/06/supporting-relcanonic… и web/controlcrawlindex/docs/robots_meta_tag.html), а ако генерирате PDF, DOC, TXT или XML файловете динамично, може да зададете Headers в самия файл.

6. Друга причина за дублирано съдържание са и едноезични страници, предназначени за различни държави. Например, страници на английски, но насочени към потребители от Великобритания, САЩ, Австралия и т.н. Това е интересен случай, който заслужава отделна тема. Накратко бих препоръчал за всяка държава да се напишат различни и уникални текстове съобразени с културните особености, характерни за всяка. Ако все пак нямате възможност да пишете статии за различните страни, от скоро гугъл предлага да „каноникализирате“ един от езиците с помощта на атрибутите rel=“alternate“ ngentmemekentlang=“x“ (support/webmasters/bin/answer.py?answer=189077). В този случай Гугъл препоръчват съвместно ползване с rel=“canonical“ или redirect 301.

7. Един рядко срещан проблем с дублираното съдържание е линкване към страници от сайта, които не съществуват. Как става това?
- Някой слага линк, но пише адреса по памет и го греши;
- Агрегатори, които съкращават URL адресите;
- Други причини;

Решението е просто. В .htaccess файла в самото начало пишете:

ErrorDocument 404

или

ErrorDocument 404 404.php

В първия случай ще пренасочите всички грешни адреси към началната страница на сайта си, а във втория – към специално създадена страница, в която пишете, че потребителят е попаднал на грешното място и му предлагате да отиде на друго в сайта.

N.B.Никога не ползвайте варианта по-долу:

ErrorDocument 404 /nqkakva_stranica.php

Чрез този вариант сами ще си създадете дублирано съдържание, тъй като винаги на мястото на сгрешен адрес ще се показва nqkakva_stranica.php. Ако имате повече сгрешени линкове, ще имате съответно повече еднакви страници с различни URL т.е. ще си създадете дублирано съдържание.

rGet Rich Bang Bitch Child Custody Attorney Singlewomenadultservice Video Bg News Ylt A9FJu5veMoRM0QgAGQ1DZcIF SIG 11nrjpj4f **http%3A Custom Yahoo Disneytravel Abd%3Fywa Abd Single Women Adult Service Software Developer - Dimitar Danailovy r r Single Women Adult Service x Strip Single Women Adult Service hGet Rich Bang Bitch Child Custody Attorney Singlewomenadultservice Video Bg News Ylt A9FJu5veMoRM0QgAGQ1DZcIF SIG 11nrjpj4f **http%3A Custom Yahoo Disneytravel Abd%3Fywa Abd Single Women Adult Service Software Developer - Dimitar Danailovq l t t Single Women Adult Service Single Women Adult Service Adult