robots.txt за WordPress. Борба със дублираните страници в WordPress

robots.txt

Здравей, драги читателю на моя блог! Преди да започнете да четете тази статия, ви препоръчвам да се запознаете със публикация „Първи стъпки в рекламата на сайт – блог. Реклама на сайт“. Е, да продължим нататък…

Какъв е въобще този robots.txt в WordPress и за какво е нужен? Robots това е обикновен текстов файл, който се пише в обикновен текстов редактор, като Notepad например, и се качва във главната директория на сайта. Този файл ви позволява да разрешите или да забраните индексирането от търсачките на определени директории/страници във вашия блог.

Например, вие не бихте искали търсачките да индексират страницата ви за администриране на блога. А и за какво е нужно това. Но най-главното преимущество на Robots е в това, че този текстов файл ви позволява да се борите със дубликатите на страници във вашия блог. Ако във всеки ваш пост добавяте тагове и не забранявате да бъдат индексирани, тогава всяка страница на вашия блог става достъпна от няколко адреса и по нататък всичкия този ненужен боклук попада във търсачките, замърсява класирането на вашия блог в търсачките и така страда неговото развитие. Но това може да бъде избегнато при правилна настройка на файла robots.txt за вашия блог.

По надолу има пример за правилен, проверен от времето файл robots за WordPress. Обърнете внимание, как правилно се пише името на този файл. То се пише само със малки букви и се пише именно така, както съм го написал по-горе със червен цвят. Отворете текстовия редактор Notepad, копирайте съдържанието по-долу и ПРОМЕНЕТЕ САМО URL адреса на вашия сайт със адреса на вашия сайт/блог. Запишете файла като robots и го качете във главната директория на вашия сайт/блог. Вашия файл robots.txt трябва да бъде достъпен на адрес: http://вашия блог/robots.txt

Съдържанието на файла robots.txt (Подходящ е само за WordPress блог!):

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?
Disallow: /*?*
Disallow: /tag

Sitemap: http://URL адреса на вашия сайт/sitemap_index.xml

Ако ви е харесала тази статия, споделете я в Twitter, Фейсбук или другите социални мрежи от иконките отдолу. Ако имате въпроси – задавайте ги в коментарите, непременно ще ви отговоря.

С уважение, Николай Томов.

Хареса ли ви статията? Споделете с приятелите:

Вашият коментар

Вашият имейл адрес няма да бъде публикуван. Задължителните полета са отбелязани с *