SEO Fiyat Hesaplama SEO ROI
Hazır Sistemler İçin En İyi Robots.txt Dosyaları

Hazır Sistemler İçin En İyi Robots.txt Dosyaları

Derlediğim robots.txt dosyaları hazır sistemler içindir ve emin  olabilirsiniz ki alanında en iyi robots.txt dosyalarıdır.

WordPress için Robots.txt

SEO Hocası Blog her hafta e-postanızda. Ücretsiz abone olmak için tıklayın.

Sitemap: https://www.seohocasi.com/sitemap.xml

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

 

User-agent: duggmirror
Disallow: /

<hr /><strong>MyBB için Robots.txt</strong>
<code>
Sitemap: http://seohocasi.com/sitemap adresiniz</code>

User-Agent: *
Disallow: /MyBB/captcha.php
Disallow: /MyBB/editpost.php
Disallow: /MyBB/misc.php
Disallow: /MyBB/modcp.php
Disallow: /MyBB/moderation.php
Disallow: /MyBB/newreply.php
Disallow: /MyBB/newthread.php
Disallow: /MyBB/online.php
Disallow: /MyBB/printthread.php
Disallow: /MyBB/private.php
Disallow: /MyBB/ratethread.php
Disallow: /MyBB/report.php
Disallow: /MyBB/reputation.php
Disallow: /MyBB/sendthread.php
Disallow: /MyBB/task.php
Disallow: /MyBB/usercp.php
Disallow: /MyBB/usercp2.php
Disallow: /MyBB/calendar.php
Disallow: /MyBB/*action=emailuser*
Disallow: /MyBB/*action=nextnewest*
Disallow: /MyBB/*action=nextoldest*
Disallow: /MyBB/*year=*
Disallow: /MyBB/*action=weekview*
Disallow: /MyBB/*action=nextnewest*
Disallow: /MyBB/*action=nextoldest*
Disallow: /MyBB/*sort=*
Disallow: /MyBB/*order=*
Disallow: /MyBB/*mode=*
Disallow: /MyBB/*datecut=*
Allow: /

<hr /><strong>vBulletin için Robots.txt</strong>
<code>
User-agent: *
Disallow: /?ref=</code>

User-agent: HTTrack
Disallow: /

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control – 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control – 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Xenu’s Link Sleuth 1.1c
Disallow: /

User-agent: Xenu’s
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait &amp; Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /

 

<hr /><strong>vBulletin için 2. Robots.txt</strong>
<code>
User-agent: *
Disallow: /admincp/
Disallow: /chat/
Disallow: /tags
Disallow: /archive
Disallow: /ajax.php
Disallow: /forum
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /images/
Disallow: /flash/
Disallow: /includes/
Disallow: /install/
Disallow: /modcp/
Disallow: /subscriptions/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /external.php
Disallow: /faq.php
Disallow: /frm_attach
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /threadrate.php
Disallow: /usernote.php
Disallow: /showthread.php
Disallow: /vbSEO.php
Disallow: /vbSEOcp.php
Disallow: /vbSEOcpform.php
</code>

<hr /><strong>SMF için Robots.txt</strong>
<code>
User-agent: *
Disallow: /admin/
Disallow: /adsystem/
</code>

<hr /><strong>SMF için 2. Robots.txt</strong>

User-agent: Slurp
Crawl-delay: 8

User-agent: msnbot
Crawl-delay: 5

User-agent: nutch
Crawl-delay: 5

User-agent: yeti
Crawl-delay: 8

User-agent: Yeti/1.0
Crawl-delay: 8

User-agent: naverbot
Crawl-delay: 8

User-agent: googlebot
Crawl-delay: 5

User-agent: dotbot
Crawl-delay: 5

User-agent: twiceler
Crawl-delay: 8

User-agent: yandex
Crawl-delay: 5

User-agent: Teoma
Crawl-delay: 5

User-agent: BoardReader
Crawl-delay: 8

User-agent: Exabot
Crawl-delay: 10

<hr /><strong>PhpBB için Robots.txt</strong>
<code>
User-agent: *
Disallow: /forums/admin/
Disallow: /forums/images/
Disallow: /forums/includes/
Disallow: /forums/language/
Disallow: /forums/templates/
Disallow: /forums/common.php
Disallow: /forums/config.php
Disallow: /forums/groupcp.php
Disallow: /forums/memberlist.php
Disallow: /forums/modcp.php
Disallow: /forums/posting.php
Disallow: /forums/profile.php
Disallow: /forums/privmsg.php
Disallow: /forums/viewonline.php
Disallow: /forums/search.php
Disallow: /forums/faq.php
</code>

 

Bir önceki yazımız olan H Tagları Nedir? Ne İşe Yarar? başlıklı makalemizde h nedir, h tagı ve h tagları hakkında bilgiler verilmektedir.

Hazır Sistemler İçin En İyi Robots.txt Dosyaları için Yorumlar

  • Taner Yurttaş
    Taner Yurttaş 24 Ağustos 2017, 10:01

    Word Press için bendeki dosya şu şekil (Yabancı bir kaynaktan almıştım):

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /trackback/
    Disallow: /index.php
    Disallow: /wp-includes/
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.css$
    Disallow: */trackback/
    Allow: /wp-admin/admin-ajax.php

    Sitemap: http://www.(siteadı).com/sitemap.xml

  • tahsin
    Tahsin 27 Haziran 2017, 18:09

    merhabalar özel yapılmış bir site için hangisi kullanılmalı acaba

  • ozcan
    Ozcan 30 Mayıs 2017, 17:25

    Bu kodları ekleyince mobil uyum testinden geçmiyor

  • Atakan
    Atakan 30 Aralık 2016, 19:35

    arkadaş wordpress nerden başlıyor nerde bitiyor, o altındaki başka bir robots mu başı sonu belli değil ki…

  • Nazlı Özüm Dökülmez
    Nazlı özüm Dökülmez 31 Ocak 2015, 01:58

    Merhabalar

    Normal bir site için farklı bir script kullanılan için nasıl bir robots.txt lazım yapabilirmisiniz acaba tüm hepsinin olduğu

  • Yeter Egin
    Yeter Egin 1 Aralık 2013, 23:54

    wordpress ‘De bu robots.txt kullandıgımızda aşağıdaki kodlar sitemap.xml ile çakışmaz mı

    Disallow: /page/
    Disallow: /tag/
    Disallow: /category/

  • Öget Yükselen
    öget Yükselen 24 Nisan 2013, 21:25

    wordpress için, ” /feed ” engeli tartışılır. codex’ten alıntı bir sitemap olmuş gerçi fakat feed’in engelleniyor olması yine de garip.
    Zira rss feedleri google için doğal sitemaplerdir ve google feedlere intiba eder. Bir kez daha düşünmek lazım feed’i engellerken.

  • Yasin Burak Eruzun
    Yasin Burak Eruzun 21 Aralık 2012, 13:00

    bu feed klasörü var o ne işe yarıyor engellenmiş ben p kodu yazdım bir ara tarama hatası aldım o yüzden soruyorum

  • Zehranaz Madran
    Zehranaz Madran 24 Nisan 2012, 20:33

    Hocam Elınıze Sağlıkta Bu Robotu Wordpresın Neresıne Yada Temanın Hangı Kısmına Kopı Etmemiz Gerekıyo Yardım Çı Olursanız Sevınırım Tşkler

  • Berna Karacan
    Berna Karacan 22 Ocak 2012, 03:01

    wordpress için en kaliteli olan mı hocam bu yazdıklarınızdan. Blgiler için tşkler

  • Mehmet Ziya Solak
    Mehmet Ziya Solak 4 Şubat 2011, 21:42

    hocam iyi güzelde sizin robots.txt’nizde bu yazılanların hiç birisi yok neden ? çelişki yaratıyorda.

    • Kaan Gülten
      Kaan Gülten 5 Şubat 2011, 01:23

      @hakkı, bu yazıyı bir yazarımız kendi gözlemleri doğrultusunda yazmıştır. Kullanılması konusunda zorunluluk yoktur.

  • Caner
    Caner 7 Ekim 2010, 19:55

    Genelde user-agent kısmını * yapmak iyidir. Tüm botlara açık olduğumuzu gösteririz. Ancak yönetici klasörü veya görülmesini istemediğimiz klasörleri disallow etmeliyiz. Hem güvenlik açısından iyi hem de indexlenmez.

  • Berna Sevigen
    Berna Sevigen 15 Eylül 2010, 09:16

    Birader asıl sen komiksin SEOhocasi na hep site sahipleri webmasterlar giriyor aralarından mutlaka bu makaleleri çalmak isteyenler olacaktır SEOhocasi o engeli koymasa belki çöp site yerine konurdu belki diyorum çünkü bu indexlenme hızınada bağlı ilk indexleyenindir makale.Sen o yorumu attıktan sora kaldırmışlar deseydin kopyalayamıyoruz bu sayfadan kaldırın saçili hale getirme engelleme eklentisini daha iyi olurdu bu arada o eklentiyi bende kullanıyorum sitemde

  • ozan
    Ozan 4 Eylül 2010, 14:00

    komiksiniz hocam bir makale yazıyorsunuz ama yazıları seçmeyi engelliyorsunuz ne işe yaradı?

  • Eyüp Orhun Karaçeşme
    Eyüp Orhun Karaçeşme 26 Temmuz 2010, 14:52

    Drupal için eksik onu da ben eklim.

    User-agent: *
    Crawl-delay: 10
    # Directories
    Disallow: /includes/
    Disallow: /misc/
    Disallow: /modules/
    Disallow: /profiles/
    Disallow: /scripts/
    Disallow: /sites/
    Disallow: /themes/
    # Files
    Disallow: /CHANGELOG.txt
    Disallow: /cron.php
    Disallow: /INSTALL.mysql.txt
    Disallow: /INSTALL.pgsql.txt
    Disallow: /install.php
    Disallow: /INSTALL.txt
    Disallow: /LICENSE.txt
    Disallow: /MAINTAINERS.txt
    Disallow: /update.php
    Disallow: /UPGRADE.txt
    Disallow: /xmlrpc.php
    Disallow: /boost_stats.php
    # Paths (clean URLs)
    Disallow: /admin/
    Disallow: /comment/reply/
    Disallow: /contact/
    Disallow: /logout/
    Disallow: /node/add/
    Disallow: /search/
    Disallow: /user/register/
    Disallow: /user/password/
    Disallow: /user/login/
    # Paths (no clean URLs)
    Disallow: /?q=admin/
    Disallow: /?q=comment/reply/
    Disallow: /?q=contact/
    Disallow: /?q=logout/
    Disallow: /?q=node/add/
    Disallow: /?q=search/
    Disallow: /?q=user/password/
    Disallow: /?q=user/register/
    Disallow: /?q=user/login/
    # Paths Fixed (clean URLs)
    Disallow: /admin
    Disallow: /comment/reply
    Disallow: /contact
    Disallow: /logout
    Disallow: /node/add
    Disallow: /search
    Disallow: /user/register
    Disallow: /user/password
    Disallow: /user/login
    # Paths Fixed (no clean URLs)
    Disallow: /?q=admin
    Disallow: /?q=comment/reply
    Disallow: /?q=contact
    Disallow: /?q=logout
    Disallow: /?q=node/add
    Disallow: /?q=search
    Disallow: /?q=user/password
    Disallow: /?q=user/register
    Disallow: /?q=user/login

  • serdar
    Serdar 19 Şubat 2010, 00:34

    hocam elıne koluna saglıkta ben wordpress robots.txt için yazdıkarını nasıl kopyalayacagım

Hazır Sistemler İçin En İyi Robots.txt Dosyaları için Cevap Yaz

X