Back to Question Center
0

Semalt: Si ta bllokoni Darodar Robots.txt

1 answers:

Skedari Robots.txt është një skedar teksti tipik i cili përmban udhëzime se si crawlers ose bots web duhet të zvarriten një vend. Aplikimi i tyre është i dukshëm në motorë kërkimi bots të cilat janë të zakonshme në shumë faqet e internetit optimizuar. Si pjesë e Protokollit të Përjashtimit të Robotëve (REP), skedari robots.txt formon një aspekt thelbësor të indeksimit të përmbajtjes së uebfaqes si dhe mundësimi i një serveri që të vërtetojë kërkesat e përdoruesit në përputhje me rrethanat.

Julia Vashneva, Menaxheri i suksesshëm i suksesit të konsumatorëve, Semalt , shpjegon se lidhja është një aspekt i Search Engine Optimization (SEO), që përfshin fitimin e trafikut nga fusha të tjera brenda kamarisë tuaj. Për "ndjekin" lidhjet për të transferuar lëngun e lidhjes, është e domosdoshme të përfshijë një skedar robots.txt në hapësirën tuaj të uebfaqes për të vepruar si instruktor se si serveri bashkëvepron me faqen tuaj. Nga ky arkiv, udhëzimet janë të pranishme duke lejuar apo ndaluar mënyrën se si sillen disa agjentë të caktuar të përdoruesve.

Formati themelor i një skedari robots.txt

Një skedar robots.txt përmban dy linja thelbësore:

User-agent: [user-agent name]

Ndalo: [URL string që nuk duhet të indeksohet]

Një skedar robots.txt duhet të përmbajë këto dy linja. Megjithatë, disa prej tyre mund të përmbajnë linja të shumëfishta të përdoruesve dhe direktivave. Këto komanda mund të përmbajnë aspekte të tilla si lejon, ndalon ose zvarritje vonesat. Zakonisht ekziston një ndërprerje e linjës e cila ndan secilën set mësimdhënieje. Secili nga instruksionet e lejon ose ndalon ndahet me këtë ndërprerje të linjës, veçanërisht për robots.txt me linja të shumëfishta.

Shembuj

Për shembull, një skedar robots.txt mund të përmbajë kodet si:

Përdoruesi: darodar

Ndalo: / plugin

Ndalo: / API

Disallow: / _komponentet

Në këtë rast, kjo është një skedë robots.txt bllokimi që kufizon Darodar web crawler nga qasja në faqen tuaj te internetit. Në sintaksën e mësipërme, kodi bllokon aspektet e faqes së internetit të tilla si shtojcat, API dhe seksioni i komenteve. Nga kjo njohuri, është e mundur të arrihen përfitime të shumta nga ekzekutimi i skedarit të tekstit të robotit në mënyrë efektive. Robots..Fotografi txt mund të jenë në gjendje të kryejnë funksione të shumta. Për shembull, ata mund të jenë të gatshëm për:

1. Lejo të gjithë përmbajtjet e crawlerëve të ueb në një faqe interneti. Për shembull;

Përdoruesi: *

Disallow:

Në këtë rast, të gjitha përmbajtjet e përdoruesit mund të arrihen nga çdo serveri i uebit që kërkohet për të hyrë në një faqe interneti.

2. Blloko një përmbajtje të veçantë në internet nga një dosje specifike. Për shembull;

Përdoruesi: Googlebot

Ndalo: / shembull-subfolder /

Kjo sintaksë që përmban emrin e përdoruesit-agjent Googlebot i takon Google. Ai kufizon botin nga qasja në ndonjë faqe në internet në vargun www.ourexample.com/example-subfolder/.

3. Blloko një servil të veçantë web nga një faqe web specifike. Për shembull;

User-agent: Bingbot

Ndalo: /example-subfolder/blocked-page.html

Bing-botuesi i përdoruesit-agjent i përket brezave të uebit të Bing-it. Ky lloj skedari robots.txt kufizon servilizuesin e Bing-it nga qasja në një faqe specifike me vargun www.ourexample.com/example-subfolder/blocked-page.

Informacione të rëndësishme

  • Jo çdo përdorues përdor skedarin tuaj robts.txt. Disa përdorues mund të vendosin ta injorojnë atë. Shumica e këtyre crawlers përfshijnë Trojans dhe malware.
  • Për një skedar Robots.txt të jetë i dukshëm, ai duhet të jetë i disponueshëm në direktorinë e nivelit më të lartë të internetit.
  • Karakteret "robots.txt" janë të ndjeshme ndaj rasti. Si rezultat, ju nuk duhet t'i ndryshoni ato në asnjë mënyrë duke përfshirë edhe kapitalizimin e disa aspekteve.
  • "/robots.txt" është domen publik. Çdokush mund të jetë në gjendje të gjejë këtë informacion kur duke e shtuar atë në përmbajtjen e ndonjë URL. Ju nuk duhet të indeksoni detajet esenciale ose faqet që dëshironi t'i mbeteni private.
November 29, 2017
Semalt: Si ta bllokoni Darodar Robots.txt
Reply