Otsingumootorid on varustatud robotitega, mida nimetatakse ka ämblikeks või robotiteks, mis indekseerivad ja indekseerivad veebilehti. Kui teie sait või leht on väljatöötamisel või sisaldab tundlikku sisu, võiksite blokeerida robotite saidi indekseerimise ja indekseerimise. Siit saate teada, kuidas blokeerida veebisaite, lehti ja linke robots.txt -failidega ning blokeerida teatud lehed ja lingid html -siltidega. Lugege edasi, et teada saada, kuidas blokeerida teatud robotite juurdepääs teie sisule.
Sammud
Meetod 1 /2: otsingumootorite blokeerimine failidega robots.txt
Samm 1. Saate aru failidest robots.txt
Fail robots.txt on tavaline või ASCII tekstifail, mis teavitab otsingumootori ämblikke sellest, mis neil teie saidil lubatud on. Otsingumootori ämblikud ei tohi robots.txt -failis loetletud faile ja kaustu indekseerida. Teil võib vaja minna faili robots.txt, kui:
- Soovite blokeerida konkreetse sisu otsingumootori ämblikelt.
- Arendate reaalajas saiti ega ole valmis otsingumootori ämblike saidi indekseerimiseks ja indekseerimiseks
- Soovite piirata juurdepääsu usaldusväärsetele robotitele.
Samm 2. Looge ja salvestage fail robots.txt
Faili loomiseks käivitage lihttekstiredaktor või koodiredaktor. Salvestage fail nimega: robots.txt. Faili nimi peab olema väike.
- Ärge unustage tähti.
- Faili salvestamisel valige laiend “.txt” '. Kui kasutate Wordi, valige suvand „Tavaline tekst”.
Samm 3. Kirjutage täielikult keelatud fail robots.txt
Võimalik on blokeerida iga hea mainega otsingumootori ämblik teie saidil indekseerimast ja indekseerimast failiga robots.txt. Kirjutage oma tekstifaili järgmised read:
User-agent: * Keela: /
Samm 4. Kirjutage fail robots.txt tingimuslikult lubama
Kõigi robotite blokeerimise asemel kaaluge teatud ämblike blokeerimist saidi teatud piirkondadest. Tavalised tingimusliku lubamise käsud on järgmised:
- Blokeerige konkreetne robot: asendage selle kõrval olevad tärnid Kasutaja agent koos googlebot, googlebot-uudised, googleboti pilt, bingbotvõi teoma.
-
Kataloogi ja selle sisu blokeerimine:
User-agent: * Keela: /sample-directory /
-
Veebilehe blokeerimine:
User-agent: * Keela: /private_file.html
-
Blokeeri pilt:
User-agent: googlebot-image Keela: /images_mypicture.jpg
-
Blokeeri kõik pildid:
User-agent: googlebot-image Keela: /
-
Blokeerige konkreetne failivorming:
Kasutajaagent: * Keela: /p*.gif$
Samm 5. Julgustage roboteid oma saiti indekseerima ja roomama
Paljud inimesed soovivad blokeerimise asemel tervitada otsingumootori ämblikke, sest nad soovivad kogu saidi indekseerimist. Selle saavutamiseks on teil kolm võimalust. Esiteks võite loobuda faili robots.txt loomisest-kui robot ei leia faili robots.txt, jätkab ta kogu saidi indekseerimist ja indekseerimist. Teiseks saate luua tühja robots.txt faili-robot leiab faili robots.txt, tunneb ära, et see on tühi, ning jätkab saidi indekseerimist ja indekseerimist. Lõpuks võite kirjutada täielikult lubatud robots.txt-faili. Kasutage koodi:
User-agent: * Keela:
Samm 6. Salvestage txt -fail oma domeeni juure
Pärast faili robots.txt kirjutamist salvestage muudatused. Laadige fail üles oma saidi juurkataloogi. Näiteks kui teie domeen on www.yourdomain.com, asetage fail robots.txt aadressile www.yourdomain.com/robots.txt.
Meetod 2/2: otsingumootorite blokeerimine metasiltidega
Samm 1. Mõista HTML -robotite metasilte
Robotide metasilt võimaldab programmeerijatel määrata robotite või otsingumootori ämblike parameetreid. Neid silte kasutatakse selleks, et blokeerida robotite indekseerimine ja kogu saidi või ainult saidi osade indekseerimine. Neid märgendeid saate kasutada ka selleks, et blokeerida teatud otsingumootori ämblik teie sisu indekseerimast. Need sildid kuvatakse teie HTML -faili peas.
Seda meetodit kasutavad tavaliselt programmeerijad, kellel pole juurdepääsu veebisaidi juurkataloogile
Samm 2. Blokeerige robotid ühelt lehelt
Võimalik on blokeerida kõik robotid lehe indekseerimisest ja lehe linkide järgimisest. Seda märgendit kasutatakse tavaliselt siis, kui reaalajas sait on väljatöötamisel. Kui sait on valmis, on tungivalt soovitatav see silt eemaldada. Kui te märgendit ei eemalda, ei indekseerita teie lehte ega otsita otsingumootorite kaudu.
- Saate blokeerida robotite lehe indekseerimise ja mis tahes linkide järgimise.
- Saate blokeerida kõik robotid lehe indekseerimise:
- Saate blokeerida kõik robotid lehe linkide järgimise:
Samm 3. Luba robotitel lehte indekseerida, kuid ärge järgige selle linke
Kui lubate robotitel lehte indekseerida, hakatakse lehte indekseerima; kui takistate ämblikel linkide järgimist, katkeb selle konkreetse lehe linkide tee teistele lehtedele. Sisestage päisesse järgmine koodirida:
Samm 4. Laske otsingumootori ämblikel järgida linke, kuid mitte lehte indekseerida
Kui lubate robotitel järgida linke, jääb selle konkreetse lehe linkide tee teistele lehtedele taktitundeks; kui piirate neil lehe indekseerimist, ei kuvata teie veebilehte indeksis. Sisestage päisesse järgmine koodirida:
Samm 5. Blokeerige üks väljuv link
Lehel ühe lingi peitmiseks manustage a rel märgend lingimärgendis. Võib -olla soovite seda märgendit kasutada linkide blokeerimiseks teistel lehtedel, mis viivad konkreetsele lehele, mille soovite blokeerida.
Sisestage link blokeeritud lehele
Samm 6. Blokeerige konkreetne otsingumootori ämblik
Selle asemel, et blokeerida oma veebilehel kõik robotid, võiksite takistada ühel robotil lehe indekseerimist ja indekseerimist. Selle saavutamiseks asendage metasildis olev „robot” konkreetse roboti nimega. Näiteks: googlebot, googlebot-uudised, googleboti pilt, bingbotja teoma.
Samm 7. Julgustage roboteid oma lehte indekseerima ja indekseerima
Kui soovite tagada, et teie leht indekseeritakse ja selle linke järgitakse, saate sisestada jälgimisloa meta "robot" märkige oma päisesse. Kasutage järgmist koodi:
