Hvernig á að fjarlægja síðuna eða brot þess frá Google vísitölu

Samkvæmt flokkun hugtak samþykkt af Google, grein fyrir heilleika, hlutlægni þeirra upplýsinga og samræmi hennar við leitarfyrirspurn í útgáfu á niðurstöðum. Ef vísitalan fellur vefsíðu með ólöglegu efni eða auðlind fyrir ruslpósti, síður þessarar vefsíðu mun ekki vera merkt í sameiginlegan gagnagrunn leitarvél. Fyrir okkur það er mikilvægt að læra hvernig á að fjarlægja síðuna frá útgáfu á niðurstöðum leit miðlara.

Afbrigði af núll flokkun Google

Þegar leit vélmenni - forrit til að safna upplýsingum um ný úrræði - mun skanna síðuna síðu með síðu, þá þegar undir kröfum Google stefnu um þáttun, það verður verðtryggð. En við sýna þér einnig hvernig á að fjarlægja síðuna þína eða brot fyrir leitarvélar í robots.txt - vísitölu og leita á sama tíma stöðva.

Að útiloka frá útgáfu auðlindarinnar í heild, í rót mappa af þjóninum sem síða er staðsett, skapar ákveðna texta svæði - sagði robots.txt. Þetta svæði er meðhöndluð með leitarvélum og starfa í samræmi við leiðbeiningar lesa.

Hafðu í huga að Google leitarvél Vísitölur á síðunni, jafnvel ef notandi hefur aðgang að sjá bönnuð. Þegar vafrinn bregst við 401 eða 403 "Access er ógilt", gildir það aðeins til gesta, frekar en forrit sem safna fyrir þessari leitarvél.

Til að skilja hvernig á að fjarlægja síðuna frá leitarvél flokkun, texta bendillinn þarf að slá inn eftirfarandi línur:

User-agent: Googlebot

Banna: /

Þetta bendir til þess vefskriðillinn að kemba bann við allt efni á staðnum. Hér er hvernig á að fjarlægja síðuna Google, þannig að sá síðarnefndi ekki skyndiminni skrána á lista yfir uppgötva.

Útfærslur á skönnun fyrir mismunandi samskiptareglum

Ef þú þarft að skrá einstaka fjarskipti staðla, sem þú vilt nota sérstakar reglur um flokkun á Google, til dæmis, sérstaklega fyrir HyperText samskiptareglur http / https, það er einnig nauðsynlegt að skrá sig í robots.txt á eftirfarandi hátt (dæmi).

(Http://yourserver.com/robots.txt) - a lén á síðuna þína (allir)

User-agent: * - allir leitarvél

Leyfa: / - leyfa fulla verðtryggingar

Hvernig á að fjarlægja síðuna frá útgáfu alveg til https siðareglur

(Https://yourserver.com/robots.txt):

User-agent: *

Banna: / heill bann á flokkun

Hraða flutningur URL úrræði netföng frá Google SERPs

Ef þú vilt ekki bíða aftur verðtryggingu og staður sem þú vilt að fela eins, ég mæli með að nota þjónustu http://services.google.com/urlconsole/controller fljótt og auðið er. Pre robots.txt að vera sett í rót skrá af the staður miðlara. Það ætti að ávísa viðeigandi leiðbeiningar.

Ef bendillinn einhverjum ástæðum er ekki hægt að breyta í the rót skrá, búa hana nóg í möppunni með markmið sem þú vilt að fela frá leitarvélum. Þegar þú gerir þetta og vísa til þjónustu á sjálfvirkan hátt fjarlægja stiklutextaskjöl heimilisföng, Google mun ekki skanna möppurnar sem skrifuð út galla í robots.txt.

Tímabilið þessa ósýnileika er sett í 3 mánuði. Eftir þennan tíma, skrá dregið úr útgáfu, mun aftur verða afgreiddar með Google miðlara.

H OW til að fjarlægja a staður til að skanna hluta til

Þegar leit láni er að lesa innihald robots.txt er að ákveðnar ákvarðanir teknar á grundvelli efni hennar. Við skulum segja að þú viljir að útiloka frá því að sýna alla möppu sem heitir Anatom. Það er nóg að mæla slíkar reglur:

User-agent: Googlebot

Banna: / Anatom

Eða, til dæmis, þú vilt ekki vísitölu allar myndir tegundir GIF. Til að gera þetta, bæta við eftirfarandi lista:

User-agent: Googlebot

Banna: /*.gif$

Hér er annað dæmi. Lát þá eytt úr þáttun upplýsingar um breytilega mynda síður, en bæta við vísitölu færslu tegund:

User-agent: Googlebot

Banna: / *?

Það er um, og galdrar fram reglur um leitarvélar. Annar hlutur er að það er miklu þægilegra að nota bara þetta tengi. Og vefstjóra nota oft bara svo staðal stillandi rekstur leitarvélum. En við munum ræða þetta í framtíðinni greinar.