www.romver.ru / Полный список статей / Как найти и обезвредить фейкового гуглбота

V pro6lom mesace agentstvo Incapusla Security predstavilo ot4et o sostoanii guglbotov i ix vredonosnix bliznecov. I nado skazat', dla tex, 4ey biznes zavisit ot statistiki sayta, novosti ne o4en' xoro6ie.

Iz 24 pose6eniy sayta guglbotami odno obazatel'no sover6aet feyk. Pri etom bolee 34% feykovix guglbotov ispol'zuutsa dla DDoS-atak, vzlomov, spama i drugix vredonosnix deystviy.

Metodologia

Eksperti Incapusla proanalizirovali:

«... bolee 400 mln pose6eniy robotami poiskovix sistem 10 tisa4 saytov, v rezul'tate kotorix bilo proindeksirovano 2,19 mlrd stranic v te4enie 30 dney.

Informacia o guglbotax-samozvancax (feykovix guglbotax) polu4ena vsledstvie proverki bolee 50 mln pose6eniy guglbotov-samozvancev, a takje iz ot4eta DDoS Threat Landscape, opublikovannogo ranee v etom godu».

Vivodi Incapusla

Kogda Incapusla obratili vnimanie na standartnogo guglbota, to zametili nekotorie interesnie momenti.

Dla na4ala sleduet otmetit', 4to guglboti skaniruut bol'6e stranic, 4em roboti vsex drugix poiskovix sistem vmeste vzatie, — 60,5%.

To, 4to Incapusla obnarujili pri analize etix pose6eniy, takje bilo nemnogo neojidanno:

• Yahoo vibil iz top 5 poiskovix robotov.
• Majestic 12 Bot, ili bot WebCrawler Majestic SEO, zanal 4etvertoe mesto.
• Google ne okazivaet nikomu pokrovitel'stva.
• Net prakti4eski nikakoy raznici mejdu razmerom plo6adki i:
• 4astotoy indeksacii,
• Pokazatelem indeksacii,
• Glubinoy indeksacii,
• SEO-produktivnost'u.

Izvestno, 4to Google — krupney6iy generator pose6eniy botov i 4to eti pose6enia iniciiruutsa 4em-to inim, nejeli aktivnost'u sayta ili SEO, i 4to on prislu6ivaetsa k mneniu pol'zovateley.

V celom, dovol'no neploxo. No bespokoystvo vizivaet ne Google, a ego «zlie» blizneci, s kotorimi sleduet bit' ostorojnee (ix o4en' mnogo — i nekotorie ix nix otli4no sdelani).

Uzer-agenti

4tobi uznat', kakie boti pose6aut na6 sayt neobxodimo posmotret' svedenia o nix v log faylax . Kogda mi vidim sootvetstvuu6iy uzer-agentagent pol'zovatela, mi znaem, iz kakoy poiskovoy sistemi, s kakogo komp'utera ili brauzera proizo6lo pose6enie. Naprimer, uzer-agent mojet vigladet' sleduu6im obrazom:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:30.0) Gecko/20100101 Firefox/30.0

Eta informacia govorit, 4to kto-to ispol'zuet Mozilla/Firefox 30 na MacIntoch s operacionnoy sistemoy Mavericks. Ona takje mojet rasskazat' o paukax, programmax i botax, to est' o tex, kto «begaet» po na6im saytam.

Imitacia Google — jizn' bota

V xode issledovania Incapusla obnarujili, 4to «bolee 4% botov, predstavlau6ixsa guglbotom, na samom dele im ne avlautsa». I zdes' pobeditelem stanovitsa Brazilia s doley feykovix guglbotov po4ti 14%.

Ploxie boti

Za4em komu-to sozdavat' feykovix guglbotov?

Eto 4to-to vrode togo, kak imet' poddel'nie dokumenti v 18 let. Inogda vi prosto xotite potusovat'sa, no 4a6e oni nujni vam, potomu 4to vi delaete 4to-to takoe, o 4em lu46e ne znat' va6ey mame.

Ne vse boti ploxie

Primite vo vnimanie, 4to ne vse boti ploxie i sozdani so zlim umislom. Inogda feykovix guglbotov ispol'zuut tol'ko dla togo, 4to posmotret' na va6 sayt glazami Google.

Poetomu prejde 4em blokirovat' bota, obratite vnimanie na ego povedenie. Mojet, on vsego li6' prosmatrivaet sayt? Zaxodit li on snova i snova, imeut li ego pereme6enia slu4ayniy xarakter?

I tol'ko posle togo kak vi opredelite, 4to eto ploxoy bot, mojno zakrit' emu dostup. Bud'te ostorojni, tak kak vi mojete zablokirovat' dostup i dla robotov Google.

Kak uznat', 4to pose6enia feykovie?

Odnim iz klu4evix pokazateley, ukazivau6ix na to, 4to est' problemi s feykovimi guglbotami, avlaetsa strana proisxojdenia bota.

Na amerikanskie sayti 4a6e vsego zaxodat boti iz 6 stran, pokazannix na kartinke sprava. A vot boti, 4'a rodina ukazana na izobrajenii sleva, doljni zastavit' vladel'ca resursa nastorojit'sa. Odnako esli vi rabotaete so stranami iz spiska sleva, to net ni4ego strannogo v tom, 4to va6 sayt budut pose6at' ix guglboti.

Esli vi uvideli 4to-to podozritel'noe, to ne zabud'te prosmotret' logi servera i uzer-agenti i proverit', sover6autsa li na vas ataki. Esli eto tak, i u vas net dostupa k serveram, svajites' s kompaniey, kotoraa mojet zablokirovat' ix za vas.

Opredelit' ploxogo bota ne sli6kom trudno

Xoro6ey novost'u avlaetsa to, 4to identificirovat' ploxogo bota ne tak uj slojno. I kak tol'ko eto budet sdelano, vi mojete zablokirovat' ego i bol'6e ne puskat' na svoy sayt. No eto v tom slu4ae, esli u vas est' takie vozmojnosti, prava i dostupi. U bol'6instva vladel'cev saytov vsego etogo net, i im prixoditsa polagat'sa na svou xostingovuu kompaniu, poetomu o4en' vajno vibrat' nadejnogo i osvedomlennogo podrad4ika.

Esli u vas est' dostupi, vi mojete predprinat' neobxodimie meri, 4tobi ubedit'sa, 4to boti deystvitel'no osu6estvlaut kakuu-to destruktivnuu deatel'nost', a zatem zablokirovat' ix.

Kak opredelit' ploxogo bota?

Inogda viavit' ploxix botov mojet bit' dostato4no problemati4no: nekotorie iz nix o4en' slojno ustroeni, osobenno, te, kotorie imitiruut Google. Vot nekotorie 6agi, kotorie pomogut opredelit' feykovix botov.

Incapusla isxoda iz sobstvennogo opita sformulirovala 4 6aga dla viavlenia feykovix botov:

6ag 1. Posmotrite na dannie v zagolovke

Daje esli boti ispol'zovali uzer-agent Google, ostal'nie dannie zagolovka budut sovsem «ne kak u Google». Etogo dostato4no, 4tobi zabit' trevogu, no ne toropites' blokirovat' ego, potomu 4to zaregistrirovani slu4ai, kogda Google otklonaetsa ot obi4noy strukturi zagolovka.

6ag 2. Proverka IP i ASN

Dalee provedite proverku IP i ASN. Zdes' stoit obratit' vnimanie na neskol'ko momentov, v tom 4isle na li4nosti vladel'cev IP-adresov i ASN, kotorie proizvodat podozritel'niy trafik.

V slu4ae s feykovimi guglbotami ni IP, ni ASN ne budut svazani s Google. Takim obrazom, s pomo6'u parallel'noy proverki etoy informacii i somnitel'nix zagolovkov mojno s visokoy stepen'u uverennosti skazat', 4to mi imeem delo s potencial'no opasnimi dvoynikami.

6ag 3. Kontrol' deystviy

Tem ne menee «potencial'no opasniy» eto ne vsegda «zloy». Naprimer, nekotorie SEO-instrumenti pitautsa vidat' seba za guglbotov, 4tobi polu4it' «guglopodobnoe» videnie kontenta sayta i ssilo4nogo profila.

Imenno poetomu sleduu6iy punkt poiska — povedenie posetiteley. Ono pomojet nam ponat' ix namerenia, klu4 k kotorim 4asto lejit v samom zaprose, tak kak oni predstavleni v WAF (Web Application Firewall). V etom slu4ae samogo pokazatela pose6eniy dostato4no, 4tobi zaver6it' kartinu, srazu opredeliv DDoS-ataki i povisiv avtomatizirovannuu za6itu ot nix.

6ag 4. Reputacia IP i novaa nizkourovnevaa podpis'

Xota Incapusla regularno stalkivaetsa s guglbotami, variant podpisi, poaviv6iysa vo vrema posledney ataki, otrajennoy sistemoy, ne bil 4ast'u su6estvuu6ey bazi dannix. Posle smag4enia ataki sobrannie dannie ispol'zovalis', 4tobi sozdat' novuu zapis' nizkogo urovna, kotoraa zatem budet dobavlena k desatimillionnomu pulu zapisey i razvedena 4erez set', 4tobi za6itit' vsex klientov Incapusla.

V rezul'tate pri sleduu6em pose6enii etimi botami sayta oni budut nemedlenno zablokirovani. Bolee etogo, reputacia atakuu6ix IP takje budet zapisana i dobavlena v druguu bazu dannix, gde xranatsa potencial'no opasnie adresa.

Pro6e govora, vi doljni znat', 4to uzer-agenti mogut bit' feykami, IP-adresa mogut bit' poddelani, a zagolovki rekonstruirovani i t.d. I dla obespe4enia bezopasnosti, nujno raskrit' «istinnoe lico» i namerenia posetiteley.

Itogi

Sledite za svoim organi4eskim trafikom, osobenno za stranoy ego proisxojdenia. A kogda kto-to ili 4to-to pute6estvuet po va6emu saytu, uznayte, kakovi ego namerenia, i ne derjite v straxe «xoro6ix rebat».