Mga Spider & Web Crawlers: Unsa ang Kinahanglan Nimong Makahibalo sa Pagpanalipod sa Data sa Website
Ang mga spider, nga gitawag usab nga 'web crawlers' nangita sa Web ug dili tanan ang mahigalaon sa ilang katuyoan.
Spammers Spider Websites nga Pagkolekta og Impormasyon
Google, Yahoo!
ug ubang mga search engine dili lamang ang mga interesado sa pag-crawl sa mga website - mao usab ang mga scammer ug mga spammers.
Ang mga spider ug uban pang mga automated nga mga himan gigamit sa mga spammers sa pagpangita sa mga email addresses (sa internet kini nga praktis sa kasagaran gitawag nga 'pag-ani') sa mga website ug unya gigamit kini sa paghimo sa mga lista sa spam.
Ang mga spider usa usab ka himan nga gigamit sa mga search engine aron mahibal-an ang dugang nga kasayuran mahitungod sa imong website apan gibiyaan, ang usa ka website nga walay mga instruksyon (o, 'permissions') kon unsaon sa pag-crawl sa imong site makahatag sa mga risgo sa mga risgo sa seguridad sa impormasyon. Ang mga spider mobiyahe pinaagi sa pagsunod sa mga link, ug sila mga hanas sa pagpangita og mga link sa mga database, mga file sa programa, ug uban pang impormasyon nga dili nimo gusto nga makuha sila.
Ang mga Webmasters makatan-aw sa mga troso aron makita kung unsa ang mga spider ug uban nga mga robot nga mibisita sa ilang mga site. Kini nga impormasyon nagtabang sa mga webmaster nga mahibal-an kinsa ang pag-indeks sa ilang site, ug kung unsa ka sagad.
Kini nga impormasyon mapuslanon tungod kay kini nagtugot sa mga webmaster sa pag-ayo sa ilang SEO ug pag-update sa mga file sa robots.txt aron sa pagdili sa pipila ka mga robot sa pag-crawl sa ilang site sa umaabot.
Mga Tip sa Pagpanalipod sa Imong Websayt Gikan sa Dili Gustong Robot Crawler
Adunay usa ka simple nga paagi sa pagtago sa mga dili gusto nga mga crawler gikan sa imong website. Bisan kon wala ka mabalaka mahitungod sa malisyoso nga mga lawalawa nga nagakamang sa imong site (ang pagpugong sa email address dili makapanalipod kanimo gikan sa kadaghanan nga mga crawler), kinahanglan mo pa nga hatagan og mga search engine nga adunay importante nga mga panudlo.
Ang tanan nga mga website kinahanglan adunay usa ka file nga nahimutang sa direktoryo sa gamay nga gitawag nga robots.txt file. Kini nga file nagtugot kanimo sa pagtudlo sa mga web crawler diin imong gusto nga sila motan-aw sa pag-indeks sa mga panid (gawas kon ipahayag sa meta data sa usa ka piho nga panid nga dili ma-index) kon kini usa ka search engine.
Sama sa imong pagsulti sa gusto nga mga crawler kung asa nimo gusto nga mag-browse, mahimo usab nimo sultihan sila kung asa sila dili moadto ug bisan pa sa pagbabag sa piho nga mga crawler gikan sa imong tibuok nga website.
Importante nga hinumdoman nga ang usa ka maayo nga gibutang nga robots.txt file adunay dako nga bili alang sa mga search engine ug mahimo pa nga usa ka mahinungdanon nga elemento sa pagpauswag sa performance sa imong website, apan ang ubang mga robot nga crawler dili gihapon mosalikway sa imong mga instruksyon. Tungod niini nga hinungdan, mahinungdanon ang pagpabilin sa tanan nga imong software, plugins, ug apps sa tanang panahon.
Kaugalingon nga mga Artikulo ug Impormasyon
Tungod sa pagkaylap sa pag-ani sa impormasyon nga gigamit sa mga katuyoan sa kasaypanan (spam), ang balaod gipasa niadtong tuig 2003 aron sa paghimo sa mga buhat nga ilegal. Kining mga balaod sa pagpanalipod sa consumer nahulog ubos sa CAN-SPAM Act of 2003.
Importante nga mogahin ka ug oras sa pagbasa sa CAN-SPAM Act kon ang imong negosyo nag-apil sa bisan unsang mass mailing o impormasyon nga pag-ani.
Makita nimo ang dugang mahitungod sa anti-spam nga mga balaod ug unsaon sa pag-atubang sa mga spammers, ug unsa ang dili mahimo sa imong tag-iya sa negosyo, pinaagi sa pagbasa sa mosunod nga mga artikulo:
- CAN-SPAM Act 2003
- CAN-SPAM Act Rules alang sa Nonprofits
- 5 Ang mga lagda sa CAN-SPAM Kinahanglang Masabtan