互联网上,人类只是少数派,爬虫毁灭世界
你以为互联网上到处都是人?事实上人类只是少数派。
互联网调查公司Incapsula公布了一个组数据,上面显示,在互联网上制造最多流量的不是人类,而是互联网爬虫。根据它们2013年的统计,互联网爬虫占据了61.5%的流量,而人类只有38.5%。互联网可不单属于人类!据悉,该调查以90天为一个周期,共观察了2万个网站,总计机器人访问14.5亿次。
互联网爬虫是一种程序,一种按照一定的规则,自动的抓取互联网信息的程序或者脚本。它为程序编写者服务,例如搜索引擎Goolge、百度都有自己的搜索引擎爬虫,这些爬虫不断的在各个网站上进进出出,才能够把网站内容第一时间收录到搜索引擎内。
据悉,谷歌最初的名字叫BackRub,在其早期的主页上曾写过:“BackRub是一个‘网络爬虫’,可以用它在网络中穿梭。”
以下是统计详情:


见过谷歌1996年的原始页面吗?