我们公司业务员常会遇到客户问,什么是蜘蛛啊?很多客户都把他想成一个虫子,还人想,电脑里怎么也会有虫子?呵呵。。。
大家可以想像一下,蜘蛛是怎么爬行的,是不是通过它的蜘蛛网?那么搜索引擎蜘蛛又是通过什么爬行的?那就是链接,链接就相当于蜘蛛网,让蜘蛛通过这个网能搜索到你的站。
然后再通过你网站首页的链接,再爬你网站内页的内容。搜索引擎蜘蛛其实就是一个能通过链接搜索到下一个链接的程序。
其工作原理就是,通过一个链接,运程获得你的网页首页网页内容,然后通过分析,再次获得你网站首页的所有链接,再获得你内页的内容,搜索引擎蜘蛛就是这样反复动作,最后将你网站所有内容都运行一下。当然内容不会全部收录,有的是不收录,他会通过一些程序算法能进行判断。