[PHP]搜索引擎蜘蛛捕捉php版

Spider是搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在搜索引擎中搜索到贵网站的网页。 搜索引擎派出“蜘蛛”程序检索现有网站一定IP地址范围内的新网站，而对现有网站的更新则根据该网站的等级不同有快慢之分。一般来说，网站网页等级越高，更新的频率就越快。搜索引擎的“蜘蛛”同一天会对某些网站或同一网页进行多次爬行，知道蜘蛛的运动规律，对于更新网页、了解搜索引擎收录的收录情况等等有相当重要的作用。