广州seo > 百度seo > 分析网站日志,如何识别百度蜘蛛?

分析网站日志,如何识别百度蜘蛛?

我们从事seo行业,经常要分析网站日志,分析网站日志看什么数据呢?搜索引擎的抓取量是必不可少的,因为搜索引擎的抓取,影响了网页是否能被发现,是否能被搜索引擎收录,这是一项特别重要的数据,今天我们主要来了解一下,分析网站日志的时候,如何辨别百度的蜘蛛。
分析网站日志,如何识别百度蜘蛛?
 
可以通过DNS反查方式来解决这个问题。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:
 
1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
 
2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
 
3、在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。