尖叫青蛙Screaming Frog SEO Spider是一款功能强大的网络爬虫开发软件，能够帮助用户进行网站结构和内容的SEO优化。它提供了全面的扫描和分析功能，为用户提供了改善网站排名和用户体验的有价值见解。该软件可以提取网页中的关键词，并显示它们的频率和位置。这有助于用户确定网页是否针对特定关键词进行了优化，以及优化的效果如何。
软件特色
1、找到断开的链接
立即抓取网站，找到损坏的链接(404)和服务器错误。批量导出错误和源URL以修复或发送给开发人员。
2、审计重定向
找到临时和永久的重定向，识别重定向链和循环，或者上传一个网址列表，以在网站迁移中进行审计。
3、分析页面标题和元数据
在抓取过程中分析页面标题和元描述，并确定在您的网站中过长，短小，缺失或重复的页面标题和元描述。
4、发现重复的内容
使用md5算法检查发现精确的重复网址、部分重复的网页标题、说明或标题等元素，并找到内容较低的网页。
5、使用XPath提取数据
使用CSS Path，XPath或regex从网页的HTML中收集任何数据。这可能包括社交元标签、额外的标题、价格、SKU或更多!
6、审查机器人和指令
查看由robots.txt、meta robots或X-Robots-Tag指令(如“noindex”或“nofollow”)以及canonicals和rel=“next”和rel=“prev”阻止的URL。
7、生成XML站点地图
快速创建XML站点地图和图像XML站点地图，通过包含URL的高级配置，上次修改，优先级和更改频率。
8、与Google Analytics集成
连接到Google AnalyticsAPI，并抓取用户数据，例如会话或跳出率和转化次数，目标，交易和着陆页的收入。
软件功能
1、查找断开的链接、错误和重定向
2、分析页面标题和元数据
3、审查元机器人和指令
4、审计hreflang属性
5、发现重复的页面
6、生成XML站点地图
7、爬网限制
8、抓取配置
9、保存抓取并重新上传
10、自定义源代码搜索
11、自定义提取
12、Google Analytics集成
13、Search Console集成
14、链接指标集成
15、JavaScript渲染抓取
16、自定义robots.txt抓取
