爬山虎采集器

爬山虎采集器V2是一款支持99%的网站数据采集的高效网页信息采集软件，爬山虎采集器能生成Excel表格，api数据库文件等内容，帮助你管理网站数据信息，如果您需要对某个指定网页数据进行采集，使用这款软件即可。

软件特色

　　一键提取数据

　　简单易学，通过可视化界面，鼠标点击即可抓取数据

　　快速高效

　　内置一套高速浏览器内核，加上HTTP引擎模式，实现快速采集数据

　　适用各种网站

　　能够采集互联网99%的网站,包括单页应用Ajax加载等等动态类型网站

功能介绍

　　向导模式

　　简单易用，轻松通过鼠标点击自动生成

　　脚本定时运行

　　可按照计划定时运行，无需人工

　　独创高速内核

　　自研的浏览器内核，速度飞快，远超对手

　　智能识别

　　对于网页中的列表、表单结构（多选框下拉列表等）能够智能识别

　　广告屏蔽

　　定制的广告屏蔽模块，兼容AdblockPlus语法，可添加自定义规则

　　多种数据导出

　　支持Txt 、Excel、MySQL、SQLServer、SQlite、Access、网站等

使用方法

　　第一步：输入采集网址

　　打开软件，新建任务，输入需要采集的网站地址。

　　第二步：智能分析，全程自动化提取数据

　　进入到第二步后，爬山虎采集器全自动智能分析网页，并且从中提取出列表数据。

　　第三步：导出数据到表格、数据库、网站等

　　运行任务，将采集到的数据导出为Csv、Excel以及各种数据库，支持api导出。

常见问题

　　问：如何过滤列表中的前N个数据？

　　1.有时我们需要对采集到的列表进行过滤，比如过滤掉第一组数据（在采集表格时，过滤掉表格列名）

　　2.点击列表模式菜单中的，设置列表xpath

　　问：如何抓包获取Cookie，并且手动设置？

　　1.首先，使用谷歌浏览器打开要采集的网站，并且登陆。

　　2.然后按下 F12,会出现开发者工具，选择 Network

　　3.然后按下F5，刷新下页面， 选择其中一个请求。

　　4.复制完成后，在爬山虎采集器中，编辑任务，进入第三步，指定HTTP Header。

更新日志

　　2.5.0.0

　　2020/4/18

　　优化测试网址的逻辑

　　完善csv的写入转义

　　增加补全图片相对地址功能

　　修复cookie value逗号问题

　　修复http请求br编码问题

　　增加ctrl+拖动 复制字段功能

　　修复探测文件名时的问题

　　修复文件名超长问题