火车头 同时采集多页面 采集出来都是重复的内容 火车头采集时，如何顾虑同一页面多条记录中的重复的内容？？

这个问题可能是采集器的bug，用乐思采集系统可以很容易解决，可以说基本不是问题，具体的信息你可以去搜一下

采集软件还是要用那些比较正规的、专业的公司开发的，特别是你想商用的话

请问大家，火车头采集器怎么采集重复页面，因为我在采集时，多采一次就会出现重复了？~

您好,在同一站点分类下的规则使用同一个网址库 您的意思是要每次运行这条采集规则都会重新采集不检测重复网址对吗?

编辑规则 > 第一步: 采集网址规则

在网站编码右边有一个 检测重复网址 复选框 取消勾选就不会检测重复网址了

这个好像没有办法 因为 同页面的重复内容地址也是不一样的啊 你采集啥？帖子还是其他？ 网站还是要自己去更新 不然baidu会封的