求助 有没有什么比较好用的文本查重类软件

[zgxvsyyy]

以前有下过一些大佬用爬虫扒拉下来的书包，里面重复性非常高，想请教一下大家有没有合适的软件能甄别文件夹内重复性文本的？人工实在处理不过来诶。

[月晓]

以前记得有软件，我忘了

[lts_]

可以写个python脚本用jieba来过滤一下