去除txt文本里面重复的文本。保存去除后文本,和出现过重复的文本。适用于处理100000以下的文本数据。重复按照文本行计算。即去除重复文本行。
/中文/
/中文/
/中文/
/中文/
/英文/
/中文/
/中文/
/中文/
/中文/
/中文/
46.6M/中文/9.8
45.6M/中文/9.9
31.5M/中文/7.5
3.0M/英文/9.8
649KB/中文/9.8
48KB/英文/9.8
440KB/英文/5.7
去除txt文本里面重复的文本。保存去除后文本,和出现过重复的文本。适用于处理100000以下的文本数据。重复按照文本行计算。即去除重复文本行。