FictionDown

FictionDown是一款网络小说爬取工具，支持自动校对、多格式转换，小说爬取类的网上较多，基本上每个看小说的程序员应该都写过类似的东西，这个解决的是章节缺失和章节顺序错乱的问题，还内置了简单的广告过滤，实际上大部分需要手动删除。

软件特性

以起点为样本，多站点多线程爬取校对

支持导出txt，以兼容大多数阅读器

支持导出markdown，可以用pandoc转换成epub，保留书本信息、卷结构、作者信息

内置简单的广告过滤（现在还不完善）

用Golang编写，安装部署方便，外部依赖只有PhantomJS

使用流程

输入起点链接

获取到书本信息，开始爬取每章内容，遇到vip章节放入Example中作为校对样本

手动设置笔趣阁等盗版小说的对应链接，tamp字段

再次启动，开始爬取，只爬取VIP部分，并跟Example进行校对

手动编辑对应的缓存文件，手动删除广告和某些随机字符(有部分是关键字,可能会导致pandoc内存溢出或者样式错误)

d -f md生成markwown

用pandoc转换成epub，pandoc -o xxxx.epub xxxx.md