最近因为剧荒，老大追了爱奇艺的一部网剧，由丁墨的同名小说《美人为馅》改编，目前已经放出两季，虽然整部剧槽点满满，但是老大看得不亦乐乎，并且在看完第二季之后跟我要小说资源，直接要奔原著去看结局……
随手搜了下，都是在线资源，下载的话需要登录，注册登录好麻烦，写个爬虫玩玩也好，于是动手用 node 写了一个，这里做下笔记

工作流程

  • 获取 URLs 列表(请求资源 request 模块)

  • 根据 URLs 列表获取相关页面源码(可能遇到页面编码问题，iconv-lite 模块)

  • 源码解析，获取小说信息( cheerio 模块)

  • 保存小说信息到 Markdown 文件，并且加适当修饰以及章节信息(写文件 fs、同步请求资源 

    网友评论