百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

Express 系列:结合实例讲解开发一个Node命令行工具

ztj100 2025-03-24 01:40 18 浏览 0 评论

导言:是不是对键盘上下指如飞,屏幕上除了黑黑的控制台什么都看不到的Geek羡慕的不要不要的,觉得前端是写的很爽,一行代码下去就是另一个世界,可是内心深处总还是觉得逼格不知不觉就降了下了?不用担心,让舒爽和逼格齐飞的好事Nodejs带给你,本章就带你一步步开发一个属于自己的命令行工具。

Now You See Me: 小伙伴们有什么不明白的地方或者觉得讲的不清楚的地方,敬请留言,区区在下也是开始研究没有多久,共同进步。。当然如果有想要知道的内容相关的小知识点,比如cheerio包balabala之类的,也可以留言告知,都会排进发布内容的日程表中。嘿嘿

1.要开发一个这样的工具干什么用呢?

笔者经常看一些网络小说,所以我们要来开发一个抓取笔者经常看的小说网站的某篇小说的最新更新的章节内容。先放一下程序运行的结果:

哒哒哒,是不是美美哒

以下是这个项目的地址,还只是个demo,后期还会增加各种功能和前段工程化的实践。

https://github.com/Alfred-Lau/n-novel#readme


2.如何搞?

分以下几个部分来讲解这个内容:

- 项目结构

- 项目细节

  • 项目结构:

以下针对上述目录做点介绍:

目录:

bin :命令行脚本文件入口,也就是package.json中bin属性对应的值得目录

node_modules:你懂得,npm的依赖项聚集地

文件:

.npmignore:就像.gitignore文件一样,只不会被npm纳入发布目录的文件

index.js:主程序文件

package.json:npm init 生成。具体描述项目的情况

  • 项目细节:

首先介绍一下大概设计:

很简单,就是首先根据提供的小说网站链接抓取到具体某本小说的目录导航,利用相关的npm包分析出最后一个项目的链接,也就是最新的更新链接,之后拼接链接。再次向目标网站请求数据。分析取回来的内容,整理格式,修饰输出,即得最终结果。

看一下我们的源代码:

index.js

//用来进行发送请求,久经考验的好基友

var request = require('request');

//Node爬虫界的大拿,分析网页代码很有一套

var cio = require('cheerio’);

//装饰命令行上面的输出,添加色彩等

var colors = require('colors');

var url = require('url');

//网站网址

var webSiteUrlPrefix = 'http://www.biquge.tw';

//小说链接

var webSiteUrl = 'http://www.biquge.tw/0_680/';

//开始请求数据

request(webSiteUrl, function(err, res, body) {

//做异常处理检查

if (!err && res.statusCode == 200) {

//cheerio进行数据处理的第一步,穿个马甲

var $ = cio.load(body);

//缓存最后一项的节点

var target = $('div#list dd:last-of-type');

//通过CSS selector来筛选数据

//这里表示

var src = target.children('a').attr('href');

//get文章标题

var pageTitle = target.text();

//得到文章实际地址

var contentsUrl = webSiteUrlPrefix + src;

//再次请求,这次得到文章的实际内容

request(contentsUrl, function(err, res, body) {

if (err) {

return;

} else {

if (res.statusCode == 200) {

var $ = cio.load(body);

//调整格式,去掉多余空格

var pageContents = $('div#content').text().replace(/\s+/g, '\n ');

//加点颜色看看

console.log(pageTitle.green + '\n\n' + pageContents.yellow);

} else {

return;

}

}

})

} else {

console.log('bad request');

}

});

接下来是bin/index.js的讲解:

和上面的文件基本完全一样,唯一不同的是:

#! /usr/bin/env node

表示启用Node来运行脚本,这也是生成命令行工具的精髓

最后是package.json文件介绍:

和之前的 Express 系列:结合实例讲解如何开发一个自己的npm包 类似,唯一不同的是:

"bin": {

"n-novel": "bin/index.js"

}

这里提示各位,一定要将包含“#! /usr/bin/env node”的index.js文件路径写入这里,因为这里面的文件最终会被软连接到/usr/local/bin/里面去,而那里的程序运行方式都是脚本,位置失误的话,程序运行会出错哦。

3.发布流程

  • 首先编辑自己的.npmignore文件

  • 其次确认自己已注册npm账号,可以通过如下命令来检查

$ npm whoami

  • 发布(打不打tag都可以)

$ npm publish

哒哒哒,发布成功!


4.起来嗨

发布之后我们要检查自己的战斗成果,通过

Npm install -g n-novel

安装到全局,运行结果如下:

然后运行n-novel,稍待片刻,新鲜出炉的小说最新章节就放到了你的命令行上面。

下节介绍

Intro

经过以上两节的学习,我们既能开发属于自己的包,又能写得了命令行工具,是不是觉得自己已然飞起?下节我们将要介绍怎样通过持续结成和构建保证自己的项目代码都是久经测试的,杠杠的靠得住,也就是持续集成:travis,测试覆盖:coveralls,查看模块依赖:david-dm等等。

相关推荐

其实TensorFlow真的很水无非就这30篇熬夜练

好的!以下是TensorFlow需要掌握的核心内容,用列表形式呈现,简洁清晰(含表情符号,<300字):1.基础概念与环境TensorFlow架构(计算图、会话->EagerE...

交叉验证和超参数调整:如何优化你的机器学习模型

准确预测Fitbit的睡眠得分在本文的前两部分中,我获取了Fitbit的睡眠数据并对其进行预处理,将这些数据分为训练集、验证集和测试集,除此之外,我还训练了三种不同的机器学习模型并比较了它们的性能。在...

机器学习交叉验证全指南:原理、类型与实战技巧

机器学习模型常常需要大量数据,但它们如何与实时新数据协同工作也同样关键。交叉验证是一种通过将数据集分成若干部分、在部分数据上训练模型、在其余数据上测试模型的方法,用来检验模型的表现。这有助于发现过拟合...

深度学习中的类别激活热图可视化

作者:ValentinaAlto编译:ronghuaiyang导读使用Keras实现图像分类中的激活热图的可视化,帮助更有针对性...

超强,必会的机器学习评估指标

大侠幸会,在下全网同名[算法金]0基础转AI上岸,多个算法赛Top[日更万日,让更多人享受智能乐趣]构建机器学习模型的关键步骤是检查其性能,这是通过使用验证指标来完成的。选择正确的验证指...

机器学习入门教程-第六课:监督学习与非监督学习

1.回顾与引入上节课我们谈到了机器学习的一些实战技巧,比如如何处理数据、选择模型以及调整参数。今天,我们将更深入地探讨机器学习的两大类:监督学习和非监督学习。2.监督学习监督学习就像是有老师的教学...

Python教程(三十八):机器学习基础

...

Python 模型部署不用愁!容器化实战,5 分钟搞定环境配置

你是不是也遇到过这种糟心事:花了好几天训练出的Python模型,在自己电脑上跑得顺顺当当,一放到服务器就各种报错。要么是Python版本不对,要么是依赖库冲突,折腾半天还是用不了。别再喊“我...

超全面讲透一个算法模型,高斯核!!

...

神经网络与传统统计方法的简单对比

传统的统计方法如...

AI 基础知识从0.1到0.2——用“房价预测”入门机器学习全流程

...

自回归滞后模型进行多变量时间序列预测

下图显示了关于不同类型葡萄酒销量的月度多元时间序列。每种葡萄酒类型都是时间序列中的一个变量。假设要预测其中一个变量。比如,sparklingwine。如何建立一个模型来进行预测呢?一种常见的方...

苹果AI策略:慢哲学——科技行业的“长期主义”试金石

苹果AI策略的深度原创分析,结合技术伦理、商业逻辑与行业博弈,揭示其“慢哲学”背后的战略智慧:一、反常之举:AI狂潮中的“逆行者”当科技巨头深陷AI军备竞赛,苹果的克制显得格格不入:功能延期:App...

时间序列预测全攻略,6大模型代码实操

如果你对数据分析感兴趣,希望学习更多的方法论,希望听听经验分享,欢迎移步宝藏公众号...

AI 基础知识从 0.4 到 0.5—— 计算机视觉之光 CNN

...

取消回复欢迎 发表评论: