点赞
评论
收藏
分享
举报
编程是门手艺,NGINX社区的经验分享
发表于2020-10-28 20:42

浏览 1.5k

文章标签

前言

关于我:NJS核心开发者,Unit贡献者,NGINX专家

编程是门手艺是一个系列,分享我在编程上的思考,尤其是在NGINX社区上学到的。


编程是逻辑的创造,力求清晰

这是我对编程的理解,代码体现的是业务的本质,也可以说成是一种抽象。既然是逻辑,清晰是最最重要的。

以Linus在Ted的例子为例:删除列表里的元素。

不好的逻辑:遍历列表,找到元素entry。如果entry有没前结点prev,将头部指向entry的next;如果有则将prev的next指向entry的next。

好的逻辑:遍历列表,找到元素entry的引用,将引用指向entry的next。

虽然两者都能达到目的,但是明显后者更清晰,代码更简洁。不清晰的逻辑往往有更多的特殊处理,反映为代码有更多的if分支。如果你想锻炼更好的逻辑,试试将代码里的if分支优化掉。
前几年NGINX作者还在NJS项目时,跟他交集比现在更多。NJS是他亲自设计和实现的纯C JS引擎,它的代码跟NGINX没任何关系。两个软件都有红黑树的实现,NJS的版本是我见过最好红黑树实现,没有之一。我还给他提过一点小改进,我个人很喜欢红黑树这个数据结构。NJS的逻辑更清晰,如果看它实现的话。这种带来的好处是它的API更易用。比较下两者的使用:

ngx_rbtree_init(&cache->sh->rbtree, &cache->sh->sentinel,                    ngx_http_file_cache_rbtree_insert_value);ngx_rbtree_insert(&cache->sh->rbtree, &fcn->node);
njs_rbtree_init(&tree, rbtree_unit_test_comparison);njs_rbtree_insert(&tree, &items[i].node);

唯一的区别是rbtree_init时,njs版本更简单,nginx版本需要一个叫sentinel的哨子节点。njs的实现逻辑更清晰,将那个特殊处理优化掉了。

简而言之,代码应该做到逻辑清晰。也可以理解为更进一步的抽象。


良好代码的判断标准

@drdrxp提过一种方式,增加行数和删除行数比例为4:1。这个非常直观有效,尤其适用于稳定的项目。对于新项目,这个比例可以提高为3:1,因为新项目往往设计考虑的不够,需要更多的重构动作。以NJS为例,目前算稳定的项目了。

xeioex#1xeioex805 commits  忽略数据,有大量的文件重命名重构
igorsysoev#2igorsysoev313 commits 58,714 ++ 15,181 --
lexborisov#3lexborisov124 commits 29,307 ++ 11,163 --






hongzhidao#4hongzhidao108 commits 12,864 ++ 10,028 --

@Igor贡献了整个软件的基础库,实现了早期的JS语法。他的代码行数大约4:1。

@xeioex绝对核心,实现了大量的JS功能。

@lexborisov语言解析方面的专家,作了很多的改进。

@hongzhidao我是第三个参与的,实现部分JS功能,并重构一些基础库。

可以看出我跟@lexborisov因为做了更多的重构,增和删的比较很高。

这方式是我印象比较深的一种,特别指出来,仅供参考。


重构,提升能力最实用的习惯

以下是Igor在NGINX上的一个重构例子,就像做了卫生打扫一样,让房间变的更干净了。

重构就是这么一种技能,在不改变原来行为的前提,通过内部的优化让代码变的更具扩展性。

一定要记住,不能改变原来的行为。重构的目的是让代码更具扩展性,就是为了添加新功能更简单。重构所做的事情可以很多,从小到大有这么几种常见的:

1. 细小:改错字;重命名变量、函数和文件等,让代码更具可读性。

2. 逻辑优化:比如Linus前面的那个例子,让逻辑更清晰。

3. 设计改进:比如NGINX到NJS的红黑树实现。

重构会有整一篇幅深入研究,尤其我在社区实践来的。


测试用例,不可或缺

这里只讨论针对代码的测试用例以下是我实现Lua版本radix tree写的测试用例

function test_get()    local tree = radix_tree.new();
tree:insert('foo', 1); tree:insert('bar', 2); tree:insert('zoo', 3); assert(tree:get('bar') == 2, 'get bar'); assert(tree:get('noop') == nil, 'get non');end

NJS比NGINX好一点的是,基础库比如红黑树之类的都有对应的测试用例,我认为这点非常重要,也是很多项目没做好的,一旦这些实现有问题,就是大规模的雪崩。当然也有很多将私下自己写测试用例的,没有开源出来。

前面提的重构,如果没有测试用例就不可能进行。任何改的代码都有可能出问题,怎么保证没问题呢,跑一遍测试用例是最好的方式。在NJS项目里,我跟另外两个经常在修bug和增加功能时,会做一些重构。有时当天发现的bug,如果紧急当天修复,然后发布。敢做这样的事,得益于我们有大量的测试用例。

测试用例也会有专门的篇幅继续深入介绍。


命名,很大一门学问
编程有两大难点,命名和缓存。命名这看起来简单的事情,要做好非常不容易。

这课题放在此系列的另一篇中。


设计,真正的功夫

好的设计能减少代码的实现成本。NGINX代码最复杂的部分应该是buf那块。比如响应是一个流式内容,想对这内容做过滤处理。ssi那个模块就是干这事的。

C跟其它语言不一样,几乎都在跟内存打交道。NGINX有内存池,但它只能统一分配和释放。上面举例的内容你需要保存,在NGINX里存放在buf这样的地方,这个buf本身又需要占内存。因此为了复用buf,NGINX做了非常复杂的实现。反观在NJS里,它实现了动态分配的内存池,既然内存可以动态分配和回收,就不需要buf复用了,我估计如果NGINX有这样的实现,代码至少可以简化30%。我以前说过,因为大量的第三方模块,导致NGINX没法引入这样的改进,有点可惜。我在自己的nginx-lua-module里,参考了njs不少好的设计。

因此,好的设计可以节省很多的实现成本,也让软件更具健壮性和扩展性。这往往取决于实施者本身的综合能力,所谓天赋。


如何真正提升编程能力

我认为专业的程序员体现在两方面:整体设计能力和细节处理能力。我最早给社区提交代码时,大约60%多都会被改动调整,整体设计和细节处理的不好。现在90%多都会直接合并进去,甚至不用任何改动的。所以我想实践是最好的方式,有专家帮你review那再好不过了,他会重审你的设计,改进你的细节。

实践是最好的方式,接着你要找到好代码或者好项目。自己实现,然后比对,或者找高手帮你看。好的代码或项目不用多,一个就足够了。找你兴趣的,或者用我推荐的。

找基础库练手,这是最简单有效的。现在很多公司面试都要先做题,还有很多人在leetcode上刷题的。其实本质都是考核你的代码能力。

举个例子,以下是我实现js_import "../.././aa/bb/cc/../d.js" 这样的语法时需要的函数。

voidnjs_file_dirname(const njs_str_t *path, njs_str_t *name){    const u_char  *p, *end;
if (path->length == 0) { goto current_dir; }
p = path->start + path->length - 1;
/* Stripping basename. */
while (p >= path->start && *p != '/') { p--; }
end = p + 1;
if (end == path->start) { goto current_dir; }
/* Stripping trailing slashes. */
while (p >= path->start && *p == '/') { p--; }
p++;
if (p == path->start) { p = end; }
name->start = path->start; name->length = p - path->start;
return;
current_dir:
*name = njs_str_value(".");}

这个例子非常好,从命名,注释粒度,API设计都有涉及。这种就非常适合练手。

另一种是自己学习和写项目。推荐utopia,1千行的API网关。即将开源。

我会经常分享适合练手的好代码,欢迎关注公众号。


编程是门手艺,一个分享编程的系列

本文是个开篇。命名、重构、测试等更多编程技能在各自的篇幅里。


[nginx-lua-module] https://github.com/hongzhidao/nginx-lua-module

[utopia] https://github.com/hongzhidao/utopia


已修改于2023-03-09 02:07
本作品系原创
创作不易,留下一份鼓励
洪志道

暂无个人介绍

关注



写下您的评论
发表评论
全部评论(1)

按点赞数排序

按时间排序

感谢分享,通过你的几篇文章,学习到很多,拓宽了视野。
赞同

0

回复举报

发表于2021-09-05 22:40



回复92hackers
回复
关于作者
洪志道
这家伙很懒还未留下介绍~
11
文章
0
问答
54
粉丝
相关文章
介绍nginx网页配置工具QQ技术交流群1:1106758598QQ技术交流群2:560797506邮箱: cym1102@qq.com官网地址: http://www.nginxwebui.cn码云: https://gitee.com/cym1102/nginxWebUIgithub: https://github.com/cym1102/nginxWebUI功能特点nginxWebUI也可管理多个nginx服务器集群,随时一键切换到对应服务器上进行nginx配置,也可以一键将某台服务器配置同步到其他服务器,方便集群管理.部署此项目后,配置nginx再也不用上网各种搜索配置代码,再也不用手动申请和配置ssl证书,只需要在本项目中进行增删改查就可方便的配置和启动nginx。技术说明本项目是基于springBoot的web系统,数据库使用sqlite,因此服务器上不需要安装任何数据库项目启动时会释放一个.sqlite.db到系统用户文件夹中,注意进行备份本系统通过Let'sencrypt申请证书,使用acme.sh脚本
点赞 6
浏览 6.4k
  前三周学习了陶辉老师的“NGINX基础培训系列课程”,感觉受益良多,在这里想把一些知识点记录一下,和大家分享一下知识点,也方便日后的随手查看,温故知新。  首先,我们了解到了Nginx的版本,Nginx发布版本分为主线版本和稳定版本,区分两个版本也非常简单,主线版本版本号为单数,比如1.19,稳定版本为双数,比如1.18,今天我要说的是稳定版本,这个版本会尽量少的减少Nginx的bug问题,适用于生产环境,这里我不建议使用Nginx和其他软件一样在生产环境中落后一个或多个大版本使用,之前生产环境做过漏扫,发现我们编译自带的Nginx版本为:nginx/1.13.3(查询命令为nginx-V),结果出现了多个漏洞,四个高危和一个中危漏洞:        通过升级Nginx到稳定版最新版本后修复!  其次,是Nginx发行版本的选择,目前比较流行的有:nginx、nginxplus、Tengine、openresty、ope
点赞 1
浏览 3.5k
感谢您参加“NGINX从入门到精通进阶系列培训”!以下为培训的问答、课件和录像,希望您能通过此培训学有所得,祝学习进步!>问与答:- 基础篇+高级篇 - 应用篇+实战篇(New)>课件(PPT):基础篇:-NGINX概要、安装、配置:https://interact.f5.com/rs/653-SMC-783/images/CNFEB22-NginxCoreCourse-Setup.pdf-NGINX日志、运维:https://interact.f5.com/rs/653-SMC-783/images/cnfeb22-nginxcorecourse-maintenance.pdf高级篇:-NGINX变量、API:https://interact.f5.com/rs/653-SMC-783/images/CNFEB22-NginxCoreCourse-API.pdf-NGINXSSL、NJS:https://interact.f5.com/rs/653-SMC-783/images/CNFEB22-NginxCoreCourse-SSL.pdf
点赞 10
浏览 5k