yadcc（YetAnotherDistributedC++Compiler）是一套腾讯广告自研的分布式编译系统，用于支撑腾讯广告的日常开发及流水线。相对于已有的同类解决方案，其针对实际的工业生产环境做了性能、可靠性、易用性等方面优化。
yadcc目前在腾讯1700+核的集群中每天编译300,0000+个目标文件，产出约3~5TB，已经持续稳定运营8个月。取决于代码逻辑及本地机器配置，yadcc可以利用几百乃至1000+核同时编译（腾讯内部使用512并发编译），大大加快构建速度。
具体简介及技术细节可以参考技术文档。
系统要求Linux3.10及以上内核，暂不支持其他操作系统；x86-64处理器；编译yadcc需要GCC8及以上版本的编译器，基于yadcc进行分布式编译时可以支持其他更低版本编译器。基本原理和ccache、distcc、icecc等工具类似；
客户端伪装成编译器（通常是通过ln-sfyadccg++创建的符号链接）通过将客户端伪装的编译器加入PATH头部，这样构建系统就会实际执行yadcc来编译yadcc会按照命令行对源代码进行预处理，得到一个自包含的的预处理结果以预处理结果、编译器签名、命令行参数等为哈希，查询缓存，如果命中，直接返回结果如果不命中，就请求调度器获取一个编译节点，分发过去做编译等待直到从编译集群中得到编译结果，并更新缓存由于预处理时间通常远小于编译时间，因此这样可以降低单个文件的本地开销。同时，由于等待编译结果时本地无需进行操作，因此可以增大本地的编译并发度（如8核机器通常可以make-j100），以此实现更高的吞吐。
需要注意的是，分布式编译通常只能提高吞吐，但是不能降低单个文件的编译耗时（假设不命中缓存）。因此，对于无法并发编译的工程，除非命中缓存，否则分布式编译通常不能加快编译，反而可能有负面效果。
设计特点系统由调度器、缓存服务器、守护进程及客户端组成：
对上层的构建系统（Make、CMake，Blade、Bazel等）透明，方便适配各种构建系统。调度器全局共享，所有请求均由调度节点统一分配。这样，低负载时可允许客户端尽可能提交更多的任务，集群满载时可阻塞新请求避免过载。中心的调度节点也避免了需要客户机感知编译集群的列表的需要，降低运维成本。编译机向调度器定期心跳，这样我们不需要预先在调度器处配置编译机列表，降低运维成本。分布式缓存避免不必要的重复编译。同时本地守护进程处会维护缓存的布隆过滤器，避免无意义的缓存查询引发不必要的网络延迟。使用本地守护进程和外界通信，这避免了每个客户端均反复进行TCP启动等操作，降低开销。另外这也允许我们在守护进程处维护一定的状态，提供更多的优化可能。客户端会和本地守护进程通信，综合控制本地任务并发度避免本地过载。通过编译器哈希区分版本，这允许我们的集群中存在多个不同版本的编译器。同时，做了多层重试，确保不会因为网络抖动、编译机异常离线等工业场景常见的问题导致的不必要的失败。
评论