首页 > 其他分享 >构建工程化:建立平台化工程体系

构建工程化:建立平台化工程体系

时间:2024-07-02 10:59:53浏览次数:19  
标签:conf 存放 平台 supervisord sh 构建 子项目 工程化 sub

一、功能描述

工程化体系主要是解决能够统一进行打包的问题,故需要对整体进行描述

1.1、子项目描述

1.1.1、配置管理

对于每一个子项目而言,需要有专门的配置管理目录,目录的建议组建方式为conf/defalutconf/local,其中defalut目录下存放组建默认的启动时配置,local为客户环境部署更改之后的启动时配置。当我们更新包的时候,这里存在交互逻辑,具体如下:

在配置管理目录中使用conf/defaultconf/local的方式,可以有效地管理默认配置和本地配置的差异。

1.1.1.1、确定更新范围

首先,我们需要明确此次包更新的范围,包括需要更新的文件和配置。

1.1.1.2、合并配置更新

根据比较结果,手动或使用脚本将conf/default中的更新合并到conf/local中。具体步骤如下

1.1.1.3、新增配置项

conf/default中新增的配置项添加到conf/local中。

1.1.1.4、删除配置项

如果conf/default删除了某些配置项,评估是否也需要从conf/local中删除。

1.1.1.5、修改配置项

对于在conf/default中修改的配置项,检查conf/local是否也需要相应修改。需要注意的是,某些配置已经在客户环境中进行了定制,合并时要慎重。

1.1.2、主项目代码

对于每一个子项目而言,所有的源代码,建议放到src/目录下

1.1.3、更新日志路径

对于每一个子项目而言,每个模块自己更新时输出的更新日志或安装日志,包括成功,错误等等,建议放到logs/目录下

1.1.4、MakeFile打包脚本

对于每一个子项目而言,需要提供自己的打包脚本,都使用make指令所依赖的MakeFile来做,例如java语言本身使用maven打包,可以将相关命令写到MakeFile文件中;go语言使用go build打包,也是重写命令即可;以此类推;如果是非编译型语言,例如python、php等,建议对源码进行混淆或使用工具进行编译(压缩),减少源代码泄漏风险。

1.1.5、服务化脚本

对于每一个子项目而言,需要提供自己运行的进程管理脚本,建议使用service/目录,进程管理使用Supervisord,故需要提供子项目运行的所有运行配置,具体请参考Supervisord的文档。

1.1.6、外部依赖包

如果项目依赖一些外部依赖包,由于打包的时候会使用相关的包,请勿使用在线下载的方式或引用外部包的方式,而采取将这些包直接放到本地外部依赖包目录,建议使用lib/目录下,注意,这里不仅可以存储打包时依赖,也可以存放运行时依赖。

1.1.7、插件

如果项目存在插件模式,则建议使用目录extends/

1.1.8、打包后运行脚本目录

建议使用目录sh,这里面主要存储打包后运行该服务时自动化执行的命令,同时应该至少提供 start-linux.shstop-linux.shstart-win.batstop-win.bat等脚本,便于主层启停任务。

1.2、主目录描述

主目录主要考虑需要在外部调用主的MakeFile,然后里面会定义整个打包流程。

1.2.1、bin

bin目录存放所有的软件代码,所有子项目的目录都放在这里面

1.2.2、conf

conf目录存放主项目的配置

1.2.3、MakeFile

核心MakeFile,将调用子项目的MakeFile,并根据依赖顺序进行打包

1.2.4、service

存放主supervisord的配置,防止与其他服务出现共用supervisord的情况,需要自己维护一个supervisord服务,故这里存储主supervisord系统服务和其注册脚本,以及主配置。

1.2.5、build

build目录存放打包之后的内容,打包前这个目录保持为空。

二、目录结构例子

以下是更新后的目录结构和说明,其中 bin 目录存放所有子项目的代码,每个子项目都有独立的子目录。

2.1、目录结构示例

my_project/
├── bin/
│   ├── sub_project1/
│   │   ├── conf/
│   │   │   ├── default/
│   │   │   │   └── sub_project1.conf
│   │   │   ├── local/
│   │   │       └── sub_project1.conf
│   │   ├── lib/
│   │   │   └── example_dependency1.jar
│   │   ├── logs/
│   │   ├── service/
│   │   │   ├── sub_project1.conf
│   │   ├── sh/
│   │   │   ├── start-linux.sh
│   │   │   ├── stop-linux.sh
│   │   │   ├── start-win.bat
│   │   │   └── stop-win.bat
│   │   ├── src/
│   │   │   ├── main.py
│   │   │   └── ...
│   │   ├── extends/
│   │   ├── Makefile
│   │   └── README.md
│   ├── sub_project2/
│   │   ├── conf/
│   │   │   ├── default/
│   │   │   │   └── sub_project2.conf
│   │   │   ├── local/
│   │   │       └── sub_project2.conf
│   │   ├── lib/
│   │   │   └── example_dependency2.jar
│   │   ├── logs/
│   │   ├── service/
│   │   │   ├── sub_project2.conf
│   │   ├── sh/
│   │   │   ├── start-linux.sh
│   │   │   ├── stop-linux.sh
│   │   │   ├── start-win.bat
│   │   │   └── stop-win.bat
│   │   ├── src/
│   │   │   ├── main.py
│   │   │   └── ...
│   │   ├── extends/
│   │   ├── Makefile
│   │   └── README.md
├── build/
├── conf/
│   ├── default/
│   │   └── main.conf
│   ├── local/
│       └── main.conf
├── lib/
│   └── common_dependency.jar
├── logs/
├── service/
│   ├── supervisord.conf
│   ├── main_project.conf
├── sh/
│   ├── start-linux.sh
│   ├── stop-linux.sh
│   ├── start-win.bat
│   └── stop-win.bat
├── Makefile
└── README.md

2.2、目录和文件说明

2.2.1、my_project/

  • 项目根目录,包含所有子目录和项目文件。

2.2.2、bin/

  • 存放所有子项目的目录,每个子项目都有独立的子目录。
2.2.2.1、sub_project1/
  • 子项目1的目录,结构与主项目类似。
    • conf/:存放子项目1的配置文件。
  • default/:默认配置。
  • local/:本地配置。
  • lib/:存放子项目1的外部依赖包。
  • logs/:存放子项目1的日志文件。
  • service/:存放子项目1的服务管理脚本和 Supervisord 配置文件。
  • sh/:存放子项目1的启动和停止脚本。
  • src/:存放子项目1的源代码。
  • extends/:存放子项目1的插件。
  • Makefile:子项目1的 Makefile 文件。
  • README.md:子项目1的说明文档。
2.2.2.2、sub_project2/
  • 子项目2的目录,结构与子项目1类似。

2.2.3、build/

  • 存放打包之后的内容。打包前这个目录保持为空。

2.2.4、conf/

  • 存放主项目的配置文件。
    • default/:存放默认的配置文件。
    • local/:存放本地环境的配置文件。

2.2.5、lib/

  • 存放项目依赖的外部包,不采用在线下载方式,而是直接放到本地。例如,Java 项目依赖的 common_dependency.jar

2.2.6、logs/

  • 存放主项目的日志文件。

2.2.7、service/

  • 存放主项目的服务管理脚本和 Supervisord 配置文件。
    • supervisord.conf:主 Supervisord 配置文件。
    • main_project.conf:主项目的 Supervisord 进程配置文件。
    • start-linux.sh:启动脚本(Linux)。
    • stop-linux.sh:停止脚本(Linux)。
    • start-win.bat:启动脚本(Windows)。
    • stop-win.bat:停止脚本(Windows)。

2.2.8、sh/

  • 存放打包后运行该服务时自动化执行的命令脚本。
    • start-linux.sh:打包后启动脚本(Linux)。
    • stop-linux.sh:打包后停止脚本(Linux)。
    • start-win.bat:打包后启动脚本(Windows)。
    • stop-win.bat:打包后停止脚本(Windows)。

2.2.9、Makefile

  • 核心 Makefile,将调用子项目的 Makefile,并根据依赖顺序进行打包。示例内容如下:
# 主Makefile
.PHONY: all clean
SUBPROJECTS := sub_project1 sub_project2
all: $(SUBPROJECTS)
$(SUBPROJECTS):
	$(MAKE) -C bin/$@
clean:
	@for subdir in $(SUBPROJECTS); do \
		$(MAKE) -C bin/$$subdir clean; \
	done
	rm -rf build/*

2.2.10、README.md

  • 项目的说明文档,描述项目的基本信息、安装步骤、使用方法等。

2.3、Supervisord 配置文件示例

2.3.1、supervisord.conf (主项目)

[supervisord]
logfile=/var/log/supervisord/supervisord.log
logfile_maxbytes=50MB
logfile_backups=10
loglevel=info
pidfile=/var/run/supervisord.pid
nodaemon=false
[unix_http_server]
file=/var/run/supervisor.sock
chmod=0700
[supervisorctl]
serverurl=unix:///var/run/supervisor.sock
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[include]
files = /opt/my_project/service/*.conf

2.3.2、my_project.conf (子项目)

[program:sub_project1]
command=python3 /opt/my_project/bin/sub_project1/src/main.py
autostart=true
autorestart=true
startsecs=5
stderr_logfile=/var/log/sub_project1/error.log
stdout_logfile=/var/log/sub_project1/access.log
environment=PYTHONPATH="/opt/my_project/bin/sub_project1/src"

2.4、服务化脚本示例

2.4.1、start-linux.sh (主项目)

#!/bin/bash
SUPERVISOR_CONF=/opt/my_project/service/supervisord.conf
supervisord -c $SUPERVISOR_CONF

2.4.2、stop-linux.sh (主项目)

#!/bin/bash
SUPERVISOR_CONF=/opt/my_project/service/supervisord.conf
supervisorctl -c $SUPERVISOR_CONF shutdown

2.4.3、start-win.bat (主项目)

@echo off
set SUPERVISOR_CONF=C:\path\to\my_project\service\supervisord.conf
supervisord -c %SUPERVISOR_CONF%

2.4.4、stop-win.bat (主项目)

@echo off
set SUPERVISOR_CONF=C:\path\to\my_project\service\supervisord.conf
supervisorctl -c %SUPERVISOR_CONF% shutdown

2.5、Makefile示例 (子项目)

2.5.1、Makefile (子项目1)

# 子项目
1的Makefile
.PHONY: all clean
all: build
build:
	# 这里可以添加编译或构建命令,例如:
	# javac -d bin/ src/*.java
	echo "Building sub_project1"
clean:
	rm -rf build/*
	rm -rf logs/*

标签:conf,存放,平台,supervisord,sh,构建,子项目,工程化,sub
From: https://blog.csdn.net/xielinrui123/article/details/140120813

相关文章

  • 035基于SSM+Jsp的二手交易平台网站
    开发语言:Java框架:ssm技术:JSPJDK版本:JDK1.8服务器:tomcat7数据库:mysql5.7(一定要5.7版本)数据库工具:Navicat11开发软件:eclipse/myeclipse/ideaMaven包:Maven3.3.9系统展示商家首页个人中心商品信息管理管理员登录管理员首页用户管理商家管理商品信息管理论坛管理......
  • 009-GeoGebra基础篇-构建正六边形
    继续巩固一下基础,本篇我们来做一个正六边形目录一、成品展示二、涉及内容三、做图步骤1.绘制一个以A点为圆心过B点的圆circle1;2.以B点为圆心过A点绘制另外一个圆circle2;3.绘制两个圆的交点,得到顶点C和D;4.以C点为圆心绘制过A点的圆circle3;5.获取circle3和circle1的......
  • Java开发者LLM实战——使用LangChain4j构建本地RAG系统
    1、引言由于目前比较火的chatGPT是预训练模型,而训练一个大模型是需要较长时间(参数越多学习时间越长,保守估计一般是几个月,不差钱的可以多用点GPU缩短这个时间),这就导致了它所学习的知识不会是最新的,最新的chatGPT-4o只能基于2023年6月之前的数据进行回答,距离目前已经快一年的时间,如......
  • 毕业设计-基于Springboot+Vue的毕业生信息招聘平台的设计与实现(源码+LW+包运行)
    源码获取:https://download.csdn.net/download/u011832806/89431634基于SpringBoot+Vue的毕业生信息招聘平台开发语言:Java数据库:MySQL技术:SpringBoot+MyBatis+Vue.js工具:IDEA/Ecilpse、Navicat、Maven系统演示视频:链接:https://pan.baidu.com/s/1-X-CEV8YNsWo7e-pA8pv7g?......
  • 在线考试与教学系统平台,含视频教学功能,打造全方位在线教育体验
    php在线考试/视频教学系统1.部署好网站环境:php5.6+mysql;2.将源码传至网站根目录,php源码用二进制上传,或者上传压缩包在空间解压;3.将“数据库.sql”导入mysql数据库,可以在数据库管理后台导入;可以先手动导入,就是用notepad++打开sql文件,复制内容,然后在数据库管理后台sql......
  • 基于java+springboot+vue实现的家政服务平台(文末源码+Lw)299
    摘 要现代经济快节奏发展以及不断完善升级的信息化技术,让传统数据信息的管理升级为软件存储,归纳,集中处理数据信息的管理方式。本家政服务平台就是在这样的大环境下诞生,其可以帮助管理者在短时间内处理完毕庞大的数据信息,使用这种软件工具可以帮助管理人员提高事务处理效率,达......
  • 聊聊gitlab ci如何构建以时间为版本号的docker镜像
    前言最近朋友他们部门有部分内部项目,打算用gitlabci来做项目持续集成部署,他们有个需求,构建docker镜像的时候,版本需要是以当前时间作为版本。其格式为yyyymmddhhmm一开始朋友翻阅官方文档,发现gitlabci有个变量CI_COMMIT_TIMESTAMP,可以生成时间戳,他默认生成的格式是ISO-8601。就......
  • 昇思25天学习打卡营第12天|网络构建
    IT专业入门,高考假期预习指南七月来临,各省高考分数已揭榜完成。而高考的完结并不意味着学习的结束,而是新旅程的开始。对于有志于踏入IT领域的高考少年们,这个假期是开启探索IT世界的绝佳时机。作为该领域的前行者和经验前辈,你是否愿意为准新生们提供一份全面的学习路线图呢?快来......
  • 基于Java的小区家政服务预约平台
    作者介绍:✌全网粉丝10W+本平台特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于毕业项目实战✌一、作品包含源码+数据库+设计文档万字LW+PPT+全套环境和工具资源+部署教程二、项目技术前端......
  • 基于Java的小区家政服务预约平台
    作者介绍:✌全网粉丝10W+本平台特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于毕业项目实战✌一、作品包含源码+数据库+设计文档万字LW+PPT+全套环境和工具资源+部署教程二、项目技术前端......