本文主要探讨的是个人在Python项目开发&管理这块的一些经验之谈，经过在团队实践后主要内容总结如下：

  • 基础环境管理
  • 编码标准&规范化
  • 远程开发
  • 项目脚手架

🐍 环境管理

使用Anaconda和Pipenv共同管理Python项目环境

环境管理这块是个很普遍的问题，其面临的问题如下：

  • 如何对不同项目，任意Python版本的环境进行管控
  • 如何对不同项目，内外网Python依赖库进行管控（有些包是公司内部开发，那么对于项目来说就需要同时管控内外网下的第三方包）

对于上面提到的问题，实际上解决问题的方向都是一致的，那就是引入虚拟环境，使得每个项目都有一个专属环境就可以了。

如果你的公司在生产环境中使用Python有一定的年头，如3~5年，可能有一些老的项目还在用Python3.5甚至Python2.7，那么基本都会面临不同项目不同Python版本的问题。

此时，面对的问题就是第一点提到的不同项目需要的Python环境不同的问题。对于这种情况，可以直接在电脑下载各个版本的Python环境，随后到任意项目下就选用任意版本的Python环境即可，举个例子：

  • 项目P_01依赖Python3.6：分配Python3.6环境
  • 项目P_02依赖Python3.7：分配Python3.7环境

对于各个不同版本Python环境的管理，个人推荐使用Anaconda：

1
2
3
4
5

# Mac Linux Win全平台支持
# 以Linux为例
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2021.05-Linux-x86_64.sh
chmod a+x ./Anaconda3-2021.05-Linux-x86_64.sh 
./Anaconda3-2021.05-Linux-x86_64.sh

安装完成后，即可创建不同的Python环境：

1
2
3
4

# 其他版本的创建类似
conda create -n python36 python=3.6
# 列出Python环境
conda env list

那么对于项目P_01，只需要在项目根目录下进行刚才建立的虚拟环境即可source activate python36，进入相关环境后直接在环境内安装相关依赖包即可。

也就是说，环境python36是专为项目P_01服务的，其他项目只需要再建立一个环境即可。接下来说说为什么引入Pipenv：

  • 支持对环境和第三方依赖进行管理
  • 很好地管控不同环境下的第三方库，如项目的一部分依赖来自官方，一部分来自公司内部（不能公开）

以我个人举例，构建一个Python项目的基础步骤就是：

1
2
3
4
5

mkdir py_demo && cd py_demo
# 如果项目依赖3.6
pipenv install --python ~/anaconda3/envs/python36/bin/python3.6 --skip-lock
# 如果项目依赖3.7
pipenv install --python ~/anaconda3/envs/python37/bin/python3.7 --skip-lock

是不是很方便？这一番介绍下来如果你对Anaconda和Pipenv的功能边界还是有疑惑的话，可以看看下方我画的一张图（个人理解，欢迎讨论）：

pipenv

🧬 编码标准

对于编码标准，我推荐跟着社区的PEP8走，之前我就已经翻译过一篇如何用PEP 8编写优雅的Python代码，所以编码标准这块就麻烦诸位移步看下哈。

Guido 推荐规范

😎 规范化

所谓标准，如果纯靠人自觉来遵守，实际上就比较理想主义，实际操作下来，我在团队中在规范化这块写了个ci工具，核心就是使用了以下工具来自动标准规范化：

  • black：代码格式化
  • pylint：代码检查
  • isort：导包规划化
  • flake8(mccabe)：代码复杂度检查

接下来我将以VS Code为例，说一下怎么配置，先进行基础的准备工作：

1

pip install black pylint flake8

打开VS Code后请先在设置中配置好 python 插件关于 black&isort 的执行路径： black isort

将路径配置好之后，然后在项目根目录新增 setup.cfg ：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

[isort]
multi_line_output=3
include_trailing_comma=True
force_grid_wrap=0
use_parentheses=True
line_length=88
known_first_party=src
lines_between_types=1
default_section=THIRDPARTY
sections=FUTURE,STDLIB,THIRDPARTY,FIRSTPARTY,LOCALFOLDER
[flake8]
ignore = D203
max-line-length = 88
exclude = .git,__pycache__,old,build,dist
max-complexity = 10

注意这里，我们做了flake8关于复杂度的配置，实际上就相当于在根目录执行:

1

flake8 --config=./setup.cfg --exit-zero --max-complexity 10 src

最后再针对项目进行以下设置：

  • 相关配置文件的路径
  • 自动保存即自动格式化的

编辑.vscode/settings.json配置文件即可：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

{
    "python.linting.pylintEnabled": true,
    "python.sortImports.args": [
        "--settings-path=${workspaceFolder}/setup.cfg"
    ],
    "editor.codeActionsOnSave": {
        "source.organizeImports": true
    },
    "python.formatting.provider": "black",
    "python.envFile": "${workspaceFolder}/.env",
    "python.linting.enabled": true
}

说完了标准化，接下来整起来代码分析工具Pylint ，它分析代码中的错误，查找不符合代码风格标准和有潜在问题的代码。

Pylint 本身的校验还算是比较严格，所以需要添加一些配置限制一些没必要的错误提示，可以在项目根目录下建立文件 .pylintrc :

1
2
3
4

[FORMAT]
max-line-length=120
[MESSAGES CONTROL]
disable=C0103,C0330,W0221,R0913,R0914,R0903,R0902,R0801

然后在项目根目录下执行：

1

pylint --rcfile=./.pylintrc --exit-zero src

随后就可以看到输出的优化建议以及评分：

score

👏 远程开发

对于远程开发，我主要调研以下两个方向：

  • 在服务器搭建远程开发环境，基于code-server
  • 本地编码，利用远程服务器运行，Pycharm可行，VS Code应该也行

最终我选用了第一个方案，主要其云开发的优势非常吸引人：

  • 何时何地能联网就能编码
  • 基于Code Server和VS Code一样的手感，香

其实Code Server的安装非常简单，直接执行以下命令（先安装Docker）：

1
2

mkdir ~/code_data && cd ~/code_data
docker run -it --user root -p 0.0.0.0:8080:8080 -v "$PWD:/home/coder/project" -e PASSWORD="your password" -d codercom/code-server

Code Server 我基于官方镜像还增加了以下个性化配置，这块大家可以根据自己的喜好来配置：

  • 支持oh my zsh
  • 使用国内源
  • 支持anaconda&pipenv项目管理
  • 默认搭建了Python开发环境
    • pipenv管理项目
    • black&isort&pylint进行标准化

项目脚手架

基于公司业务形成开发标准，再基于开发标准抽象出业务模块，有了通用的业务模块实际上我们就可以构建自己的项目脚手架，我在自己团队中针对业务方向抽象了三个方向的开发代码模板：

  • API服务模板：针对接口服务的通用模板，开发者直接在对应文件写逻辑即可，默认配好了服务发现、日志、配置热更、数据库操作、状态码管理等常规模块
  • 软实时服务模板：消费数据团队提供的主题，根据输入数据秒级响应结果，比如实时消费登录数据判断是否登录异常，配置了常见模块如消费模块、数据库操作模块、热更配置开发者直接在指定函数写调用业务即可
  • 离线服务模板：针对特征提取，基于各大云商，封装各种ETL常用模块，一切目的是为了提升开发效率

有了一些通用的模板，实际上就可以基于模板形成自己的脚手架，举个例子大家可能就比较清楚了，比如某个开发者想要开发一个离线特征提取服务，假设我们脚手架名字叫做oc_demo，那么他只需在终端执行oc_demo，然后跟着脚手架走：

1
2
3
4

# 设置作者名
export PROJECT_AUTHOR=howie6879
# 利用离线脚手架创建项目
oc_demo my_project

此时，脚手架就会工作，下拉通用模板，并做一些个性化改动，输出如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

Cloning into 'my_project'...
remote: Enumerating objects: 1004, done.
remote: Counting objects: 100% (72/72), done.
remote: Compressing objects: 100% (59/59), done.
remote: Total 1004 (delta 27), reused 44 (delta 13), pack-reused 932
Receiving objects: 100% (1004/1004), 3.81 MiB | 2.32 MiB/s, done.
Resolving deltas: 100% (568/568), done.
######################################################
离线计算项目构建完成^_^
项目名称：my_project
作者：howie6879
建议Python版本：Python3.6
项目环境管理：Pipenv
开始：
    cd my_project
    pipenv install --python PYTHON36_PATH
######################################################

此时进入目录，作为开发者只需要在逻辑文件那里新建ETL即可，再也不用：

  • 每个成员建立不同风格的模块，维护起来麻烦
  • 不用重复性地造或者说复制他人写好的通用模块
  • 每个项目风格相同，上手快

🔗 说明

在Python项目管理这块，上面提到核心内容的都是我2018年基于社区的一些默认推荐方式梳理的（远程开发除外），可能是我用着一直觉得没啥问题，所以现在团队用的还是这套，如果大家有什么更好的建议，欢迎交流。