Fork me on GitHub

git 配置

git 密码验证不通过问题

私有仓库 账户密码身份验证在2021-08-13日已取消，换成令牌的认证方式

1
2
3
git remote set-url origin  https://<your_token>@github.com/<USERNAME>/<REPO>.git

git clone https://<TOKEN>@github.com/<user_name>/<repo_name>.git

git 验证优化

1
2
3
4
5
6
// clone 项目后每次拉去提交代码 需要输入密码验证

// 执行后 输入一次账户密码就可以不用在输入了
git config credential.helper store

// 后边 加 -glob 可以全局设置所有仓库，不加默认当前仓库生效
more >>

展开全文 >>

npm常用命令

yarn

1
2
3
4
5
6
7
8
9
//vecode中yarn命令报
yarn : 无法加载文件 C:\Users\Admin\AppData\Roaming\npm\yarn.ps1,因为在此系统因为在此系统上禁止运行脚本。

解决方法：
以管理员身份运行vscode;
执行：get-ExecutionPolicy，显示Restricted，表示状态是禁止的;
执行：set-ExecutionPolicy RemoteSigned;
这时再执行get-ExecutionPolicy，就显示RemoteSigned;

展开全文 >>

npm常用命令

1、常用命令

npm -v #显示版本，检查npm 是否正确安装。

npm i express #安装express模块

npm i -g express #i全局安装express模块

npm list #列出已安装模块

npm show express #显示模块详情

npm update #升级当前目录下的项目的所有模块

npm update express #升级当前目录下的项目的指定模块

npm update -g express #升级全局安装的express模块

npm uninstall express #删除指定的模块

more >>

展开全文 >>

python app

创建虚拟环境

这一步并非必要，却十分重要。主要用于多个 python 项目时，同名依赖不同版本情况。创建虚拟环境可以隔离项目之间的依赖（也可以使用 docker 来实现项目隔离）

创建虚拟环境：

1
python -m venv venv  # Windows/macOS/Linux 通用命令

激活虚拟环境：

1
2
3
4
5
# Windows
.\venv\Scripts\activate

# macOS/Linux
source venv/bin/activate

安装依赖：

1
pip install flask  # 仅安装到当前虚拟环境

查看已安装的包：

1
pip list

退出虚拟环境：

1
deactivate

虚拟环境是 Python 开发的标准实践，虽然不是强制要求，但它能避免 90% 的环境相关问题。建议养成 “每个项目一个虚拟环境” 的习惯，从一开始就使用它！

依赖安装

1、requirements.txt

自动生成项目中的依赖 到 requirements.txt 文件

1
pip freeze > requirements.txt

类似于yarn 的一键安装项目依赖

1
pip install -r requirements.txt

2、**pyproject.toml**

1
2
3
4
5
6
7
8
9
10
11
12
# pyproject.toml
[build-system]
requires = ["setuptools>=42"]
build-backend = "setuptools.build_meta"

[project]
name = "my-project"
version = "0.1.0"
dependencies = [
    "Flask>=2.0.0",
    "requests>=2.28.0",
]

安装方式

1
pip install .  # 安装项目及其依赖

3、**setup.py（传统方法）**

1
2
3
4
5
6
7
8
9
10
11
# setup.py
from setuptools import setup

setup(
    name="my-project",
    version="0.1.0",
    install_requires=[
        "Flask>=2.0.0",
        "requests>=2.28.0",
    ],
)
1
pip install .  # 安装项目及其依赖

敏感参数配置

项目推荐使用 .env 文件放置，通过 dotenv 第三方模块来加载。.env 文件不提交。生产环境时可以

  1. 在生产环境新建一个.env 文件

    1
    2
    3
    FLASK_APP=app
    # FLASK_DEBUG=True
    SECRET_KEY=your-secret-key

  2. 在运行环境设置环境变量

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    # 临时环境变量
    # Linux/macOS
    export SECRET_KEY=prod_secret_key
    export FLASK_DEBUG=False

    # Windows（PowerShell）
    $env:SECRET_KEY = "prod_secret_key"
    $env:FLASK_DEBUG = "False"

    # 永久环境变量
    # Linux/macOS：写入 shell 配置文件（如 ~/.bashrc、~/.zshrc）
    echo 'export SECRET_KEY=prod_secret_key' >> ~/.bashrc
    echo 'export FLASK_DEBUG=False' >> ~/.bashrc
    source ~/.bashrc  # 立即生效
    # Windows：通过「系统属性 → 高级 → 环境变量」图形界面配置，或使用 PowerShell 命令永久设置。

  3. docker 容器部署

    docker run 命令直接传入

    1
    docker run -e "SECRET_KEY=prod_secret" -e "FLASK_DEBUG=False" your-image

    docker-compose.yml 文件配置

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    # docker-compose.yml
    services:
      app:
        image: your-image
        environment:
          - SECRET_KEY=prod_secret
          - FLASK_DEBUG=False
        # 或引用服务器上的 .env 文件（但需确保该文件仅在服务器存在）
        env_file:
          - .env.prod  # 服务器上的生产环境变量文件

app项目架构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
flask_project/
│
├── app/                 # 应用包
│   ├── __init__.py      # 应用工厂
│   ├── routes/          # 路由模块
│   │   ├── __init__.py
│   │   ├── main.py      # 主路由
│   │   └── api.py       # API路由
│   ├── models/          # 业务模块
│   ├── test/            # 测试业务模块
│   │   ├── __init__.py
│   │   └── test.py      # 测试业务逻辑
│   │   └── __init__.py
│   ├── utils/          # 工具类模块
│   │   ├── db.py       # 数据库工具类
│   │   └── __init__.py
│   ├── templates/       # 模板文件
│   │   ├── index.html   # index 页面
│   │   └── about.html   # about 页面,如果使用单页面应用，可以打包成只有一个html文件
│   ├── static/          # 静态文件
│   └── config.py        # 配置文件
│
├── .env                 # 环境变量
├── requirements.txt     # 依赖清单
└── run.py               # 应用入口

数据库集成

数据库使用的是 pymysql，连接池 dbutils.pooled_db

.env 环境配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 数据库配置
DB_HOST=*.*.*.*
DB_PORT=18453
DB_USER=root
DB_PASSWORD=***
DB_NAME=anjian
DB_CHARSET=utf8mb4
DB_AUTOCOMMIT=True

# 数据库连接池配置
DB_POOL_MIN_CACHED = 5
DB_POOL_MAX_CACHED = 10
DB_POOL_MAX_SHARED = 5
DB_POOL_MAX_CONNECTIONS = 20
DB_POOL_BLOCKING = True
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
'''
Description: 
Author:  
Date: 2025-07-08 17:41:42
LastEditTime: 2025-07-09 09:50:19
LastEditors:  
'''
# app/utils/db.py
import os
import pymysql
from typing import Generator, Any, List, Tuple, Sequence, Callable, Union
from contextlib import contextmanager
from dbutils.pooled_db import PooledDB

DB_CONFIG = {
    "host": os.getenv("DB_HOST", "localhost"),
    "port": int(os.getenv("DB_PORT", 3306)),
    "user": os.getenv("DB_USER", "admin_db"),
    "password": os.getenv("DB_PASSWORD", "***"),
    "database": os.getenv("DB_NAME", "test_db"),
    "charset": os.getenv("DB_CHARSET", "utf8mb4"),
    "autocommit": os.getenv("DB_AUTOCOMMIT", "true").lower() == "true",  # 是否自动提交事务
}

DB_POOL_CONFIG = {
    'mincached': int(os.getenv("DB_POOL_MINCACHED", 5)),                      # 连接池中空闲连接的初始数量
    'maxcached': int(os.getenv("DB_POOL_MAXCACHED", 10)),                     # 连接池中空闲连接的最大数量
    'maxshared': int(os.getenv("DB_POOL_MAXSHARED", 5)),                      # 共享连接的最大数量
    'maxconnections': int(os.getenv("DB_POOL_MAX_CONN_NUM", 20)),             # 连接池允许的最大连接数
    "blocking": os.getenv("DB_POOL_BLOCKING", "true").lower() == "true", # 连接池达到最大连接数时是否阻塞
    "ping": int(os.getenv("DB_POOL_PING", 1)),                           # 检查连接的有效性 (0=从不，1=默认，2=每一次获得连接时，4=每一次游标执行时，7=总是)
    "maxusage": None,                                                    # 一个连接最多被重复使用的次数，None 表示无限制
}
# 创建数据库连接池
pool = PooledDB(
    creator=pymysql,               # 使用 pymysql 作为数据库驱动
    **DB_CONFIG,                   # 数据库连接配置
    #autocommit=True,  # 自动提交事务
    # 连接池参数
    **DB_POOL_CONFIG,              # 连接池配置
)

# 数据库操作上下文管理器
from contextlib import contextmanager

@contextmanager
def get_db_cursor(dict_=False):
    """获取数据库游标，支持字典格式返回。
    Args:
        dict_: 是否使用字典游标（默认 False）
    """
    try:
        with pool.connection() as conn:
            cursor_cls = pymysql.cursors.DictCursor if dict_ else None
            with conn.cursor(cursor_cls) as cur:
                yield cur
    except Exception as e:
        print(f"Database operation failed: {e}")
        raise e


# 使用示例
def fetch_one(sql: str,
              params: tuple | list = None,
              dict_: bool = True) -> Any | None:
    with get_db_cursor(dict_) as cur:
        cur.execute(sql, params)
        return cur.fetchone()

db.py 中的 fetch_one 方法 可以到 mudules.test.test.py 中 引入使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# mudules.test.test.py
from app.utils.db import  fetch_one

# Example usage
def select_query_plan_file_mesures():
    try:
        #
        data_sql = (
            " SELECT * from query_wztp "
        )
        params = []
        rows = fetch_one(data_sql, params, True)
        print(f"是否跨越查询计划：{rows}")
        return rows
    except Exception as e:
        print(f"是否跨越查询计划出错：{e}")
        return None

与其他 Python Web 框架对比

框架 定位 优势 劣势 适用场景
Django 全栈框架（ batteries-included ） 功能全面、安全稳定、生态丰富、后台管理强大 略厚重、同步性能一般 企业级应用、后台系统、API 服务
Flask 微框架（轻量灵活） 体积小、可定制化强 需手动拼接第三方库（如 ORM、表单） 小应用、原型开发、API 原型
FastAPI 异步 API 框架 异步性能优、自动生成 API 文档 无内置后台管理、生态较新 高并发 API 服务、实时数据接口

展开全文 >>

外星人入侵

python 包管理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
pip设置安装源
pip国内的一些镜像

  阿里云 http://mirrors.aliyun.com/pypi/simple/ 
  中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 
  豆瓣(douban) http://pypi.douban.com/simple/ 
  清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/ 
  中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/

修改源方法：

1)临时生效

可以在使用pip的时候在后面加上-i参数，指定pip源 
eg: pip install jieba -i https://pypi.tuna.tsinghua.edu.cn/simple

2)永久生效：

mkdir ~/.pip
vim ~/.pip/pip.conf
输入以下内容

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
more >>

展开全文 >>

python 爬虫

通过网络获取远程对象

1
2
3
4
5
6
	urlopen 用来打开并读取一个从网络获取的远程对象。因为它是一个非常通用的函数（可以轻松读取 HTML 文件、图像文件或其他任何文件流）
#python 内置库
from urllib.request import urlopen

html =urlopen('http://pythonscraping.com/pages/page1.html')
print(html.read())
more >>

展开全文 >>

Nodejs 主流框架

Nodejs 主流框架

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
1、Express
Node界最老牌的Web框架，最成熟，生态最好。提供了基础的请求上下文封装，路由，中间件，模板引擎接口，静态资源服务。麻雀虽小，五脏俱全。很方便的进行扩展，大量的基于Express的框架。

2、Koa
Express原班人马打造，定义为下一代Web开发框架。仅提供一个请求上下文，中间件机制，没有捆绑任何中间件。通过利用async/await，让你写出更优雅的代码。方便开发者针对自身需求开发自定义框架。

3、egg
eggjs是由阿里推出的一款web企业级框架，提供了完整的Web开发所需的组件，使用koa作为底层。使用了约定大于配置的理念，提供强大的插件机制，方便扩展。

4、NestJs
NestJs的主要卖点是TypeScript的完全支持。大量的使用装饰器，代码看起来清爽多了。orm采用TypeORM，使用类型加装饰器，代码比一般的orm整洁得多。

5、Fastify
Fastify号称是最快的Nodejs web框架，在Json输出的场景下，通过Json Schema序列化为Json数据，可以达到原生JSON.stringify 2倍的性能，在极端情况下可达到10倍速。采用对象池，将请求上下文包装对象进行复用。使用trie树存储路由，查找效率更高（在大量有路由的情况下）。Fastify提供了强大的插件机制，通过插件可以分割路由及中间件。


地址：
	https://npm-stat.com/
	https://npm-stat.com/charts.html?package=koa&from=2021-01-01&to=2022-04-27

包下载量查询 2021-01-01 - 2022-04-27

Express	1,258,568,282
Koa	69,468,698
egg	2,177,325
NestJs	160,925
Fastify	19,580,835

github星数

xpress	87.1k
Koa	32.5k
egg	17.9k
NestJs	46.5k
Fastify	22.8k

nodejs 库

Sequelize

Sequelize 是一种基于 promise 的 Node.js 对象关系映射器 （ORM） 使用，它使开发人员更容易使用关系数据库。
支持 PostgreSQL、MySQL、MariaDB、SQLite 等数据库。

CORS

它使用 Connect/Express 提供跨域资源共享 （CORS） 作为中间件。

Nodemailer

Nodemailer简化了从Node.js服务器发送电子邮件的过程。

passport

Passport 是一个模块化的 Node.js 身份验证中间件。

支持 500 多种身份验证方案，包括 Google、Facebook、Twitter 和其他自定义和单点登录 （SSO） 提供商。

Async

Async 是一个强大的 Node.js 实用程序模块，可帮助开发人员通过使用 JavaScript“异步”或回调接受方法使用异步 JavaScript。

提供 70 多种实用方法，用于轻松开发异步控制流。

Winston

Winston 是 Node.js 的日志记录包，允许在许多传输上进行通用日志记录。

Mongoose

Mongoose 是一个 Node。基于 js 的 MongoDB 对象建模工具，通常称为对象数据建模 （ODM） 库，提供钩子、模型验证、连接和查询等功能。

Socket.IO

Socket.IO 是一个 Node .js通信包，它允许客户端浏览器和服务器实时、双向和基于事件进行通信。

Lodash

Lodash 是一个 JavaScript 实用程序包，可帮助开发人员编写简单且可维护的代码。

puppeteer

Puppeteer 是一个 Node.js 框架，它允许您通过提供用于通过 DevTools 协议控制 Chrome/Chromium 的高级 API，从而实现 Chrome 的自动化。

它可以自动执行前端测试，例如请求处理测试、识别和比较 UI 组件以及性能测试等。

Multer

Multer 是一个 Node.js 中间件库。它建立在 HTML 表单解析器 Busboy 之上，支持多部分和多表单数据。

初始化 Multer 实例后，其参数之一是测试对象，它指定上传的文件在服务器上的保存位置。

Dotenv

Dotenv 是一个 Node.js 实用程序模块，用于维护应用程序环境变量并保护关键配置数据。

MQTT.js

MQTT是一种轻量级的、基于发布/订阅模式的物联网通信协议，专为计算能力有限并在低带宽、不可靠网络环境下工作的远程传感器、控制设备通信而设计。

MQTT和Socket的主要区别在于它们的应用场景和目的。MQTT更适用于物联网场景，特别是需要发布/订阅模式以及低带宽、不可靠网络环境的场景；而Socket则更偏向于网络编程中的基础通信手段，用于建立可靠的连接和数据传输。在实际应用中，可以根据具体需求选择合适的协议或技术。

客户端 mqtt-client.vue

node-fluent-ffmpeg

1
npm install fluent-ffmpeg

该库将 ffmpeg 的复杂命令行用法抽象为一个流畅、易于使用的node.js模块。为了能够使用此模块，请确保您的系统上安装了 ffmpeg（包括所有必要的编码库，如 libmp3lame 或 libx264）。

node mail

Nodemailer 是一个用于Node.js应用程序的模块，可以像蛋糕一样轻松发送电子邮件。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
const nodemailer = require("nodemailer");

const transporter = nodemailer.createTransport({
  host: "smtp.ethereal.email",
  port: 587,
  secure: false, // Use `true` for port 465, `false` for all other ports
  auth: {
    user: "maddison53@ethereal.email",
    pass: "jn7jnAPss4f63QBp6D",
  },
});

// async..await is not allowed in global scope, must use a wrapper
async function main() {
  // send mail with defined transport object
  const info = await transporter.sendMail({
    from: '"Maddison Foo Koch 👻" <maddison53@ethereal.email>', // sender address
    to: "bar@example.com, baz@example.com", // list of receivers
    subject: "Hello ✔", // Subject line
    text: "Hello world?", // plain text body
    html: "<b>Hello world?</b>", // html body
  });

  console.log("Message sent: %s", info.messageId);
  // Message sent: <d786aa62-4e0a-070a-47ed-0b0666549519@ethereal.email>
}

main().catch(console.error);

joi

对输入数据（如用户提交的表单、API 请求参数）进行规则校验，确保数据格式、类型、范围等符合预期，避免无效或恶意数据进入系统。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
const Joi = require('joi');

// 定义验证规则
const schema = Joi.object({
  email: Joi.string().email().required(), // 必须是合法邮箱
  password: Joi.string().min(6).max(20).required(), // 密码长度6-20位
  age: Joi.number().integer().min(0).max(120) // 年龄是0-120的整数（可选）
});

// 验证数据
const userData = { email: 'test@example.com', password: '123456', age: 25 };
const result = schema.validate(userData);

if (result.error) {
  console.log('验证失败：', result.error.details[0].message);
} else {
  console.log('验证通过');
}

bcryptjs：密码加密库

对用户密码进行单向哈希加密（不可逆），将明文密码转换为乱码字符串（哈希值），避免密码明文存储在数据库中，提升安全性。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
const bcrypt = require('bcryptjs');

// 加密密码（注册时）
const plainPassword = 'user123'; // 用户输入的明文密码
const saltRounds = 10; // 加盐强度（数值越大，加密越慢但越安全，通常取10-12）

// 生成哈希值
bcrypt.hash(plainPassword, saltRounds, (err, hash) => {
  if (err) throw err;
  console.log('加密后的密码：', hash); // 类似 $2a$10$...（存储到数据库）
});

// 验证密码（登录时）
const storedHash = '$2a$10$...'; // 从数据库取出的哈希值
bcrypt.compare(plainPassword, storedHash, (err, isMatch) => {
  if (err) throw err;
  console.log('密码是否匹配：', isMatch); // true 或 false
});

jsonwebtoken（JWT）

该库提供了简单的 API，实现 JWT 的生成（sign）、验证（verify） 和解码（decode）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import jwt from 'jsonwebtoken';
import { config } from '../config.js';

// 签发 JWT，默认过期时间来自配置
export function signToken(payload) {
  return jwt.sign(payload, config.jwtSecret, { expiresIn: config.jwtExpiresIn });
}

export function authRequired() {
  return (req, res, next) => {
    const authHeader = req.headers.authorization || '';
    const token = authHeader.startsWith('Bearer ') ? authHeader.slice(7) : null;
    if (!token) {
      return res.status(401).json({ ok: false, error: 'Unauthorized' });
    }
    try {
      const decoded = jwt.verify(token, config.jwtSecret);
      req.user = decoded;
      return next();
    } catch (e) {
      return res.status(401).json({ ok: false, error: 'Invalid token' });
    }
  };
}

云函数

laf云函数

laf 是一个集「函数计算」、「数据库」、「对象存储」等于一身的一站式开发平台。

支持get,post 等常规请求。支持socket长连接。功能很齐全

收费方式按时间计算，可随时关停

aircode

AirCode 是一个在线开发和部署 Node.js 应用的平台，为全栈工程师量身定制，目标是让开发变得简单。

我们通过提供极致简单的 WebIDE 和开箱即用的云服务，让开发者无需再操心后端选型、环境搭建和线上运维等一系列繁琐之事，只需打开浏览器即可完成产品开发，并部署到全球节点。

功能与laf 类似，没有提供socket 长连接服务。但是拥有免费的额度可以白嫖

展开全文 >>

node 升级命令

// 版本查询

1
node -v

// 如果上面查看的版本比较低，则可以开始升级

// 清除 npm cache

1
npm cache clean --force

//升级之前还需要安装n模块，n模块是专门用来管理nodejs的版本

输入npm install -g n

// 如果上边命令报错，则使用下边这个

1
npm i -g n --force

//升级
还可以直接输入n stable，升级到nodejs最新稳定的版本

Linux 安装 node

网上下载安装包，然后上传至服务器，解压

Linux 添加环境变量

  • 修改profile文件

    打开文件

    1
    vim /etc/profile

    添加

    1
    export PATH ="$PATH:YOUR_PATH"

    参考文章

远程 执行node 脚本,自定义变量找不到

问题出现就是，xshell 上执行命名 运行一个js文件没有问题，但是通过nodo-ssh远程执行一个js脚本则会出现 Cannot find module xxx，因为脚本中引用了 某个全局的js依赖包，而我在etc/peofile 设置的 全局变量，在这种通过 远程指令 方式下执行会出现读取不到设置的全局变量。

解决方法，在 etc/bashrc 文件中 再设置一次变量（此方式设置所有用户都能访问），或 用户HOME中的 .bashrc 文件中设置变量（此方式只此用户能访问此变量）

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

侠客行
作者：李白
赵客缦胡缨，吴钩霜雪明。
银鞍照白马，飒沓如流星。
十步杀一人，千里不留行。
事了拂衣去，深藏身与名。
闲过信陵饮，脱剑膝前横。
将炙啖朱亥，持觞劝侯嬴。
三杯吐然诺，五岳倒为轻。
眼花耳热后，意气素霓生。
救赵挥金槌，邯郸先震惊。
千秋二壮士，烜赫大梁城。
纵死侠骨香，不惭世上英。
谁能书阁下，白首太玄经。