tcjlj/OpenFlare
1
0
Fork 0
mirror of https://github.com/Rain-kl/OpenFlare.git synced 2026-10-02 23:06:36 +08:00
Code Issues Packages Projects Releases Wiki Activity
1,593 Commits 5 Branches 62 Tags
0099ce7cb4e515dbccd2ff5d16fd1fb16a20974e
Commit Graph

1593 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
ryan 69d39d906f feat(message-gateway): add admin channel CRUD APIs 2026-08-16 12:17:05 +08:00
ryan 09ec9d0af3 feat(message-gateway): run adapters on worker and handle pairing inbound 2026-08-16 12:14:17 +08:00
ryan 7ca6dbe272 feat(message-gateway): add QQ official C2C botgo adapter 
Pin github.com/tencent-connect/botgo v0.2.1. Connect uses C2C intent
only via the official WebSocket session manager.
 2026-08-16 12:10:15 +08:00
ryan ef97ca5c7e feat(message-gateway): add Telegram private-chat telebot adapter 2026-08-16 12:06:03 +08:00
ryan cc86370e50 feat(message-gateway): emit message_gateway.inbound domain events 2026-08-16 12:04:55 +08:00
ryan 60afdf7c7b feat(message-gateway): add channel, binding, and pairing repositories 2026-08-16 12:04:14 +08:00
ryan 9b1ef1cf7f feat(message-gateway): add w_message_* models and goose migrations 2026-08-16 12:03:23 +08:00
ryan 8ea4c7e13e feat(message-gateway): add channel types, registry, and pairing codes 2026-08-16 12:01:52 +08:00
ryan a4db79e9bd chore: ignore local git worktrees directory 2026-08-16 12:00:42 +08:00
ryan 8b1eb9ca0d docs(message-gateway): add Wavelet message gateway implementation plan 2026-08-16 11:59:59 +08:00
ryan e36db8a56c docs(message-gateway): add Wavelet inbound channel gateway design spec 2026-08-16 11:55:57 +08:00
ryan 37d5a87c9b chore: docs 2026-08-16 11:32:46 +08:00
ryan 64fbaa7ef1 chore: docs 2026-08-16 11:32:13 +08:00
ryan e52592b16d feat(log): 解耦用户访问日志存储，支持切换日志主库 
用户访问日志可在 ClickHouse、PostgreSQL、SQLite 之间切换。
关闭 ClickHouse 时由主库承接写入与查询；切换任务会冻结写入、复制数据后翻转主库。
启动时校验日志主库与运行配置一致，定期清理按各库保留天数删除过期记录。
 2026-08-16 11:17:55 +08:00
ryan 6a53619dd2 feat(framework): 回灌 OpenFlare 分层、安全与运行时改进 
将平台域持久化收敛为 repository 唯一入口，model 去掉 IO。
邮件头写入前清除 CR/LF，防止 header 注入。
httppool 支持可配置 Transport；batchwriter 增加 MinBatchSize/Stats，flush 失败交回批次；任务 PermanentError 作为 SkipRetry 终态。
设置与推送页的确认改为 AlertDialog；axios 去尾斜杠并按 Gin 数组序列化查询参数。
升级共享 Go 依赖（Gin、Asynq、OTel、GORM、Redis 等）。
 2026-08-16 11:07:20 +08:00
ryan fa689aedbc feat(sync): 同步 Wavelet 推送审计、OTel schema 与前端字体 
自定义 Webhook 在 HTTP 200 但业务 errcode 非零时记为失败，任务日志记录上游响应。
OTel Resource 改为 NewSchemaless，避免 semconv 与 SDK 版本冲突。
前端用 next/font 自托管 Inter，并忽略浏览器扩展改写 body 引起的 hydration 警告。
 2026-08-16 11:06:54 +08:00
ryan b9b42e3174 ci: make canary 2026-08-16 10:13:39 +08:00
ryan 20830d31bd chore: guideline 2026-08-16 10:01:56 +08:00
ryan f960511cc0 chore(release): v3.5.3 
### 新增
- 访问日志「日志明细」支持按 HTTP 状态码筛选，可直接输入任意状态码。
- 访问日志「日志明细」支持自定义时间范围筛选，可按起止时间检索日志。
- 首页看板改版：24 小时请求趋势拆分展示请求总量与 2xx/4xx/5xx 状态码类请求量并独占一行；移除宿主机磁盘指标，24 小时容量趋势（CPU/内存）并入业务流量卡片展示。

### 🛠 修复
- 修复首页「来源分布」卡片在 PostgreSQL/SQLite 日志库下无数据的问题。
- 修复源站错误页「仅针对 GET 请求」未真正透传非 GET 响应的问题：POST/PUT 等非 GET 请求现可完整看到源站原始报错内容。
v3.5.3 		2026-08-13 11:44:08 +08:00
ryan 465440fa5b fix(access-logs): 修复状态码自定义 2026-08-13 11:33:12 +08:00
ryan a4dd5ca9e1 feat(dashboard): 首页请求趋势拆分状态码并合并容量到业务流量 
- 24 小时请求趋势拆分展示请求总量与 200/400/500 状态码请求量，独占一行；
  时间桶聚合新增 status_200/400/500_count（CH countIf、PG FILTER），
  请求趋势改为基于原始桶聚合（小时 rollup 无状态码口径）
- 首页移除宿主机磁盘指标，容量趋势（CPU/内存）并入业务流量卡片展示
- 压缩协议 traffic_24h 扩展为 7 元组，前端归一化同步更新
 2026-08-13 11:10:37 +08:00
ryan a9e4237bbf feat(access-logs): 状态码支持手动输入，新增时间范围筛选 
- 状态码筛选支持预设快捷选项 + 手动输入任意 100-599 状态码（数字校验）
- 新增时间范围筛选：shadcn 日期+时间选择器（Popover+Calendar+时分 Select），
  起止时间以 RFC3339 成对传入，后端校验格式与先后关系，非法值返回 400
- 默认显示来源 IP/访问域名/状态码，节点 ID/请求路径/时间范围折叠进「更多筛选」
 2026-08-13 10:27:40 +08:00
ryan 75d1fcf345 feat(access-logs): 日志明细支持按状态码筛选并折叠次要搜索项，修复首页来源分布无数据 
- 修复 PostgreSQL/SQLite 日志库下首页「来源分布」卡片无数据：RegionCounts 对空
  节点 ID 误拼 node_id = '' 恒空条件，改为空节点 ID 表示全节点聚合（对齐 CH 语义），
  并过滤空白归属地
- /access-logs?tab=list 新增状态码筛选：状态码下拉含常用 2xx/3xx/4xx/5xx 选项，
  校验 100-599，非法值返回 400；ClickHouse 与 PostgreSQL/SQLite 日志库均支持
- 搜索框折叠：默认仅显示来源 IP 与状态码，节点 ID/访问域名/请求路径折叠进
  「更多筛选」
 2026-08-13 09:59:32 +08:00
ryan 284eec54f7 chore: guideline 2026-08-12 12:40:06 +08:00
ryan a3ad0d2c97 chore: rename .agent to .agents and update skill path references 2026-08-12 12:39:15 +08:00
ryan 92322c7a22 feat(push): log upstream webhook response in task history 
Pusher.Send now returns the upstream response body alongside the error,
so the push task handler can print what the webhook actually replied
(custom channel e.g. {"errcode":0,"errmsg":"ok"} or a rejection
like {"errcode":93000,...}) into the task log on both success and
failure. Other pushers (lark/telegram/email) return an empty string,
keeping their behavior unchanged.

fix(push): surface webhook business errors in custom channel audit

CustomPusher.Send only checked the HTTP status code. WeChat Work /
DingTalk webhooks return HTTP 200 with a non-zero errcode in the body
even when the message is rejected (e.g. template_card requires
card_action.url when type=1), so rejected pushes were recorded as
'success' in the notification history. Parse the response body and
return an error when errcode is non-zero, matching the Lark pusher.
 2026-08-12 12:32:23 +08:00
ryan f499645cdc chore: guideline 2026-08-12 12:02:14 +08:00
ryan f1577bf092 fix(openresty): 修复源站错误页「仅针对 GET 请求」覆盖非 GET 原始报错数据 
proxy_intercept_errors 会在 Lua 判断前丢弃源站错误响应体，POST/PUT 等
请求收到 503 时被 OpenResty 自带错误页覆盖原始报错数据。现改为在代理
location 内用 Lua header/body 过滤器仅对 GET 请求替换错误页，非 GET
请求完整透传源站原始状态码与响应体；非仅 GET 模式继续使用命名 location
承载错误页。
 2026-08-09 19:38:44 +08:00
ryan 01ed2c5e36 chore(release): v3.5.2 
修复几个遗漏bug
v3.5.2 		2026-08-09 14:08:04 +08:00
ryan 80696c12fa fix: lint 2026-08-09 13:47:40 +08:00
ryan 3d4d99081e fix(log): PG 日志库批量写入为零 ID 行生成雪花 ID 
PostgreSQL 日志表 id 为 NOT NULL 且无默认值，而 GORM 将零值 uint64
主键视为自增并省略 id 列，导致 node access log / 可观测指标等批量
落库持续报 "null value in column id violates not-null constraint"。
在 BatchInsert* 落库前为零 ID 行生成雪花 ID（与 ClickHouse 写入路径
一致），并新增单元回归与 PG 集成回归测试覆盖六张日志表。
 2026-08-09 13:47:13 +08:00
ryan 0639855653 fix(openresty): 修复源站错误页「仅针对 GET 请求」未生效 
error_page 的 URI 内部重定向会把请求方法改写成 GET，导致内部
Lua 中 ngx.req.get_method() 恒为 GET，get_only 判断永不命中，
POST/PUT 等请求仍返回自定义错误页。

改为命名 location（@__openflare_origin_error）承载错误页：
命名 location 保留原始请求方法与原始错误状态码，非 GET 请求
直接以原状态码退出、不再注入自定义 HTML。附带回归断言，禁止
回退到 URI 内部重定向形式。
 2026-08-09 13:42:38 +08:00
ryan 0524ae1da4 chore(release): v3.5.1 
### ✨ 新功能
- 日志存储解耦：ClickHouse 变为可选项，不启用时由 PostgreSQL/SQLite 承担全部日志功能；新增「切换日志数据库」任务支持 PostgreSQL/SQLite 与 ClickHouse 间数据迁移（迁移期间冻结日志写入，成功后自动切换主库并保留源数据）；`log_database` / `log_db_migration` 设为受保护配置；ClickHouse 改为默认关闭。
- 新增 PostgreSQL/SQLite 日志存储实现：节点访问日志按月分区，统计查询合并为单次扫描、IP 汇总归属地取查询窗口内最新记录、WAF 按 IP 聚合减少扫描次数，并新增 `logged_at` 前导索引与主机名小写表达式索引；过期清理直接删除完全过期的整月分区，启动时兜底预建当月及未来 2 个月分区。
- 性能指标与访问日志的保留时长解耦：新增三库共用的 `metric_retention_days` 配置（默认 3 天），每日垃圾清理按独立短留存清理指标快照。

### 🛠 修复
- 修复 UptimeKuma 同步调试日志泄露凭据：Socket.IO 事件日志不再打印 payload 内容（仅记录长度），避免凭据进入日志。
- 修复日志保留天数配置继承旧键导致的误删风险：`log_retention_days_*` 不再继承 `database_auto_cleanup_retention_days`，统一默认 30 天。

### ⚡️ 优化与改进
- 系统定期垃圾清理由每 2 小时改为每日执行一次（凌晨 3 点，Asia/Shanghai），降低非必要高频扫描。

### 💄 其他/体验
- 服务工作者（SW）注入挑战页改为前台无感知：不再显示「加载中…」文案，页面空白，仅通过浏览器控制台输出 `[sw-challenge]` 调试信息，注入过程不打扰访客。
- 用户访问日志（`w_user_access_logs`）记录禁用：不再采集与写入新的用户访问日志，存量数据与管理端访问日志统计页面保留。
v3.5.1 		2026-08-09 11:39:28 +08:00
ryan adee4f7b27 docs: update 2026-08-09 11:22:35 +08:00
ryan 1d0f2d6342 fix(log): hard-set log retention days default to 30, drop legacy inheritance 
log_retention_days_* 迁移不再继承旧键 database_auto_cleanup_retention_days
的值，统一默认 30 天。此前若旧键残留异常小值（如 2 天）会被静默带入，
导致升级后首次垃圾清理把大部分日志直接删掉。PG/SQLite 双方言同步修改，
文档默认值 90 -> 30。
 2026-08-09 10:48:45 +08:00
ryan e3f603f72a fix(security): stop logging UptimeKuma socket payload content 2026-08-09 10:42:21 +08:00
ryan 3b010bb15e feat(log): disable user access log recording 
- 移除全局用户访问日志采集中间件与批写入 writer（risk_control 包整包删除），
  不再写入 w_user_access_logs；存量数据与管理端访问日志统计页面保留
- 日志库迁移任务不再排空用户访问日志队列，状态接口不再展示其缓冲队列统计
- 迁移测试的系统配置 seed 计数断言更新为当前实际值（86 → 95），
  注释改为提示新增配置 seed 时同步更新
 2026-08-09 10:35:39 +08:00
ryan f530cd4025 perf(log): optimize PG log store queries and expired partition cleanup 
- Count/节点访问日志统计改为单次扫描聚合，WAF 按 IP 聚合由三次扫描合并为两次
- IPSummaries 归属地改为取过滤窗口内最新记录（对齐 ClickHouse argMax 口径），
  子查询带窗口条件，可分区裁剪并命中索引
- 新增 goose 迁移：of_node_access_logs (logged_at DESC, id DESC) 前导索引与
  lower(trim(host)) 表达式索引，加速列表排序与主机过滤
- 过期日志清理先按数据校验直接 DROP 完全过期整月分区，再对边界月逐行删除；
  启动时兜底预建当月及未来 2 个月分区，跨月停机重启后首次写入不再报
  "no partition of relation found"
 2026-08-09 10:20:58 +08:00
ryan 08d28c2c8e feat(log): drop empty old-month PG partitions during cleanup 
系统垃圾清理任务删除过期日志后，顺带清理旧月份空分区表：
PostgreSQL 按月分区的访问日志表（节点/用户）在数据删除后若该月
分区已无数据，则自动删除对应分区表，避免历史分区表无限累积。

- 仅删除「当前月之前」且为空的月份分区，当月/未来月及仍有数据的分区保留
- ClickHouse/SQLite 为 no-op（CH 分区随数据删除自动消失）
- 修复既有集成测试 pg_inherits 查询（inhrelid → inhparent）
- 新增单元测试与 PG 集成测试
 2026-08-09 09:33:59 +08:00
ryan 34a0896ff8 chore(task): run system garbage cleanup once daily 
系统定期垃圾清理 cron 由每 2 小时（0 */2 * * *）改为每日凌晨 3 点
（0 3 * * *，Asia/Shanghai），降低非必要高频扫描。新增 PG/SQLite
双方言 goose 迁移（含 Down 回滚）与迁移测试。
 2026-08-09 09:25:30 +08:00
ryan 0c22e76f4b fix(frontend): optimization 2026-08-09 09:14:54 +08:00
ryan bd2183c8bb feat(log): add independent short retention for performance metrics 
性能指标（CPU/内存/磁盘/网络）不再跟随 log_retention_days_*，新增三库共用
的 metric_retention_days 配置（默认 3 天），系统垃圾清理按独立短留存清理
指标快照；访问日志保留时长不变。新增 PG/SQLite 双方言 goose 迁移 seed。
 2026-08-09 09:04:33 +08:00
ryan 9df2437e47 fix(config): set ClickHouse to disabled by default and update related documentation 2026-08-09 08:54:26 +08:00
ryan e8c414aa12 fix: ch migrate 2026-08-09 08:47:56 +08:00
ryan 7e8aa5fa0f Merge branch 'codex/log-database-decoupling' 
# Conflicts:
#	docs/changelog/index.md
#	frontend/app/(main)/error-pages/page.tsx
#	internal/infra/persistence/migrator/migrator_test.go
 2026-08-09 08:37:37 +08:00
ryan 7e518987de chore(release): v3.5.0 
### 🛠 修复
- 修复 PoW 挑战页潜在 XSS 风险，状态与错误文案改用纯文本渲染，并限制跳转 URL 仅允许 http/https 协议。
- 修复邮件发送的邮件头注入风险，写入邮件头前自动清除 CR/LF 换行符（CWE-93）。
- 修复 UptimeKuma 同步调试日志泄露凭据问题，输出日志前对密码和 Token 等敏感字段打码。

### ⚡️ 优化与改进
- 新增 Service Worker 离线兜底功能，为启用 HTTPS 的网站自动下发 Service Worker 并缓存离线页，域名不可达时展示离线兜底页面。
- 重构响应页面设置，将源站错误页与 Service Worker 离线页整合至统一的「响应页面」（/responses）标签页，并增加 URL 查询参数 tab 状态同步。

### 💄 其他/体验
- 新增离线页内置预制模板套件（「极简白底」、「线框拓扑」、「包豪斯」），与源站错误页模板风格保持一致，支持编辑界面一键加载与预览。
v3.5.0 		2026-08-08 23:08:12 +08:00
ryan 61484090f9 fix: 修复源站错误页「仅针对 GET 请求」导致配置发布失败并回滚 2026-08-08 22:37:40 +08:00
ryan 94b74d72f6 fix(frontend): fallback empty offline page html in editor workspace preview 2026-08-08 21:56:44 +08:00
ryan 6487ce666d fix(security): harden PoW XSS, email header injection and UptimeKuma log redaction 2026-08-08 21:52:46 +08:00
ryan c4be34b214 fix(frontend): fallback empty offline page html to default template in preview 2026-08-08 21:52:02 +08:00