tcjlj/OpenFlare
1
0
Fork 0
mirror of https://github.com/Rain-kl/OpenFlare.git synced 2026-09-30 22:26:38 +08:00
Code Issues Packages Projects Releases Wiki Activity
1,593 Commits 4 Branches 61 Tags
0099ce7cb4e515dbccd2ff5d16fd1fb16a20974e
Commit Graph

629 Commits

Author SHA1 Message Date
ryan 43dc97e48c refactor(layout): consolidate backend codebase into backend/ package and clean root directory 
- Moved cmd/, core/, plugins/, pkg/, downstream/, and main.go into backend/ directory
- Batch updated all Go source files to import github.com/Rain-kl/Wavelet/backend/...
- Updated Makefile, scripts/swagger.sh, architecture guards, and platform skills
- Passed all quality gates (100% tests, 0 lint issues, clean build)
 2026-08-28 12:56:02 +08:00
ryan 33b38f8687 docs(migration): update docs and skills for new migration architecture 
Update all relevant documentation and skills to reflect:
- w_schema_versions shared version table with plugin_id discriminator
- Single 00001_initial.sql per plugin (merged from multi-file approach)
- gooseEngine uses goose.NewProvider with goose.WithStore(sharedStore)
- pkg/migrator deleted, all 26 global SQL files moved to per-plugin
- DDL/DML single-file approach (merged seed + schema)

Files updated:
- .agents/skills/database-migration/SKILL.md (full rewrite)
- docs/WAVELET_WHITE_PAPER.md (table matrix + migration check)
- docs/WAVELET_DEVELOPER_GUIDE.md (scenario 9)
- docs/superpowers/specs/2026-08-27-cordis-plugin-architecture-design.md
- docs/superpowers/specs/2026-08-27-cordis-downstream-developer-guide.md
 2026-08-28 12:45:58 +08:00
ryan 530a9dd3ee refactor(migration): delete pkg/migrator, move SQL to per-plugin embed 
BREAKING: pkg/migrator/ deleted entirely. Migration SQL files are now
owned by each plugin in its own migrations/ directory.

Architecture:
- Delete pkg/migrator/ (26 global SQL files + ClickHouse migration)
- Move global SQL to per-plugin migrations/ with go:embed + Register()
- Rewrite cmd/app.go gooseEngine: uses Inject[DBService] for DB, iterates
  all plugin-registered MigrationEntry, runs goose.Up per entry
- core.MigrationEngine.Migrate signature changed: *Context instead of
  context.Context, so engine can resolve services via IoC

Per-plugin migration ownership:
  auth/             → w_access_tokens, w_auth_sources, w_external_accounts
  user/             → w_users (seed system user)
  admin/            → w_system_configs, w_templates (seeds)
  upload/           → w_uploads, w_upload_stats
  message_gateway/  → w_push_*, w_message_*
  risk_control/     → w_user_access_logs (PG + ClickHouse)
  driver_asynq_cron/  → w_schedules
  driver_asynq_worker/ → w_task_executions

Dependencies:
- cmd/banner.go: removed migration report display (migrations are automatic)
- cmd/reset_passwd.go: removed PreRun migrator.Migrate() call
- go.mod: clickhouse-go kept (used by plugins/infra/database/clickhouse.go)
 2026-08-28 12:19:25 +08:00
ryan 416603b616 fix(persistence): migrate all pkg/persistence imports to plugins/infra/database and plugins/infra/cache 
- Replace db.DB(ctx) with database.DB(ctx) from plugins/infra/database
- Replace db.Redis/db.PrefixedKey/db.GetJSON/db.SetJSON with cachepkg.* from plugins/infra/cache
- Replace pkg/persistence/idgen with pkg/idgen (already exists)
- Replace pkg/persistence/batchwriter with pkg/batchwriter (already exists)
- Replace pkg/persistence/migrator with pkg/migrator (already exists)
- Replace pkg/persistence/logstore with plugins/domain/risk_control/logstore
- Delete defunct pkg/{persistence,cap,message_gateway,push,shared,task}
- Fix vet issues: db alias in domain_test.go, driver_asynq_worker.TaskHandler reference
- Update Makefile architecture guard
- Update docs and skill references
- Update go.mod: gorilla/sessions promotion to direct dependency
 2026-08-28 10:59:24 +08:00
ryan fb6a3edb89 refactor(architecture): eliminate internal package and complete cordis single-owner model and repository migration 
- Physically purged all legacy internal/ packages, centralized pkg/model/ and pkg/repository/
- Migrated domain models and database repositories into self-contained owner plugins (user, auth, message_gateway, admin, upload, risk_control)
- Decoupled cross-plugin interactions via pure core/contracts and typed EventBus
- Ensured 100% test coverage pass, zero data races (-race clean), and 0 lint issues in make code-check
 2026-08-28 08:40:43 +08:00
ryan 1f348fd425 docs(whitepaper): update white paper to reflect 100% pure Cordis single-track architecture 2026-08-28 07:28:55 +08:00
ryan df3c5ae756 docs(whitepaper): update white paper with deep physical migration status and zero-lint test report 2026-08-28 07:16:40 +08:00
ryan e750fadacd chore: docs 2026-08-28 00:11:54 +08:00
ryan 5a00879b63 docs(whitepaper): update white paper with comprehensive QA and E2E test report 2026-08-28 00:07:07 +08:00
ryan 94c5aa4cd3 docs: publish WAVELET architecture white paper and official developer guide 2026-08-27 23:51:37 +08:00
ryan d853a41eae docs: initialize WAVELET white paper and developer guide 2026-08-27 23:43:06 +08:00
ryan 3792313797 docs: add cordis plugin architecture implementation plan 2026-08-27 23:38:02 +08:00
ryan 40de54fe5b docs: add cordis downstream developer guide and cookbook 2026-08-27 23:33:12 +08:00
ryan 360f4f432c docs: add cordis microkernel and plugin architecture design spec 2026-08-27 23:24:34 +08:00
ryan ae3b792e16 feat(core): sync framework security hardening and accessibility improvements 
- add util.Go with panic recovery for background goroutines
- add util.EscapeLike and explicit ESCAPE clause for SQL LIKE queries
- add DummyCheckPassword and subtle.ConstantTimeCompare against timing attacks
- enforce session ID rotation upon login/oauth callback to prevent session fixation
- add sliding window login failure rate limiting and oauth state rate limiting
- fix redis client capture race in pubsub listeners and wait on stop channel
- adjust global --primary to oklch(51.1% 0.262 276.966) for WCAG AA contrast
- fix semantic heading levels and missing aria-labels across UI components
- document security, concurrency, and a11y standards in AGENTS.md
 2026-08-27 23:01:28 +08:00
ryan e7b8fb2f99 docs(i18n): 同步 24 篇旧英文文档与中文最新内容 
guide 9 篇（quick-start/first-site/sso/troubleshooting/tunnel-usage/waf-usage/waf-ip-group-expr/credits/index）、deployment 7 篇（deployment/server/agent/relay/openflared/upgrade/index）、reference 3 篇（configuration/cli/index）、design 5 篇（architecture/agent-design/tunnel-design/waf-design/index）全部按中文最新版重写同步；waf-usage/waf-design 按新版 DAG 模型重写；修复 reference 中文锚点链接；vitepress 构建 43 个英文页面全绿
 2026-08-16 23:27:18 +08:00
ryan 454542c1d0 docs(i18n): 恢复并补齐英文版 vitepress，README 默认改为英文 
- README 默认英文：README.en.md → README.md（英文为默认），中文移至 README.zh-CN.md，语言切换链接同步
- 恢复被删除的 docs/en/ 英文文档（git 历史 cc5e53c5^），删除 4 篇已废弃文件
- 英文导航 config.ts 对齐中文结构（新增 Deployment/Changelog 侧栏，同步 Guide/Design 条目）
- 翻译 15 篇中文新增文档：guide 5 篇（certificates/pages-usage/proxy-config/uptime-kuma/zone-domain-migration）+ design 10 篇（zone-design/cloudflare-pointing/waf-orchestration/origin-error-page/edge-cache-design/pages-design/logstore/kuma-design/login-captcha/observability 三篇）
- en 首页更新（新增 Pages 特性、tagline 同步）；changelog 英文入口指向中文版
- vitepress 构建验证：43 个英文页面全部渲染

注意：29 篇旧英文文档为恢复版，部分内容（如 deployment/server、reference/configuration）可能落后于中文，需后续逐篇同步
 2026-08-16 23:18:29 +08:00
ryan 3f97193280 chore(docs): purge 2026-08-16 21:44:28 +08:00
ryan 9b89d3c630 Merge branch 'autoresearch/code-quality-2026-08-16' 2026-08-16 21:15:13 +08:00
ryan 4962bf90d1 两处真实质量修复：(1) 过期 swagger 文档重新生成（status_2xx/4xx/5xx_count 字段随 a4dd5ca9 加入后未同步 docs，违反 repo 约定，swag init 后差异仅真实新增字段）；(2) generate-themes.js 输出补尾换行，themes.json 构建可复现（此前每次 build 弄脏工作树）。验证 next build 成功、musttag/tagalign 调查无真实问题。 
Result: {"status":"keep","total_issues":8,"golint_canonicalheader":0,"golint_errname":0,"golint_errorlint":1,"golint_exhaustive":0,"golint_forcetypeassert":0,"golint_gosec":0,"golint_intrange":0,"golint_modernize":3,"golint_nilnil":3,"golint_perfsprint":0,"golint_prealloc":0,"golint_recvcheck":1,"golint_usestdlibvars":0,"golint_wastedassign":0,"golint_total":8,"golint_test_testifylint":0,"golint_test_thelper":0,"golint_test_usetesting":0,"golint_test_total":0,"golint_vetx_total":0,"eslint_problems":0,"eslint_errors":0,"eslint_warnings":0,"tsc_errors":0,"vitest_failed":0,"vitest_total":116,"measure_s":86}
 2026-08-16 19:19:04 +08:00
ryan 600a7acdfb docs: 核查并润色文档，对齐项目实际实现 
- 删除未经验证的环境要求（Docker 版本号、浏览器条目）与括号废话
- 故障排查改为真实处理路径（升级→重新发布→强制同步→重建 Agent→提交 issue），删除仅开发时用的排障章节
- 删除设计文档中的测试与验收、实现检查清单、贡献者阅读建议等开发内容
- 修正与代码不符的事实：reset-passwd 命令名、证书续签窗口 7 天、Pages 检查间隔 1440 分钟、Relay vhost 端口 8080、SSO 仅支持 OIDC 等
- 去除口语化表述与无意义括号，改写「不是…而是…」句式
- 同步修正文档站链接锚点，构建验证通过
 2026-08-16 17:49:57 +08:00
ryan 5aaaf8f197 fix(frontend): 修复静态导出下切换语言无效的问题 2026-08-16 17:29:14 +08:00
ryan 5a8722ff07 feat(frontend): 控制台 next-intl 中英双语 
接入无 URL 前缀的 zh-CN/en，顶栏与外观设置可切换语言；选择写入 cookie 后刷新生效。
 2026-08-16 16:49:16 +08:00
ryan b66cf3ae9c feat(log): PG 分区清理与 logstore import-lint 
CleanupExpired 先按月 DROP 过期分区，再删边界行并清理空分区；apps 禁止直连 analytics。
 2026-08-16 16:48:15 +08:00
ryan 635c1760ad feat(message-gateway): add user bind and unbind APIs 2026-08-16 12:19:32 +08:00
ryan 69d39d906f feat(message-gateway): add admin channel CRUD APIs 2026-08-16 12:17:05 +08:00
ryan 8b1eb9ca0d docs(message-gateway): add Wavelet message gateway implementation plan 2026-08-16 11:59:59 +08:00
ryan e36db8a56c docs(message-gateway): add Wavelet inbound channel gateway design spec 2026-08-16 11:55:57 +08:00
ryan 37d5a87c9b chore: docs 2026-08-16 11:32:46 +08:00
ryan 64fbaa7ef1 chore: docs 2026-08-16 11:32:13 +08:00
ryan e52592b16d feat(log): 解耦用户访问日志存储，支持切换日志主库 
用户访问日志可在 ClickHouse、PostgreSQL、SQLite 之间切换。
关闭 ClickHouse 时由主库承接写入与查询；切换任务会冻结写入、复制数据后翻转主库。
启动时校验日志主库与运行配置一致，定期清理按各库保留天数删除过期记录。
 2026-08-16 11:17:55 +08:00
ryan fa689aedbc feat(sync): 同步 Wavelet 推送审计、OTel schema 与前端字体 
自定义 Webhook 在 HTTP 200 但业务 errcode 非零时记为失败，任务日志记录上游响应。
OTel Resource 改为 NewSchemaless，避免 semconv 与 SDK 版本冲突。
前端用 next/font 自托管 Inter，并忽略浏览器扩展改写 body 引起的 hydration 警告。
 2026-08-16 11:06:54 +08:00
ryan f960511cc0 chore(release): v3.5.3 
### 新增
- 访问日志「日志明细」支持按 HTTP 状态码筛选，可直接输入任意状态码。
- 访问日志「日志明细」支持自定义时间范围筛选，可按起止时间检索日志。
- 首页看板改版：24 小时请求趋势拆分展示请求总量与 2xx/4xx/5xx 状态码类请求量并独占一行；移除宿主机磁盘指标，24 小时容量趋势（CPU/内存）并入业务流量卡片展示。

### 🛠 修复
- 修复首页「来源分布」卡片在 PostgreSQL/SQLite 日志库下无数据的问题。
- 修复源站错误页「仅针对 GET 请求」未真正透传非 GET 响应的问题：POST/PUT 等非 GET 请求现可完整看到源站原始报错内容。
 2026-08-13 11:44:08 +08:00
ryan 465440fa5b fix(access-logs): 修复状态码自定义 2026-08-13 11:33:12 +08:00
ryan a4dd5ca9e1 feat(dashboard): 首页请求趋势拆分状态码并合并容量到业务流量 
- 24 小时请求趋势拆分展示请求总量与 200/400/500 状态码请求量，独占一行；
  时间桶聚合新增 status_200/400/500_count（CH countIf、PG FILTER），
  请求趋势改为基于原始桶聚合（小时 rollup 无状态码口径）
- 首页移除宿主机磁盘指标，容量趋势（CPU/内存）并入业务流量卡片展示
- 压缩协议 traffic_24h 扩展为 7 元组，前端归一化同步更新
 2026-08-13 11:10:37 +08:00
ryan a9e4237bbf feat(access-logs): 状态码支持手动输入，新增时间范围筛选 
- 状态码筛选支持预设快捷选项 + 手动输入任意 100-599 状态码（数字校验）
- 新增时间范围筛选：shadcn 日期+时间选择器（Popover+Calendar+时分 Select），
  起止时间以 RFC3339 成对传入，后端校验格式与先后关系，非法值返回 400
- 默认显示来源 IP/访问域名/状态码，节点 ID/请求路径/时间范围折叠进「更多筛选」
 2026-08-13 10:27:40 +08:00
ryan 75d1fcf345 feat(access-logs): 日志明细支持按状态码筛选并折叠次要搜索项，修复首页来源分布无数据 
- 修复 PostgreSQL/SQLite 日志库下首页「来源分布」卡片无数据：RegionCounts 对空
  节点 ID 误拼 node_id = '' 恒空条件，改为空节点 ID 表示全节点聚合（对齐 CH 语义），
  并过滤空白归属地
- /access-logs?tab=list 新增状态码筛选：状态码下拉含常用 2xx/3xx/4xx/5xx 选项，
  校验 100-599，非法值返回 400；ClickHouse 与 PostgreSQL/SQLite 日志库均支持
- 搜索框折叠：默认仅显示来源 IP 与状态码，节点 ID/访问域名/请求路径折叠进
  「更多筛选」
 2026-08-13 09:59:32 +08:00
ryan f1577bf092 fix(openresty): 修复源站错误页「仅针对 GET 请求」覆盖非 GET 原始报错数据 
proxy_intercept_errors 会在 Lua 判断前丢弃源站错误响应体，POST/PUT 等
请求收到 503 时被 OpenResty 自带错误页覆盖原始报错数据。现改为在代理
location 内用 Lua header/body 过滤器仅对 GET 请求替换错误页，非 GET
请求完整透传源站原始状态码与响应体；非仅 GET 模式继续使用命名 location
承载错误页。
 2026-08-09 19:38:44 +08:00
ryan 3d4d99081e fix(log): PG 日志库批量写入为零 ID 行生成雪花 ID 
PostgreSQL 日志表 id 为 NOT NULL 且无默认值，而 GORM 将零值 uint64
主键视为自增并省略 id 列，导致 node access log / 可观测指标等批量
落库持续报 "null value in column id violates not-null constraint"。
在 BatchInsert* 落库前为零 ID 行生成雪花 ID（与 ClickHouse 写入路径
一致），并新增单元回归与 PG 集成回归测试覆盖六张日志表。
 2026-08-09 13:47:13 +08:00
ryan 0639855653 fix(openresty): 修复源站错误页「仅针对 GET 请求」未生效 
error_page 的 URI 内部重定向会把请求方法改写成 GET，导致内部
Lua 中 ngx.req.get_method() 恒为 GET，get_only 判断永不命中，
POST/PUT 等请求仍返回自定义错误页。

改为命名 location（@__openflare_origin_error）承载错误页：
命名 location 保留原始请求方法与原始错误状态码，非 GET 请求
直接以原状态码退出、不再注入自定义 HTML。附带回归断言，禁止
回退到 URI 内部重定向形式。
 2026-08-09 13:42:38 +08:00
ryan 0524ae1da4 chore(release): v3.5.1 
### ✨ 新功能
- 日志存储解耦：ClickHouse 变为可选项，不启用时由 PostgreSQL/SQLite 承担全部日志功能；新增「切换日志数据库」任务支持 PostgreSQL/SQLite 与 ClickHouse 间数据迁移（迁移期间冻结日志写入，成功后自动切换主库并保留源数据）；`log_database` / `log_db_migration` 设为受保护配置；ClickHouse 改为默认关闭。
- 新增 PostgreSQL/SQLite 日志存储实现：节点访问日志按月分区，统计查询合并为单次扫描、IP 汇总归属地取查询窗口内最新记录、WAF 按 IP 聚合减少扫描次数，并新增 `logged_at` 前导索引与主机名小写表达式索引；过期清理直接删除完全过期的整月分区，启动时兜底预建当月及未来 2 个月分区。
- 性能指标与访问日志的保留时长解耦：新增三库共用的 `metric_retention_days` 配置（默认 3 天），每日垃圾清理按独立短留存清理指标快照。

### 🛠 修复
- 修复 UptimeKuma 同步调试日志泄露凭据：Socket.IO 事件日志不再打印 payload 内容（仅记录长度），避免凭据进入日志。
- 修复日志保留天数配置继承旧键导致的误删风险：`log_retention_days_*` 不再继承 `database_auto_cleanup_retention_days`，统一默认 30 天。

### ⚡️ 优化与改进
- 系统定期垃圾清理由每 2 小时改为每日执行一次（凌晨 3 点，Asia/Shanghai），降低非必要高频扫描。

### 💄 其他/体验
- 服务工作者（SW）注入挑战页改为前台无感知：不再显示「加载中…」文案，页面空白，仅通过浏览器控制台输出 `[sw-challenge]` 调试信息，注入过程不打扰访客。
- 用户访问日志（`w_user_access_logs`）记录禁用：不再采集与写入新的用户访问日志，存量数据与管理端访问日志统计页面保留。
 2026-08-09 11:39:28 +08:00
ryan adee4f7b27 docs: update 2026-08-09 11:22:35 +08:00
ryan 1d0f2d6342 fix(log): hard-set log retention days default to 30, drop legacy inheritance 
log_retention_days_* 迁移不再继承旧键 database_auto_cleanup_retention_days
的值，统一默认 30 天。此前若旧键残留异常小值（如 2 天）会被静默带入，
导致升级后首次垃圾清理把大部分日志直接删掉。PG/SQLite 双方言同步修改，
文档默认值 90 -> 30。
 2026-08-09 10:48:45 +08:00
ryan e3f603f72a fix(security): stop logging UptimeKuma socket payload content 2026-08-09 10:42:21 +08:00
ryan 3b010bb15e feat(log): disable user access log recording 
- 移除全局用户访问日志采集中间件与批写入 writer（risk_control 包整包删除），
  不再写入 w_user_access_logs；存量数据与管理端访问日志统计页面保留
- 日志库迁移任务不再排空用户访问日志队列，状态接口不再展示其缓冲队列统计
- 迁移测试的系统配置 seed 计数断言更新为当前实际值（86 → 95），
  注释改为提示新增配置 seed 时同步更新
 2026-08-09 10:35:39 +08:00
ryan f530cd4025 perf(log): optimize PG log store queries and expired partition cleanup 
- Count/节点访问日志统计改为单次扫描聚合，WAF 按 IP 聚合由三次扫描合并为两次
- IPSummaries 归属地改为取过滤窗口内最新记录（对齐 ClickHouse argMax 口径），
  子查询带窗口条件，可分区裁剪并命中索引
- 新增 goose 迁移：of_node_access_logs (logged_at DESC, id DESC) 前导索引与
  lower(trim(host)) 表达式索引，加速列表排序与主机过滤
- 过期日志清理先按数据校验直接 DROP 完全过期整月分区，再对边界月逐行删除；
  启动时兜底预建当月及未来 2 个月分区，跨月停机重启后首次写入不再报
  "no partition of relation found"
 2026-08-09 10:20:58 +08:00
ryan 08d28c2c8e feat(log): drop empty old-month PG partitions during cleanup 
系统垃圾清理任务删除过期日志后，顺带清理旧月份空分区表：
PostgreSQL 按月分区的访问日志表（节点/用户）在数据删除后若该月
分区已无数据，则自动删除对应分区表，避免历史分区表无限累积。

- 仅删除「当前月之前」且为空的月份分区，当月/未来月及仍有数据的分区保留
- ClickHouse/SQLite 为 no-op（CH 分区随数据删除自动消失）
- 修复既有集成测试 pg_inherits 查询（inhrelid → inhparent）
- 新增单元测试与 PG 集成测试
 2026-08-09 09:33:59 +08:00
ryan 34a0896ff8 chore(task): run system garbage cleanup once daily 
系统定期垃圾清理 cron 由每 2 小时（0 */2 * * *）改为每日凌晨 3 点
（0 3 * * *，Asia/Shanghai），降低非必要高频扫描。新增 PG/SQLite
双方言 goose 迁移（含 Down 回滚）与迁移测试。
 2026-08-09 09:25:30 +08:00
ryan 0c22e76f4b fix(frontend): optimization 2026-08-09 09:14:54 +08:00
ryan bd2183c8bb feat(log): add independent short retention for performance metrics 
性能指标（CPU/内存/磁盘/网络）不再跟随 log_retention_days_*，新增三库共用
的 metric_retention_days 配置（默认 3 天），系统垃圾清理按独立短留存清理
指标快照；访问日志保留时长不变。新增 PG/SQLite 双方言 goose 迁移 seed。
 2026-08-09 09:04:33 +08:00