Compare commits

..

9 Commits

Author SHA1 Message Date
truewhile 2b2dc697ce bug处理 2026-10-08 11:13:10 +08:00
truewhile 8bfdd75d47 优化 2026-10-04 22:17:19 +08:00
truewhile 1a3248f4bb 优化 2026-10-04 21:31:09 +08:00
truewhile 0be7f8b97e 优化 2026-10-04 17:50:26 +08:00
truewhile 6984158f24 修复段评往下滑一直闪:评论接口分页改游标,页面还在按 page 翻页
上游评论页按 page=N 翻页,但列表接口 /para_review 早已改成游标分页(响应给
next_cursor,请求要带 cursor=)。接口不认识 page,于是每次「加载更多」都原样
返回第一页:一条新评论都加不进去,has_more 又始终是 true,评论页便一遍遍触发
加载更多、反复闪骨架屏——用户看到的就是段评往下滑一闪一闪,评论一条没多。

评论页是上游 HTML 改不了,于是在承载页面的接口代理里做最小适配:
  - 请求带 page=N(N>1)且有上一页给的游标时,换成 cursor= 请求;
  - 某页返回的 comment_id 全是已经见过的,就把 has_more 改成 false 收尾,
    避免页面在「加载更多 → 没有新内容」之间空转。

只认路径以 /para_review 结尾、带 page 且不带 cursor 的请求,其余原样透传。
2026-10-04 16:28:13 +08:00
truewhile d545ff1a7b 修复段评打开后没有评论:承载页面丢失原地址参数
段评气泡上的数字来自正文里的 <comment count>,但点开后的评论页跑在
「/api/reader/browser/page?id=..&s=..」这个承载地址上,页面看到的
location.search 只剩我们自己的 id/s,原地址的 item_id/para/source 全丢了。
评论页正是靠这几个参数去请求 /para_review,于是按缺参数请求,列表永远为空:
外面气泡显示 99,点开一条段评都没有。

承载地址改为把原地址的 query 原样拼在签名参数之后(页面看到的 search 与原站
一致);id/s 放最前,同名的原参数顶不掉我们的签名参数。
2026-10-04 13:53:44 +08:00
truewhile 227e0a9197 优化 2026-10-04 13:29:39 +08:00
truewhile e85df5fb6b 优化 2026-10-04 12:35:33 +08:00
truewhile 6656f9c398 优化 2026-10-04 11:46:17 +08:00
48 changed files with 2842 additions and 131 deletions
+10 -1
View File
@@ -14,6 +14,7 @@ import (
"fmt"
"net/http"
"os"
"path/filepath"
"strings"
"sync"
"time"
@@ -76,7 +77,15 @@ func main() {
fatal("未从输入中识别到书源")
}
svc := reader.NewReaderService(&config.Config{}, zap.NewNop(), &repository.Container{})
// 书源文件缓存根目录:java.downloadFile / cacheFile 需要它才能落盘,
// 否则「拷贝轻小说」这类把整卷文本缓存到本地再读的源会被判为不支持。
// 用固定子目录而不是每次 MkdirTemp,避免反复运行在临时目录里留一堆垃圾。
cfg := &config.Config{}
cacheDir := filepath.Join(os.TempDir(), "reader-smoke-cache")
if err := os.MkdirAll(cacheDir, 0o750); err == nil {
cfg.Cache.CacheDir = cacheDir
}
svc := reader.NewReaderService(cfg, zap.NewNop(), &repository.Container{})
ctx := context.Background()
results := make([]*reader.SmokeChainResult, len(sources))
+1
View File
@@ -249,4 +249,5 @@
- 正文分页仿 ReadView 三页缓存 + 9 宫格点击映射。
- 主题模型照抄 ReadBookConfig.Config(含日/夜/E-Ink 三态字段),内置 6 套主题色值直接使用上表。
- 搜索并发用 Promise 池 + 流式合并,合并逻辑照抄 mergeItems 四档排序。
- 搜索分页:滚到底自动取下一页(`POST /reader/search` 的 `page`,从 1 开始,对应书源 `searchUrl` 的 `{{page}}`),逐页增量合并(跨页按「书名+作者」去重、并书源,见 `utils/searchBooks.ts`)。收口比 legado 严一档:**新一页没带来新书就停止翻页**——不支持分页的源每页都重复返回首页结果,照 legado「任一源有结果即可翻页」会一直转圈加载;单次搜索最多 20 页。
- 书源/替换编辑器按第 7/8 节 Tab/字段一一对应。
+3 -1
View File
@@ -362,13 +362,15 @@ func readerSearchHandler(svc *service.Container) gin.HandlerFunc {
Key string `json:"key" binding:"required"`
// SourceIDs 搜索范围:空表示全部启用书源(默认),非空则只搜这些书源。
SourceIDs []string `json:"source_ids"`
// Page 页码(从 1 开始):书源 searchUrl 支持 {{page}} 时,前端滚到底逐页取。
Page int `json:"page"`
}
return func(c *gin.Context) {
if err := c.ShouldBindJSON(&body); err != nil {
c.JSON(http.StatusBadRequest, gin.H{"error": err.Error()})
return
}
books, skipped, err := svc.Reader.Search(c.Request.Context(), body.Key, body.SourceIDs)
books, skipped, err := svc.Reader.Search(c.Request.Context(), body.Key, body.SourceIDs, body.Page)
if err != nil {
c.JSON(http.StatusBadRequest, gin.H{"error": err.Error()})
return
+10 -1
View File
@@ -104,10 +104,19 @@ func NewSiteHTTPClient(timeoutSeconds int, useProxy bool) *http.Client {
//
// 交给 net/http 管理后:请求仍会带 `Accept-Encoding: gzip`(浏览器常见取值),
// 且响应被自动解压;另外也避免服务端挑选我们无法解码的 br。
// 注意:Accept 刻意用 `*/*` 而不是浏览器页面导航的
// `text/html,application/xhtml+xml,...`。
//
// 很多书源接口是 DRF(Django REST framework)一类会做内容协商的后端:当 Accept
// 首选 text/html 时,它按浏览器语义返回「可浏览的 HTML 页面」(HTTP 200),
// 而不是 JSON。引擎再把这份 HTML 交给 JSONPath 解析,结果永远是 0 条——表现为
// 「同一个源在手机 App 里能搜到,在 MeBox 里搜不到」(拷贝系列源就是这个坑)。
// 手机端阅读 App 走 OkHttp,不显式设置 Accept,等价于 `*/*`;这里对齐该行为。
// 需要页面型 Accept 的书源可以在自身 header 里显式声明覆盖。
func HTTPHeaderPresets() map[string]string {
return map[string]string{
"User-Agent": defaultUserAgent,
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
"Accept": "*/*",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
"Connection": "keep-alive",
"Upgrade-Insecure-Requests": "1",
+12
View File
@@ -12,6 +12,18 @@ import (
// 背景:预设头里曾显式写 `Accept-Encoding: gzip, deflate, br`,导致 net/http
// 不再自动解压(它只在调用方没设置该头时才解压),压缩字节直接进入规则层。
// TestHeaderPresetsAcceptIsWildcard 预设 Accept 不得首选 text/html。
//
// 背景:DRF(Django REST framework)等会做内容协商的后端,在 Accept 首选
// text/html 时返回「可浏览 HTML 页面」而不是 JSON,书源 JSONPath 因此永远
// 解析出 0 条(拷贝轻小说源在 MeBox 搜不到、在阅读 App 能搜到的根因)。
func TestHeaderPresetsAcceptIsWildcard(t *testing.T) {
got := HTTPHeaderPresets()["Accept"]
if got != "*/*" {
t.Fatalf("Accept 预设应为 */*(对齐 legado/OkHttp),实际 %q", got)
}
}
// TestHeaderPresetsDoNotSetAcceptEncoding 预设头不得设置 Accept-Encoding。
// 一旦设置,net/http 的透明解压就失效,压缩响应会以原始字节交给上层。
func TestHeaderPresetsDoNotSetAcceptEncoding(t *testing.T) {
+94 -5
View File
@@ -21,6 +21,7 @@ import (
"errors"
"fmt"
"io"
"net"
"net/http"
"net/url"
"regexp"
@@ -237,6 +238,88 @@ func (r *EmbyRemoteService) ConfiguredRemoteHosts(ctx context.Context) []string
return hosts
}
// findAccountByHost 返回某条线路主机名匹配 host 的启用远程 Emby 账号(无则 nil)。
func (r *EmbyRemoteService) findAccountByHost(ctx context.Context, host string) *model.StrmAccount {
host = normalizeHostKey(host)
if host == "" || r == nil || r.repo == nil || r.repo.StrmAccount == nil {
return nil
}
accounts, err := r.ListAccounts(ctx)
if err != nil {
return nil
}
for i := range accounts {
lines, _, err := r.LinesOf(&accounts[i])
if err != nil {
continue
}
for _, line := range lines {
u, err := url.Parse(line.URL)
if err != nil {
continue
}
if normalizeHostKey(u.Hostname()) == host {
return &accounts[i]
}
}
}
return nil
}
// normalizeHostKey 去掉端口并小写化,便于主机名字符串比较。
func normalizeHostKey(host string) string {
host = strings.ToLower(strings.TrimSpace(host))
if host == "" {
return ""
}
if h, _, err := net.SplitHostPort(host); err == nil {
return strings.ToLower(strings.TrimSpace(h))
}
return host
}
// RemoteEmbyImageTokenForHost 返回图片代理回源某个远程 Emby 主机所需的当前
// api_key。host 不属于任何已配置账号时返回 ok=false。
func (r *EmbyRemoteService) RemoteEmbyImageTokenForHost(ctx context.Context, host string) (string, bool) {
if r == nil || r.repo == nil {
return "", false
}
acct := r.findAccountByHost(ctx, host)
if acct == nil {
return "", false
}
cfg, err := r.configOf(acct)
if err != nil || strings.TrimSpace(cfg.Token) == "" {
return "", false
}
return cfg.Token, true
}
// RefreshRemoteEmbyImageTokenForHost 强制用用户名/密码重新登录拥有该主机的账号
// 并持久化新 token,供图片代理在上游 401 时自愈。仅配置了 api_key、没有登录
// 凭据的账号无法自动刷新,返回错误由调用方按原失败处理。
func (r *EmbyRemoteService) RefreshRemoteEmbyImageTokenForHost(ctx context.Context, host string) (string, error) {
if r == nil || r.repo == nil {
return "", errors.New("远程 Emby 服务不可用")
}
acct := r.findAccountByHost(ctx, host)
if acct == nil {
return "", fmt.Errorf("未找到主机 %s 对应的远程 Emby 账号", host)
}
cfg, err := r.configOf(acct)
if err != nil {
return "", err
}
if strings.TrimSpace(cfg.Username) == "" || strings.TrimSpace(cfg.Password) == "" {
return "", errors.New("远程 Emby 账号未配置用户名/密码,无法自动刷新 api_key")
}
cfg.Token = "" // 强制走登录流程,忽略已失效的 api_key
if err := r.ensureToken(ctx, acct, cfg); err != nil {
return "", err
}
return cfg.Token, nil
}
// AccountByID 按 ID 查找远程 Emby 挂载账号(不存在或类型不符返回 nil)。
func (r *EmbyRemoteService) AccountByID(ctx context.Context, id string) *model.StrmAccount {
if strings.TrimSpace(id) == "" {
@@ -699,17 +782,23 @@ func (r *EmbyRemoteService) doGetOnLine(ctx context.Context, acct *model.StrmAcc
return err
}
if status == http.StatusUnauthorized && attempt == 0 {
// 401:只清当前线路的内存 token 并立即重认证;不在此时删除
// DB 里的 api_key——①外层还会按线路故障转移(其他线路可能
// 存有自己的 token);②纯 api_key 账号删除后无法再认证,一次
// 线路误报就会把账号“砖化”。重认证成功后 persistToken 会用
// 新 token 覆盖 api_key。
// 401:只清当前线路的内存 token 并立即重认证;不先删 DB 里的
// api_key——纯 api_key 账号删除后无法再认证,一次线路误报就会
// 把账号“砖化”。重认证成功后把新 token 写回:既让重试用上正确
// 凭据,也避免每个后续请求都重新登录一次。
previous := cfg.Token
cfg.Token = ""
if err := r.ensureTokenOnLine(ctx, acct, cfg); err != nil {
return fmt.Errorf("认证重试失败: %w", err)
}
if q != nil {
q.Set("api_key", cfg.Token)
}
master.Token = cfg.Token
master.RemoteUserID = cfg.RemoteUserID
if cfg.Token != "" && cfg.Token != previous {
_ = r.persistToken(ctx, acct, cfg)
}
continue
}
if status >= 300 {
@@ -0,0 +1,100 @@
package service
import (
"net/http"
"net/http/httptest"
"net/url"
"testing"
"go.uber.org/zap"
"github.com/truewhile/MeBox/internal/config"
"github.com/truewhile/MeBox/internal/model"
"github.com/truewhile/MeBox/internal/repository"
)
func TestRemoteEmbyImageTokenForHostUnknownHost(t *testing.T) {
svc, _, _ := newImageTagTestService(t)
if token, ok := svc.RemoteEmbyImageTokenForHost(t.Context(), "nope.example"); ok || token != "" {
t.Fatalf("got (%q,%v), want no token for a host not owned by any account", token, ok)
}
}
func TestRemoteEmbyImageTokenForHostMatchesConfiguredLine(t *testing.T) {
svc, _, _ := newImageTagTestService(t)
token, ok := svc.RemoteEmbyImageTokenForHost(t.Context(), "emby.test")
if !ok || token != "fake-token" {
t.Fatalf("got (%q,%v), want the account token for the configured line host", token, ok)
}
}
func TestRefreshRemoteEmbyImageTokenForHostRequiresCredentials(t *testing.T) {
svc, _, _ := newImageTagTestService(t)
// The account carries only an api_key — there is nothing to re-authenticate with.
if _, err := svc.RefreshRemoteEmbyImageTokenForHost(t.Context(), "emby.test"); err == nil {
t.Fatal("expected an error when the account has no username/password to re-authenticate with")
}
}
// TestRefreshRemoteEmbyImageTokenForHostRelogins 覆盖「token 被撤销后自动恢复」:
// 用用户名/密码重新登录拿到新 token,并持久化,后续请求不再重复登录。
func TestRefreshRemoteEmbyImageTokenForHostRelogins(t *testing.T) {
const fresh = "fresh-token"
logins := 0
upstream := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
if r.URL.Path != "/emby/Users/AuthenticateByName" {
http.NotFound(w, r)
return
}
logins++
w.Header().Set("Content-Type", "application/json")
_, _ = w.Write([]byte(`{"AccessToken":"` + fresh + `","User":{"Id":"remote-user"}}`))
}))
defer upstream.Close()
db := newServiceTestDB(t, &model.StrmAccount{}, &model.EmbyMount{})
repos := repository.New(db)
svc := NewEmbyRemoteService(&config.Config{}, zap.NewNop(), repos, NewCryptoService("", zap.NewNop()))
acct := &model.StrmAccount{
Base: model.Base{ID: "acct-refresh"},
Name: "refresh-emby",
Provider: model.StrmProviderEmbyRemote,
Enabled: true,
Config: `{"url":"` + upstream.URL + `","api_key":"stale-token","username":"u","password":"p"}`,
}
if err := repos.StrmAccount.Create(t.Context(), acct); err != nil {
t.Fatalf("create account: %v", err)
}
u, err := url.Parse(upstream.URL)
if err != nil {
t.Fatal(err)
}
host := u.Hostname()
if token, ok := svc.RemoteEmbyImageTokenForHost(t.Context(), host); !ok || token != "stale-token" {
t.Fatalf("token before refresh = (%q,%v), want the stale stored token", token, ok)
}
token, err := svc.RefreshRemoteEmbyImageTokenForHost(t.Context(), host)
if err != nil {
t.Fatalf("refresh: %v", err)
}
if token != fresh {
t.Fatalf("refreshed token = %q, want %q", token, fresh)
}
if logins != 1 {
t.Fatalf("logins = %d, want 1", logins)
}
// 新 token 必须落库,否则每个请求都要重新登录一次。
if token, ok := svc.RemoteEmbyImageTokenForHost(t.Context(), host); !ok || token != fresh {
t.Fatalf("token after refresh = (%q,%v), want the persisted %q", token, ok, fresh)
}
if logins != 1 {
t.Fatalf("logins = %d, want 1 after the refresh was persisted", logins)
}
}
+11
View File
@@ -13,6 +13,7 @@
package service
import (
"context"
"errors"
"net"
"net/http"
@@ -65,6 +66,16 @@ type ImageProxy struct {
allowedHostsMu sync.Mutex
allowedHostsCache map[string]bool
allowedHostsAt time.Time
// remoteEmbyTokenFn / refreshRemoteEmbyTokenFn let the proxy carry a fresh
// credential for configured remote-Emby mounts. Image URLs are minted from
// whatever token the account had when the payload was built, so a URL can
// outlive its api_key; these hooks re-supply the current one and force a
// re-login when the mount rejects it.
remoteEmbyTokenFn func(ctx context.Context, host string) (string, bool)
refreshRemoteEmbyTokenFn func(ctx context.Context, host string) (string, error)
remoteEmbyTokenMu sync.Mutex
remoteEmbyTokenCache map[string]remoteEmbyImageToken
}
const (
+42 -9
View File
@@ -14,6 +14,10 @@ import (
var errImageProxyRequestSetup = errors.New("image proxy request setup failed")
var errImageProxyNonImageContent = errors.New("upstream returned non-image content")
// errImageProxyUnauthorized 表示上游以 401/403 拒绝了回源凭据。它与普通失败
// 分开,是为了让调用方对挂载 Emby 做一次重认证再重试,而不是直接下发占位图。
var errImageProxyUnauthorized = errors.New("upstream rejected image credentials")
// prefetchCardResizeOptions 对应前端 ARTWORK.posterCard(见 web/src/api/client.ts):
// 卡片是海报墙最常请求的档位,刮削阶段预生成它能让首个列表请求直接命中缓存。
// 若前端调整该预设,这里只是白生成一份用不到的档位(约几十 KB),不影响正确性。
@@ -183,16 +187,27 @@ func (p *ImageProxy) removeUnusableImageCache(cachePath, failPath string) {
}
func (p *ImageProxy) fetchAndCacheRemoteImage(ctx context.Context, raw, host, cachePath, failPath string) (remoteImageFetchResult, error) {
var lastErr error
for _, candidate := range p.remoteImageFetchClients(host) {
result, err := p.fetchRemoteImageOnce(ctx, raw, host, candidate, cachePath, failPath)
if err == nil {
return result, nil
result, lastErr := p.fetchRemoteImageAcrossClients(ctx, raw, host, cachePath, failPath)
if lastErr == nil {
return result, nil
}
if errors.Is(lastErr, errImageProxyRequestSetup) {
return remoteImageFetchResult{}, lastErr
}
// 已挂载的远程 Emby 认 X-Emby-Token 请求头,但轮换前生成的图片 URL 里还留着
// 旧 api_key。上游拒绝时重新登录拥有该主机的账号一次再重试,而不是一直下发
// 占位图、等人工去改账号配置。
if errors.Is(lastErr, errImageProxyUnauthorized) {
token, refreshErr := p.refreshRemoteEmbyTokenForHost(ctx, host)
if refreshErr != nil {
logImageFetchError(p.log, "imageproxy: remote emby re-auth failed", host, "reauth", refreshErr)
} else if token != "" {
retried, retryErr := p.fetchRemoteImageAcrossClients(ctx, raw, host, cachePath, failPath)
if retryErr == nil {
return retried, nil
}
lastErr = retryErr
}
if errors.Is(err, errImageProxyRequestSetup) {
return remoteImageFetchResult{}, err
}
lastErr = err
}
if p.canUseExternalImageFallback() && isDoubanImageHost(host) {
data, ctype, _, err := fetchRemoteImageWithCurl(ctx, raw, host)
@@ -210,6 +225,24 @@ func (p *ImageProxy) fetchAndCacheRemoteImage(ctx context.Context, raw, host, ca
return remoteImageFetchResult{}, redactSensitiveError(lastErr)
}
// fetchRemoteImageAcrossClients 按直连/代理顺序依次尝试,返回首个成功结果。
// 请求构造失败立即中止(重试无意义);401/403 会继续尝试另一个客户端,并把
// errImageProxyUnauthorized 作为最终错误交给调用方去刷新挂载 token。
func (p *ImageProxy) fetchRemoteImageAcrossClients(ctx context.Context, raw, host, cachePath, failPath string) (remoteImageFetchResult, error) {
var lastErr error
for _, candidate := range p.remoteImageFetchClients(host) {
result, err := p.fetchRemoteImageOnce(ctx, raw, host, candidate, cachePath, failPath)
if err == nil {
return result, nil
}
if errors.Is(err, errImageProxyRequestSetup) {
return remoteImageFetchResult{}, err
}
lastErr = err
}
return remoteImageFetchResult{}, lastErr
}
// fetchAndCacheRemoteImageShared coalesces concurrent requests for the same
// upstream image. A poster can appear in the hero, a shelf and the detail page
// at the same time; without this guard every resize variant may fetch the same
+102
View File
@@ -0,0 +1,102 @@
package service
import (
"context"
"net/http"
"strings"
"time"
)
// remoteEmbyImageTokenTTL 是 host → api_key 的缓存时长。海报墙首屏一口气请求
// 几十张图,逐个回读数据库不值得;token 轮换时 401 重认证会立即覆盖这份缓存。
const remoteEmbyImageTokenTTL = 60 * time.Second
type remoteEmbyImageToken struct {
token string
at time.Time
}
// SetRemoteEmbyAuthProvider 注入「按主机名取当前远程 Emby api_key」的回调。
// 图片代理回源已挂载的远程 Emby 时用它替换 URL 里可能已过期的凭据。
func (p *ImageProxy) SetRemoteEmbyAuthProvider(fn func(ctx context.Context, host string) (string, bool)) {
if p == nil {
return
}
p.remoteEmbyTokenFn = fn
}
// SetRemoteEmbyAuthRefresher 注入「强制重新登录并返回新 api_key」的回调。上游以
// 401/403 拒绝旧 token 时调用一次,再重试拉图,从而不需要人工改账号配置。
func (p *ImageProxy) SetRemoteEmbyAuthRefresher(fn func(ctx context.Context, host string) (string, error)) {
if p == nil {
return
}
p.refreshRemoteEmbyTokenFn = fn
}
// remoteEmbyTokenForHost 返回挂载 Emby 的当前 token,短期缓存避免每张图都查库。
// 「不是挂载主机」的结果同样缓存,否则普通图床(TMDb/Douban 等)的每张海报都会
// 白白查一次账号表。
func (p *ImageProxy) remoteEmbyTokenForHost(ctx context.Context, host string) string {
if p == nil || p.remoteEmbyTokenFn == nil || strings.TrimSpace(host) == "" {
return ""
}
p.remoteEmbyTokenMu.Lock()
if cached, ok := p.remoteEmbyTokenCache[host]; ok && time.Since(cached.at) < remoteEmbyImageTokenTTL {
p.remoteEmbyTokenMu.Unlock()
return cached.token
}
p.remoteEmbyTokenMu.Unlock()
token, ok := p.remoteEmbyTokenFn(ctx, host)
if !ok {
token = ""
}
p.cacheRemoteEmbyToken(host, token)
return token
}
func (p *ImageProxy) cacheRemoteEmbyToken(host, token string) {
if p == nil || strings.TrimSpace(host) == "" {
return
}
p.remoteEmbyTokenMu.Lock()
if p.remoteEmbyTokenCache == nil {
p.remoteEmbyTokenCache = make(map[string]remoteEmbyImageToken, 8)
}
p.remoteEmbyTokenCache[host] = remoteEmbyImageToken{token: token, at: time.Now()}
p.remoteEmbyTokenMu.Unlock()
}
// refreshRemoteEmbyTokenForHost 强制重认证一次并刷新缓存。没有配置刷新器、或
// 账号无法自动刷新(如仅填了 api_key)时返回空串,调用方按原错误处理。
func (p *ImageProxy) refreshRemoteEmbyTokenForHost(ctx context.Context, host string) (string, error) {
if p == nil || p.refreshRemoteEmbyTokenFn == nil || strings.TrimSpace(host) == "" {
return "", nil
}
token, err := p.refreshRemoteEmbyTokenFn(ctx, host)
if err != nil {
return "", err
}
if token != "" {
p.cacheRemoteEmbyToken(host, token)
}
return token, nil
}
// applyRemoteEmbyAuth 用账号当前 token 覆盖回源请求上的凭据。已配置的远程 Emby
// 以 X-Emby-Token 请求头为准,所以图片 URL 里带的是轮换前的旧 api_key 也不会再
// 被采纳;同时把查询参数里的 api_key 一并改写,避免旧值干扰。
func (p *ImageProxy) applyRemoteEmbyAuth(ctx context.Context, req *http.Request, host string) {
if p == nil || p.remoteEmbyTokenFn == nil || req == nil || req.URL == nil {
return
}
token := p.remoteEmbyTokenForHost(ctx, host)
if token == "" {
return
}
req.Header.Set("X-Emby-Token", token)
q := req.URL.Query()
q.Set("api_key", token)
req.URL.RawQuery = q.Encode()
}
@@ -0,0 +1,126 @@
package service
import (
"bytes"
"context"
"net/http"
"net/http/httptest"
"net/url"
"sync"
"testing"
)
// TestImageProxyInjectsRemoteEmbyToken 覆盖封面空白问题:图片 URL 里签发时的
// api_key 已经失效,但账号当前 token 有效。代理回源必须用当前 token 覆盖旧值,
// 否则挂载 Emby 的封面会一直 401、下发占位图。
func TestImageProxyInjectsRemoteEmbyToken(t *testing.T) {
const current = "current-token"
upstream := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
if r.Header.Get("X-Emby-Token") != current {
http.Error(w, "unauthorized", http.StatusUnauthorized)
return
}
w.Header().Set("Content-Type", "image/jpeg")
_, _ = w.Write(testJPEG)
}))
defer upstream.Close()
u, err := url.Parse(upstream.URL)
if err != nil {
t.Fatal(err)
}
proxy := newUpstreamImageProxy(t, u.Host)
proxy.SetRemoteEmbyAuthProvider(func(context.Context, string) (string, bool) {
return current, true
})
raw := upstream.URL + "/emby/Items/abc/Images/Primary?api_key=stale-token"
rec := httptest.NewRecorder()
if err := proxy.Serve(t.Context(), rec, httptest.NewRequest(http.MethodGet, "/api/img", nil), raw); err != nil {
t.Fatal(err)
}
if !bytes.Equal(rec.Body.Bytes(), testJPEG) {
t.Fatalf("body = %x, want the upstream image served with the current token", rec.Body.Bytes())
}
}
// TestImageProxyRefreshesRemoteEmbyTokenOn401 覆盖 token 在运行中被撤销的场景:
// 账号当前 token 也被上游拒绝时,代理应重新登录一次并重试,且只刷新一次。
func TestImageProxyRefreshesRemoteEmbyTokenOn401(t *testing.T) {
const (
stale = "stale-token"
fresh = "fresh-token"
)
var mu sync.Mutex
refreshes := 0
upstream := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
if r.Header.Get("X-Emby-Token") != fresh {
http.Error(w, "unauthorized", http.StatusUnauthorized)
return
}
w.Header().Set("Content-Type", "image/jpeg")
_, _ = w.Write(testJPEG)
}))
defer upstream.Close()
u, err := url.Parse(upstream.URL)
if err != nil {
t.Fatal(err)
}
proxy := newUpstreamImageProxy(t, u.Host)
proxy.SetRemoteEmbyAuthProvider(func(context.Context, string) (string, bool) {
return stale, true
})
proxy.SetRemoteEmbyAuthRefresher(func(context.Context, string) (string, error) {
mu.Lock()
refreshes++
mu.Unlock()
return fresh, nil
})
raw := upstream.URL + "/emby/Items/abc/Images/Primary?api_key=" + stale
rec := httptest.NewRecorder()
if err := proxy.Serve(t.Context(), rec, httptest.NewRequest(http.MethodGet, "/api/img", nil), raw); err != nil {
t.Fatal(err)
}
if !bytes.Equal(rec.Body.Bytes(), testJPEG) {
t.Fatalf("body = %x, want the upstream image served after re-auth", rec.Body.Bytes())
}
mu.Lock()
got := refreshes
mu.Unlock()
if got != 1 {
t.Fatalf("refreshes = %d, want exactly 1 re-auth", got)
}
}
// TestImageProxyLeavesNonEmbyHostsUntouched 确认新的凭据注入只作用于已配置的
// 远程 Emby 主机:普通图床(这里用 provider 返回 ok=false 模拟)不受影响。
func TestImageProxyDoesNotInjectForUnknownHost(t *testing.T) {
var gotHeader string
upstream := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
gotHeader = r.Header.Get("X-Emby-Token")
w.Header().Set("Content-Type", "image/jpeg")
_, _ = w.Write(testJPEG)
}))
defer upstream.Close()
u, err := url.Parse(upstream.URL)
if err != nil {
t.Fatal(err)
}
proxy := newUpstreamImageProxy(t, u.Host)
proxy.SetRemoteEmbyAuthProvider(func(context.Context, string) (string, bool) {
return "", false
})
raw := upstream.URL + "/img/cover.jpg"
rec := httptest.NewRecorder()
if err := proxy.Serve(t.Context(), rec, httptest.NewRequest(http.MethodGet, "/api/img", nil), raw); err != nil {
t.Fatal(err)
}
if gotHeader != "" {
t.Fatalf("X-Emby-Token = %q, want no credential header for a non-Emby host", gotHeader)
}
}
@@ -71,6 +71,8 @@ func (p *ImageProxy) fetchRemoteImageOnce(ctx context.Context, raw, host string,
return remoteImageFetchResult{}, errImageProxyRequestSetup
}
applyRemoteImageHeaders(req, host, raw)
// 已挂载的远程 Emby:用账号当前 token 覆盖旧凭据,返回头形式对端优先采纳。
p.applyRemoteEmbyAuth(ctx, req, host)
resp, err := candidate.client.Do(req)
if err != nil {
@@ -80,6 +82,9 @@ func (p *ImageProxy) fetchRemoteImageOnce(ctx context.Context, raw, host string,
defer resp.Body.Close()
if resp.StatusCode >= 400 {
p.log.Warn("imageproxy: upstream returned non-OK", zap.String("host", host), zap.String("client", candidate.name), zap.String("status", resp.Status))
if resp.StatusCode == http.StatusUnauthorized || resp.StatusCode == http.StatusForbidden {
return remoteImageFetchResult{}, errImageProxyUnauthorized
}
return remoteImageFetchResult{}, errors.New("upstream returned " + resp.Status)
}
if err := p.streamImageToCache(cachePath, failPath, resp.Body); err != nil {
@@ -0,0 +1,239 @@
package reader
import (
"encoding/json"
"net/url"
"sort"
"strconv"
"strings"
"sync"
)
// 本文件:段落评论接口(/para_review)的分页适配。
//
// 上游聚合站自带的评论页按 page=N 翻页(滑到底请求 page=2、page=3…),但它的列表
// 接口早就改成了游标分页:响应里给 next_cursor,请求时要带 cursor=。接口不认识
// page,于是每次「加载更多」都原样返回第一页——一条新评论都加不进去,has_more 又
// 始终是 true,评论页就一遍遍触发加载更多、反复闪骨架屏。用户看到的就是「段评往
// 下滑一闪一闪」,其实评论一条没多。
//
// 评论页是上游 HTML,改不了,于是在代理层做最小适配:
// - 请求带 page=N(N>1)且有上一页给的游标时,换成 cursor= 请求;
// - 某页返回的 comment_id 全是已经见过的,就把 has_more 改成 false 收尾,
// 免得页面在「加载更多 → 没有新内容」之间空转。
//
// 只认路径以 /para_review 结尾、带 page 且不带 cursor 的请求;对不上就原样透传,
// 不影响别的书源。
// commentPageState 一个评论列表(同一段落 + 同一排序)的翻页状态。
type commentPageState struct {
// cursor 上一页响应给的游标:下一页请求用它代替 page。
cursor string
// seen 已经下发给页面的 comment_id:整页重复时据此收尾。
seen map[string]struct{}
}
// commentPager 承载页面里评论接口的翻页适配器(每个承载页面一份)。
type commentPager struct {
mu sync.Mutex
states map[string]*commentPageState
}
func newCommentPager() *commentPager {
return &commentPager{states: map[string]*commentPageState{}}
}
// rewriteRequest 按需把 page=N 改写成 cursor=<上一页游标>。
//
// 返回改写后的地址与状态键(空串表示这个请求不需要适配,调用方也不必观察响应)。
func (p *commentPager) rewriteRequest(target string) (string, string) {
if p == nil {
return target, ""
}
parsed, err := url.Parse(target)
if err != nil || !isCommentListPath(parsed.Path) {
return target, ""
}
query := parsed.Query()
pageRaw := strings.TrimSpace(query.Get("page"))
if pageRaw == "" || strings.TrimSpace(query.Get("cursor")) != "" {
return target, ""
}
page, err := strconv.Atoi(pageRaw)
if err != nil || page < 1 {
return target, ""
}
key := commentPageKey(parsed.Path, query)
if page == 1 {
// 重新加载 / 换了排序:游标与去重表都从头来。
p.mu.Lock()
delete(p.states, key)
p.mu.Unlock()
return target, key
}
p.mu.Lock()
cursor := ""
if st := p.states[key]; st != nil {
cursor = st.cursor
}
p.mu.Unlock()
if cursor == "" {
// 不是从第一页翻过来的(没有游标可用):原样透传,仍然观察响应,
// 靠下面的「整页重复」判断让页面停下来。
return target, key
}
query.Set("cursor", cursor)
query.Del("page")
parsed.RawQuery = query.Encode()
return parsed.String(), key
}
// observeResponse 观察评论列表响应:记下游标,并在整页重复时把 has_more 改成 false。
func (p *commentPager) observeResponse(key, body string) string {
if p == nil || key == "" {
return body
}
trimmed := strings.TrimSpace(body)
if !strings.HasPrefix(trimmed, "{") {
return body
}
var env commentListEnvelope
if err := json.Unmarshal([]byte(trimmed), &env); err != nil {
return body
}
if env.Data.Comments == nil && env.Data.HasMore == nil {
return body
}
ids := make([]string, 0, len(env.Data.Comments))
for _, c := range env.Data.Comments {
if id := strings.TrimSpace(c.CommentID); id != "" {
ids = append(ids, id)
}
}
p.mu.Lock()
defer p.mu.Unlock()
if p.states == nil {
p.states = map[string]*commentPageState{}
}
st := p.states[key]
if st == nil {
st = &commentPageState{seen: map[string]struct{}{}}
p.states[key] = st
}
repeated := len(ids) > 0
for _, id := range ids {
if _, ok := st.seen[id]; !ok {
repeated = false
break
}
}
if repeated && env.Data.HasMore != nil && *env.Data.HasMore {
// 整页都是老评论:接口不认 page,再翻下去也只会拿到同一页。
// 改掉 has_more,让页面显示「没有更多了」,别再反复拉取闪骨架屏。
if replaced, ok := setFirstJSONBoolFalse(trimmed, "has_more"); ok {
return replaced
}
return body
}
for _, id := range ids {
st.seen[id] = struct{}{}
}
if env.Data.HasMore != nil && !*env.Data.HasMore {
// 已经是最后一页:游标链到头,清掉它,页面万一再要一页也别拿旧游标
// 去请求(那种请求会落在下面的「整页重复」判断上收尾)。
st.cursor = ""
return body
}
// 游标只在拿到新内容时前进:请求失败/重复时页面会重试同一页,
// 游标也跟着重试同一个。
if cursor := rawJSONScalar(env.Data.Cursor); cursor != "" {
st.cursor = cursor
}
return body
}
// commentListEnvelope 评论列表响应里我们关心的字段。
type commentListEnvelope struct {
Data struct {
Comments []struct {
CommentID string `json:"comment_id"`
} `json:"comments"`
HasMore *bool `json:"has_more"`
Cursor json.RawMessage `json:"next_cursor"`
} `json:"data"`
}
// isCommentListPath 判断是否是段落评论列表接口(/para_review)。
func isCommentListPath(path string) bool {
p := strings.TrimSuffix(strings.ToLower(strings.TrimSpace(path)), "/")
return strings.HasSuffix(p, "/para_review")
}
// commentPageKey 生成翻页状态键:接口路径 + 除 page/cursor 之外的查询参数。
// 同一段落的不同排序(sort_by)各自一套状态,互不干扰。
func commentPageKey(path string, query url.Values) string {
rest := make(url.Values, len(query))
for k, v := range query {
if k == "page" || k == "cursor" {
continue
}
rest[k] = v
}
keys := make([]string, 0, len(rest))
for k := range rest {
keys = append(keys, k)
}
sort.Strings(keys)
var b strings.Builder
b.WriteString(path)
for _, k := range keys {
for _, v := range rest[k] {
b.WriteString("|" + k + "=" + v)
}
}
return b.String()
}
// rawJSONScalar 取一个 JSON 标量的字面量(游标是毫秒时间戳,可能被上游写成数字)。
func rawJSONScalar(raw json.RawMessage) string {
s := strings.TrimSpace(string(raw))
if s == "" || s == "null" {
return ""
}
if strings.HasPrefix(s, `"`) {
var out string
if json.Unmarshal(raw, &out) == nil {
return strings.TrimSpace(out)
}
return ""
}
return s
}
// setFirstJSONBoolFalse 把 JSON 里第一个 `"key":true` 改成 `"key":false`。
//
// 只做这一处等长替换,不重新序列化整份响应:评论里的 user_id、时间戳动辄十几位,
// 走一遍 float64 会变成科学计数法,页面再解析就废了。
func setFirstJSONBoolFalse(body, key string) (string, bool) {
token := `"` + key + `"`
idx := strings.Index(body, token)
if idx < 0 {
return body, false
}
i := idx + len(token)
for i < len(body) && (body[i] == ' ' || body[i] == '\t' || body[i] == '\n' || body[i] == '\r') {
i++
}
if i >= len(body) || body[i] != ':' {
return body, false
}
i++
for i < len(body) && (body[i] == ' ' || body[i] == '\t' || body[i] == '\n' || body[i] == '\r') {
i++
}
if !strings.HasPrefix(body[i:], "true") {
return body, false
}
return body[:i] + "false" + body[i+len("true"):], true
}
@@ -0,0 +1,187 @@
package reader
import (
"encoding/json"
"io"
"net/http"
"net/http/httptest"
"strings"
"sync"
"testing"
"github.com/truewhile/MeBox/internal/service/reader/rule"
)
// 本文件:段落评论翻页适配(browser_comment_page.go)的测试。
//
// 覆盖两件事:
// 1. page=N(N>1)被换成上一页响应给的 cursor;
// 2. 整页重复(接口不认 page 时的表现)时把 has_more 改成 false,页面才会收尾。
const commentParaBase = "https://cmt.example.com/para_review?item_id=X&para=1&source=QQ"
func TestCommentPagerRewritesPageToCursor(t *testing.T) {
p := newCommentPager()
// 第一页:原样请求,响应里的游标被记下
target, key := p.rewriteRequest(commentParaBase + "&page=1")
if key == "" {
t.Fatal("段落评论接口应被识别")
}
if target != commentParaBase+"&page=1" {
t.Fatalf("第一页不该改写: %q", target)
}
p.observeResponse(key, `{"code":0,"data":{"comments":[{"comment_id":"c1"}],"has_more":true,"next_cursor":"1500000000000"}}`)
// 第二页:改成带 cursor 的请求,page 不再出现
target, key2 := p.rewriteRequest(commentParaBase + "&page=2")
if key2 != key {
t.Fatalf("同一段落的状态键应一致: %q vs %q", key2, key)
}
if !strings.Contains(target, "cursor=1500000000000") || strings.Contains(target, "page=") {
t.Fatalf("第二页应换成 cursor 请求: %q", target)
}
// 拿到新评论:游标前进到下一页
p.observeResponse(key, `{"code":0,"data":{"comments":[{"comment_id":"c2"}],"has_more":true,"next_cursor":"1400000000000"}}`)
target, _ = p.rewriteRequest(commentParaBase + "&page=3")
if !strings.Contains(target, "cursor=1400000000000") {
t.Fatalf("第三页应使用新的游标: %q", target)
}
// 重新加载(page=1)会把整轮状态清掉:没有游标就原样透传
p.rewriteRequest(commentParaBase + "&page=1")
target, _ = p.rewriteRequest(commentParaBase + "&page=2")
if strings.Contains(target, "cursor=") {
t.Fatalf("重置后不该还带着旧游标: %q", target)
}
}
func TestCommentPagerStopsOnRepeatedPage(t *testing.T) {
p := newCommentPager()
_, key := p.rewriteRequest(commentParaBase + "&page=1")
first := `{"code":0,"data":{"comments":[{"comment_id":"c1","like_count":562,"user":{"user_id":601948729051219}}],"has_more":true,"next_cursor":"1500000000000"}}`
if got := p.observeResponse(key, first); got != first {
t.Fatalf("第一页不该被改写: %q", got)
}
// 同一页又被返回一次(接口忽略 page):改 has_more,让页面显示「没有更多了」
repeat := `{"code":0,"data":{"comments":[{"comment_id":"c1","like_count":562,"user":{"user_id":601948729051219}}],"has_more":true,"next_cursor":"1500000000000"}}`
got := p.observeResponse(key, repeat)
if !strings.Contains(got, `"has_more":false`) {
t.Fatalf("重复页应把 has_more 改成 false: %q", got)
}
// 只动 has_more 一处,其它字段(尤其是大整数)保持原样
if strings.Replace(got, `"has_more":false`, `"has_more":true`, 1) != first {
t.Fatalf("除 has_more 外不应改动响应: %q", got)
}
// 重复页不再推进游标
target, _ := p.rewriteRequest(commentParaBase + "&page=2")
if !strings.Contains(target, "cursor=1500000000000") {
t.Fatalf("游标不该被重复页顶掉: %q", target)
}
}
func TestCommentPagerIgnoresOtherRequests(t *testing.T) {
p := newCommentPager()
cases := []string{
"https://cmt.example.com/book/detail?page=2", // 不是评论接口
"https://cmt.example.com/para_review?item_id=X", // 没有 page
"https://cmt.example.com/para_review?item_id=X&cursor=1", // 已经在用游标
"https://cmt.example.com/para_review?item_id=X&page=0", // page 非法
"https://cmt.example.com/para_review?item_id=X&sort_by=1&", // 没有 page
}
for _, target := range cases {
got, key := p.rewriteRequest(target)
if got != target || key != "" {
t.Fatalf("不该改写的请求被处理了: %q -> %q (key=%q)", target, got, key)
}
}
// 非 JSON 响应原样返回
if got := p.observeResponse("k", "<html></html>"); got != "<html></html>" {
t.Fatalf("非 JSON 响应被改动: %q", got)
}
}
// TestBrowserXHRCommentPagerFollowsCursor 端到端:页面按 page 翻页,
// 代理层换成 cursor,接口给出新评论,最后一页重复时收尾。
func TestBrowserXHRCommentPagerFollowsCursor(t *testing.T) {
svc, _ := newLoginTestService(t)
var mu sync.Mutex
seenCursors := []string{}
seenPages := []string{}
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
switch r.URL.Path {
case "/page":
w.Header().Set("Content-Type", "text/html; charset=utf-8")
_, _ = io.WriteString(w, `<html><body>comment page</body></html>`)
case "/para_review":
q := r.URL.Query()
mu.Lock()
seenCursors = append(seenCursors, q.Get("cursor"))
seenPages = append(seenPages, q.Get("page"))
mu.Unlock()
w.Header().Set("Content-Type", "application/json; charset=utf-8")
// 上游只认 cursor:不认识 page,靠 next_cursor 一页页往前。
switch q.Get("cursor") {
case "":
_, _ = io.WriteString(w, `{"code":0,"data":{"comments":[{"comment_id":"c1"}],"has_more":true,"next_cursor":"1500000000000"}}`)
case "1500000000000":
_, _ = io.WriteString(w, `{"code":0,"data":{"comments":[{"comment_id":"c2"}],"has_more":true,"next_cursor":"1400000000000"}}`)
case "1400000000000":
_, _ = io.WriteString(w, `{"code":0,"data":{"comments":[{"comment_id":"c3"}],"has_more":false,"next_cursor":""}}`)
default:
// 兜底分支:上游把同一页又给了一遍(页面的 page 循环就会走到这里)
_, _ = io.WriteString(w, `{"code":0,"data":{"comments":[{"comment_id":"c3"}],"has_more":true,"next_cursor":"1300000000000"}}`)
}
default:
http.NotFound(w, r)
}
}))
defer srv.Close()
entry, err := svc.registerBrowser(t.Context(), srv.URL, "src-1", readerTestUserID,
browserCookieTarget{}, rule.BrowserTask{URL: srv.URL + "/page", Title: "段评"}, browserModeOpen)
if err != nil {
t.Fatalf("登记承载页面失败: %v", err)
}
call := func(page string) string {
t.Helper()
res, err := svc.ProxyBrowserXHR(t.Context(), entry.id, http.MethodGet,
srv.URL+"/para_review?item_id=X&para=1&source=QQ&page="+page, nil, "")
if err != nil {
t.Fatalf("代理请求失败: %v", err)
}
return res.Body
}
if body := call("1"); !strings.Contains(body, `"has_more":true`) || !strings.Contains(body, "c1") {
t.Fatalf("第一页响应异常: %q", body)
}
if body := call("2"); !strings.Contains(body, "c2") {
t.Fatalf("第二页应拿到下一页评论: %q", body)
}
if body := call("3"); !strings.Contains(body, "c3") || !strings.Contains(body, `"has_more":false`) {
t.Fatalf("第三页应是真正的最后一页: %q", body)
}
// 页面不知道已经到底,还可能再要一页:上游又把最后一页给了一遍,
// 适配层要把 has_more 改成 false,页面才会显示「没有更多了」并停下。
last := call("4")
if !strings.Contains(last, `"has_more":false`) {
t.Fatalf("整页重复时应收尾(has_more=false): %q", last)
}
mu.Lock()
defer mu.Unlock()
if strings.Join(seenPages, ",") != "1,,,4" {
t.Fatalf("page 参数只应出现在没有游标可用的请求上: %v", seenPages)
}
if strings.Join(seenCursors, ",") != ",1500000000000,1400000000000," {
t.Fatalf("游标传递不符预期: %v", seenCursors)
}
var env map[string]any
if err := json.Unmarshal([]byte(last), &env); err != nil {
t.Fatalf("收尾后的响应不是合法 JSON: %v", err)
}
}
+49 -3
View File
@@ -103,6 +103,9 @@ type pendingBrowser struct {
finalURL string
mode string
expires time.Time
// comments 段落评论接口的翻页适配(上游页面按 page 翻页,接口只认 cursor,
// 见 browser_comment_page.go)。
comments *commentPager
done chan struct{}
mu sync.Mutex
@@ -218,6 +221,7 @@ func (s *ReaderService) registerBrowser(ctx context.Context, sourceURL, sourceID
mode: mode,
expires: time.Now().Add(browserPageTTL),
done: make(chan struct{}),
comments: newCommentPager(),
}
s.browserMu.Lock()
@@ -375,6 +379,12 @@ func (s *ReaderService) prepareBrowserPage(ctx context.Context, sourceURL, id st
if err != nil {
return "", "", fmt.Errorf("打开页面失败: %w", err)
}
// 空响应没有可展示的内容:以前照样包一层空 <pre> 交给 iframe,面板就是一片白,
// 用户看不出是地址有问题还是自己没登录。这里直接报错(如段评地址参数被改写、
// 上游按缺参数返回空 body 的情形)。
if strings.TrimSpace(body) == "" {
return "", "", fmt.Errorf("目标地址没有返回任何内容: %s", truncateForLog(req.URL, 120))
}
cookie := s.browserCookieHeader(ctx, sourceURL, finalURL)
if !strings.Contains(strings.ToLower(contentType), "html") {
// 非 HTML(如 JSON 接口):包一层 <pre>,至少让用户看到内容
@@ -505,6 +515,13 @@ func (s *ReaderService) ProxyBrowserXHR(ctx context.Context, id, method, target
if method == "" {
method = http.MethodGet
}
// 段落评论接口:评论页按 page=N 翻页,而接口只认 cursor(见
// browser_comment_page.go)。改写发生在补书源凭据之前,Cookie/Referer
// 仍然按目标站点选取。
pagerKey := ""
if entry.comments != nil {
target, pagerKey = entry.comments.rewriteRequest(target)
}
reqCtx, cancel := context.WithTimeout(ctx, browserFetchTimeout)
defer cancel()
// 挂上 sink:页面自己发起的请求(如扫码登录的轮询/取票跳转)下发的
@@ -571,6 +588,9 @@ func (s *ReaderService) ProxyBrowserXHR(ctx context.Context, id, method, target
out := &BrowserXHRResult{Status: resp.StatusCode, ContentType: contentType}
if isTextualContent(contentType) {
out.Body = string(data)
if entry.comments != nil && pagerKey != "" {
out.Body = entry.comments.observeResponse(pagerKey, out.Body)
}
} else {
out.Body = base64.StdEncoding.EncodeToString(data)
out.Base64 = true
@@ -723,8 +743,34 @@ func (s *ReaderService) browserAssetSig(id, target string) string {
return s.browserSign("asset|" + id + "|" + target)
}
func (s *ReaderService) browserPageURL(id string) string {
return "/api/reader/browser/page?id=" + url.QueryEscape(id) + "&s=" + s.browserPageSig(id)
// browserPageURL 生成 iframe 承载地址。
//
// 承载页面常常靠 location.search 取值:光遇聚合的段评页就是从 ?item_id&para&source
// 读出「哪本书的哪一段、哪个来源」,再据此请求 /para_review。承载地址是我们自己的
// 代理路径,页面看到的 query 只有 id/s,原地址的参数全丢了——页面于是按缺参数去
// 请求评论接口,气泡数照样显示,点开却一条段评都没有。
//
// 所以把原地址的 query 原样拼在签名参数之后:页面看到的 search 与原站一致。
// 我们自己的 id/s 放最前,Gin 取同名的第一个值,不会被原地址里的同名参数顶掉。
func (s *ReaderService) browserPageURL(id, target string) string {
u := "/api/reader/browser/page?id=" + url.QueryEscape(id) + "&s=" + s.browserPageSig(id)
if q := browserTargetQuery(target); q != "" {
u += "&" + q
}
return u
}
// browserTargetQuery 取原地址的 query(不含 `?`);data: 地址或解析失败时返回空串。
func browserTargetQuery(target string) string {
target = strings.TrimSpace(target)
if target == "" || strings.HasPrefix(strings.ToLower(target), "data:") {
return ""
}
parsed, err := url.Parse(target)
if err != nil {
return ""
}
return parsed.RawQuery
}
// browserAssetProxyURL 生成资源代理地址(iframe 页面内引用用)。
@@ -882,7 +928,7 @@ func (s *ReaderService) pageOfLocked(e *pendingBrowser) BrowserPage {
Title: e.request.Title,
Mode: e.mode,
Seq: e.seq,
PageURL: s.browserPageURL(e.id),
PageURL: s.browserPageURL(e.id, e.request.URL),
Refetch: e.request.Refetch,
SourceID: e.sourceID,
TargetURL: target,
@@ -167,6 +167,51 @@ func TestBrowserPanelCancelReleasesBlock(t *testing.T) {
}
}
// TestBrowserPageURLKeepsTargetQuery 承载地址必须原样带上目标地址的 query。
//
// 光遇聚合的段评页从 location.search 读 item_id/para/source,再据此请求评论接口。
// 承载地址若只剩我们自己的 id/s,页面就按缺参数去请求:段评气泡上的数字照常有,
// 点开却一条评论都没有。
func TestBrowserPageURLKeepsTargetQuery(t *testing.T) {
svc, _ := newLoginTestService(t)
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "text/html; charset=utf-8")
_, _ = w.Write([]byte(`<html><body>comment page</body></html>`))
}))
defer srv.Close()
// 目标地址里故意带上与我们同名的 s/id:它们不能顶掉签名参数。
target := srv.URL + "/get_para_review?item_id=abc&para=1&source=QQ%E9%98%85%E8%AF%BB&s=decoy&id=decoy"
entry, err := svc.registerBrowser(t.Context(), srv.URL, "src-1", readerTestUserID,
browserCookieTarget{}, rule.BrowserTask{URL: target, Title: "段评"}, browserModeOpen)
if err != nil {
t.Fatalf("登记承载页面失败: %v", err)
}
page := svc.browserPageOf(entry)
u, err := url.Parse(page.PageURL)
if err != nil {
t.Fatalf("承载地址不合法: %q", page.PageURL)
}
q := u.Query()
if q.Get("item_id") != "abc" || q.Get("para") != "1" || q.Get("source") != "QQ阅读" {
t.Fatalf("承载地址丢了目标参数(段评页会因此取不到评论): %q", page.PageURL)
}
// 路由按 id/s 取承载的页面快照,同名参数必须仍指向我们自己的待办
if q.Get("id") != entry.id || q.Get("s") != svc.browserPageSig(entry.id) {
t.Fatalf("同名参数顶掉了签名参数: %q", page.PageURL)
}
if _, err := svc.VerifyBrowserPage(q.Get("id"), q.Get("s")); err != nil {
t.Fatalf("带业务参数后签名校验失败: %v", err)
}
// 没有 query 的地址(含 data: 页面)不该多出参数
for _, plain := range []string{"https://panel.example.com/plain", "data:text/html;base64,AAA"} {
if got := svc.browserPageURL("id1", plain); strings.Count(got, "&") != 1 {
t.Fatalf("无 query 的地址被拼进了多余参数: %q", got)
}
}
}
// TestBrowserPanelInjectsSourceCookies http(s) 页面必须由服务端带书源 Cookie
// 抓取,否则「用户后台」在浏览器里永远是未登录状态。
func TestBrowserPanelInjectsSourceCookies(t *testing.T) {
+5 -5
View File
@@ -151,7 +151,7 @@ func TestSourceLoginEndToEnd(t *testing.T) {
sourceID := prepareLoginSource(t, svc, loginTestSourceJSON(t, srv.URL))
// ── 登录前:未鉴权,站点返回未登录页 → 搜不到书 ──
if books, _, err := svc.Search(ctx, "会员", nil); err != nil {
if books, _, err := svc.Search(ctx, "会员", nil, 1); err != nil {
t.Fatal(err)
} else if len(books) != 0 {
t.Fatalf("未登录时不应搜到结果: %+v", books)
@@ -188,7 +188,7 @@ func TestSourceLoginEndToEnd(t *testing.T) {
}
// ── 登录后搜索:应携带 Cookie 并成功 ──
books, skipped, err := svc.Search(ctx, "会员", nil)
books, skipped, err := svc.Search(ctx, "会员", nil, 1)
if err != nil {
t.Fatal(err)
}
@@ -210,7 +210,7 @@ func TestSourceLoginEndToEnd(t *testing.T) {
if info.LoggedIn || len(info.Cookies) != 0 {
t.Fatalf("登出后不应残留登录态: %+v", info)
}
if books, _, err := svc.Search(ctx, "会员", nil); err != nil {
if books, _, err := svc.Search(ctx, "会员", nil, 1); err != nil {
t.Fatal(err)
} else if len(books) != 0 {
t.Fatalf("登出后不应还能搜到结果: %+v", books)
@@ -367,7 +367,7 @@ func TestEnabledCookieJarGating(t *testing.T) {
}`
sourceID := prepareLoginSource(t, svc, srcJSON)
if _, _, err := svc.Search(ctx, "任意", nil); err != nil {
if _, _, err := svc.Search(ctx, "任意", nil, 1); err != nil {
t.Fatal(err)
}
// 自动捕获被关闭:不应出现 auto=from-response
@@ -389,7 +389,7 @@ func TestEnabledCookieJarGating(t *testing.T) {
if _, err := svc.ImportSources(ctx, srcJSONOn); err != nil {
t.Fatal(err)
}
if _, _, err := svc.Search(ctx, "任意", nil); err != nil {
if _, _, err := svc.Search(ctx, "任意", nil, 1); err != nil {
t.Fatal(err)
}
if got := svc.newSourceState(ctx, srv2.URL).GetCookie(srv2.URL); !strings.Contains(got, "auto=from-response") {
+35 -2
View File
@@ -13,6 +13,7 @@ import (
"io"
"net/http"
"net/url"
"path/filepath"
"regexp"
"sort"
"strings"
@@ -404,6 +405,12 @@ func (s *ReaderService) executeWithState(ctx context.Context, req *rule.Request,
break
}
data = helper.DecompressBody(resp, data)
// Raw:按原始字节返回(书源文件落盘用),不做 charset 解码。
// 必须先于 HexBody 判断之外处理:GBK 文本一旦按 UTF-8 解码就变成 U+FFFD,
// 落盘的文件会坏掉。
if req.Raw {
return string(data), resp.Request.URL.String(), resp.StatusCode, nil
}
// 声明了 type 的请求按「原始字节的 hex」返回(对应 legado AnalyzeUrl.type),
// 不做 charset 解码——书源会自己 hexDecodeToString 取回内容。
if req.HexBody {
@@ -641,9 +648,28 @@ func (sess *sourceSession) runner(key string, page int) *rule.JSRunner {
JSLib: SPtr(sess.bs.JSLib),
Ctx: sess.ctx,
Browser: host,
// 书源文件缓存根目录:java.downloadFile / cacheFile 落盘用。
CacheDir: sess.svc.readerFileCacheDir(),
})
}
// readerFileCacheDir 书源文件缓存根目录(java.downloadFile / cacheFile)。
// 优先用配置的 cache_dir,退回 data_dir/cache;都不可用时返回空串,
// 此时文件类 JS 接口会抛出「未配置缓存目录」而不是写到进程当前目录。
func (s *ReaderService) readerFileCacheDir() string {
if s == nil || s.cfg == nil {
return ""
}
if base := strings.TrimSpace(s.cfg.Cache.CacheDir); base != "" {
return base
}
if dataDir := strings.TrimSpace(s.cfg.App.DataDir); dataDir != "" {
return filepath.Join(dataDir, "cache")
}
return ""
}
// srcID 书源记录 ID(登录界面待办按书源隔离)。
func (sess *sourceSession) srcID() string {
if sess.src != nil {
@@ -766,7 +792,14 @@ type searchHit struct {
// 空表示「全部书源」——所有已启用书源;非空则只搜其中仍存在、仍启用的书源。
// 范围内一个可搜书源都不剩时退回全部启用(对应 legado 范围失效时的兜底),
// 这样删源/停源后不会因为残留的旧选择把搜索变成「什么都搜不到」。
func (s *ReaderService) Search(ctx context.Context, key string, sourceIDs []string) ([]SearchBook, []SearchSkipped, error) {
//
// page 是页码(从 1 开始,对应书源 searchUrl 里的 {{page}}):搜索按页下发,
// 前端滚到底再请求下一页并做增量合并。搜索范围内的所有源共用同一个页码;
// searchUrl 里没有 {{page}} 的源会重复返回首页结果,由调用方按「书名+作者」去重。
func (s *ReaderService) Search(ctx context.Context, key string, sourceIDs []string, page int) ([]SearchBook, []SearchSkipped, error) {
if page < 1 {
page = 1
}
sources, err := s.repo.ListSources(ctx)
if err != nil {
return nil, nil, err
@@ -790,7 +823,7 @@ func (s *ReaderService) Search(ctx context.Context, key string, sourceIDs []stri
g.Go(func() error {
gctxSrc, cancel := context.WithTimeout(gctx, perSourceTimeout)
defer cancel()
books, err := s.searchInSource(gctxSrc, &src, nil, key, 1)
books, err := s.searchInSource(gctxSrc, &src, nil, key, page)
mu.Lock()
defer mu.Unlock()
if err != nil {
@@ -0,0 +1,121 @@
package reader
import (
"encoding/json"
"fmt"
"net/http"
"net/http/httptest"
"strings"
"testing"
"golang.org/x/text/encoding/simplifiedchinese"
)
// 本文件:拷贝系列轻小说源的端到端回归。
//
// 合成一个「照搬拷贝轻小说写法」的书源,一次覆盖四个修复点:
// 1. 搜索列表规则 `results.list.[*]`(legado 的 `.[*]` 形式);
// 2. 目录规则用 `new Packages.java.util.LinkedHashMap()/ArrayList()` 拼装;
// 3. 正文规则用 `java.cacheFile(url)` 取整卷文本;
// 4. 正文是 GBK 文本——必须走 Raw 原始字节通道落盘,否则会被 UTF-8 解码成乱码。
func TestCopyLightNovelSourceEndToEnd(t *testing.T) {
var srv *httptest.Server
gbkBody, err := simplifiedchinese.GBK.NewEncoder().Bytes([]byte("第一章 开始\n第二章 继续"))
if err != nil {
t.Fatal(err)
}
mux := http.NewServeMux()
// 搜索:Django REST 风格的 JSON。q_type/_update 参数照抄真实源。
mux.HandleFunc("/api/search", func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "application/json")
_, _ = w.Write([]byte(`{"code":200,"results":{"list":[
{"name":"转生成为史莱姆","path_word":"slime","author":[{"name":"作者甲"}],"cover":"https://img.example.com/1.jpg"}
]}}`))
})
mux.HandleFunc("/api/book/", func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "application/json")
_, _ = w.Write([]byte(`{"code":200,"results":{"book":{"name":"转生成为史莱姆","path_word":"slime"}}}`))
})
mux.HandleFunc("/api/volumes", func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "application/json")
_, _ = w.Write([]byte(`{"code":200,"results":{"list":[{"name":"第一卷","id":7}]}}`))
})
mux.HandleFunc("/api/volume/", func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "application/json")
_, _ = fmt.Fprintf(w, `{"code":200,"results":{"volume":{"txt_addr":"%s/api/txt/7","txt_encoding":"GBK"}}}`, srv.URL)
})
mux.HandleFunc("/api/txt/", func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "text/plain")
_, _ = w.Write(gbkBody)
})
srv = httptest.NewServer(mux)
defer srv.Close()
source := map[string]any{
"bookSourceName": "合成拷贝轻小说源",
"bookSourceUrl": srv.URL,
"enabled": true,
"enabledExplore": true,
"searchUrl": srv.URL + "/api/search?limit=20&q_type=&q={{key}}&_update=true",
"ruleSearch": map[string]any{
"bookList": "results.list.[*]",
"name": "$.name",
"author": "$.author[*].name",
"coverUrl": "$.cover",
"bookUrl": srv.URL + "/api/book/{{$.path_word}}?_update=true",
},
"ruleBookInfo": map[string]any{
"init": "$.results.book",
"name": "$.name",
"intro": "$.brief",
"tocUrl": srv.URL + "/api/volumes?book={{$.path_word}}&_update=true",
},
"ruleToc": map[string]any{
"chapterList": `<js>
function mk(n, u) { var m = new Packages.java.util.LinkedHashMap(); m.put('name', n); m.put('url', u); return m; }
var base = '` + srv.URL + `/api/volume/';
var out = new Packages.java.util.ArrayList();
var vols = JSON.parse(result).results.list;
for (var i = 0; i < vols.length; i++) { out.add(mk(vols[i].name, base + vols[i].id + '?_update=true')); }
out;</js>`,
"chapterName": "$.name",
"chapterUrl": "$.url",
},
"ruleContent": map[string]any{
"content": `@js:java.cacheFile(java.getString('$..txt_addr'))`,
},
}
raw, err := json.Marshal(source)
if err != nil {
t.Fatal(err)
}
svc, _ := newLoginTestService(t)
svc.cfg.Cache.CacheDir = t.TempDir()
res := svc.SmokeSource(t.Context(), string(raw), "史莱姆")
if !res.OK {
t.Fatalf("链路失败于 %s: %s\n%s", res.FailedAt, res.Error, joinLogs(res))
}
if res.SearchHits != 1 {
t.Fatalf("搜索命中=%d, want 1(`.[*]` 路径修复)", res.SearchHits)
}
if res.Chapters != 1 {
t.Fatalf("章节数=%d, want 1(Packages 修复)", res.Chapters)
}
if res.ContentLen == 0 {
t.Fatalf("正文长度=0(cacheFile/Raw 修复未生效)\n%s", joinLogs(res))
}
if !strings.Contains(joinLogs(res), "第一章") {
t.Fatalf("正文未正确解码(GBK 落盘被 utf-8 破坏)\n%s", joinLogs(res))
}
}
func joinLogs(res *SmokeChainResult) string {
var b strings.Builder
for _, l := range res.Logs {
fmt.Fprintf(&b, "[%s/%s] %s\n", l.Stage, l.Level, l.Message)
}
return b.String()
}
+45 -4
View File
@@ -2,6 +2,7 @@ package rule
import (
"net/url"
"regexp"
"strings"
"github.com/PaesslerAG/jsonpath"
@@ -450,10 +451,7 @@ func (a *AnalyzeRule) getStringRules(ruleList []*SourceRule, mContent any, isUrl
if result == nil {
result = ""
}
str := resultString(result)
if strings.Contains(str, "&") {
str = html.UnescapeString(str)
}
str := unescapeRuleEntities(resultString(result))
if isUrl {
if strings.TrimSpace(str) == "" {
// 对应 legado:取值为空时回退 baseUrl,让相对地址还能解析。
@@ -597,6 +595,49 @@ func applyReplaceRegex(result string, r ResolvedSourceRule) string {
return regexReplaceAll(r.ReplaceRegex, result, r.Replacement)
}
// entityRefRe 匹配一个 HTML 字符引用:命名实体(&amp;、&nbsp;)、十进制(&#39;)、
// 十六进制(&#x27;)。分号可选——旧式简写(&nbsp、&amp)在 HTML 文本里同样成立。
var entityRefRe = regexp.MustCompile(`&(?:[a-zA-Z][a-zA-Z0-9]{1,31}|#[0-9]{1,7}|#[xX][0-9a-fA-F]{1,6});?`)
// unescapeRuleEntities 还原规则结果里的 HTML 实体(`&amp;` → `&`、`&#39;` → `'`)。
//
// 唯一的例外是「不带分号的旧式简写后面紧跟 = 或字母数字」这一种:HTML5 里这类写法
// 属于历史匹配,而规则结果并不是纯 HTML 文本——正文、地址、查询串都在同一份字符串里。
// 按浏览器语义无差别还原会把查询串吃掉:光遇聚合的段评地址
// `…?item_id=X&para=1&source=QQ阅读` 会变成 `…?item_id=X¶=1&source=QQ阅读`,
// 上游按缺参数处理返回空页面,段评面板就只剩一片空白(见 reader/comment.go)。
func unescapeRuleEntities(s string) string {
if !strings.Contains(s, "&") {
return s
}
var b strings.Builder
last := 0
for _, loc := range entityRefRe.FindAllStringIndex(s, -1) {
match := s[loc[0]:loc[1]]
if !strings.HasSuffix(match, ";") && loc[1] < len(s) && isEntityStopByte(s[loc[1]]) {
continue
}
decoded := html.UnescapeString(match)
if decoded == match {
continue // 不是已知实体,原样保留
}
b.WriteString(s[last:loc[0]])
b.WriteString(decoded)
last = loc[1]
}
if last == 0 {
return s
}
b.WriteString(s[last:])
return b.String()
}
// isEntityStopByte 判断旧式简写实体后面这个字符是否让它失去实体语义
// (HTML5 规定不带分号的引用后跟 = 或字母数字时按普通文本处理)。
func isEntityStopByte(c byte) bool {
return c == '=' || c >= '0' && c <= '9' || c >= 'a' && c <= 'z' || c >= 'A' && c <= 'Z'
}
// resultString 对应 Kotlin 的 result.toString()。
func resultString(result any) string {
switch t := result.(type) {
@@ -0,0 +1,80 @@
package rule
import (
"strings"
"testing"
)
// 规则结果里的地址带查询串。html.UnescapeString 会按 HTML5 旧式简写把 &para 吃成
// 「¶」,参数名变成 ¶ 之后上游按缺参数返回空页面——光遇聚合的段评面板一片空白
// 就是这个原因(见 reader/comment.go、reader/browser_panel.go)。
func TestUnescapeRuleEntitiesKeepsQueryString(t *testing.T) {
cases := []struct {
name string
in string
want string
}{
{
name: "段评地址里的 &para 不能被当成实体",
in: "https://v1.qingtian618.com/get_para_review?item_id=X&para=1&source=QQ%E9%98%85%E8%AF%BB",
want: "https://v1.qingtian618.com/get_para_review?item_id=X&para=1&source=QQ%E9%98%85%E8%AF%BB",
},
{
name: "&not 开头的参数名同样不能被吃掉",
in: "https://example.com/api?book=1&notify=1",
want: "https://example.com/api?book=1&notify=1",
},
{
name: "带分号的实体照旧还原",
in: "url?a=1&amp;b=2&amp;c=3",
want: "url?a=1&b=2&c=3",
},
{
name: "数字实体照旧还原",
in: "&#39;引号&#39; &#x27;x&#x27; &#169;",
want: "'引号' 'x' ©",
},
{
name: "文字里的旧式简写(后面不是 = 或字母数字)照旧还原",
in: "第一段&nbsp第二段&copy 2026&times",
want: "第一段\u00a0第二段© 2026×",
},
{
name: "不是实体的 & 原样保留",
in: "a & b &foo; c",
want: "a & b &foo; c",
},
{
name: "不含 & 的字符串直接放行",
in: "魔法大陆。",
want: "魔法大陆。",
},
}
for _, c := range cases {
t.Run(c.name, func(t *testing.T) {
if got := unescapeRuleEntities(c.in); got != c.want {
t.Fatalf("unescapeRuleEntities(%q) = %q,期望 %q", c.in, got, c.want)
}
})
}
}
// 端到端:走 GetString 的规则结果同样不能把段评地址里的 &para 吃掉
// (光遇聚合的正文规则是 <js>…</js>$.content 形态,最终取 $.content)。
func TestGetStringCommentURLKeepsParaParam(t *testing.T) {
const url = "https://v1.qingtian618.com/get_para_review?item_id=YmlkPTYxNDc4MiZjaWQ9MQ&para=11&source=QQ%E9%98%85%E8%AF%BB"
payload := `{"content":"<p>正文<comment ident=\"` + url + `\" count=\"39\" /></p>"}`
a := NewAnalyzeRule()
a.SetContent(payload, "https://v1.qingtian618.com")
got, err := a.GetString("$.content", nil, false)
if err != nil {
t.Fatalf("GetString: %v", err)
}
if !strings.Contains(got, "&para=11") {
t.Fatalf("段评地址里的 &para=11 被改写了: %q", got)
}
if strings.Contains(got, "\u00b6") {
t.Fatalf("段评地址里出现了 ¶(HTML 旧式实体还原的产物): %q", got)
}
}
+95 -2
View File
@@ -10,6 +10,8 @@ import (
"encoding/hex"
"fmt"
"hash"
"os"
"path/filepath"
"strings"
"github.com/dop251/goja"
@@ -435,6 +437,95 @@ func newJavaObject(vm *goja.Runtime, r *JSRunner, a *AnalyzeRule) *goja.Object {
return goja.Null()
})
// ── 本地文件(对应 legado JsExtensions 的缓存/文件系列) ──
//
// 服务端把文件限制在自己的缓存目录(<cache>/reader/files)内,
// 书源只能用相对路径(允许以 / 开头,downloadFile 的返回值即此形态)。
set("downloadFile", func(call goja.FunctionCall) goja.Value {
// 旧签名 downloadFile(contentHex, url):把 hex 字符串落成文件。
if len(call.Arguments) >= 2 && !goja.IsUndefined(call.Arguments[1]) && !goja.IsNull(call.Arguments[1]) {
url := stringArg(call, 1)
raw, err := hex.DecodeString(strings.TrimSpace(stringArg(call, 0)))
if err != nil {
bridgeErr("downloadFile", err)
}
rel, err := writeCacheFile(r.cfg.CacheDir, cacheFileName(url), raw)
if err != nil {
bridgeErr("downloadFile", err)
}
return vm.ToValue(rel)
}
rel, err := downloadToCache(r, stringArg(call, 0))
if err != nil {
bridgeErr("downloadFile", err)
}
return vm.ToValue(rel)
})
// cacheFile(url): 下载并缓存文本文件,返回文件**内容**(对应 legado 语义)。
set("cacheFile", func(call goja.FunctionCall) goja.Value {
url := stringArg(call, 0)
if dir := readerFilesDir(r.cfg.CacheDir); dir != "" {
if b, err := os.ReadFile(filepath.Join(dir, cacheFileName(url))); err == nil && len(b) > 0 {
return vm.ToValue(decodeTextAuto(b))
}
}
rel, err := downloadToCache(r, url)
if err != nil {
bridgeErr("cacheFile", err)
}
full, err := resolveCacheFilePath(r.cfg.CacheDir, rel)
if err != nil {
bridgeErr("cacheFile", err)
}
b, err := os.ReadFile(full)
if err != nil {
bridgeErr("cacheFile", err)
}
return vm.ToValue(decodeTextAuto(b))
})
set("readFile", func(call goja.FunctionCall) goja.Value {
full, err := resolveCacheFilePath(r.cfg.CacheDir, stringArg(call, 0))
if err != nil {
return goja.Null()
}
b, err := os.ReadFile(full)
if err != nil {
return goja.Null()
}
return vm.ToValue(vm.NewArrayBuffer(b))
})
set("readTxtFile", func(call goja.FunctionCall) goja.Value {
full, err := resolveCacheFilePath(r.cfg.CacheDir, stringArg(call, 0))
if err != nil {
return vm.ToValue("")
}
b, err := os.ReadFile(full)
if err != nil {
return vm.ToValue("")
}
if cs := stringArgOr(call, 1, ""); cs != "" {
if s, derr := DecodeBytes(b, cs); derr == nil {
return vm.ToValue(s)
}
}
return vm.ToValue(decodeTextAuto(b))
})
set("deleteFile", func(call goja.FunctionCall) goja.Value {
full, err := resolveCacheFilePath(r.cfg.CacheDir, stringArg(call, 0))
if err != nil {
return vm.ToValue(false)
}
return vm.ToValue(os.Remove(full) == nil)
})
// getFile(path): 返回 File 对象(提供书源常用的 exists/length/name/delete/readText)。
set("getFile", func(call goja.FunctionCall) goja.Value {
full, err := resolveCacheFilePath(r.cfg.CacheDir, stringArg(call, 0))
if err != nil {
full = ""
}
return newFileObject(vm, full, stringArg(call, 0))
})
// ── 书源会话状态(legado 中 `java` 与 `source` 是同一对象) ──
if r.state != nil {
bindSourceState(vm, set, r.state, r.cfg.SourceProps)
@@ -540,13 +631,15 @@ func newJavaObject(vm *goja.Runtime, r *JSRunner, a *AnalyzeRule) *goja.Object {
set(name, unsupported(name, "需要无头浏览器(WebView)"))
}
for _, name := range []string{
"importScript", "cacheFile", "downloadFile", "readFile", "readTxtFile", "deleteFile",
"unzipFile", "un7zFile", "unrarFile", "unArchiveFile", "getTxtInFolder",
"getZipStringContent", "getZipByteArrayContent",
"getRarStringContent", "get7zStringContent",
} {
set(name, unsupported(name, "需要本地文件/压缩包能力"))
set(name, unsupported(name, "需要压缩包解压能力"))
}
// importScript 在 legado 里是「下载 JS 文件并 eval」,服务端可做但会引入
// 任意脚本执行面,暂不支持,保持明确报错。
set("importScript", unsupported("importScript", "服务端不支持动态加载外部脚本"))
return o
}
@@ -0,0 +1,209 @@
package rule
import (
"fmt"
"os"
"path"
"path/filepath"
"strings"
"unicode/utf8"
"github.com/dop251/goja"
)
// 本文件实现 legado JsExtensions 里的「本地文件」能力
// (cacheFile / downloadFile / readFile / readTxtFile / deleteFile / getFile)。
//
// 与 legado 的语义保持一致:
// - downloadFile(url) 下载到缓存目录,返回「相对缓存根目录」的路径;
// - cacheFile(url) 下载(带缓存)后返回文件的**文本内容**(不是路径);
// - readFile/readTxtFile/deleteFile/getFile 接受相对路径(允许以 / 开头),
// 一律解析到缓存目录下。
//
// 服务端把缓存根目录固定为 <cache>/reader/files,并且只允许访问该目录内的文件,
// 避免书源通过 `../../` 之类读到宿主上的任意文件。
// filesSubdir 书源文件缓存目录(相对 ReaderService 的缓存根目录)。
const filesSubdir = "reader/files"
// readerFilesDir 返回书源文件缓存目录;未配置缓存目录时返回空串。
func readerFilesDir(cacheDir string) string {
if strings.TrimSpace(cacheDir) == "" {
return ""
}
return filepath.Join(cacheDir, "reader", "files")
}
// cacheFileName 计算某个 URL 在缓存目录里的文件名(对应 legado 的
// `${md5Encode16(url)}.${type}`:md5 十六进制取中间 16 位,保留 URL 后缀)。
func cacheFileName(rawURL string) string {
name := md5Hex(rawURL, true)
if ext := urlFileSuffix(rawURL); ext != "" {
name += "." + ext
}
return name
}
// urlFileSuffix 取 URL 路径部分的后缀(不含 `.`),只接受字母数字(长度 1~8)。
func urlFileSuffix(rawURL string) string {
u := rawURL
if i := strings.IndexAny(u, "?#"); i >= 0 {
u = u[:i]
}
if i := strings.LastIndex(u, "/"); i >= 0 {
u = u[i+1:]
}
dot := strings.LastIndex(u, ".")
if dot < 0 || dot == len(u)-1 {
return ""
}
ext := u[dot+1:]
if len(ext) > 8 {
return ""
}
for i := 0; i < len(ext); i++ {
c := ext[i]
if !(c >= 'a' && c <= 'z' || c >= 'A' && c <= 'Z' || c >= '0' && c <= '9') {
return ""
}
}
return strings.ToLower(ext)
}
// resolveCacheFilePath 把书源给的相对路径解析成缓存目录下的绝对路径。
// 允许以 `/` 开头(downloadFile 的返回值就是这种形态),但拒绝越出缓存目录。
func resolveCacheFilePath(cacheDir, p string) (string, error) {
dir := readerFilesDir(cacheDir)
if dir == "" {
return "", fmt.Errorf("未配置缓存目录")
}
p = strings.TrimSpace(p)
if p == "" {
return "", fmt.Errorf("文件路径为空")
}
rel := filepath.Clean(filepath.FromSlash(strings.Trim(p, `/\`)))
if rel == "." || rel == ".." || strings.HasPrefix(rel, ".."+string(os.PathSeparator)) {
return "", fmt.Errorf("非法文件路径: %s", p)
}
return filepath.Join(dir, rel), nil
}
// writeCacheFile 把字节写入缓存目录,返回相对路径(以 / 开头,对应 legado)。
func writeCacheFile(cacheDir, name string, data []byte) (string, error) {
dir := readerFilesDir(cacheDir)
if dir == "" {
return "", fmt.Errorf("未配置缓存目录")
}
if err := os.MkdirAll(dir, 0o750); err != nil {
return "", err
}
if err := os.WriteFile(filepath.Join(dir, name), data, 0o600); err != nil {
return "", err
}
return "/" + name, nil
}
// downloadToCache 下载 URL 并落到缓存目录(已存在则直接复用),
// 返回相对缓存根目录的路径。下载走书源会话,因此会带上书源请求头与 Cookie。
func downloadToCache(r *JSRunner, rawURL string) (string, error) {
dir := readerFilesDir(r.cfg.CacheDir)
if dir == "" {
return "", fmt.Errorf("未配置缓存目录")
}
name := cacheFileName(rawURL)
full := filepath.Join(dir, name)
if st, err := os.Stat(full); err == nil && st.Size() > 0 {
return "/" + name, nil
}
req, err := ParseAnalyzeUrlWithJS(rawURL, "", 0, r.cfg.BaseURL, r)
if err != nil {
return "", err
}
if req.Unsupported != nil {
return "", req.Unsupported
}
// Raw:响应按原始字节返回,避免 charset 解码破坏二进制/非 UTF-8 文本。
// 同时清掉 HexBody:URL 选项里的 `type` 在 legado 是文件后缀提示,
// 这里不该把下载内容按 hex 字符串落盘。
req.Raw = true
req.HexBody = false
body, _, code, err := r.fetch(req)
if err != nil {
return "", err
}
if code >= 400 {
return "", fmt.Errorf("下载失败 HTTP %d: %s", code, rawURL)
}
return writeCacheFile(r.cfg.CacheDir, name, []byte(body))
}
// decodeTextAuto 解码文本文件:UTF-8 BOM → 去 BOM;合法 UTF-8 → 原样;
// 否则按 GBK 解(中文站点/书源最常见的另一种编码),失败再原样返回。
func decodeTextAuto(b []byte) string {
if len(b) >= 3 && b[0] == 0xEF && b[1] == 0xBB && b[2] == 0xBF {
return string(b[3:])
}
if utf8.Valid(b) {
return string(b)
}
if s, err := DecodeBytes(b, "gbk"); err == nil && s != "" {
return s
}
return string(b)
}
// fileSuffixFromName 取路径的最后一段(getFile 的 name 语义)。
func fileSuffixFromName(p string) string {
return path.Base(strings.ReplaceAll(p, "\\", "/"))
}
// newFileObject 构造 `java.getFile(path)` 返回的 File 等价物,
// 提供书源常用的 exists / length / name / delete / readText。
func newFileObject(vm *goja.Runtime, full, raw string) *goja.Object {
o := vm.NewObject()
set := func(k string, v any) { _ = o.Set(k, v) }
set("path", full)
set("name", fileSuffixFromName(raw))
set("exists", func(goja.FunctionCall) goja.Value {
if full == "" {
return vm.ToValue(false)
}
_, err := os.Stat(full)
return vm.ToValue(err == nil)
})
set("isDirectory", func(goja.FunctionCall) goja.Value {
if full == "" {
return vm.ToValue(false)
}
st, err := os.Stat(full)
return vm.ToValue(err == nil && st.IsDir())
})
set("length", func(goja.FunctionCall) goja.Value {
if full == "" {
return vm.ToValue(0)
}
st, err := os.Stat(full)
if err != nil {
return vm.ToValue(0)
}
return vm.ToValue(st.Size())
})
set("delete", func(goja.FunctionCall) goja.Value {
if full == "" {
return vm.ToValue(false)
}
return vm.ToValue(os.Remove(full) == nil)
})
set("readText", func(goja.FunctionCall) goja.Value {
if full == "" {
return vm.ToValue("")
}
b, err := os.ReadFile(full)
if err != nil {
return vm.ToValue("")
}
return vm.ToValue(decodeTextAuto(b))
})
set("toString", func(goja.FunctionCall) goja.Value { return vm.ToValue(full) })
return o
}
+152
View File
@@ -0,0 +1,152 @@
package rule
import (
"io"
"net/http"
"net/http/httptest"
"os"
"path/filepath"
"strings"
"sync/atomic"
"testing"
"golang.org/x/text/encoding/simplifiedchinese"
)
// 本文件:java 文件接口(cacheFile / downloadFile / readTxtFile / deleteFile)
// 的语义回归。对应 legado JsExtensions:
// - cacheFile(url) → 返回文件**文本内容**(不是路径);
// - downloadFile(url) → 返回相对缓存根目录的路径;
// - readTxtFile(path[, charset]) → 返回文本;
// - 只允许访问缓存目录内的文件。
func newFileTestRunner(cacheDir, baseURL string, hits *int32) *JSRunner {
return NewJSRunner(JSConfig{
CacheDir: cacheDir,
BaseURL: baseURL,
Fetch: func(req *Request) (string, string, int, error) {
if hits != nil {
atomic.AddInt32(hits, 1)
}
resp, err := http.Get(req.URL) //nolint:gosec // 测试内固定 httptest 地址
if err != nil {
return "", "", 0, err
}
defer resp.Body.Close()
b, _ := io.ReadAll(resp.Body)
return string(b), req.URL, resp.StatusCode, nil
},
})
}
func TestCacheFileReturnsTextContent(t *testing.T) {
var hits int32
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
_, _ = w.Write([]byte("第一章 开始\n第二章 继续"))
}))
defer srv.Close()
r := newFileTestRunner(t.TempDir(), srv.URL, &hits)
ar := NewAnalyzeRule()
v, err := r.Run(ar, "java.cacheFile('"+srv.URL+"/vol.txt')", nil, "")
if err != nil {
t.Fatalf("cacheFile 失败: %v", err)
}
if got := anyToString(v); got != "第一章 开始\n第二章 继续" {
t.Fatalf("cacheFile 应返回文本内容,实际 %q", got)
}
// 第二次应命中缓存,不再发起请求。
if _, err := r.Run(ar, "java.cacheFile('"+srv.URL+"/vol.txt')", nil, ""); err != nil {
t.Fatal(err)
}
if n := atomic.LoadInt32(&hits); n != 1 {
t.Fatalf("重复调用应命中缓存(请求次数=%d)", n)
}
}
func TestCacheFileDecodesGBK(t *testing.T) {
gbk, err := simplifiedchinese.GBK.NewEncoder().Bytes([]byte("中文内容测试"))
if err != nil {
t.Fatal(err)
}
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
_, _ = w.Write(gbk)
}))
defer srv.Close()
r := newFileTestRunner(t.TempDir(), srv.URL, nil)
v, err := r.Run(NewAnalyzeRule(), "java.cacheFile('"+srv.URL+"/gbk.txt')", nil, "")
if err != nil {
t.Fatal(err)
}
if got := anyToString(v); got != "中文内容测试" {
t.Fatalf("GBK 文本未正确解码: %q", got)
}
}
func TestDownloadFileThenReadTxtFile(t *testing.T) {
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
_, _ = w.Write([]byte("正文内容"))
}))
defer srv.Close()
cacheDir := t.TempDir()
r := newFileTestRunner(cacheDir, srv.URL, nil)
ar := NewAnalyzeRule()
rawPath, err := r.Run(ar, "java.downloadFile('"+srv.URL+"/a.txt')", nil, "")
if err != nil {
t.Fatal(err)
}
rel := anyToString(rawPath)
if !strings.HasPrefix(rel, "/") || !strings.HasSuffix(rel, ".txt") {
t.Fatalf("downloadFile 应返回相对缓存路径,实际 %q", rel)
}
if _, err := os.Stat(filepath.Join(cacheDir, "reader", "files", strings.TrimPrefix(rel, "/"))); err != nil {
t.Fatalf("文件未落到缓存目录: %v", err)
}
v, err := r.Run(ar, "java.readTxtFile('"+rel+"')", nil, "")
if err != nil {
t.Fatal(err)
}
if got := anyToString(v); got != "正文内容" {
t.Fatalf("readTxtFile = %q", got)
}
del, err := r.Run(ar, "String(java.deleteFile('"+rel+"'))", nil, "")
if err != nil {
t.Fatal(err)
}
if anyToString(del) != "true" {
t.Fatalf("deleteFile 应返回 true,实际 %q", anyToString(del))
}
}
func TestFileOpsRejectPathTraversal(t *testing.T) {
cacheDir := t.TempDir()
secret := filepath.Join(cacheDir, "secret.txt")
if err := os.WriteFile(secret, []byte("不该被读到"), 0o600); err != nil {
t.Fatal(err)
}
r := newFileTestRunner(cacheDir, "", nil)
ar := NewAnalyzeRule()
for _, p := range []string{"/../../secret.txt", "../secret.txt", "/../reader/files/../../secret.txt"} {
v, err := r.Run(ar, "java.readTxtFile('"+p+"')", nil, "")
if err != nil {
t.Fatalf("%s 不应报错: %v", p, err)
}
if got := anyToString(v); strings.Contains(got, "不该被读到") {
t.Fatalf("越权读到了缓存目录外的文件(%s)", p)
}
}
}
func TestFileOpsWithoutCacheDirFail(t *testing.T) {
r := NewJSRunner(JSConfig{})
_, err := r.Run(NewAnalyzeRule(), "java.cacheFile('https://example.com/a.txt')", nil, "")
if err == nil || !strings.Contains(err.Error(), "缓存目录") {
t.Fatalf("未配置缓存目录时应明确报错,实际 %v", err)
}
}
+121 -1
View File
@@ -72,6 +72,9 @@ type JSConfig struct {
// Browser 宿主浏览器实现(java.startBrowser / startBrowserAwait)。
// nil 时这两个函数抛出不支持错误。
Browser BrowserHost
// CacheDir 书源文件缓存根目录(java.downloadFile / cacheFile 落盘用)。
// 为空时这些函数抛出明确错误。
CacheDir string
// Ctx 本次执行的可取消上下文,透传给 BrowserHost 的等待。
Ctx context.Context
}
@@ -211,11 +214,100 @@ func NewJSRunner(cfg JSConfig) *JSRunner {
vm.Set("source", srcObj)
// java 也要在 jsLib 之前就位(jsLib 顶层可能引用 java.*)。
r.installJava(nil)
// Packages(Java 类命名空间)同样要在 jsLib 之前注入:不少书源在 jsLib 或
// 目录/正文规则里用 `new Packages.java.util.LinkedHashMap()` 这类写法。
r.installPackages()
// 部分源把 source 的方法也当 java 成员用(同一 Kotlin 对象暴露两份)。
r.loadJSLib()
return r
}
// installPackages 注入 Java 风格类命名空间(Packages.java.util.*)。
//
// goja 是纯 JS 运行时,没有 Java。书源(尤其照搬 Java 教程写的)常用
// `new Packages.java.util.ArrayList()` / `LinkedHashMap` / `HashMap` 来拼
// 目录列表和请求头,缺了它整条规则直接 ReferenceError(拷贝漫画轻小说源的
// 目录规则就是这么写的)。
//
// 实现要点:容器用「真正的 JS 数组 / 对象」,方法用 Object.defineProperty 定义为
// 不可枚举属性。这样容器交给引擎侧(GetElements/GetString)时导出的是干净的
// 数组([]any)或映射(map[string]any),而不会把 add/put 这些方法也当成元素或
// 请求头带出去。
func (r *JSRunner) installPackages() {
if _, err := r.vm.RunString(packagesPreamble); err != nil {
// 注入失败不影响其它规则,只是 Packages.* 不可用。
r.jsLibErr = fmt.Errorf("Packages 环境初始化失败: %w", err)
}
}
// packagesPreamble 定义全局 Packages(以及与之等价的 java.util / java.lang 常用类)。
const packagesPreamble = `
var Packages = (function () {
function def(o, k, v) {
Object.defineProperty(o, k, { value: v, enumerable: false, writable: true, configurable: true });
}
function makeMap() {
var m = {};
def(m, 'put', function (k, v) { m[k] = v; return v; });
def(m, 'putAll', function (o) { if (o) { for (var k in o) { m[k] = o[k]; } } });
def(m, 'get', function (k) { return m[k] === undefined ? null : m[k]; });
def(m, 'getOrDefault', function (k, d) { return m[k] === undefined ? d : m[k]; });
def(m, 'containsKey', function (k) { return Object.prototype.hasOwnProperty.call(m, k); });
def(m, 'containsValue', function (v) { for (var k in m) { if (m[k] === v) { return true; } } return false; });
def(m, 'remove', function (k) { var v = m[k]; delete m[k]; return v; });
def(m, 'size', function () { return Object.keys(m).length; });
def(m, 'isEmpty', function () { return Object.keys(m).length === 0; });
def(m, 'clear', function () { for (var k in m) { delete m[k]; } });
def(m, 'keySet', function () { return Object.keys(m); });
def(m, 'values', function () { var a = []; for (var k in m) { a.push(m[k]); } return a; });
def(m, 'entrySet', function () { var a = []; for (var k in m) { a.push({ key: k, value: m[k] }); } return a; });
def(m, 'toString', function () { return JSON.stringify(m); });
return m;
}
function makeList() {
var a = [];
def(a, 'add', function (x) { a.push(x); return true; });
def(a, 'addAll', function (xs) { if (xs) { for (var i = 0; i < xs.length; i++) { a.push(xs[i]); } } return true; });
def(a, 'get', function (i) { return a[i]; });
def(a, 'size', function () { return a.length; });
def(a, 'isEmpty', function () { return a.length === 0; });
def(a, 'contains', function (x) { return a.indexOf(x) >= 0; });
def(a, 'remove', function (i) { return a.splice(i, 1)[0]; });
def(a, 'clear', function () { a.length = 0; });
def(a, 'toArray', function () { return a.slice(); });
def(a, 'toString', function () { return a.join(','); });
return a;
}
var util = {};
var mapNames = ['LinkedHashMap', 'HashMap', 'TreeMap', 'Hashtable', 'ConcurrentHashMap', 'LinkedTreeMap'];
for (var i = 0; i < mapNames.length; i++) { util[mapNames[i]] = makeMap; }
var listNames = ['ArrayList', 'LinkedList', 'Vector'];
for (var j = 0; j < listNames.length; j++) { util[listNames[j]] = makeList; }
util.HashSet = makeList;
util.Arrays = { asList: function () { return Array.prototype.slice.call(arguments); } };
util.Collections = {
emptyList: function () { return []; },
emptyMap: function () { return makeMap(); },
singletonList: function (x) { return [x]; }
};
var lang = {
String: function (v) { return v == null ? '' : String(v); },
Integer: function (v) { return parseInt(v, 10) || 0; },
Long: function (v) { return parseInt(v, 10) || 0; },
Double: function (v) { return parseFloat(v) || 0; },
Boolean: function (v) { return !!v; },
StringBuilder: function () {
var s = '';
var o = {};
def(o, 'append', function (x) { s += (x == null ? '' : x); return o; });
def(o, 'toString', function () { return s; });
return o;
}
};
return { java: { util: util, lang: lang } };
})();
`
// installJava 安装/刷新本次执行可见的 java 对象(桥回指定解析器)。
func (r *JSRunner) installJava(a *AnalyzeRule) {
r.vm.Set("java", newJavaObject(r.vm, r, a))
@@ -399,7 +491,7 @@ func (r *JSRunner) Run(a *AnalyzeRule, js string, result any, baseURL string) (a
}
vm.Set("nextChapterUrl", nil)
prog, err := compileCached(scopedRuleJS(js))
prog, err := compileRuleJS(js)
if err != nil {
return nil, fmt.Errorf("JS 编译失败: %w", err)
}
@@ -441,6 +533,31 @@ func scopedRuleJS(js string) string {
return "{\n" + js + "\n}"
}
// functionRuleJS 把规则 JS 包成函数体后求值。
//
// legado 允许书源规则用顶层 `return` 提前返回(拷贝漫画轻小说源的正文规则
// 就在 if 分支里 `return '<img ...>'`),而 JS 脚本语法不允许顶层 return,
// 只有函数体允许。这里作为块形式的兜底。
func functionRuleJS(js string) string {
return "(function(){\n" + js + "\n})()"
}
// compileRuleJS 编译一段书源规则 JS。
//
// 优先用「块」形式:块的完成值就是最后一条语句的值,大量书源依赖它
// (如 `@js:1+2` 直接产出 3),且块作用域能隔离顶层 let/const(见 scopedRuleJS)。
// 块形式编译失败时退回「函数体」形式,兼容 legado 允许的顶层 return。
func compileRuleJS(js string) (*goja.Program, error) {
prog, err := compileCached(scopedRuleJS(js))
if err == nil {
return prog, nil
}
if prog2, err2 := compileCached(functionRuleJS(js)); err2 == nil {
return prog2, nil
}
return nil, err // 两种形式都编译不过,返回块形式的错误(更贴近书源原文)
}
// exportValue 把 JS 返回值转为 Go 值(字符串/数值/映射/切片)。
func exportValue(v goja.Value) any {
if v == nil || goja.IsUndefined(v) || goja.IsNull(v) {
@@ -495,6 +612,9 @@ func newResponseObject(vm *goja.Runtime, body string, code int, finalURL string,
}
mustSet("body", func(call goja.FunctionCall) goja.Value { return vm.ToValue(body) })
mustSet("bodyStr", body)
// bodyAsBytes:部分书源用 `java.bytesToStr(resp.bodyAsBytes(), enc)` 处理
// 非 UTF-8(GBK)正文(拷贝漫画轻小说源即如此)。
mustSet("bodyAsBytes", func(call goja.FunctionCall) goja.Value { return vm.ToValue(vm.NewArrayBuffer([]byte(body))) })
mustSet("code", func(call goja.FunctionCall) goja.Value { return vm.ToValue(code) })
mustSet("url", func(call goja.FunctionCall) goja.Value { return vm.ToValue(finalURL) })
mustSet("header", func(call goja.FunctionCall) goja.Value {
+40 -3
View File
@@ -332,14 +332,51 @@ func TestJSUnsupportedStillWorks(t *testing.T) {
// ─── 沙箱边界 ───────────────────────────────────────────────────────────────
// TestJSSandboxUnsupported 服务端不接受书源读取宿主任意文件。
//
// 文件类接口(cacheFile/downloadFile/readTxtFile/...)已实现,但路径被限制在
// 书源自己的缓存目录内:越权路径安全地返回空,而不是把 /etc/passwd 交出去,
// 也不应因为越权路径抛异常(否则书源会误判为「线路故障」反复重试)。
// 真正无实现的能力(解压包、无头浏览器等)继续明确抛「不支持」。
func TestJSSandboxUnsupported(t *testing.T) {
r := newTestRunner()
a := NewAnalyzeRule()
a.SetJSRunner(r.ForAnalyzer(a))
a.SetContent("", "")
_, err := a.GetString(`@js:java.readTxtFile('/etc/passwd')`, nil, false)
if err == nil || !strings.Contains(err.Error(), "不支持") {
t.Fatalf("expected sandbox error, got %v", err)
got, err := a.GetString(`@js:java.readTxtFile('/etc/passwd')`, nil, false)
if err != nil {
t.Fatalf("越权路径应安全返回空而不是抛异常: %v", err)
}
if strings.Contains(got, "root:") || strings.Contains(got, "/bin/") {
t.Fatalf("沙箱被突破,读到了宿主文件: %q", got)
}
for _, call := range []string{`java.unzipFile('/tmp/a.zip')`, `java.webView('x')`} {
if _, err := a.GetString(`@js:`+call, nil, false); err == nil || !strings.Contains(err.Error(), "不支持") {
t.Fatalf("%s 应继续抛「不支持」,实际 %v", call, err)
}
}
}
// TestRuleJSTopLevelReturn legado 允许规则 JS 顶层 return;无 return 时仍取最后
// 一条语句的值(`@js:1+2` → 3)。
func TestRuleJSTopLevelReturn(t *testing.T) {
r := NewJSRunner(JSConfig{})
ar := NewAnalyzeRule()
v, err := r.Run(ar, "if (1) { return '早退'; }\nreturn '兜底';", nil, "")
if err != nil {
t.Fatalf("顶层 return 应可用: %v", err)
}
if got := anyToString(v); got != "早退" {
t.Fatalf("top-level return = %q, want 早退", got)
}
v2, err := r.Run(ar, "1 + 2", nil, "")
if err != nil {
t.Fatal(err)
}
if got := anyToString(v2); got != "3" {
t.Fatalf("最后一条语句的值 = %q, want 3", got)
}
}
+41 -1
View File
@@ -32,13 +32,53 @@ func jsonRead(root any, path string) any {
if root == nil || path == "" {
return nil
}
v, err := jsonpathGet(path, root)
v, err := jsonpathGet(normalizeJSONPath(path), root)
if err != nil {
return nil
}
return v
}
// normalizeJSONPath 把 legado(Jayway)允许、而 PaesslerAG/jsonpath 拒绝的写法
// 归一化成合法路径,共两处差异:
//
// 1. 缺根 `$`:Jayway 要求路径以 `$`/`@` 开头,legado 书源却常直接写
// `results.list`、`results.list.[*]`。PaesslerAG 对「不含 `[]`/`*` 的裸路径」
// 恰好能容忍(内部按 `$.` 解析),但一旦出现 `[*]` 就报
// `unexpected "*" while scanning extensions`。这里统一补根。
// 2. 点后紧跟方括号:`results.list.[*]`、`$.a.[0]`、`$.a.['k']`。Jayway 里
// `.[` 等价于 `[`,PaesslerAG 会报 `unexpected "[" while scanning field`。
//
// 两处都会让整条规则静默返回空——表现为「书源明明有效却搜不出任何结果」
// (拷贝轻小说源的搜索列表规则就是 `results.list.[*]`)。
func normalizeJSONPath(path string) string {
p := strings.TrimSpace(path)
if p == "" {
return path
}
switch {
case strings.HasPrefix(p, "$"), strings.HasPrefix(p, "@"):
// 已有根,保持
case strings.HasPrefix(p, "."):
p = "$" + p // `..a` 这类递归写法,补 `$` 而不是 `$.`
default:
p = "$." + p
}
if !strings.Contains(p, ".[") {
return p
}
var b strings.Builder
b.Grow(len(p))
for i := 0; i < len(p); i++ {
// 丢掉 `[` 前多余的点;递归下降 `..[` 保持原样。
if p[i] == '.' && i+1 < len(p) && p[i+1] == '[' && i > 0 && p[i-1] != '.' {
continue
}
b.WriteByte(p[i])
}
return b.String()
}
// jsonValueToString 对应 Kotlin 的 ob.toString() / joinToString("\n")。
// 列表按 "\n" 拼接(legado 的 getString 就是这么做的);对象走 Java 的 Map.toString
// 形态(见 javaValueString),书源的正则大量依赖这个形态。
@@ -0,0 +1,110 @@
package rule
import (
"testing"
)
// 本文件:legado 兼容性回归——`Packages.java.util.*` 容器与 `.[*]` 形式的 JSONPath。
//
// 背景(拷贝系列轻小说源在 MeBox 搜不到/读不了的根因):
// 1. 搜索列表规则写成 `results.list.[*]`(legado/Jayway 接受),PaesslerAG 直接
// 解析报错返回空;
// 2. 目录规则用 `new Packages.java.util.LinkedHashMap()` / `ArrayList()` 拼装,
// goja 里没有 Java,整条规则 ReferenceError。
// TestNormalizeJSONPathDotBracket 点后跟方括号应归一化成合法路径。
func TestNormalizeJSONPathDotBracket(t *testing.T) {
cases := map[string]string{
"results.list.[*]": "$.results.list[*]",
"$.results.list.[*]": "$.results.list[*]",
"$.a.[0].b": "$.a[0].b",
"$.a.['k']": "$.a['k']",
"$.results.list": "$.results.list",
"$.results..list[*]": "$.results..list[*]",
"results.list": "$.results.list",
"$[0].name": "$[0].name",
"..list[*]": "$..list[*]",
}
for in, want := range cases {
if got := normalizeJSONPath(in); got != want {
t.Errorf("normalizeJSONPath(%q) = %q, want %q", in, got, want)
}
}
}
// TestGetElementsDotBracketStarJsonPath 真实书源的 `results.list.[*]` 必须能取到列表。
func TestGetElementsDotBracketStarJsonPath(t *testing.T) {
const body = `{"results":{"list":[{"name":"甲"},{"name":"乙"}]}}`
for _, rule := range []string{"results.list.[*]", "$.results.list", "results.list"} {
ar := NewAnalyzeRule()
ar.SetContent(body, "")
els, err := ar.GetElements(rule)
if err != nil {
t.Fatalf("%s: %v", rule, err)
}
if len(els) != 2 {
t.Fatalf("%s: elements=%d, want 2", rule, len(els))
}
name, err := ar.GetString("$.name", els[0], false)
if err != nil || name != "甲" {
t.Fatalf("%s: first name=%q err=%v", rule, name, err)
}
}
}
// TestPackagesUtilCollections Packages.java.util 的 List/Map 应能拼出目录列表,
// 且导出给引擎的是干净的数组/映射(方法不能混进元素里)。
func TestPackagesUtilCollections(t *testing.T) {
r := NewJSRunner(JSConfig{})
if err := r.JSLibErr(); err != nil {
t.Fatalf("Packages 环境初始化失败: %v", err)
}
ar := NewAnalyzeRule()
ar.SetContent(`{"results":{"list":[{"name":"第一卷","id":7}]}}`, "https://api.example.com/volumes")
ar.SetJSRunner(r.ForAnalyzer(ar))
js := `<js>
function mk(n, u) { var m = new Packages.java.util.LinkedHashMap(); m.put('name', n); m.put('url', u); return m; }
var base = 'https://api.example.com/volume/';
var out = new Packages.java.util.ArrayList();
var vols = JSON.parse(result).results.list;
for (var i = 0; i < vols.length; i++) { out.add(mk(vols[i].name, base + vols[i].id)); }
out;</js>`
els, err := ar.GetElements(js)
if err != nil {
t.Fatalf("GetElements: %v", err)
}
if len(els) != 1 {
t.Fatalf("elements=%d, want 1", len(els))
}
if m, ok := els[0].(map[string]any); ok {
if _, hasMethod := m["put"]; hasMethod {
t.Fatalf("容器方法泄漏进了元素: %#v", m)
}
}
name, err := ar.GetString("$.name", els[0], false)
if err != nil || name != "第一卷" {
t.Fatalf("name=%q err=%v", name, err)
}
url, _ := ar.GetString("$.url", els[0], false)
if url != "https://api.example.com/volume/7" {
t.Fatalf("url=%q", url)
}
}
// TestPackagesHashMapUsableAsHeaders java.get(url, headers) 的 headers 用
// Packages.java.util.HashMap 构造时,导出结果应是干净的键值映射。
func TestPackagesHashMapUsableAsHeaders(t *testing.T) {
r := NewJSRunner(JSConfig{})
v, err := r.Run(NewAnalyzeRule(), `(function () {
var h = new Packages.java.util.HashMap();
h.put('X-Test', 'v1');
return JSON.stringify(h);
})()`, nil, "")
if err != nil {
t.Fatal(err)
}
if s := anyToString(v); s != `{"X-Test":"v1"}` {
t.Fatalf("HashMap 导出含额外键: %s", s)
}
}
+4
View File
@@ -43,6 +43,10 @@ type Request struct {
// 返回而不是解码成文本(对应 legado AnalyzeUrl.type)。
// 书源用它配合 data: 地址当参数信封,见 datauri.go。
HexBody bool
// Raw 请求响应按「原始字节」返回,跳过 charset 解码。
// 供 java.downloadFile / java.cacheFile 这类需要保真落盘的调用使用:
// 一旦按 UTF-8 解码,GBK 字节会被替换成 U+FFFD,写出来的文件就坏了。
Raw bool
// BodyJsFn 对应 UrlOption.bodyJs:响应体二次处理(JS 执行闭包)。
BodyJsFn func(body string) string
// Unsupported 非 nil 表示该请求依赖当前阶段不支持的能力,
@@ -0,0 +1,98 @@
package reader
import (
"encoding/json"
"fmt"
"net/http"
"net/http/httptest"
"testing"
)
// 本文件:搜索分页。
//
// 搜索页只发第一页时,书源 searchUrl 里的 {{page}} 永远是 1,用户滚到底也拿不到
// 后面的结果(表现为「搜索无法翻页,只有第一页」)。所以页码必须由调用方传入并
// 原样交给 AnalyzeUrl;非法页码(0、负数)按第 1 页处理,避免拼出 page=0 的地址。
func pagedSearchSourceJSON(serverURL string) string {
src := map[string]any{
"bookSourceUrl": serverURL,
"bookSourceName": "分页源",
"searchUrl": serverURL + "/search?q={{key}}&page={{page}}",
"ruleSearch": map[string]any{
"bookList": "$.data",
"name": "$.book_name",
"author": "$.author",
"bookUrl": "$.book_url",
},
}
out, _ := json.Marshal(src)
return string(out)
}
func TestSearchUsesRequestedPage(t *testing.T) {
var gotPage string
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
gotPage = r.URL.Query().Get("page")
w.Header().Set("Content-Type", "application/json; charset=utf-8")
payload := map[string]any{"data": []map[string]string{{
"book_name": fmt.Sprintf("第%s页的书", gotPage),
"author": "作者",
"book_url": "/book/" + gotPage,
}}}
_ = json.NewEncoder(w).Encode(payload)
}))
defer srv.Close()
svc, _ := newLoginTestService(t)
_ = prepareLoginSource(t, svc, pagedSearchSourceJSON(srv.URL))
for _, tc := range []struct {
in int
want string
}{
{1, "1"},
{2, "2"},
{5, "5"},
{0, "1"}, // 非法页码退回第 1 页
{-3, "1"}, // 负数同理
} {
books, skipped, err := svc.Search(t.Context(), "关键词", nil, tc.in)
if err != nil {
t.Fatalf("page=%d 搜索失败: %v", tc.in, err)
}
if len(skipped) > 0 {
t.Fatalf("page=%d 书源被跳过: %+v", tc.in, skipped)
}
if len(books) != 1 {
t.Fatalf("page=%d 应搜到 1 条,实际 %d 条", tc.in, len(books))
}
if gotPage != tc.want {
t.Fatalf("page=%d 时服务端收到的 page = %q,期望 %q", tc.in, gotPage, tc.want)
}
if books[0].Name != fmt.Sprintf("第%s页的书", tc.want) {
t.Fatalf("page=%d 拿到了别的页的结果: %+v", tc.in, books[0])
}
}
}
// TestSearchWithoutPagePlaceholderStillWorks 书源 searchUrl 不带 {{page}} 时
// 仍应正常返回首页结果(分页能力是源自己的事,不是搜索的硬要求)。
func TestSearchWithoutPagePlaceholderStillWorks(t *testing.T) {
srv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "application/json; charset=utf-8")
_, _ = w.Write([]byte(`{"data":[{"book_name":"单页书","author":"作者","book_url":"/book/1"}]}`))
}))
defer srv.Close()
svc, _ := newLoginTestService(t)
_ = prepareLoginSource(t, svc, scopeEchoSourceJSON(t, "单页源", srv.URL))
books, _, err := svc.Search(t.Context(), "书", nil, 3)
if err != nil {
t.Fatalf("搜索失败: %v", err)
}
if len(books) != 1 || books[0].Name != "单页书" {
t.Fatalf("不带 {{page}} 的源在第 3 页也应返回结果: %+v", books)
}
}
+3 -3
View File
@@ -46,7 +46,7 @@ func TestSearchSendsQueryString(t *testing.T) {
svc, _ := newLoginTestService(t)
_ = prepareLoginSource(t, svc, queryEchoSource(srv.URL))
books, skipped, err := svc.Search(t.Context(), "宠魅", nil)
books, skipped, err := svc.Search(t.Context(), "宠魅", nil, 1)
if err != nil {
t.Fatalf("搜索失败: %v", err)
}
@@ -87,7 +87,7 @@ func TestSearchResponseUsesEmptyArrays(t *testing.T) {
svc, _ := newLoginTestService(t)
_ = prepareLoginSource(t, svc, queryEchoSource(srv.URL))
books, skipped, err := svc.Search(t.Context(), "宠魅", nil)
books, skipped, err := svc.Search(t.Context(), "宠魅", nil, 1)
if err != nil {
t.Fatalf("搜索失败: %v", err)
}
@@ -130,7 +130,7 @@ func TestSearchPreservesExistingPercentEncoding(t *testing.T) {
out, _ := json.Marshal(src)
_ = prepareLoginSource(t, svc, string(out))
if _, _, err := svc.Search(t.Context(), "宠魅", nil); err != nil {
if _, _, err := svc.Search(t.Context(), "宠魅", nil, 1); err != nil {
t.Fatalf("搜索失败: %v", err)
}
if gotQuery != "宠魅" {
+3 -3
View File
@@ -75,7 +75,7 @@ func TestSearchRespectsSourceScope(t *testing.T) {
}
// 指定单个源:只应搜到该源的结果
books, skipped, err := svc.Search(t.Context(), "书", []string{idByName["源A"]})
books, skipped, err := svc.Search(t.Context(), "书", []string{idByName["源A"]}, 1)
if err != nil {
t.Fatal(err)
}
@@ -87,7 +87,7 @@ func TestSearchRespectsSourceScope(t *testing.T) {
}
// 空范围:默认全部启用书源,两个源都应命中
books, _, err = svc.Search(t.Context(), "书", nil)
books, _, err = svc.Search(t.Context(), "书", nil, 1)
if err != nil {
t.Fatal(err)
}
@@ -96,7 +96,7 @@ func TestSearchRespectsSourceScope(t *testing.T) {
}
// 范围里的源已不存在(删源/换设备)时退回全部启用,而不是搜不到
books, _, err = svc.Search(t.Context(), "书", []string{"not-a-real-source"})
books, _, err = svc.Search(t.Context(), "书", []string{"not-a-real-source"}, 1)
if err != nil {
t.Fatal(err)
}
+9
View File
@@ -237,6 +237,15 @@ func (b *serviceContainerBuilder) initImageProxy() {
b.c.ImageProxy.SetAllowedRemoteHostsProvider(func() []string {
return b.c.EmbyRemote.ConfiguredRemoteHosts(context.Background())
})
// 远程 Emby 的图片 URL 会带着签发时的 api_key 长期缓存/下发;轮换后
// URL 里的旧值必然过期。回源时改用账号当前 token,并在上游 401/403 时
// 重新登录一次再重试,封面图不再依赖人工改账号。
b.c.ImageProxy.SetRemoteEmbyAuthProvider(func(ctx context.Context, host string) (string, bool) {
return b.c.EmbyRemote.RemoteEmbyImageTokenForHost(ctx, host)
})
b.c.ImageProxy.SetRemoteEmbyAuthRefresher(func(ctx context.Context, host string) (string, error) {
return b.c.EmbyRemote.RefreshRemoteEmbyImageTokenForHost(ctx, host)
})
}
b.c.Scan.SetImageProxy(b.c.ImageProxy)
b.c.Scraper.SetImageProxy(b.c.ImageProxy)
+1
View File
@@ -0,0 +1 @@
{"code":200,"message":"请求成功","results":{"is_lock":false,"is_login":false,"is_mobile_bind":false,"is_vip":false,"book":{"name":"我被告白之後,大小姐的樣子有點怪","uuid":"423125f4-2a5c-11ef-91d4-3f487b7d9a9a","path_word":"wobeigaobaizhihoudaxiaojiedeyangziyoudianguai"},"volume":{"index":0,"id":"13659","count":1,"sort":10,"name":"第01卷","txt_addr":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/17183766221442089.txt","txt_encoding":"GBK","book_id":"423125f4-2a5c-11ef-91d4-3f487b7d9a9a","book_path_word":"wobeigaobaizhihoudaxiaojiedeyangziyoudianguai","contents":[{"name":" 第一卷 序章 故事是这样的 ","content_type":1,"content":null,"start_lines":2,"end_lines":355},{"name":" 第一卷 第一章 大小姐,加油鼓劲 ","content_type":1,"content":null,"start_lines":355,"end_lines":846},{"name":" 第一卷 第二章 大小姐的暗中活跃 ","content_type":1,"content":null,"start_lines":846,"end_lines":1597},{"name":" 第一卷 第三章 新的威胁 ","content_type":1,"content":null,"start_lines":1597,"end_lines":2480},{"name":" 第一卷 第四章 大小姐与歌姬 ","content_type":1,"content":null,"start_lines":2480,"end_lines":3925},{"name":" 第一卷 第五章 决战 ","content_type":1,"content":null,"start_lines":3925,"end_lines":5916},{"name":" 第一卷 终章 决意 ","content_type":1,"content":null,"start_lines":5916,"end_lines":6095},{"name":"插图01","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768421716386.jpg","start_lines":0,"end_lines":0},{"name":"插图02","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768421529202.jpg","start_lines":0,"end_lines":0},{"name":"插图03","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768421722176.jpg","start_lines":0,"end_lines":0},{"name":"插图04","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768444783165.jpg","start_lines":0,"end_lines":0},{"name":"插图05","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768421167560.jpg","start_lines":0,"end_lines":0},{"name":"插图06","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768511431244.jpg","start_lines":0,"end_lines":0},{"name":"插图07","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768521152403.jpg","start_lines":0,"end_lines":0},{"name":"插图08","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768594601066.jpg","start_lines":0,"end_lines":0},{"name":"插图09","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768605564736.jpg","start_lines":0,"end_lines":0},{"name":"插图10","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768643491355.jpg","start_lines":0,"end_lines":0},{"name":"插图11","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768677795353.jpg","start_lines":0,"end_lines":0},{"name":"插图12","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768694907891.jpg","start_lines":0,"end_lines":0},{"name":"插图13","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768783869454.jpg","start_lines":0,"end_lines":0},{"name":"插图14","content_type":2,"content":"https://s3.mangafunb.fun/book/wobeigaobaizhihoudaxiaojiedeyangziyoudianguai/imgs/17183768804339556.jpg","start_lines":0,"end_lines":0}],"prev":null,"next":null}}}
+3 -2
View File
@@ -268,11 +268,12 @@ export const readerAPI = {
// ── 搜索 / 详情 / 目录 / 正文 ──
// 多源聚合搜索。sourceIds 为空表示搜索范围=全部启用书源(默认);
// 非空则只搜这些书源(后端会忽略其中已删除/停用的,全部失效时退回全部启用)。
search: (key: string, sourceIds: string[] = []) =>
// page 从 1 开始:书源 searchUrl 里的 {{page}},前端滚到底逐页取再增量合并。
search: (key: string, sourceIds: string[] = [], page = 1) =>
api
.post<{ books: ReaderSearchBook[] | null; skipped: ReaderSearchSkipped[] | null }>(
'/reader/search',
{ key, source_ids: sourceIds },
{ key, source_ids: sourceIds, page },
longOpts,
)
.then((r) => r.data),
+67
View File
@@ -0,0 +1,67 @@
import { useEffect, useRef } from 'react'
type LoadMoreSentinelProps = {
/** 还有下一页;false 时整个哨兵不渲染(没有更多了)。 */
hasMore: boolean
loadingMore: boolean
onLoadMore: () => void
/** 上一页加载失败的原因:停掉自动加载、改成手动重试,见下方 observer 注释。 */
error?: string
onRetry?: () => void
label?: string
loadingLabel?: string
}
/**
* 触底加载哨兵:自身进入滚动容器(应用主滚动区 #app-main-scroll)附近时回调
* onLoadMore,同时留一个可点的按钮兜底(观察器不可用、或用户想手动催一下)。
*
* 失败时必须停掉观察器:失败后 loadingMore 会回到 false,观察器一旦重建就会
* 立刻再次命中(哨兵还在视口里),变成「失败即重试」的死循环;所以 error 非空
* 时只渲染重试按钮,等用户点了、错误清掉再重新挂观察器。
*/
export function LoadMoreSentinel({
hasMore,
loadingMore,
onLoadMore,
error = '',
onRetry,
label = '加载更多',
loadingLabel = '加载中…',
}: LoadMoreSentinelProps) {
const ref = useRef<HTMLDivElement>(null)
useEffect(() => {
const element = ref.current
if (!element || !hasMore || error) return
// 观察根是主滚动容器而不是视口:页面是嵌在 #app-main-scroll 里滚的。
const root = document.getElementById('app-main-scroll')
const observer = new IntersectionObserver(
(entries) => {
if (!loadingMore && entries.some((entry) => entry.isIntersecting)) {
onLoadMore()
}
},
{ root, rootMargin: '600px 0px', threshold: 0 },
)
observer.observe(element)
return () => observer.disconnect()
}, [hasMore, loadingMore, onLoadMore, error])
if (!hasMore) return null
const showRetry = !!error && !!onRetry
return (
<div ref={ref} className="flex flex-col items-center gap-1.5 py-8">
{error && <p className="text-2xs text-[var(--app-muted)]">{error}</p>}
<button
type="button"
disabled={loadingMore}
onClick={showRetry ? onRetry : onLoadMore}
className="rounded-xl border border-[var(--app-border)] bg-[var(--app-panel)] px-4 py-2 text-sm font-bold text-[var(--app-subtle)] transition-colors hover:bg-[var(--app-hover)] hover:text-[var(--app-text)] disabled:cursor-wait disabled:opacity-60"
>
{loadingMore ? loadingLabel : label}
</button>
</div>
)
}
+23 -15
View File
@@ -41,10 +41,10 @@ export const MediaCard = memo(function MediaCard({
const card = (
<div
ref={ref}
className="relative overflow-hidden rounded-2xl border border-[var(--app-border)] bg-[var(--app-panel)] shadow-[0_1px_3px_rgba(0,0,0,0.01),0_1px_2px_rgba(0,0,0,0.015)] transition-all duration-300 hover:scale-[1.04] hover:-translate-y-1.5 hover:border-brand-500/40 hover:shadow-[0_12px_32px_var(--app-shadow)]"
className="relative flex h-full flex-col overflow-hidden rounded-2xl border border-[var(--app-border)] bg-[var(--app-panel)] shadow-[0_1px_3px_rgba(0,0,0,0.01),0_1px_2px_rgba(0,0,0,0.015)] transition-all duration-300 hover:scale-[1.04] hover:-translate-y-1.5 hover:border-brand-500/40 hover:shadow-[0_12px_32px_var(--app-shadow)]"
>
{/* Poster Wrapper */}
<div className="relative aspect-[2/3] w-full overflow-hidden bg-[var(--app-panel-soft)]">
<div className="relative aspect-[2/3] w-full shrink-0 overflow-hidden bg-[var(--app-panel-soft)]">
{media.poster_url ? (
<>
{posterFit === 'contain' && (
@@ -120,26 +120,34 @@ export const MediaCard = memo(function MediaCard({
{/* Media Metadata Info */}
<div className={`space-y-1 border-t border-[var(--app-border)] bg-[var(--app-panel)] ${
compact ? 'p-2' : 'p-4'
compact ? 'p-2' : 'p-2.5 sm:p-4'
}`}>
<p className={`truncate font-bold text-[var(--app-text)] transition-colors duration-200 group-hover:text-brand-500 ${
compact ? 'text-xs' : 'text-sm'
{/* 手机端一张卡只有 ~100px 宽:标题放开到两行,并预留两行高度,
这样同一行的卡片不会因为标题行数不同而参差不齐。 */}
<p className={`font-bold text-[var(--app-text)] transition-colors duration-200 group-hover:text-brand-500 ${
compact
? 'truncate text-xs'
: 'line-clamp-2 min-h-[2.75em] text-[13px] leading-snug sm:line-clamp-none sm:min-h-0 sm:truncate sm:text-sm sm:leading-normal'
}`}>
{media.title}
</p>
<div className="flex items-center justify-between gap-2 text-[11px] font-bold uppercase tracking-wider text-[var(--app-muted)]">
<span>{media.year > 0 ? media.year : "未知年份"}</span>
<span className="flex items-center gap-1.5">
{/* 单行、不折行:年份可截断,徽标永不压缩。折行会让同一行里各卡片的
徽标落位高低不一,看起来就是「错位」,所以宁可极窄屏上截断年份。
min-h 统一行高,避免有/无徽标的卡片年份基线差几像素。 */}
<div className="flex min-h-[21px] items-center text-[10px] font-bold uppercase text-[var(--app-muted)] sm:min-h-0 sm:gap-x-2 sm:text-[11px] sm:tracking-wider">
<span className="truncate">{media.year > 0 ? media.year : "未知年份"}</span>
<span className="ml-auto flex shrink-0 items-center gap-0.5 sm:gap-1.5">
{/* 集数/版本数徽标:放在海报下方的信息行而不是压在画面上。海报底部通常
自带片名,角标会盖住它(Game of Thrones / Breaking Bad 都很明显)。 */}
{(count !== undefined && count > 1) || (count === undefined && versionCount > 1) ? (
<span className="inline-flex items-center gap-1 rounded-xl border border-[var(--app-border)] bg-[var(--app-panel-soft)] px-1.5 py-0.5 text-[var(--app-subtle)]">
<span className="inline-flex items-center gap-0.5 whitespace-nowrap rounded-xl border border-[var(--app-border)] bg-[var(--app-panel-soft)] px-1 py-0.5 text-[var(--app-subtle)] sm:gap-1 sm:px-1.5">
<Layers size={10} className="shrink-0 text-[#c9954a]" />
<span>{count !== undefined && count > 1 ? `${count} 集` : `${versionCount} 版本`}</span>
</span>
) : null}
{/* 编码格式在小卡片上没有信息价值,手机上直接隐藏,避免挤掉集数徽标。 */}
{media.video_codec && (
<span className="rounded-xl border border-[var(--app-border)] bg-[var(--app-panel-soft)] px-1.5 py-0.5 text-[var(--app-subtle)]">
<span className="hidden whitespace-nowrap rounded-xl border border-[var(--app-border)] bg-[var(--app-panel-soft)] px-1.5 py-0.5 text-[var(--app-subtle)] sm:inline-block">
{media.video_codec}
</span>
)}
@@ -151,8 +159,8 @@ export const MediaCard = memo(function MediaCard({
if (onClick) {
return (
<div className="group relative block w-full">
<button type="button" onClick={onClick} className="block w-full text-left">
<div className="group relative block h-full w-full">
<button type="button" onClick={onClick} className="block h-full w-full text-left">
{card}
</button>
{actionContent && (
@@ -166,8 +174,8 @@ export const MediaCard = memo(function MediaCard({
if (actionContent) {
return (
<div className="group relative block">
<Link to={href} state={linkState} className="block">
<div className="group relative block h-full">
<Link to={href} state={linkState} className="block h-full">
{card}
</Link>
<div className={ACTION_OVERLAY_CLASS}>
@@ -178,7 +186,7 @@ export const MediaCard = memo(function MediaCard({
}
return (
<Link to={href} state={linkState} className="group block">
<Link to={href} state={linkState} className="group block h-full">
{card}
</Link>
)
+3 -2
View File
@@ -3,8 +3,9 @@ import { Virtuoso } from 'react-virtuoso'
import clsx from 'clsx'
// 与 LibraryMediaSections 等处的海报网格保持同一套响应式列配置。
// 手机上单卡只有约 100px 宽,间距收到 gap-3 给标题和徽标多留一点宽度。
export const MEDIA_GRID_CLASS =
'grid grid-cols-3 gap-4 sm:grid-cols-4 md:grid-cols-5 lg:grid-cols-6 xl:grid-cols-7 2xl:grid-cols-8'
'grid grid-cols-3 gap-3 sm:gap-4 sm:grid-cols-4 md:grid-cols-5 lg:grid-cols-6 xl:grid-cols-7 2xl:grid-cols-8'
function getFallbackColumns(width: number): number {
if (width >= 1536) return 8
@@ -105,7 +106,7 @@ export function VirtualMediaGrid({
itemContent={(rowIndex) => {
const start = rowIndex * columns
return (
<div className={clsx(MEDIA_GRID_CLASS, rowIndex < rowCount - 1 && 'pb-4')}>
<div className={clsx(MEDIA_GRID_CLASS, rowIndex < rowCount - 1 && 'pb-3 sm:pb-4')}>
{Array.from({ length: columns }, (_, colIndex) => {
const itemIndex = start + colIndex
if (itemIndex >= totalCount) {
+3 -48
View File
@@ -1,6 +1,7 @@
import { memo, useEffect, useRef, type ReactNode } from 'react'
import { memo, type ReactNode } from 'react'
import { Film } from 'lucide-react'
import { LoadMoreSentinel } from '../components/LoadMoreSentinel'
import { MediaCard } from '../components/MediaCard'
import { MEDIA_GRID_CLASS, VirtualMediaGrid } from '../components/VirtualMediaGrid'
import type { Media } from '../types'
@@ -67,57 +68,11 @@ export function LibraryMediaSections({
<LibraryEmptyState message="该库尚未发现任何剧集,触发一次扫描后再来看看" />
)}
<LoadMoreSentinel
hasMore={hasMore}
loadingMore={loadingMore}
onLoadMore={onLoadMore}
/>
<LoadMoreSentinel hasMore={hasMore} loadingMore={loadingMore} onLoadMore={onLoadMore} />
</>
)
}
function LoadMoreSentinel({
hasMore,
loadingMore,
onLoadMore,
}: {
hasMore: boolean
loadingMore: boolean
onLoadMore: () => void
}) {
const ref = useRef<HTMLDivElement>(null)
useEffect(() => {
const element = ref.current
if (!element || !hasMore) return
const root = document.getElementById('app-main-scroll')
const observer = new IntersectionObserver(
(entries) => {
if (!loadingMore && entries.some((entry) => entry.isIntersecting)) {
onLoadMore()
}
},
{ root, rootMargin: '600px 0px', threshold: 0 },
)
observer.observe(element)
return () => observer.disconnect()
}, [hasMore, loadingMore, onLoadMore])
if (!hasMore) return null
return (
<div ref={ref} className="flex justify-center py-8">
<button
type="button"
disabled={loadingMore}
onClick={onLoadMore}
className="rounded-xl border border-[var(--app-border)] bg-[var(--app-panel)] px-4 py-2 text-sm font-bold text-[var(--app-subtle)] transition-colors hover:bg-[var(--app-hover)] hover:text-[var(--app-text)] disabled:cursor-wait disabled:opacity-60"
>
{loadingMore ? '加载中…' : '加载更多'}
</button>
</div>
)
}
// 独立 memo 组件:onClick 闭包在其内部创建,props 均为稳定引用,
// 父级重渲染不会穿透到每张剧集卡片。
const SeriesCardItem = memo(function SeriesCardItem({
+26 -4
View File
@@ -5,6 +5,7 @@ import { ArrowLeft, ArrowLeftRight, BookOpen, ChevronDown, ChevronUp, Loader2, R
import { readerAPI, type ReaderBook, type ReaderBookInfo, type ReaderSearchOrigin, type ReaderTocChapter } from '../../api/reader'
import ReaderBookCover from '../../components/ReaderBookCover'
import { pickChapterIndex } from './bookDetailModel'
import { SourcePickerDialog } from './SourcePickerDialog'
// 书籍详情页(仿 legado BookInfoActivity:封面 + 信息 + 简介 + 目录入口 + 加书架/开始阅读)。
@@ -86,7 +87,16 @@ export default function ReaderBookPage() {
const firstReadableChapter = useMemo(() => chapters?.find((c) => !c.is_volume && c.url) ?? null, [chapters])
const startReading = async () => {
/**
* 目录点章:把点中的章节换算成阅读器要的序号(换算规则与理由见 bookDetailModel)。
*/
const resolveChapterIndex = async (bookID: string, chapter: ReaderTocChapter): Promise<number> => {
const cached = await readerAPI.listChapters(bookID).catch(() => [])
return pickChapterIndex(cached, chapter)
}
// chapter 为空=开始/继续阅读(沿用服务端进度);给了章节=目录点章跳读。
const startReading = async (chapter?: ReaderTocChapter) => {
setBusy(true)
try {
let book = shelfBook
@@ -105,7 +115,9 @@ export default function ReaderBookPage() {
cover_url: cover,
})
}
navigate(`/reader/view/${book.id}`)
// 目录点章:带上阅读器认识的 chapter 序号跳进去(没有它阅读器就用服务端进度)。
const index = chapter ? await resolveChapterIndex(book.id, chapter) : null
navigate(index === null ? `/reader/view/${book.id}` : `/reader/view/${book.id}?chapter=${index}`)
} catch (e) {
toast.error((e as { response?: { data?: { error?: string } } })?.response?.data?.error ?? '操作失败')
} finally {
@@ -273,11 +285,11 @@ export default function ReaderBookPage() {
<Trash2 size={13} className="mr-1 inline" /> 移出书架
</button>
) : (
<button type="button" onClick={startReading} disabled={busy} className="btn-outline flex-1 text-xs disabled:opacity-50">
<button type="button" onClick={() => startReading()} disabled={busy} className="btn-outline flex-1 text-xs disabled:opacity-50">
<BookOpen size={13} className="mr-1 inline" /> 加入书架
</button>
)}
<button type="button" onClick={startReading} disabled={busy || !firstReadableChapter} className="btn-primary flex-1 text-xs disabled:opacity-50">
<button type="button" onClick={() => startReading()} disabled={busy || !firstReadableChapter} className="btn-primary flex-1 text-xs disabled:opacity-50">
{busy ? <Loader2 size={13} className="mr-1 inline animate-spin" /> : null}
{shelfBook?.dur_chapter_title ? '继续阅读' : '开始阅读'}
</button>
@@ -318,6 +330,16 @@ export default function ReaderBookPage() {
<div key={c.index} className="px-1 py-1.5 text-xs text-[var(--app-muted)]">
{c.is_volume ? (
<p className="font-bold text-[var(--app-text)]">{c.title}</p>
) : c.url ? (
// 点章节=跳到阅读器并从这一章开始(听书源会自动起播这一章)。
<button
type="button"
disabled={busy}
onClick={() => startReading(c)}
className="block w-full truncate text-left transition-colors hover:text-brand-600 disabled:opacity-50"
>
{c.title}
</button>
) : (
c.title
)}
+86 -13
View File
@@ -4,26 +4,26 @@ import toast from 'react-hot-toast'
import { AlertTriangle, ArrowLeft, ChevronDown, ChevronRight, ListFilter, Loader2, Plus, Search } from 'lucide-react'
import { readerAPI, type ReaderSearchBook, type ReaderSearchSkipped, type ReaderSource } from '../../api/reader'
import { LoadMoreSentinel } from '../../components/LoadMoreSentinel'
import ReaderBookCover from '../../components/ReaderBookCover'
import { useReaderSettingsStore } from '../../stores/readerSettings'
import { splitKindTags } from '../../utils/kindTags'
import { mergeSearchBooks, mergeSearchSkipped, searchBookKey } from '../../utils/searchBooks'
import { SearchScopeDialog } from './SearchScopeDialog'
import { SourcePickerDialog } from './SourcePickerDialog'
// 多源聚合搜索页(仿 legado SearchActivity:结果流 + 失败书源列表)。
// 搜索前可按书源收敛范围(对应 legado 的搜索范围):默认全选已启用书源。
// 搜索结果会剔除已在书架里的书——这里的搜索是用来发现新书的。
// 结果按页取:滚到底自动请求下一页并增量合并,直到某一页不再带来新书。
/** 书架命中键:与搜索结果一致按「书名 + 作者」聚合;作者缺省时只用书名(同 legado isInBookShelf)。 */
function shelfBookKey(name: string, author: string): string {
const n = name.trim()
const a = author.trim()
return a ? `${n}|${a}` : n
}
/** 单次搜索最多翻到第几页。书源分页规则千奇百怪,个别源会一直返回新条目,
* 不设上限时用户一直往下滚就会一直发请求(每次都要把所有源再搜一遍)。 */
const MAX_SEARCH_PAGES = 20
/** 这本书是否已在书架:优先按书名+作者,其次按书本身/任一命中书源的地址(换源后地址会变)。 */
/** 这本搜索结果是否已在书架:优先按书名+作者,其次按书本身/任一命中书源的地址(换源后地址会变)。 */
function isOnShelf(book: ReaderSearchBook, shelf: Set<string>): boolean {
if (shelf.has(shelfBookKey(book.name, book.author))) return true
if (shelf.has(searchBookKey(book.name, book.author))) return true
if (book.book_url && shelf.has(book.book_url)) return true
return book.origins.some((o) => !!o.book_url && shelf.has(o.book_url))
}
@@ -39,6 +39,16 @@ export default function ReaderSearchPage() {
const [skipped, setSkipped] = useState<ReaderSearchSkipped[]>([])
const [showSkipped, setShowSkipped] = useState(false)
const [adding, setAdding] = useState('')
// 滚动加载:page 是已加载到的页码;hasMore 为 false 表示到底了(或还没搜过)。
const [page, setPage] = useState(0)
const [loadingMore, setLoadingMore] = useState(false)
const [hasMore, setHasMore] = useState(false)
const [moreError, setMoreError] = useState('')
// loadMore 的在途标记(见 loadMore 里的说明),比 loadingMore 状态更早生效。
const loadingMoreRef = useRef(false)
// 每次新搜索 +1:在飞的 loadMore 回来时若已经换了关键词(searchSeq 已变),
// 就把那一页结果丢掉,避免旧关键词的第 N 页被并进新列表。
const searchSeq = useRef(0)
const inputRef = useRef<HTMLInputElement>(null)
// 搜索范围(设备级持久化,见 readerSettings store):空数组 = 全部启用书源。
@@ -69,7 +79,7 @@ export default function ReaderSearchPage() {
.then((books) => {
const keys = new Set<string>()
for (const b of books) {
keys.add(shelfBookKey(b.name, b.author))
keys.add(searchBookKey(b.name, b.author))
if (b.book_url) keys.add(b.book_url)
}
setShelfKeys(keys)
@@ -89,17 +99,26 @@ export default function ReaderSearchPage() {
const doSearch = async () => {
const kw = key.trim()
if (!kw || searching) return
searchSeq.current++
setSearching(true)
setShowSkipped(false)
setLoadingMore(false)
setMoreError('')
try {
// 直接把已保存范围交给后端:它只搜其中仍启用的书源,全部失效时退回全部启用,
// 因此这里不必等书源列表加载完,也能正确处理「换设备后书源尚未同步」的情况。
const res = await readerAPI.search(kw, scopeIds)
setBooks(res.books ?? [])
const res = await readerAPI.search(kw, scopeIds, 1)
const list = res.books ?? []
setBooks(list)
// 后端在「没有书源失败」时会把空列表编码成 null,这里兜底成数组,
// 否则下面 skipped.length 会直接抛 TypeError 把整页打崩。
setSkipped(res.skipped ?? [])
if ((res.books ?? []).length === 0) toast.error('所有书源都没有找到结果')
setPage(1)
// 首页一条都没有 → 后面也不会有;有结果就先假定还有下一页。
// 书源是否支持分页只有它自己知道({{page}} 也可能藏在 URL 的 <js> 里),
// 所以这里不预判:多花一次「第 2 页」请求,由 loadMore 发现这一页没带来新书时收口。
setHasMore(list.length > 0)
if (list.length === 0) toast.error('所有书源都没有找到结果')
} catch (e) {
const msg = (e as { response?: { data?: { error?: string } } })?.response?.data?.error ?? '搜索失败'
toast.error(msg)
@@ -108,6 +127,47 @@ export default function ReaderSearchPage() {
}
}
// 滚动到底加载下一页。每页都会把范围内的书源重新搜一遍(后端按页下发),
// 因此这里要注意两件事:
// 1. 结果必须增量合并而不是替换——不支持 {{page}} 的源会在每一页重复返回首页结果;
// 2. 合并后没有新书(重复内容或该页为空)就说明到底了,否则用户会一直滚一直转圈。
const loadMore = async () => {
const kw = key.trim()
if (!kw || !hasMore || loadingMore || searching || books === null) return
// loadingMore 是渲染后才生效的状态:同一帧里观察器可能回调两次,用 ref 兜住,
// 避免把同一页请求两次(每次翻页都要把所有源再搜一遍,重复请求不便宜)。
if (loadingMoreRef.current) return
loadingMoreRef.current = true
const next = page + 1
if (next > MAX_SEARCH_PAGES) {
setHasMore(false)
loadingMoreRef.current = false
return
}
setLoadingMore(true)
setMoreError('')
const seq = searchSeq.current
try {
const res = await readerAPI.search(kw, scopeIds, next)
// 期间用户又发起了一次搜索:这一页属于旧关键词,直接丢弃。
if (searchSeq.current !== seq) return
const incoming = res.books ?? []
const merged = mergeSearchBooks(books, incoming)
setBooks(merged)
setSkipped((prev) => mergeSearchSkipped(prev, res.skipped ?? []))
setPage(next)
if (merged.length === books.length) setHasMore(false)
} catch (e) {
if (searchSeq.current !== seq) return
// 不弹 toast 打断浏览:把失败原因挂在哨兵上,改由用户点重试。
const msg = (e as { response?: { data?: { error?: string } } })?.response?.data?.error ?? '加载下一页失败'
setMoreError(msg)
} finally {
loadingMoreRef.current = false
setLoadingMore(false)
}
}
// 从首页顶部书搜索带 ?key= 进来时自动搜一次(只做一次,之后由用户手动搜)
const autoSearchedRef = useRef(false)
useEffect(() => {
@@ -127,7 +187,7 @@ export default function ReaderSearchPage() {
// 立刻并入书架命中集合:这本「刚加的书」应从「搜索新书」的结果里消失。
setShelfKeys((prev) => {
const next = new Set(prev)
next.add(shelfBookKey(book.name, book.author))
next.add(searchBookKey(book.name, book.author))
if (origin.book_url) next.add(origin.book_url)
return next
})
@@ -277,6 +337,19 @@ export default function ReaderSearchPage() {
</div>
))}
{/* 滚动到底自动加载下一页;失败时改成手动重试(见 LoadMoreSentinel)。 */}
<LoadMoreSentinel
hasMore={hasMore}
loadingMore={loadingMore}
onLoadMore={loadMore}
error={moreError}
onRetry={loadMore}
loadingLabel={`正在搜索第 ${page + 1} 页…`}
/>
{!hasMore && !moreError && visibleBooks.length > 0 && (
<p className="py-2 text-center text-2xs text-[var(--app-subtle)]">已经到底了</p>
)}
{skipped.length > 0 && (
<div className="rounded-2xl border border-[var(--app-border)] bg-[var(--app-panel-soft)]">
<button
+14 -1
View File
@@ -220,7 +220,10 @@ export default function ReaderViewPage() {
else if (b.dur_chapter_index > 0 && chs[b.dur_chapter_index] && !chs[b.dur_chapter_index].is_volume) {
idx = b.dur_chapter_index
}
pendingPosRef.current = b.dur_chapter_pos ?? 0
// 位置只在「接着上次那一章读」时恢复:URL 显式跳到别的章时,b.dur_chapter_pos
// 属于另一章,套到新章上会从中间开始(音频表现为一进去就从错的时间点续播)。
const resumingSavedChapter = !explicitChapter || idx === b.dur_chapter_index
pendingPosRef.current = resumingSavedChapter ? (b.dur_chapter_pos ?? 0) : 0
// 听书:引擎是常驻的,可能已经自动播到更靠后的章,而服务端的进度还停在
// 上一次落库的位置。这种「续听」场景要以引擎的实时章节为准,否则回到本书
// 会把正在播的章节往回拽。URL 显式指定 chapter 时尊重 URL(那是明确的跳转)。
@@ -268,6 +271,10 @@ export default function ReaderViewPage() {
// 响应,换源后还可能把旧源的正文塞进新书的缓存。
const ac = new AbortController()
;(async () => {
// 每次重新取正文都先清掉上一次的报错。换源时的典型情形:服务端章节缓存刚被清空、
// 而本地 chapters 还是旧源的,这一次请求必然失败(「章节缓存为空」);等新源目录
// 落地后正文 effect 会再来一次并且成功,但不清这里的话,旧错误会一直压在正文上。
setError('')
setContent(null)
setLoadingStage('content')
try {
@@ -553,6 +560,12 @@ export default function ReaderViewPage() {
await readerAPI.switchOrigin(book.id, origin)
toast.success(`已切换到「${origin.origin_name || origin.origin}」`)
contentCache.current.clear()
// 换源后服务端已清空章节缓存,而本地的 chapters 还是旧源的目录:不清理的话,
// 重新加载书籍期间(listBooks 已返回、新目录还没抓回来)正文 effect 会拿旧目录
// 去打新源,撞上「章节缓存为空」。这里先把正文/目录清空,等新源目录到位再取。
setError('')
setContent(null)
setChapters([])
setReloadKey((v) => v + 1)
} catch (e) {
toast.error((e as { response?: { data?: { error?: string } } })?.response?.data?.error ?? '换源失败')
@@ -0,0 +1,46 @@
import type { ReaderChapter, ReaderTocChapter } from '../../api/reader.ts'
import { pickChapterIndex } from './bookDetailModel.ts'
function check(name: string, condition: boolean) {
if (!condition) throw new Error(`bookDetailModel: ${name}`)
}
function cached(index: number, url: string): ReaderChapter {
return { index, title: `第${index}章`, url, is_volume: false }
}
function toc(index: number, url: string, over: Partial<ReaderTocChapter> = {}): ReaderTocChapter {
return { index, title: `第${index}章`, url, is_volume: false, update_time: '', ...over }
}
// 目录一致(正常情况):按 url 定位到的序号与现抓序号相同
{
const list = [cached(0, 'https://s/1'), cached(1, 'https://s/2'), cached(2, 'https://s/3')]
check('same url keeps the same index', pickChapterIndex(list, toc(2, 'https://s/3')) === 2)
}
// 站点在开头插了新章:同一章在现抓目录里是 2,在缓存目录里是 1——必须用缓存里的 1,
// 照搬现抓的 2 会跳到下一章。
{
const list = [cached(0, 'https://s/1'), cached(1, 'https://s/2'), cached(2, 'https://s/3')]
check('inserted chapter maps back to the cached index', pickChapterIndex(list, toc(2, 'https://s/2')) === 1)
}
// 缓存目录里没有这一章(站点改版、或两边取的不是同一份目录):退回现抓的序号
{
const list = [cached(0, 'https://s/1')]
check('unknown url falls back to the fetched index', pickChapterIndex(list, toc(7, 'https://s/7')) === 7)
}
// 缓存为空(第一次打开这本书):退回现抓序号,阅读器随后会把这份目录存下来
{
check('empty cache falls back to the fetched index', pickChapterIndex([], toc(5, 'https://s/5')) === 5)
}
// 章节没有 url(拿不到地址):退回现抓序号,不做 url 匹配
{
const list = [cached(0, ''), cached(1, '')]
check('chapter without url falls back to the fetched index', pickChapterIndex(list, toc(1, '')) === 1)
}
console.log('bookDetailModel.test.ts ok')
+20
View File
@@ -0,0 +1,20 @@
// 书籍详情页点目录跳读的纯逻辑(不依赖 React,便于单测)。
import type { ReaderChapter, ReaderTocChapter } from '../../api/reader'
/**
* 把详情页点中的章节换算成阅读器要的序号。
*
* 阅读器打开一本书时优先用库里缓存的目录(`/books/:id/chapters`),而详情页显示的
* 目录是现抓的:站点更新过目录(插入或调整过章节)时两者会错位,直接照搬现抓目录
* 里的序号会跳到别的章。url 是章节的稳定标识,所以先按 url 在缓存目录里定位;
* 找不到(缓存为空,或两边取的根本不是同一份目录)才退回现抓的序号——缓存为空时
* 阅读器本来就会把这次现抓的目录存下来,序号自然对得上。
*/
export function pickChapterIndex(cached: ReaderChapter[], chapter: ReaderTocChapter): number {
if (chapter.url) {
const hit = cached.findIndex((c) => c.url === chapter.url)
if (hit >= 0) return hit
}
return chapter.index
}
+144 -2
View File
@@ -64,6 +64,14 @@ class ReaderAudioEngine {
private detaching = false
/** 加载批次号:动态 import hls.js 期间被新的加载打断时用来丢弃旧结果。 */
private loadToken = 0
/** 预取缓存:章序号 → 已解析的音轨。命中的切章可以同步开播,不用等网络。 */
private prefetched = new Map<number, { track: string; transcoding: boolean }>()
/** 预取在途的章序号,避免同一章重复请求。 */
private prefetching = new Set<number>()
/** 预热下一章字节的隐藏播放器(只下载,从不 play())。 */
private warmer: HTMLAudioElement | null = null
/** warmer 当前装载的音轨,避免重复赋值。 */
private warmedTrack = ''
constructor() {
const audio = new Audio()
@@ -93,7 +101,13 @@ class ReaderAudioEngine {
}
// 换章前把上一章的最后位置补报掉(此时 store 里还是上一章的上下文)
this.commitProgress()
// 换书:预取的音轨属于上一本,全部作废
if (s.bookId !== input.bookId) this.clearPrefetch()
this.applyChapter(input)
}
/** 真正把一章装上播放器(同步部分):预取命中的续播也走这里。 */
private applyChapter(input: LoadChapterInput): void {
const chapterTitle = input.chapters[input.chapterIndex]?.title ?? ''
useReaderAudioStore.setState({
bookId: input.bookId,
@@ -128,6 +142,9 @@ class ReaderAudioEngine {
}
void this.attachSource(input.track)
// 提前解析下一章的音轨并在后台预热字节:息屏自动续播时才能立刻接上
const nextIndex = this.neighborChapterIndex(1)
if (nextIndex !== null) this.prefetchChapter(nextIndex)
}
play(): void {
@@ -222,6 +239,7 @@ class ReaderAudioEngine {
stop(): void {
this.commitProgress()
this.detachSource()
this.clearPrefetch()
this.timerDeadline = 0
this.pausedAt = 0
// 下一次开播重新套用「上次的定时设置」,否则关掉再听一本书时定时不会自动开
@@ -242,12 +260,22 @@ class ReaderAudioEngine {
private async attachSource(src: string): Promise<void> {
const token = ++this.loadToken
this.detachSource()
this.setSessionMetadata(src)
// 只销毁上一章的 hls,不再 removeAttribute('src') + load()。load() 会把媒体
// 元素彻底卸载、释放系统音频会话,息屏时紧接着的 play() 就会被浏览器当成
// 「无用户手势」拦下——表现正是切章卡住、解锁后必须手动点播放。直接覆盖 src,
// 元素始终持有媒体,会话才接得上。
this.hls?.destroy()
this.hls = null
if (!src) {
this.audio.removeAttribute('src')
this.audio.load()
this.setSessionMetadata(null)
this.fail('本章没有可播放的音频')
return
}
// 先停住上一章:HLS 分支要 await 动态 import,不先停会有一小段两章叠播
if (!this.audio.paused) this.audio.pause()
this.setSessionMetadata(src)
if (src.includes('.m3u8')) {
const mod = await import('hls.js')
// 动态 import 期间可能已经切到别的章:丢弃这次结果
@@ -270,6 +298,7 @@ class ReaderAudioEngine {
this.audio.src = src
}
/** 彻底卸载音源(停止播放时用)。换章不走这里,见 attachSource 的说明。 */
private detachSource(): void {
this.detaching = true
this.hls?.destroy()
@@ -279,9 +308,117 @@ class ReaderAudioEngine {
this.detaching = false
}
// ─── 预取与续播 ───────────────────────────────────────────────────────
/**
* 提前解析某章的音轨并预热字节。息屏时 ended 与 play() 之间不能有网络空档,
* 否则系统收走音频会话、标签页被冻结,浏览器就拒绝自动播放了。
*/
private prefetchChapter(index: number): void {
const { bookId, chapters } = useReaderAudioStore.getState()
if (!bookId || index < 0 || index >= chapters.length || chapters[index].is_volume) return
if (this.prefetched.has(index) || this.prefetching.has(index)) return
// 反复跳章时旧的预取会变成垃圾,做个上限兜底
if (this.prefetched.size > 32) this.prefetched.clear()
this.prefetching.add(index)
const forBook = bookId
readerAPI
.bookContent(bookId, index)
.then((ct) => {
// 期间换了书:结果作废
if (useReaderAudioStore.getState().bookId !== forBook) return
const track = ct.tracks?.[0]
if (ct.type !== 'audio' || !track) return
this.prefetched.set(index, { track, transcoding: ct.transcoding ?? false })
// 要服务端转码的音轨立刻预热(把转码提前跑掉);直链等到本章快播完再拉字节,
// 避免用户中途停下时白下整章的流量。
if (ct.transcoding) this.warmNextBytes(track)
})
.catch(() => undefined)
.finally(() => this.prefetching.delete(index))
}
/** 用隐藏播放器把下一章的字节(以及服务端转码)提前拉起来,减少切章等待。 */
private warmNextBytes(track: string): void {
// HLS 交给 hls.js 按需拉流,二次下载没有意义
if (!track || track.includes('.m3u8') || this.warmedTrack === track) return
this.warmedTrack = track
if (!this.warmer) {
const a = new Audio()
a.preload = 'auto'
this.warmer = a
}
this.warmer.src = track
}
/** 本章快播完时把下一章的字节预热起来(30 秒足够开头缓冲)。 */
private maybeWarmNext(): void {
const audio = this.audio
if (!Number.isFinite(audio.duration) || audio.duration <= 0) return
if (audio.duration - audio.currentTime > 30) return
const nextIndex = this.neighborChapterIndex(1)
if (nextIndex === null) return
const hit = this.prefetched.get(nextIndex)
if (hit) this.warmNextBytes(hit.track)
}
/** 用预取结果接续下一章;命中返回 true(未命中由调用方走异步加载兜底)。 */
private playPrefetched(index: number): boolean {
const hit = this.prefetched.get(index)
if (!hit) return false
this.prefetched.delete(index)
const s = useReaderAudioStore.getState()
this.applyChapter({
bookId: s.bookId,
bookName: s.bookName,
cover: s.cover,
chapters: s.chapters,
chapterIndex: index,
track: hit.track,
transcoding: hit.transcoding,
openCredits: s.openCredits,
closeCredits: s.closeCredits,
initialPos: 0,
})
// 立刻在 ended 的同一次事件里发起 play(),保证没有空档。片头跳转由
// loadedmetadata 处理器完成:音频在 loadedmetadata 之前不会出声,所以
// 先 play() 也不会漏出片头。HLS 交给 hls.js 承载,无法同帧开播。
if (!hit.track.includes('.m3u8')) this.play()
return true
}
private clearPrefetch(): void {
this.prefetched.clear()
this.prefetching.clear()
this.warmedTrack = ''
if (this.warmer) {
this.warmer.removeAttribute('src')
this.warmer.load()
}
}
private async goToChapter(index: number, initialPos: number): Promise<void> {
const { bookId, chapters } = useReaderAudioStore.getState()
if (!bookId || index < 0 || index >= chapters.length || chapters[index].is_volume) return
// 命中预取:直接装,不等网络(片尾自动续播大多走这里)
const hit = this.prefetched.get(index)
if (hit) {
useReaderAudioStore.setState({ status: 'loading', error: '' })
const s = useReaderAudioStore.getState()
this.loadChapter({
bookId,
bookName: s.bookName,
cover: s.cover,
chapters,
chapterIndex: index,
track: hit.track,
transcoding: hit.transcoding,
openCredits: s.openCredits,
closeCredits: s.closeCredits,
initialPos,
})
return
}
useReaderAudioStore.setState({ status: 'loading', error: '' })
try {
const ct = await readerAPI.bookContent(bookId, index)
@@ -344,6 +481,10 @@ class ReaderAudioEngine {
this.lastTime = Number.isFinite(audio.duration) ? audio.duration : this.lastTime
this.commitProgress()
if (useReaderAudioStore.getState().hasNext) {
// 预取命中:在 ended 的同一次事件里同步接上下一章。息屏时这段「零空档」
// 很关键——空太久系统会收走音频会话、冻结标签页,浏览器随后拒绝自动播放。
const nextIndex = this.neighborChapterIndex(1)
if (nextIndex !== null && this.playPrefetched(nextIndex)) return
this.next()
return
}
@@ -389,6 +530,7 @@ class ReaderAudioEngine {
this.checkCreditsEnd()
// 后台播放时 timeupdate 仍会触发,这是「到点暂停」最可靠的位置
this.checkTimer()
this.maybeWarmNext()
})
audio.addEventListener('error', () => {
+109
View File
@@ -0,0 +1,109 @@
import type { ReaderSearchBook, ReaderSearchOrigin } from '../api/reader.ts'
import { mergeSearchBooks, mergeSearchSkipped, searchBookKey } from './searchBooks.ts'
function check(name: string, condition: boolean) {
if (!condition) throw new Error(`searchBooks: ${name}`)
}
function origin(sourceId: string, bookUrl: string, originName = sourceId): ReaderSearchOrigin {
return { source_id: sourceId, origin: `https://${sourceId}.example.com`, origin_name: originName, origin_type: 0, book_url: bookUrl, latest_chapter: '' }
}
function book(over: Partial<ReaderSearchBook> & { name: string; author: string }): ReaderSearchBook {
return {
kind: '',
word_count: '',
latest_chapter: '',
intro: '',
cover_url: '',
book_url: '',
origins: [],
...over,
}
}
// 聚合键:作者缺省时只用书名(和后端 name|author 的拼法一致)
check('key uses name and author', searchBookKey('全球高武', '懒人') === '全球高武|懒人')
check('key falls back to name without author', searchBookKey('全球高武', '') === '全球高武')
check('key trims blanks', searchBookKey(' 全球高武 ', ' 懒人 ') === '全球高武|懒人')
check('key treats blank author as missing', searchBookKey('全球高武', ' ') === '全球高武')
// 跨页去重:不支持分页的源在每一页都返回首页结果,不能重复追加一条书
{
const page1 = [book({ name: '全球高武', author: '懒人', origins: [origin('a', '/1')], cover_url: 'http://c/1.jpg' })]
const page2 = [book({ name: '全球高武', author: '懒人', origins: [origin('a', '/1')] })]
const merged = mergeSearchBooks(page1, page2)
check('duplicate across pages is merged', merged.length === 1)
check('duplicate origin is not re-added', merged[0].origins.length === 1)
check('existing fields survive the merge', merged[0].cover_url === 'http://c/1.jpg')
}
// 新一页的书接在已有书后面,顺序不倒
{
const page1 = [book({ name: '甲', author: '作者', origins: [origin('a', '/a')] })]
const page2 = [book({ name: '乙', author: '作者', origins: [origin('a', '/b')] })]
const merged = mergeSearchBooks(page1, page2)
check('new page appends', merged.length === 2)
check('first page keeps its position', merged[0].name === '甲')
check('second page follows', merged[1].name === '乙')
}
// 同书多源:书源并进同一项(决定「N 源可换」),且不会补齐覆盖已有的有效值
{
const page1 = [book({ name: '全球高武', author: '懒人', origins: [origin('a', '/1')], cover_url: '', intro: '第一页的简介' })]
const page2 = [
book({
name: '全球高武',
author: '懒人',
origins: [origin('b', '/2')],
cover_url: 'http://c/2.jpg',
intro: '第二页的简介',
kind: '玄幻',
}),
]
const merged = mergeSearchBooks(page1, page2)
check('same book merges origins', merged[0].origins.length === 2)
check('missing cover is filled', merged[0].cover_url === 'http://c/2.jpg')
check('missing kind is filled', merged[0].kind === '玄幻')
check('existing intro is not overwritten', merged[0].intro === '第一页的简介')
}
// 不同作者的同名书不能被合并成一条
{
const merged = mergeSearchBooks(
[book({ name: '同名书', author: '甲', origins: [origin('a', '/1')] })],
[book({ name: '同名书', author: '乙', origins: [origin('a', '/2')] })],
)
check('same name different author stays separate', merged.length === 2)
}
// 无名条目没有聚合键,直接丢弃(后端也会跳过 Name 为空的项)
{
const merged = mergeSearchBooks([], [book({ name: ' ', author: '作者' })])
check('nameless item is dropped', merged.length === 0)
}
// 不原地改动上一份状态:prev 的数组与对象都不能被写坏
{
const prev = [book({ name: '全球高武', author: '懒人', origins: [origin('a', '/1')] })]
const snapshot = JSON.stringify(prev)
mergeSearchBooks(prev, [book({ name: '全球高武', author: '懒人', origins: [origin('b', '/2')] })])
check('prev state is not mutated', JSON.stringify(prev) === snapshot)
}
// 失败书源按 source_id 去重,原因取最新一页的
{
const merged = mergeSearchSkipped(
[{ source_id: 'a', origin_name: '源A', reason: '超时' }],
[
{ source_id: 'a', origin_name: '源A', reason: '限流' },
{ source_id: 'b', origin_name: '源B', reason: '解析失败' },
],
)
check('skipped is deduped by source', merged.length === 2)
check('skipped reason comes from the newest page', merged[0].reason === '限流')
check('new failed source is appended', merged[1].source_id === 'b')
check('empty incoming keeps the same array', mergeSearchSkipped(merged, []) === merged)
}
console.log('searchBooks.test.ts ok')
+84
View File
@@ -0,0 +1,84 @@
import type { ReaderSearchBook, ReaderSearchOrigin, ReaderSearchSkipped } from '../api/reader'
/**
* 同名同作者的聚合键——与后端 mergeSearchResults 的 `name|author` 一致:
* 同一本书多源命中时合并成一行;作者缺省时只用书名(否则作者为空的源会被拆成两条)。
*/
export function searchBookKey(name: string, author: string): string {
const n = name.trim()
const a = author.trim()
return a ? `${n}|${a}` : n
}
/** 两条命中书源是否指向同一个源的同一个地址(跨页重复返回时用于去重)。 */
function sameOrigin(a: ReaderSearchOrigin, b: ReaderSearchOrigin): boolean {
return a.source_id === b.source_id && a.book_url === b.book_url
}
/** 补齐缺失字段(对应后端 fillMissingSearchBookFields):先到的空值不能挡掉后面源的有效值。 */
function fillMissing(dst: ReaderSearchBook, src: ReaderSearchBook): void {
if (!dst.cover_url) dst.cover_url = src.cover_url
if (!dst.intro) dst.intro = src.intro
if (!dst.kind) dst.kind = src.kind
if (!dst.word_count) dst.word_count = src.word_count
if (!dst.latest_chapter) dst.latest_chapter = src.latest_chapter
}
/**
* 把新一页的搜索结果并入已加载的列表(滚动加载用)。
*
* 每一页都是后端独立聚合出来的,跨页去重只能在前端做:书源 searchUrl 里没有
* {{page}} 时它会重复返回首页结果,同一个源的同一本书就可能在每一页都出现,
* 直接 append 会让列表堆满重复行。这里按 searchBookKey 合并成一项:
* 并书源(决定「N 源可换」)、补缺失字段;顺序保持「先到的在前」,
* 于是第 2 页的新书接在第 1 页后面。
*
* 返回新数组与新对象,调用方可以直接交给 setState,不必担心原地改动上一份状态。
*/
export function mergeSearchBooks(prev: ReaderSearchBook[], incoming: ReaderSearchBook[]): ReaderSearchBook[] {
const out = prev.map((b) => ({ ...b, origins: [...b.origins] }))
const byKey = new Map<string, ReaderSearchBook>()
for (const b of out) byKey.set(searchBookKey(b.name, b.author), b)
for (const b of incoming) {
// 无名条目没有可用的聚合键(后端也会跳过 Name 为空的项),直接丢弃。
if (!b.name.trim()) continue
const key = searchBookKey(b.name, b.author)
const existing = byKey.get(key)
if (!existing) {
const copy: ReaderSearchBook = { ...b, origins: [...b.origins] }
out.push(copy)
byKey.set(key, copy)
continue
}
fillMissing(existing, b)
for (const origin of b.origins) {
if (!existing.origins.some((o) => sameOrigin(o, origin))) existing.origins.push(origin)
}
}
return out
}
/**
* 合并搜索失败的书源列表(滚动加载时每页失败的源可能不同)。
* 按 source_id 去重,原因是「任何一页失败过就算失败」——排查页面关心的是哪些源
* 有问题,而不是它这一页恰好成功;同一个源在多页里原因不同时取最新一页的。
*/
export function mergeSearchSkipped(
prev: ReaderSearchSkipped[],
incoming: ReaderSearchSkipped[],
): ReaderSearchSkipped[] {
if (incoming.length === 0) return prev
const out = [...prev]
const index = new Map(out.map((s, i) => [s.source_id, i]))
for (const s of incoming) {
const at = index.get(s.source_id)
if (at === undefined) {
index.set(s.source_id, out.length)
out.push(s)
} else {
out[at] = s
}
}
return out
}
+6
View File
@@ -1,6 +1,12 @@
/** @type {import('tailwindcss').Config} */
export default {
content: ['./index.html', './src/**/*.{js,ts,jsx,tsx}'],
future: {
// hover 样式只对真正能悬停的设备(鼠标/触控板)生效。触屏点击会让浏览器
// 保留 :hover 状态,导致海报墙上的卡片被放大、上移、盖上「立即观影」遮罩,
// 看起来像是整行错位、海报显示不全。
hoverOnlyWhenSupported: true,
},
theme: {
extend: {
fontFamily: {