ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

Hister数据目录探秘:你的个人搜索索引存在哪里、占多少空间

Hister数据目录探秘:你的个人搜索索引存在哪里、占多少空间 Hister数据目录探秘你的个人搜索索引存在哪里、占多少空间【免费下载链接】histerYour own search engine项目地址: https://gitcode.com/GitHub_Trending/hi/histerHister 是一个开源的个人搜索引擎它把你浏览过的网页、收藏的链接和本地文件全部收录进一个完全由自己掌控的数据库。用了一段时间后很多人会有同样的疑问Hister 的数据目录在哪里我的搜索索引到底存在哪个文件夹到底占了多少磁盘空间这篇文章带你一步步摸清它的数据布局并学会给索引瘦身。如何找到 Hister 数据目录三大平台默认路径Hister 的所有数据都集中在一个主数据目录里由配置项app.directory决定。如果不做任何配置它会按操作系统自动选择一个默认位置源码逻辑见 config/config.go操作系统默认数据目录 Linux优先$XDG_STATE_HOME/hister或$XDG_DATA_HOME/hister否则回退到~/.config/hister macOS~/Library/Application Support/hister Windows%LOCALAPPDATA%\hister小贴士环境变量HISTER_DATA_DIR的优先级最高可以直接覆盖默认目录Docker 部署时经常用它来指定挂载卷。用一条命令就能直观看到目录占用情况Linux/macOSdu -sh ~/.local/state/hister du -h ~/.local/state/hister/* | sort -rh | head搜索索引是怎么存的目录里 7 个关键文件都有啥进入数据目录后你会看到下面这些内容结构说明可参考官方文档 />Hister 索引占多少空间按页估算官方给出的参考值平均每收录 1 个网页约消耗 100 KB 磁盘空间含全文索引 HTML 快照 favicon。换算一下直觉1,000 页 ≈ 100 MB1 万页 ≈ 1 GB10 万页 ≈ 10 GB真正影响体积的四大大头完整 HTML 预览data/html/——开启预览时最大的一块语义向量vectors.sqlite3——每个文本分块都要存一个浮点向量版本差异记录——对重要页面做版本跟踪时差异会写入 SQLite文档正文与元数据——本地大文件、PDF 等索引内容。需要注意的是Hister不设置自动过期、条目上限或总容量配额磁盘空间是你唯一的天花板需要自己定期观察数据目录的体积。快速回收磁盘空间的 4 个方法方法一关闭 HTML 预览效果最显著如果不需要在 Web 界面看离线快照在配置文件中加入app: disable_previews: true重启后运行hister reindex所有已存的 HTML 文件会被删除并重建索引纯文本仍然可搜索。方法二用跳过规则从源头拦截在规则页面添加跳过规则让广告页、临时链接、低价值站点在收录前就被过滤掉索引自然不再膨胀。️方法三按条件批量删除旧文档例如删除 90 天以上未更新的文档建议先用--dry预览影响范围hister delete --dry --verbose updated:90d hister delete domain:example.com方法四定期运行 cleanup 清理孤儿文件hister cleanup会扫掉不再被任何索引文档引用的 HTML 和 favicon 残留文件适合在删除大批数据后补一次扫尾。Docker 部署与数据备份要点使用 Docker 部署时官方 compose.yml 通过命名卷hister_data把数据目录挂载到容器的/hister/data容器本身是只读文件系统——这意味着备份数据卷就等于备份了全部索引volumes: hister_data:/hister/data备份完整实例的步骤先停止 Hister保证索引与 SQLite 一致性整包备份数据目录含index.db、db.sqlite3、.secret_key别忘了存放在其他位置的config.yml和tui.yamlPostgreSQL 部署还需要额外备份数据库。⚠️安全提醒备份中包含完整网页文本甚至误抓到的凭据请像对待生产服务器一样保管它。总结一图记住 Hister 数据布局问题答案索引存哪里数据目录下的index.db按语言可能拆成多个index_LANG.db大概多大约 100 KB/页1 万页约 1 GB会无限增长吗是的无自动清理建议定期 cleanup 删除旧文档如何瘦身disable_previews: truehister reindex效果最好备份怎么做停止服务后整包备份数据目录即可Hister 把搜索引擎的黑盒变成了你自己硬盘上几个明明白白的文件——看懂了它的存储结构你就能放心地让索引长到任意规模。【免费下载链接】histerYour own search engine项目地址: https://gitcode.com/GitHub_Trending/hi/hister创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表