Agent-Reach (GitHub Repo)
Agent-Reach provides a CLI tool that allows AI agents to bypass login walls and scrape platforms like X, Reddit, and Bilibili without API fees.
Deep dive
- Agent-Reach acts as an intermediary layer between agents and websites.
- It supports login-gated content by reusing existing browser sessions without storing passwords.
- It provides an abstraction for different platforms (bilibili, v2ex, github, youtube, xiaohongshu) via CLI commands.
- Security focus: the tool is read-only and uses a dedicated browser session isolated from the user's primary browsing activity.
- The project uses an order-of-precedence strategy, trying primary scraping tools before falling back to alternative methods if one fails.
Decoder
- Login-gated: Content that is hidden behind an authentication wall and usually inaccessible to search engine crawlers or simple automated scripts.
- Structured Data: Information organized into a standardized format (like JSON) that is easy for machines to parse, as opposed to raw HTML pages.
Original article
👁️ Agent Reach
让 AI Agent 够得着它自己上不去的互联网
登录墙后的平台、视频里的内容、中文平台、干净的结构化数据,一条命令拿到
💬 有问题、想要新平台、或者想看看别人怎么用?来 Discord 聊聊。
❤️赞助商
| 赞助商 | 简介 |
|---|---|
| Bright Data 亮数据 | 全球领先的数据采集基础设施。Scraper Studio 智能爬取器让你用自然语言一键生成爬虫,无需写代码;Unlocker 网站解锁器自动绕过反爬虫机制,轻松采集 Amazon、Google、LinkedIn、TikTok 等复杂网站数据。内置 350+ 现成 API 集成,覆盖电商、社交、搜索、地图等全品类数据源,直接调用开箱即用。1.5 亿+ 全球真实住宅 IP 保障采集稳定性。每月免费 5,000 次请求。 |
| RapidProxy | RapidProxy 是专为开发者打造的数据采集代理解决方案,提供稳定可靠的住宅代理服务。拥有 9000 万+ 全球住宅 IP,覆盖 200+ 国家和地区,支持智能轮换与精准地理定位,可用于网页抓取、AI 数据采集与训练、SEO 监控、电商数据分析等场景,帮助提升数据采集效率与稳定性。支持 Playwright、Selenium、Puppeteer 等主流自动化框架,流量永久有效,价格低至 $0.55/GB。 |
| BrowserAct | BrowserAct 支持从 Amazon、LinkedIn、X、Google Maps 等复杂网站提取你需要的任意数据。你只需用自然语言描述抓取需求,Agent 就会基于真实浏览器自动探索并测试页面流程,生成可靠、可复用的数据采集 Bot,并返回结构化结果。无需手动构建爬虫,无需编写代码。BrowserAct 内置隐身浏览、验证码处理和高质量住宅代理,帮助你更稳定地完成复杂网页数据采集。新用户注册即送 1000 积分。 |
| 腾讯云 OpenClaw | 在腾讯云 Lighthouse 秒级部署 OpenClaw 全能助手,可通过对话丝滑接入 Agent Reach,给你的 OpenClaw 一键装上互联网能力。 |
| CoreClaw | CoreClaw | 网页抓取平台与现成数据采集工具,CoreClaw 提供 100+ 现成数据采集工具,支持 Amazon、TikTok、Google Maps、Instagram、Facebook、YouTube 等平台,无需代码,支持 JSON/CSV 导出,仅对成功结果计费。 |
| 星图 AstraFlow | 优刻得星图astraflow大模型,支持200+模型一键调用:内置 Kimi K3、DeepSeek V4/V3、Qwen 3、GLM5.2、happyhorse等全球领先开源大模型,无需自训,开箱即用 |
为什么需要 Agent Reach?
Agent Reach 让你的 Agent 真正连上互联网,用上它自己够不着的平台和能力。
Claude Code、Codex、Hermes Agent、OpenClaw 这类 CLI Agent 自带搜索和网页读取,但下面这些它们基本够不着:
- 要登录才能用的功能:在小红书搜笔记、在 X 查账号动态、读职位详情等。
- 视频里的内容:B站和 YouTube 的字幕,以及 YouTube 视频、小宇宙播客的语音转文字。
- 中文平台:B站、小红书、V2EX、雪球,通用搜索覆盖很差。
- 干净的结构化数据:雪球行情、V2EX 帖子和回复、GitHub 仓库和 issue,拿到的是整理好的内容。
Agent Reach 把这些平台背后的工具替你装好、测好,Agent 一条命令就能用:
agent-reach channels # 有哪些渠道、每个渠道能做什么
agent-reach bilibili search "大模型" # agent-reach <渠道> <动作> [参数]
agent-reach read https://www.v2ex.com/t/123 # 按链接自动选渠道
✅ 在你用之前,你可能想知道
- 适用于哪些 Agent? 一切 Agent 都能用。
- 会碰我的浏览器和账号吗? 要登录的平台用 Agent Reach 自己的专用浏览器,在后台运行、不弹窗。第一次用某个网站时,会把你 Chrome 里这个网站的登录复制一份过去,原浏览器不变,不读密码库。
支持的平台
| 渠道 | 等级 | 能做什么 | 需要什么 |
|---|---|---|---|
| bilibili | 默认 | 搜索、视频信息、热门、字幕 | 无;字幕需要登录(扫码) |
| v2ex | 默认 | 热门、节点、帖子和回复、用户 | 无 |
| github | 默认 | 搜仓库、读仓库/README、读 issue 和 PR(含评论) | 无 |
| youtube | 默认 | 视频信息、搜索、字幕、语音转文字 | 无;转文字需要 Groq 或 OpenAI Key |
| web | 默认 | 网页搜索、网页阅读(保底) | 无 |
| xiaohongshu | 可选 | 搜笔记、读正文、看评论 | 登录 |
| xueqiu | 可选 | 实时行情、搜股票、热帖、热股 | 行情不用登录;热帖、热股要登录 |
| boss | 可选 | 搜职位和 JD | 登录 |
| xiaoyuzhou | 可选 | 播客转文字 | Groq Key |
| 可选 | 搜职位、读职位详情 | 公开职位不用登录;站内搜索要登录 | |
| 可选 | 搜帖子、读正文、看评论、看版块 | 登录 | |
| 实验 | 搜推文、用户资料、用户推文、读推文串 | 登录 | |
| 实验 | 搜索、主页资料 | 登录 | |
| 实验 | 搜用户、主页资料、用户帖子 | 登录 |
快速上手
把这句话发给你的 Agent:
帮我安装 Agent Reach:https://raw.githubusercontent.com/Panniantong/Agent-Reach/main/docs/install.md
无论是安装还是升级,都只需要这一条命令就行了。剩下的 Agent 自己做完。
⚠️ PyPI 上叫
agent-reach的包不是本项目,请勿从 PyPI 安装,只用 install.md 里的 GitHub 地址。
装好之后怎么管
Agent Reach 装的所有东西都放在你电脑上同一个文件夹里(~/.agent-reach/),不散落到别处。直接用大白话跟 Agent 说:
- "看看 Agent Reach 状态"
- "加上小红书" / "去掉小红书"
- "小红书登录过期了" / "换个账号" / "退出登录"
- "升级 Agent Reach"
- "卸载 Agent Reach"
- "让另一个 AI 也能用"
设计理念
🔌 每个平台 = 首选 + 备选的有序工具列表
每个平台的每个动作都有一个按顺序尝试的工具列表。比如读 B站视频先用 bili-cli,失败了自动换 B站公开接口;读网页先用 Jina Reader,再用 Exa。
安全性
- 只读:只搜索和读取,不发帖、不评论、不点赞、不私信。
- 从不替你登录,也不要你的密码。
- 专用浏览器只对你这台电脑开放,别的电脑连不上它。
- 建议用小号登录。
- Key 不要发在聊天里:在你自己的终端里运行
agent-reach configure groq-key填写。
⭐ 为什么值得 Star
这个项目我自己每天在用,所以我会一直维护它。Star 一下,下次需要的时候能找到。⭐
致谢
OpenCLI · bili-cli · boss-agent-cli · yt-dlp · Jina Reader · Exa
联系
- 📧 Email: pnt01@foxmail.com
- 🐦 Twitter/X: @Neo_Reidlab
防骗提醒
Agent Reach 没有官方代币、币、投资产品、领取手续费活动、钱包连接,也没有 Solana/Pump.fun 项目。任何借用 Agent Reach 名字、GitHub 地址或作者身份的加密项目都与本仓库无关,请勿据此连接钱包或领取任何费用。
License
MIT
友情链接
Agent Skills Hub — 找 Claude 技能和 MCP 服务器,不用猜哪个安全。
AtomGit 镜像 — Agent Reach 的 AtomGit 同步镜像,便于国内访问与克隆。
Fresh dev news, AI-digested daily. Never miss a trend at devoured.fyi