把 AI 接入网页采集时，应将网络访问、内容解析、业务判断拆开设计。代理负责连接，采集程序负责请求与重试，AI 处理已合法获取的内容。
开始准备
- 确认目标站允许的访问方式和频率。
- 从 MaskProxy「我的代理」复制主机、端口、用户名、密码。
- 根据工具支持选择 HTTP 或 SOCKS5。
- 用 curl 验证代理后再接入完整工作流。
curl -x 用户名:密码@主机:端口 http://ipinfo.io/json示例形态（请勿照抄）：curl -x YOUR_USER:[email protected]:1288 http://ipinfo.io/json
稳定性设计
- 设置连接超时、总超时和有限重试。
- 遇到 429 或明确限流时降低频率并等待。
- 对动态页面使用受支持的浏览器自动化工具。
- 保存来源 URL、时间和解析版本，便于复核。
安全建议
- 代理密码放环境变量或密钥管理，不要写进公开代码仓库。
- 不要把完整凭证贴进 AI 对话或公开日志。
使用提醒：请遵守目标网站的服务条款、robots.txt、适用法律和数据保护要求。代理连接不会替代账号安全、内容授权或业务合规审查。
相关：AI 与数据采集概览 · cURL 示例。