https://github.com/mendableai/firecrawl
🔥 将整个网站转换为 LLM 就绪的 markdown 或结构化数据。使用单个 API 进行抓取、抓取和提取。
https://python.langchain.com/docs/integrations/tools/
langchain支持的搜索工具
https://github.com/searxng/searxng
SearXNG 是一款免费的互联网元搜索引擎，它汇总了来自各种搜索服务和数据库的结果。它不会跟踪或分析用户。
https://github.com/searxng/searxng-docker
已部署，通过fofa可以搜索开源的可以尝试，也许可以结合firecrawl采集结构化的详情数据。
DuckDuckGo API