
原站网页截图,页面可能随时间更新。
- 分类:AI 搜索
- 名称:Jina AI - Your Search Foundation, Supercharged.
- 来源:jina.ai
Jina AI 面向需要获取、整理和检索网络信息的开发者与团队,提供从网页内容提取到搜索结果优化的一组服务。它既能读取指定网页,也能搜索网络并返回搜索结果,还可通过嵌入和重排能力支持更完整的搜索系统。
核心能力
Reader 可将网址内容转换为适合大语言模型使用的输入,也支持处理本地 PDF 和 HTML 文件。对于包含动态加载内容、嵌套框架、Shadow DOM 或复杂文档结构的页面,可以按需调整等待、页面范围和内容提取方式。网页搜索能力则通过搜索接口获取搜索结果,每次返回五条条目,并提供相应的结构化信息。
在搜索基础能力之外,Jina AI 还提供多语言多模态嵌入,用于将文本及其他内容映射为可检索表示;重排器则用于重新评估候选结果,帮助搜索系统提升结果相关性。页面还列出了用于图像转 Markdown 的 jina-ocr-v1,以及面向小型语言模型和搜索研究的相关模型与出版物。
适用任务
它适合构建需要读取网页资料的问答、摘要和信息整理流程,也适合把网页、PDF 或 HTML 内容接入大语言模型。对于企业搜索和检索增强生成系统,可以先用 Reader 获取可处理的内容,再用嵌入完成语义检索,最后用重排器优化候选结果顺序。
如果任务涉及多语言或文本与图像混合的信息检索,嵌入能力可作为统一的检索基础。对于页面结构复杂、内容需要等待加载或图片信息影响理解的场景,可以结合页面等待、图像摘要、图片保留或 OCR 等选项调整输出。
使用思路
处理普通网页时,可以先通过 Reader 获取页面正文,再根据下游模型的输入需求选择默认格式或 JSON 格式。JSON 响应会包含网址、标题、内容和时间戳等信息,便于程序继续处理。需要限定正文范围时,可指定目标 CSS 选择器;若页面包含导航、广告或侧栏,则可设置排除选择器。
对于多页 PDF,可以指定要处理的页码;对于加载较慢或依赖脚本的页面,可增加等待时间、调整页面就绪时机,或使用流式模式。若访问内容依赖登录状态,可以转发自定义 Cookie;若页面受地区、代理、User-Agent 或 Referer 影响,也可以配置相应请求参数。
输出与请求控制
Reader 支持控制超时时间和令牌预算,前者影响等待页面加载的最长时间,后者限制单次请求可使用的最大令牌数。需要降低输出规模时,可以移除图片;需要保留页面视觉信息时,则可保留图片、生成图片说明或启用 OCR,但 OCR 会带来更高的令牌消耗。
缓存相关选项可用于在响应速度与内容新鲜度之间进行选择:可以绕过缓存,也可以设置可接受的缓存时效。对于敏感网址,还能设置不缓存或不记录请求。访问受限页面时,应根据目标网站的要求配置代理、地区代理、Cookie 或浏览器标识,并留意相关访问权限。
常见问题
网页内容不完整时可以怎样调整?
可以尝试使用流式模式,增加超时时间或调整页面就绪时机;对于动态页面,可设置等待元素;对于嵌套框架或 Shadow DOM 内容,可启用对应提取选项。
如何只提取网页中的正文部分?
可以使用目标选择器指定文章主体、正文区域或其他 CSS 选择器,并使用排除选择器移除导航、页脚、侧栏或广告等内容。
什么时候适合使用 OCR?
当页面或文档的重要信息主要位于图片、扫描内容或复杂视觉结构中时,可以使用 jina-ocr-v1 将图像转换为 Markdown;该方式会使用更多令牌。