Parallel Web Systems giới thiệu API tìm kiếm: Tìm kiếm web chính xác nhất dành cho các tác nhân AI

Hệ thống Web song song , một công ty khởi nghiệp tập trung vào việc tạo ra một cơ sở hạ tầng web mới được thiết kế riêng cho các tác nhân AI, đã ra mắt Parallel Search API, một công cụ tìm kiếm web được thiết kế đặc biệt để tối ưu hóa việc cung cấp dữ liệu web có liên quan, hiệu quả về mã thông báo với chi phí thấp nhất. Đổi mới này nhằm mục đích cung cấp câu trả lời chính xác hơn, giảm số lần trả về và giảm chi phí cho các tác nhân AI.

Các công cụ tìm kiếm truyền thống được thiết kế cho người dùng. Chúng xếp hạng URL với giả định rằng người dùng sẽ nhấp vào trang, tối ưu hóa tìm kiếm từ khóa, tỷ lệ nhấp và bố cục trang dành cho việc duyệt web, tất cả đều được thực hiện trong vài mili giây và với chi phí tối thiểu. Thế hệ API tìm kiếm dựa trên AI đầu tiên đã cố gắng điều chỉnh mô hình tìm kiếm lấy con người làm trung tâm này cho AI, nhưng chúng không đáp ứng đầy đủ các yêu cầu riêng biệt của Đại lý AI .

Không giống như người dùng, tìm kiếm AI đòi hỏi một cách tiếp cận khác: thay vì xếp hạng URL dựa trên lượt nhấp của người dùng, trọng tâm là xác định các mã thông báo phù hợp nhất để đặt vào cửa sổ ngữ cảnh của tác nhân AI nhằm giúp nó hoàn thành nhiệm vụ. Mục tiêu không phải là tối ưu hóa sự tương tác của con người mà là nâng cao khả năng lập luận và ra quyết định trong mô hình AI.

Kiến trúc tìm kiếm mới này bao gồm một số cải tiến quan trọng: sử dụng các mục tiêu ngữ nghĩa vượt ra ngoài việc khớp từ khóa để nắm bắt ý định của tác nhân, ưu tiên mức độ liên quan của mã thông báo hơn các số liệu trang lấy con người làm trung tâm, cung cấp thông tin cô đọng và chất lượng cao để lập luận và giải quyết các truy vấn phức tạp chỉ bằng một lệnh tìm kiếm thay vì nhiều bước.

Bằng cách sử dụng thiết kế tìm kiếm ưu tiên AI này, các tác nhân có thể truy cập nhiều mã thông báo web chứa nhiều thông tin hơn trong cửa sổ ngữ cảnh của họ, dẫn đến ít cuộc gọi tìm kiếm hơn, độ chính xác cao hơn và giảm chi phí cũng như độ trễ.

Tiến bộ tìm kiếm web phức tạp, đa nguồn cho các tác nhân AI 

Trong khi nhiều hệ thống tìm kiếm hiện tại tập trung vào việc trả lời các câu hỏi đơn giản, nhu cầu tìm kiếm phức tạp hơn, đa chiều hơn dự kiến ​​sẽ tăng lên. Cả người dùng và các tác nhân AI sẽ ngày càng yêu cầu những câu trả lời liên quan đến việc tổng hợp thông tin từ nhiều nguồn, suy luận thông qua các tác vụ phức tạp và truy cập vào nội dung web khó tiếp cận hơn.

Để đáp ứng nhu cầu ngày càng tăng này, Parallel đã đánh giá hiệu suất của API Tìm kiếm trên nhiều tiêu chuẩn khác nhau, từ các tác vụ đa bước nhảy đầy thử thách (ví dụ: BrowseComp) đến các truy vấn đơn giản hơn trên một bước nhảy (ví dụ: SimpleQA).

Parallel đã chứng minh được lợi thế của mình trên các truy vấn phức tạp hơn—những truy vấn trải rộng trên nhiều chủ đề, đòi hỏi sự hiểu biết sâu sắc về nội dung khó thu thập dữ liệu, hoặc liên quan đến việc tổng hợp thông tin từ các nguồn phân tán. Trong các chuẩn được thiết kế cho suy luận đa bước, chẳng hạn như HLE, BrowseComp, WebWalker, FRAMES và Batched SimpleQA, Parallel không chỉ mang lại độ chính xác cao hơn mà còn giải quyết các truy vấn hiệu quả hơn, sử dụng ít bước suy luận hơn.

Các API tìm kiếm truyền thống thường yêu cầu nhiều lần tìm kiếm tuần tự, làm tăng độ trễ, mở rộng cửa sổ ngữ cảnh, làm tăng chi phí mã thông báo và giảm độ chính xác. Ngược lại, phương pháp của Parallel cho phép giải quyết các truy vấn phức tạp hơn chỉ trong một lệnh gọi tìm kiếm, dẫn đến ít truy vấn tuần tự hơn, độ chính xác cao hơn, chi phí thấp hơn và độ trễ thấp hơn.

Khi được thử nghiệm trên các điểm chuẩn đơn giản hơn như SimpleQA, bao gồm các truy vấn thực tế đơn giản, Parallel vẫn hoạt động tốt, mặc dù tiềm năng tăng độ chính xác bị hạn chế hơn trong các tình huống này do bản chất của các truy vấn.

Khả năng đạt được kết quả tiên tiến của Parallel là kết quả của hai năm phát triển một cơ sở hạ tầng mạnh mẽ để tối ưu hóa mọi lớp của quy trình tìm kiếm, liên tục cải thiện hiệu suất thông qua các vòng phản hồi. Hệ thống tập trung vào việc lập chỉ mục nội dung web khó thu thập dữ liệu, chẳng hạn như các tệp PDF đa phương thức, dài và các trang web chứa nhiều JavaScript, đồng thời giảm thiểu tác động đến chủ sở hữu trang web. Chỉ mục web của Parallel là một trong những chỉ mục phát triển nhanh nhất, với hơn 1 tỷ trang được làm mới mỗi ngày.

Về xếp hạng, Parallel áp dụng một cách tiếp cận khác so với tìm kiếm truyền thống. Thay vì xếp hạng URL dựa trên tỷ lệ nhấp chuột của người dùng, Parallel tập trung vào việc xác định các mã thông báo có liên quan và uy tín nhất để lập luận theo mô hình ngôn ngữ lớn (LLM). Các mô hình độc quyền của Parallel đánh giá mức độ liên quan của mã thông báo, độ tin cậy của trang và tên miền, hiệu quả của cửa sổ ngữ cảnh và xác thực chéo nguồn, ưu tiên chất lượng hơn các chỉ số tương tác.

API Tìm kiếm Song song: Trao quyền cho các Hệ thống AI với Dữ liệu Web Chất lượng Cao, Thời gian Thực 

Ngày nay, các nhà phát triển tiên tiến nhất lựa chọn xây dựng và triển khai hệ thống AI bằng công cụ tìm kiếm được hỗ trợ bởi Parallel. Các tổ chức này đã thử nghiệm nhiều giải pháp thay thế khác nhau và nhận ra rằng chất lượng dữ liệu web ảnh hưởng trực tiếp đến quyết định mà các tác nhân AI của họ đưa ra. Cho dù đó là tác nhân mã hóa của Sourcegraph Amp giải quyết lỗi, Claygent tối ưu hóa mọi quyết định đưa ra thị trường (GTM), Starbridge khám phá các yêu cầu đề xuất (RFP) của chính phủ, hay một công ty bảo hiểm hàng đầu thẩm định yêu cầu bồi thường hiệu quả hơn so với các chuyên gia thẩm định, hiệu suất của các hệ thống này phụ thuộc vào độ chính xác và tính phù hợp của dữ liệu web mà họ dựa vào.

API Tìm kiếm riêng của Parallel đóng vai trò là cơ sở hạ tầng cốt lõi hỗ trợ các Web Agent. Ví dụ, API Nhiệm vụ Song song, xử lý các truy vấn nghiên cứu và làm giàu phức tạp nhiều bước, được xây dựng dựa trên API Tìm kiếm. Mọi truy vấn API Nhiệm vụ chạy trong môi trường sản xuất đều dựa vào API Tìm kiếm để hoạt động hoàn hảo ở chế độ nền.

Phương pháp tiếp cận kiến ​​trúc này đặt ra tiêu chuẩn cao cho Parallel, vì bất kỳ cải tiến nào về hiệu suất tìm kiếm, độ trễ hoặc chất lượng đều ảnh hưởng trực tiếp đến các hệ thống sản xuất xử lý hàng triệu truy vấn mỗi ngày. Mọi trường hợp kém hiệu quả hoặc thiếu chính xác trong API Tìm kiếm đều được cảm nhận ngay lập tức trong các sản phẩm phụ thuộc vào nó.

Nhờ đó, cơ sở hạ tầng của Parallel liên tục được tinh chỉnh và thử nghiệm thực tế dưới các yêu cầu thực tế của khối lượng công việc dựa trên tác nhân. Chìa khóa để hoàn thành nhiệm vụ hiệu quả cho một tác nhân nằm ở việc tối đa hóa tín hiệu đồng thời giảm thiểu nhiễu trong cửa sổ ngữ cảnh của nó. API Tìm kiếm Song song đảm bảo rằng các tác nhân nhận được ngữ cảnh được nén chặt, phù hợp nhất từ ​​web, nâng cao khả năng thực hiện nhiệm vụ một cách chính xác và hiệu quả.