Reranker

ANNS

KNN 기술이 실시간으로 사용하기에 너무 버거울 경우을 대비하여 나온 기술이다.

A - Approximate 를 의미하며 정확성을 조금 낮추어 속도를 챙기 기술

트리구조형식(KD-Tree), 해싱형식(LSH), 그래프 형식(HNSW)으로 나누며 적용할 수 있다.

https://blog.naver.com/sw4r/222224817264 - LSH방식 정리된 내용

[Data Mining] Locality Sensitive Hashing (LSH) 이란?

 

 

이러한 방식들을 이용하여 보다 빠르게 문서들을 검색한다.

관련 기술로는 https://github.com/facebookresearch/faiss

GitHub - facebookresearch/faiss: A library for efficient similarity search and clustering of dense vectors.

 

elasticSearch에서도 Ann,Knn 를 변경하면서 사용할수 있다.

reRanker란?

RAG의 성능을 높이기 위해 좋은 품질의 문서를 검색하기 위한 알고리즘이다.

반환되는 문서의 양을 늘리게 되면 LLM이 처리해야되는 수가 많아지기떄문에 부적절하다.

 

RAG의 성능을 높이기 위해 일반적으로 검색된 문서에서도 높은 순위를 가지고 있어야 좋은 결과가 나오기 떄문에 이 과정에서는 되게 중요하게 작용한다.

그리하여 어떤형식으로 문제를 해결하는가?

 

기존의 방식인 BI-Encoder 방식을 사용하지 않고 Cross-Encoder 방식을 사용하게 된다.

이 방식은 하나의 문서에서 각각 encoder를 뽑아서 진행하는 BI 방식 말고

질문과 문서를 동시에 입력으로 받아 상호작용을 분석하여 더 정밀한 유사도를 계산한다.

단점

이 방식은 모든 문서에 대한 연관성을 파악해야 하기 떄문에 시간이 오래걸리게 된다. 대략 대규모 데이터셋에서 50시간 이상 걸렸다.

https://aws.amazon.com/ko/blogs/tech/korean-reranker-rag/

한국어 Reranker를 활용한 검색 증강 생성(RAG) 성능 올리기 | Amazon Web Services

 

결론

그래서 이런방식으로는 성능을 높이지는 못하고

기존의 BI 방식으로 검색을 하고 그 안에서 reRanker를 통해서 중요도를 선점한다.

그래서 다양하게 라이브러리에서 다양하게 reRanker 기능을 제공해주고 있다.

궁금한 내용

RAG기술 관련되서 검색의 품질을 높이기 위해 Raptor 기술에 대해 알아보았는데,

Raptor 기술과는 어떻게 다른지 궁금하게 되었다.

https://github.com/profintegra/raptor-rag

GitHub - profintegra/raptor-rag: The official implementation of RAPTOR: Recursive Abstractive Processing for Tree-Organized Retr

 

구분 Raptor Reranker

목표	문서의 계층적 구조를 활용해 정밀한 검색	초기 검색 결과의 순위를 재정렬해 관련성 최적화
작동 방식	계층적 요약/클러스터링으로 세부 정보 검색	Cross-Encoder로 질문-문서 유사도 재평가
계산 비용	전처리 및 인덱싱 비용 높음	Cross-Encoder로 인해 재정렬 단계에서 비용 높음
복잡성	문서 구조화 및 클러스터링으로 구현 복잡	Bi-Encoder 후 Cross-Encoder 적용으로 비교적 단순
적합 상황	복잡한 문서 구조, 대규모 데이터셋에서 세부 검색	초기 검색 후 문서 순위 최적화

 

reRanker 기술이 좀더 범용성 있는 기술

Raptor기술은 더 복잡한 경우에서 사용되는 기술이다.