메타검색 엔진 · 객관적 성능 평가

Google + Naver + Daum + Brave RRF 통합이 단일 엔진보다 나을까?

네 검색엔진의 결과를 AI 알고리즘(RRF)으로 통합하면 단일 엔진보다 더 좋은 검색 결과를 제공하는지 LLM을 레이블러로 삼아 nDCG·MRR·P@5 지표로 객관 측정했습니다.

Google (Serper.dev) Naver webkr API Daum 검색 API Brave Search API RRF 통합 (4엔진)

—

알고리즘 설명

이전 방식 vs 현재 RRF 방식

두 엔진에 모두 등장한 결과 = 더 신뢰도 높음으로 판단해 점수를 올립니다.

이전 방식

단일 엔진 결과 그대로

1N나이키 공식 스토어

2N쿠팡 나이키 운동화

3N무신사 나이키

❌ 다음에 더 좋은 결과가 있어도 Naver만 보여줌

현재 방식 (RRF)

세 엔진 점수 합산 후 재정렬

1N나이키 공식 (N1+D2)0.0320

2D쿠팡 나이키 (N2+D1)0.0314

3N무신사 (N3+D3)0.0308

score = Σ w/(60+rank) (모든 엔진 w=1.0, 사용자 개인화로 조정)

여러 엔진 모두 상위에 오른 결과는 점수가 더 높아짐

✅ 3개 엔진의 장점을 모두 반영, 한국어 쿼리는 네이버 우선

📄 알고리즘 논문

Reciprocal Rank Fusion — 여러 검색 결과를 하나로 합치는 방법

Cormack, Clarke & Buettcher · SIGIR 2009 · 인용 1,800+ 회

구글, 네이버, 다음은 서로 다른 알고리즘으로 검색 결과를 정렬합니다. 이 논문은 각 엔진의 "순위(rank)"만 이용해 세 결과를 하나로 합치는 공식을 제안했습니다. 핵심 아이디어는 간단합니다 — "여러 엔진이 동시에 상위에 올린 결과일수록 진짜 좋은 결과일 가능성이 높다." 공식은 점수 = Σ 1/(60 + 순위) 입니다. 숫자 60은 상위권 결과의 점수 차이를 완만하게 해 극단적인 순위 하나가 전체를 좌우하지 않도록 해줍니다.

💡 메타서치가 이 논문을 쓴 이유: 구글은 영어·글로벌에, 네이버는 한국어에 강합니다. 두 엔진 모두 높이 평가한 결과는 언어에 상관없이 신뢰도가 높기 때문에, 단순 연결이 아닌 RRF 합산으로 최선의 결과를 제공합니다.

핵심 지표

4개 방식 nDCG@10 비교

0에 가까울수록 나쁨 — 1에 가까울수록 좋음.

Google

Naver 단독

Daum 단독

Brave 단독

RRF 통합 (우리 알고리즘)

📄 평가 지표 논문

nDCG (Normalized Discounted Cumulative Gain) — 검색 순위의 질을 숫자로 나타내는 방법

Järvelin & Kekäläinen · ACM TOIS 2002 · 정보검색 분야 역대 최다 인용 논문 중 하나

검색 결과는 단순히 관련 있는 게 몇 개냐보다, 관련 있는 결과가 얼마나 앞에 나오느냐가 더 중요합니다. 1위에 쓰레기 결과가 있으면 사용자는 금방 포기합니다. nDCG는 이 "순위 패널티"를 수식으로 반영합니다 — 좋은 결과가 1위에 있으면 점수가 높고, 5위에 있으면 낮습니다. 마지막으로 "이론상 최고 점수"로 나눠 0~1 사이 숫자로 표준화(Normalize)합니다. 값이 1에 가까울수록 완벽한 순서, 0에 가까울수록 순서가 엉망이라는 뜻입니다.

💡 nDCG@10이란? 상위 10개 결과만 평가합니다. 실제로 대부분의 사용자는 첫 페이지(10개)만 보기 때문입니다.

RRF가 단일 엔진 대비 얼마나 개선됐나? (nDCG@10 기준)

* RRF = 4엔진 통합. 단일 엔진보다 커버리지와 합의도 면에서 우위.

📄 보조 지표

MRR (Mean Reciprocal Rank) & P@5 — 얼마나 빨리 좋은 결과를 만나는가

MRR: TREC QA Track 1999 (Voorhees) · P@5: 정보검색 표준 지표

MRR은 "처음으로 관련 있는 결과가 몇 번째에 등장하나"를 측정합니다. 1위에 바로 나오면 MRR=1.0, 2위에 나오면 0.5, 3위면 0.33 식으로 떨어집니다. 검색 속도감, 즉 "얼마나 빨리 답을 찾을 수 있나"를 나타냅니다.
P@5는 상위 5개 결과 중 관련 있는 것의 비율입니다. MRR이 "첫 번째 답"에 집중한다면, P@5는 "처음 5개를 훑어봤을 때 얼마나 쓸모 있나"를 봅니다. 세 지표를 함께 보면 순위의 질을 다각도로 검증할 수 있습니다.

💡 세 지표가 일치할수록 결과의 신뢰도가 높습니다. RRF가 세 지표 모두에서 앞선다면, 단순히 운이 아니라 구조적으로 더 나은 알고리즘이라는 의미입니다.

nDCG@10

관련 결과가 상위에 올수록 높음 (0~1)

MRR

첫 번째 관련 결과의 순위 역수

P@5

상위 5개 중 관련 결과 비율

쿼리별 nDCG@10 상세 —

쿼리	카테고리	AI레이블	Google	Naver	Daum	Brave	RRF ★	최고

📄 AI 평가 방법론

LLM-as-a-Judge — 대형 언어 모델을 평가자로 활용하기

Zheng et al. "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" · NeurIPS 2023 | Faggioli et al. "Perspectives on LLMs for Relevance Judgment" · ICTIR 2023

기존에는 검색 결과의 관련성을 사람이 직접 하나하나 평가해야 했습니다(이를 "레이블링"이라 함). 하지만 수백 개의 결과를 매번 사람이 평가하면 비용이 막대합니다. 2023년 연구들은 GPT-4 같은 대형 언어 모델(LLM)이 사람 평가자와 80% 이상의 일치율을 보인다는 것을 발표했습니다. 메타서치는 이 연구를 바탕으로 Groq의 Qwen3 모델을 레이블러로 활용해, 각 검색 결과를 0(무관련) · 1(부분관련) · 2(매우관련)으로 자동 채점합니다. 이를 통해 사람 평가자 없이도 신뢰할 수 있는 검색 품질 측정이 가능해졌습니다.

💡 AI 레이블링은 완벽하지 않습니다. 아래 표에서 "AI레이블" 열이 낮은 쿼리는 AI가 관련성 판단에 실패했을 가능성이 있습니다. 실패율이 높으면 결과 신뢰도가 떨어질 수 있습니다.

결론

핵심 발견

평가 오류

Google + Naver + Daum + Brave RRF 통합이 단일 엔진보다 나을까?