[개발] cohere rerank 3가 출시되었다는 소식을 듣고 사용해보았습니다

cohere는 멀티 랭귀지 모델인 rerank-multilingual-v3.0를 제공합니다. 덕분에 한국어도 지원합니다.

설치하기

pip install cohere

사용하기

공식 홈페이지에서 제공하는 샘플 코드에 있는 데이터를 한국어로 번역하여 테스트 해보았습니다.

import cohere

co = cohere.Client(os.environ["COHERE_API_KEY"])

docs = [
     "카슨 시티는 미국 네바다주의 주도입니다.",
     "북마리아나 제도의 연방은 태평양에 있는 섬들의 그룹입니다. 수도는 사이판입니다.",
     "워싱턴 DC(간단히 워싱턴 또는 D.C.라고도 하며 공식적으로는 컬럼비아 특별구라고도 함)는 미국의 수도입니다. 그것은 연방 지구입니다.",
     "사형(사형)은 미국이 국가가 되기 이전부터 미국에서 존재해 왔습니다. 2017 년 현재 사형은 50 개 주 중 30 개 주에서 합법적입니다.",
]
query = "미국의 수도는 어디인가요?";

results = co.rerank(
    model="rerank-multilingual-v3.0",
    query=query,
    documents=docs,
    top_n=3,
    return_documents= True,
)

for result in results.results:
    print(result)

응답결과

{'document': {'text': '워싱턴 DC(간단히 워싱턴 또는 D.C.라고도 하며 공식적으로는 컬럼비아 특별구라고도 함)는 미국의 수도입니다. 그것은 연방 지구입니다.'}, 'index': 2, 'relevance_score': 0.99999267}
{'document': {'text': '카슨 시티는 미국 네바다주의 주도입니다.'}, 'index': 0, 'relevance_score': 0.6552257}
{'document': {'text': '북마리아나 제도의 연방은 태평양에 있는 섬들의 그룹입니다. 수도는 사이판입니다.'}, 'index': 1, 'relevance_score': 0.17624585}

질의에 관련성이 가장 높은 문서가 맨상위에 배치된 것을 확인 할 수 있습니다.

참고

• Reranking - cohere docs
• Reranking Best Practices - cohere docs
• cohere rerank 3 출시 - 틸노트

_{Posted using Obsidian Steemit plugin}