사용자의 질문에 ËÖ가 답변을 내놓는 과정
ËÖ에는 크게 네 가지의 기술이 적용되어 있는데요, 바로 RAG, Few-Shot Prompting, Parallelization, 그리고 Evaluator입니다. RAG 시스템에 관련해서는 지난 두 개의 아티클을 통해 말씀을 드렸는데요, 이번 아티클에서는 Few-Shot Prompting, Parallelization, 그리고 Evaluator에 대해 자세히 알아보는 시간을 가져보려고 합니다.
Architecture of ËÖ
Few-Shot Prompting
Few-Shot Prompting 퓨샷 프롬프트
더 깊이 배우고, 더 섬세하게 전하다.
인공지능 학습에서 Shot은 예시(Example)을 뜻해요. 따라서 Few-Shot 몇 가지 예시를 뜻하죠. Few-Shot Prompting은 LLM이 소량의 예시만 보고도 패턴을 학습하고 응답을 생성하는 기술입니다. 기존 AI 시스템은 대량의 훈련 데이터를 필요로 했는데요, Few-Shot Prompting을 활용하면 최소한의 입력 만으로도 자연스럽고 유의미한 결과를 도출할 수 있어요.
ËÖ는 Few-Shot Prompting을 통해 사용자 질문에 대한 맥락을 더 빠르게 파악하고, 적절한 답변을 생성할 수 있도록 설계되었습니다. 특히, 특정 업무나 전문 분야에서 기존 데이터를 충분히 학습하지 않은 경우에도 몇 가지 예제를 제공하면, 최적화된 답변을 생성하는 것이 가능해지죠. 사용자의 질의 유형에 맞춰 점점 더 정교한 답변을 제공하는 것도 가능하답니다.
Parallelization
Parallelization 병렬처리
협업의 미학, 셋이서 맞드는 백지장.
Parallelization은 여러 개의 연산을 동시에 수행하여 응답 속도를 극대화하는 기술입니다. 일반적으로 AI 시스템은 요청을 순차적으로 처리하는 경우가 많은데요, ËÖ는 복수의 프로세스를 병렬로 실행하여 대기 시간을 최소화하고 있어요.
예를 하나 들어 볼게요. 금융사에 재직중인 직원이 “최근 6개월 동안 신규 계좌 개설 건수, 평균 예금 잔액, 그리고 대출 승인율을 분석해줘”와 같은 다중 데이터 분석을 요청할 때, 일반적인 AI 시스템은 먼저 신규 계좌 개설 건수를 계산하고, 이후 평균 예금 잔액을 계산한 다음, 대출 승인율을 계산합니다. 세 개의 쿼리를 순차적으로 실행하는 방식이죠.
정리하자면 Parallelization은 사용자가 하나의 복잡한 질의를 입력하면, 이를 여러 개의 작은 연산 단위로 나누고, 각 연산을 병렬로 처리한 후 최종적으로 통합된 답변을 제공하는 방식입니다. 이러한 최적화 덕분에 대량의 데이터를 실시간으로 분석하고 빠르게 결과를 반환할 수 있죠. 특히 다중 질의 응답이나 복합적인 검색 요청을 수행할 때 큰 장점을 발휘해요. ËÖ의 경우도 세 명의 LLM이 작업을 나누어 병렬적으로 처리하고 있는데요, 백지장도 세 명이 맞든다면 훨씬 가볍겠죠?
Evaluator
Evaluator 평가자