ËÖ —
A Little Help from ËÖ
Project Overview Speech to SQL은 AI를 활용해 사용자의 자연어, 즉 말이나 글로 하는 질문을 컴퓨터가 이해할 수 있는 데이터 질의문으로 바꾸고, 그 결과를 표나 차트와 같은 시각화된 자료로 보여주는, 비전문가도 데이터를 쉽게 조회할 수 있게 도와주는 서비스입니다.
Productivity
생산성이라는 단 하나의 목적을 가진 ËÖ를 통해 프로젝트 성과를 더 명확하고 효과적으로 추적할 수 있도록 합니다.
Data Visualizing
SQL 쿼리문과 함께 데이터를 다각도로 분석하고 시각화해 제공합니다. 데이터를 표현하는 가장 적합한 방식을 ËÖ 스스로 판단해 결정하고, 시각화합니다.
X
X
Discover
What item should be selected, and why?
아이디어를 수집하는 과정
Idea Research
조직의 미션을 바탕으로 아이디어 기준을 세우고, 적합한 아이디어를 수집합니다. 조직의 미션은 8주 동안 그룹의 기술력을 담은 서비스를 개발하고, 기업 인지도를 확산시켜 더 큰 사업 기회의 발판을 마련하는 것입니다.
그룹이 가진 기술력을 활용할 수 있는지, 8주의 기간 동안 개발하기에 적합한 재화와 시간이 소모되는지, 해결할 수 있는 문제인지, 우리가 해결해야 할 문제인지와 같은 기준을 바탕으로 Field Research, Desk Research, 그리고 Client Meeting을 진행합니다.
Discover
What item should be selected, and why?
아이디어를 선정하는 과정
Y Combinator의 아이디어 평가 지표를 참고한 FEVER's Score
FEVER's Score
100개의 아이디어에서 10개의 아이디어를 선정하는 과정을 거칩니다. Y Combinator의 아이디어 평가 지표를 참고해 내부 아이디어 평가 지표(FEVER's Score)를 수립합니다.
사용자가 실제로 겪고 있는 문제인지(Problem-Solution Fit), 다른 사용자도 겪고 있는 문제인지(Market Size), 해결할 수 있는 문제이며 해결해야 하는 문제인지(Execution), 기존 아이디어보다 단 하나라도 나은 점이 있는지(Creativity)의 관점에서 아이디어를 평가합니다.
FEVER's Score는 Y Combinator의 아이디어 평가 지표를 참고해 만들어졌습니다. 이미 시장성과 사업 확장성 면에서 검증된 메트릭이라고 판단했기 때문이죠. Creativity의 경우 주관적 요소가 강한 지표임을 인지하고 있었기 때문에, 전사 구성원을 대상으로 설문조사를 진행해 최대한 많은 정량적 데이터를 확보하고자 했습니다.
Discover
What item should be selected, and why?
단 하나의 아이디어를 선정하는 과정
최종 아이템 선정 과정
최종 아이디어 선정
마지막으로 최종 아이디어를 선정하는 과정을 거칩니다. 시장에서 이 아이디어를 얼마나 필요로 하는지(시장 반응), 개발까지의 기간이 얼마나 걸리는지(개발 기간) 단 두 가지의 지표를 바탕으로 평가합니다.
시장 반응에 대한 지표는 사업부의 미팅 기록을 통해, 개발 기간에 대한 근거는 기술적 난이도 평가(Technical Complexity Assessment)와 MosCow(Must, Should, Could, and Won't)를 통해 평가합니다.
이 모든 과정을 거쳐 AI를 활용해 사용자의 자연어를 컴퓨터가 이해할 수 있는 데이터 질의문으로 바꾸고, 그 결과를 표나 차트와 같은 시각화된 자료로 보여주는 Speech to SQL이 선정되었습니다.
Problem Statement
What are the main problems we have to solve?
사용자 문제를 확인하고 정의하는 과정
Speech to SQL 관련 사업부 미팅기록
한국투자증권 디지털혁신본부와의 미팅 기록입니다. 미팅 기록에서 다음과 같은 네 가지 문제에 주목했습니다.
1. 데이터 산출에 대한 현업들의 이해도가 높지 않다.
2. 사용자의 언어로 이해하기 쉬운 데이터 산출 컴포넌트 환경을 구상 중이다.
3. 현업들의 데이터 접근성을 향상시킨다.
4. 보고서에 활용된 산출 데이터를 해석하는 데 여전히 어려움이 많다.
Problem Statement
What are the main problems we have to solve?
사용자 문제를 확인하고 정의하는 과정
현업에서 데이터를 조회하는 과정
Voice of User
사용자는 어떻게 데이터를 요청하고 받는지, 그 과정에서 어떤 어려움을 겪고 있는지 확인합니다. 마케터는 지난 달에 진행했던, 캠페인 성과를 알고 싶어합니다. 캠페인 전환율, 클릭율을 알고 싶다는 내용을 작업지시서에 작성하고 데이터분석가에게 요청합니다. 그러나 데이터분석가는 본인의 업무를 처리한 후 한참 뒤, Attribution 모델이 무엇인지 정의해달라고 작성 후, 요청을 반려시킵니다. 마케터는 Attribution 모델 정의가 무엇인지 알지 못합니다.
이러한 과정이 수차례 반복되고 결국 마케터는 데이터분석가에게 전화를 걸어 필요한 데이터를 요청합니다. 마케터는 데이터분석가로부터 데이터를 받아 보고서를 작성하고 해당 업무를 종결합니다.
Problem Statement
What are the main problems we have to solve?
문제 정의, 목표 설정, 핵심 가치
Problem & Vision Statement and Core Value
인터뷰 과정에서 확인한 세 가지의 문제점을 정의합니다.
첫 번째, 반복되는 요청과 데이터분석가의 업무 과다로 커뮤니케이션 비용이 증가합니다.
두 번째, 업무지시서 시스템이 있음에도 최종적으로 전화로 해결하기 때문에 업무상 맥락 손실이 생기고 있습니다.
세 번째, 커뮤니케이션 비용 증가와 업무 맥락 손실로 인해 데이터 검증할 수 있는 과정이 누락되고, 데이터에 대한 사용자의 신뢰도가 저하됩니다. 사용자는 업무를 주도적으로 처리할 수 없습니다.
데이터를 다룰 줄 모르는 사람도 쉽게 데이터를 열람하고, 쉽게 데이터를 해석하며, 효율적으로 데이터를 활용할 수 있는 서비스 설계를 Vision Statement로 설정합니다. Vision Statement를 달성하기 위해 Ease to use(쉽게 데이터를 열람), Effective(커뮤니케이션 비용 최소화), 그리고 Reliable(답변 신뢰) 세 가지를 핵심 가치로 설정합니다.
User Persona
Who are we solving these problems for?
In-Depth-Interview
가상의 사용자, 김지수
데이터를 조회해야 하는 사용자의 문제를 더 자세하게 들여다보기 위해 사용자 페르소나를 설정합니다. 사용자 김지수는 온라인 마케팅을 통해 다양한 금융 상품을 홍보하는 2년차 마케터입니다. 최근에는 캠페인 성과를 분석하고, 그 결과를 바탕으로 다음 마케팅 전략을 수립하는 업무를 맡고 있습니다. 그녀의 주요 목표는 네 가지입니다.
첫 번째, 이번 캠페인의 성과 데이터를 빠르고 정확하게 확보하는 것입니다.
두 번째, 지난 캠페인과 비교해 어떤 채널, 어떤 시간대, 어떤 고객층에서 반응이 더 좋았는지를 분석하는 것입니다.
세 번째, 그 결과를 바탕으로 가장 효과적인 채널이 무엇인지 판단하는 것입니다.
네 번째, 다음 캠페인 기획에 적용할 수 있는 명확한 방향성과 근거를 마련하는 것입니다.
하지만 김지수가 이 업무를 수행하는 데에는 분명한 어려움이 존재합니다. 마케팅 기획과 성과 분석을 위해 데이터 접근은 필수적이지만 데이터 분석 역량이 부족합니다. 그리고 데이터를 요청하는 과정이 비효율적입니다.
필요한 데이터를 분석가에게 요청했다가, 반려되고, 다시 요청하는 반복적인 커뮤니케이션 때문에 시간을 많이 소모하게 됩니다. 그리고 전화로 해서 데이터를 요청하기 때문에 업무상 맥락 손실을 가지고 있습니다.
결과적으로 김지수는 성과를 분석하고 보고서를 작성하는 데 시간과 에너지를 과도하게 소모하고 있으며, 이로 인해 다음 캠페인 기획에도 영향을 받고 있는 상황입니다.
User Journey Map
Who are we solving these problems for?
In-Depth-Interview
사용자 김지수가 태스크를 수행하는 여정
사용자 김지수의 문제를 더 깊게 들여다보기 위해 사용자 여정 지도를 작성합니다. 사용자 김지수는 신규 고객 유치 캠페인을 마치고, 이전 캠페인과 비교 분석해 결과 보고서를 작성하려 합니다.
데이터 분석가에게 데이터를 요청하는 3단계에서 요청이 반려되는 4단계로 접어들 때, Satisfaction Level이 급격하게 낮아지는 것을 확인할 수 있습니다.
데이터 분석가에게 전화를 걸어 문제를 해결하는 5단계에서부터 기존 사용자의 목표가 바뀐 것을 확인할 수 있습니다. 지난 캠페인과 이번 캠페인 성과를 분석해 보고서를 작성하는 업무에서 단순히 최대한 빨리 데이터를 받고, 최대한 빨리 내용을 정리해서 보고서를 작성해야 하는 것으로 바뀐 것을 확인할 수 있습니다.
가장 느리고, 막히고, 효율이 떨어지는 병목 구간이 3단계에서 시작합니다. 사용자 김지수는 다음 업무를 진행할 수 있는지, 없는지에 대한 불확실성을 가지고 있는 구간입니다. 업무지시서가 반려될 수도 있다는 불안감을 가지고 업무를 수행해야 하며, 실제로 반려될 경우 불필요한 과정을 반복적으로 거쳐야 합니다.
Service Requirements
What we need to solve these problems?
발견한 문제들을 해결하고, Vision Statement를 달성하기 위한 요건 정리
사용자 문제를 해결하기 위한 필수 요건 정리
지금까지 발견한 문제들을 해결하고, Vision Statement를 달성하기 위해, 서비스에 필요한 요건들을 정리합니다.
Ease to use
앞서 데이터를 요청하는 3단계에서 병목이 시작된다는 점을 주목해봤을 때, 사용자는 서비스를 쉽게 사용할 수 있어야 합니다. 또한, 작업지시서를 작성하고 반려되는 불확실성과, 불필요한 시간을 없앰으로써 간편하게 데이터를 확인할 수 있어야 합니다.
마케터와 데이터분석가 각자가 사용하는 용어가 다르기 때문에 그 의미를 해석하는 데에 소모되는 시간을 줄여야 합니다. 그렇기 때문에 사용자는 쉽게 자연어로 질문한 후, 결과를 얻을 수 있어야 합니다. 그리고 데이터에 대해 잘 모르는 사용자도 데이터를 해석할 수 있는 게 목적이기 때문에 시각화된 데이터를 함께 제공해야 합니다.
Effective
전화를 통해 최종적으로 데이터를 전달받는 사용자는 그 데이터가 어떤 과정을 거쳐 나오게 되었는지에 대한 이해도가 떨어지기 때문에, 사용자는 어떤 질문을 물어 데이터를 받았고, 반대로 도출된 데이터가 어떤 내용의 질문을 담고 있는지 알 수 있어야 합니다. 사용자가 질문을 고도화해가며 데이터를 받을 경우까지 고려해보았을 때, 질문을 발전시켜온 과정을 확인하기 위해서는 내용을 선형적으로 담을 수 있는 Chat Interface를 사용하는 것이 적합합니다.
Reliable
AI가 답변한 내용을 신뢰할 수 있도록 기술적 요소와 도출된 코드를 제공합니다. Parallelization, Few-Shot Prompting, 그리고 Evaluator와 같은 기술들을 적용합니다.
User Scenario
Who, when, and for what purpose
어떤 사용자가, 언제, 어떤 목적으로 Speech to SQL을 사용할까
사용자 시나리오
어떤 사용자가, 언제, 어떤 목적을 가지고 Speech to SQL을 사용할 것인지에 대한 시나리오를 작성합니다.
사용자 김지수는 캠페인 성과 보고서를 신속하게 작성해야 하는 상황에서, 반복적인 요청과 높은 커뮤니케이션 비용으로 인해 데이터를 얻는 데 평균 5시간이 소요되는 비효율을 경험하고 있으며, 이를 해결하기 위해 별도의 요청 없이도 즉시 데이터를 조회하고 분석할 수 있는 환경을 통해 업무의 자율성을 확보하고 전반적인 업무 생산성을 향상시키고자 Speech to SQL을 사용하려 합니다.
Service Prototype
Onboarding Flow
서비스 프로토타입
1. 질문 방법 선택
사용자 김지수가 Speech to SQL을 사용하는 첫 단계입니다. 사용자 김지수는 이번 캠페인의 성과와 지난 분기 캠페인 성과 비교를 위해 Speech to SQL 서비스를 사용합니다. 음성과 텍스트로 질문할 수 있습니다.
2. 사용자 질문
김지수는 이번 분기 캠페인 신규 가입자 수, 채널별 유입 수, 채널별 전환율, 반응이 가장 높았던 요일과 시간대와 같은 지표를 얻고자 합니다. 이 네 가지를 Speech to SQL에게 질문합니다.
3. Speech to SQL 응답 준비
Speech to SQL은 김지수의 질문을 분석하고, 관련 데이터를 찾기 위한 작업을 수행합니다. 화면에는 로딩 상태가 표시됩니다.
4. Speech to SQL 응답 - 1
Speech to SQL은 해당 질의에 맞는 데이터를 조회하여 SQL 쿼리문을 생성합니다.
5. Speech to SQL 응답 - 2
SQL 쿼리문과 함께 분석된 결과를 사용자에게 전달합니다. 추가로 Speech to SQL은 지난 분기와의 비교도 가능하다는 안내를 제공합니다.
6. 사용자 질문(비교 요청)
김지수는 지난 캠페인과의 성과를 한눈에 비교하고자 지난 분기 캠페인과 이번 분기 캠페인 상과를 나란히 분석해달라고 다시 요청합니다.
7. 비교 요청에 대한 Speech to SQL 응답 - 1
Speech to SQL은 두 시점의 캠페인 데이터를 데이터베이스에서 조회하여 SQL쿼리문으로 응답합니다.
8. 비교 요청에 대한 Speech to SQL 응답 - 2
또한, 조회한 데이터를 비교 분석하여 사용자에게 전달합니다. Speech to SQL은 데이터를 직관적으로 확인할 수 있도록 시각화한 자료를 제공할 수 있다고 응답합니다.
9. 사용자 질문(시각화 요청)
김지수는 데이터를 보다 쉽게 이해하기 위해 그래프나 차트 형식의 시각 자료를 요청합니다.
10. 시각화 요청에 대한 Speech to SQL 응답
Speech to SQL은 “시각화”라는 말을 인식해 두 캠페인의 주요 성과 지표를 시각적으로 비교할 수 있는 차트를 생성하고, 그 결과를 김지수에게 응답합니다.
11. 사용자 시각화 자료 확인
Speech to SQL은 “시각화”라는 말을 인식해 두 캠페인의 주요 성과 지표를 시각적으로 비교할 수 있는 차트를 생성하고, 그 결과를 김지수에게 응답합니다.
Usability Test & Interview
QnA & Feedback
전사 구성원 대상 | 고객사 대상
고객사 대상 첫 번째 프로토타입 인터뷰 기록
전사 구성원 대상
첫 번째 프로토타입에 대해 전사 구성원을 대상으로 사용성 테스트(Usability Test)를 진행합니다. 테스트 결과 다음과 같은 서비스 개선에 필요한 문제점들이 도출되었습니다.
1. 사용자 질문에 응답하는 데까지 걸리는 지루한 시간
2. 데이터 자동 시각화
3. 질문을 고도화해 나가는 다양한 방법
고객사 대상
첫 번째 프로토타입에 대해 고객사를 대상으로 인터뷰를 진행합니다. 인터뷰 결과 다음과 같은 Q&A와 피드백을 받았습니다.
QnA
Q: AI가 금융 용어, 예를 들어 “선물”처럼 중의적인 단어를 금융 문맥에 맞게 이해할 수 있는가?
A: 예시 학습을 통해 문맥에 맞게 해석 가능.
Q: 복잡한 질문에 대해 AI가 정확하고 신뢰할 수 있는 데이터를 제공할 수 있는가?
A: 기대치에 부합하는 결과를 만들기 위해서는 고객사 데이터를 바탕으로 테스트를 진행해야
합니다. 더 정확한 테스트 결과를 위해 데이터와 테이터 구조 정보 등이 필요합니다.
Feedback
시각화된 데이터를 문서화 형태 받는 것은 부정적.
자사 양식이 존재하고, 결과에 대한 레포트 작성마저 AI에게
맞기는 상황에 대해서는 부정적.
중요한 것은 데이터를 얼마나 쉽고, 빠르고, 정확하게 찾냐는 것.
Round 2: Discover
What are the problems we still have to solve?
문제 재정의
전사 구성원, 고객사 대상 피드백을 통한 문제 재정의
1. 평균 30초의 응답시간
Speech to SQL 첫 번째 프로토타입은 사용자의 질문에 응답하는 데에 평균 30초가 소요되어 응답 대기 시간이 지루합니다. 또한, 반복적이고 정보가 없는 Loading Dots Animation은 사용자에게 인지적 피로를 유발합니다.
2. 자동적으로 이루어지지 않는 데이터 시각화
사용자는 기본적으로 SQL에 익숙하지 않은 사람입니다. 데이터에 대한 해석이 함께 제공되어도 직관적으로 이해하는 것이 어렵습니다.
3. 문서화된 형태로 받는 데이터 시각화
고객사에는 자사 양식이 존재하기 때문에, 문서화된 형태로 데이터를 받는 것보다, 데이터를 빠르게 열람하고, 활용할 수 있는 방법이 더 적합합니다. 또한, 결과 레포트 작성마저 AI에게 맞기는 상황에 대해서는 부정적인 반응입니다.
4. 질문을 고도화할 수 있는 방법
Speech to SQL은 질문을 고도화할 수 있는 참고 정보를 함께 제시하지만, 사용자가 주도적으로 탐색할 수 없어 질문의 방향이 시스템 중심으로 흐르거나, 원래의 관점과 맥락에서 벗어날 가능성이 있습니다.
Solution
How to solve the problems we redefined?
재정의한 문제의 해결 방법 제안
재정의한 문제들에 대한 솔루션
1. 평균 30초의 응답시간
Speech to SQL은 사용자의 질문에 답변을 생성하는 평균 30초의 시간 동안 사용자에게 영감을 주는 글, 차분한 마음을 유지할 수 있는 짧은 글을 노출합니다.
UXDA Corebank UX Design Case Study에 따르면 동기부여(Motivation)와 긍정적 정서 상태는 업무 생산성을 높이는 데에 중요한 역할을 합니다. 사용자에게 영감을 주는 글과 차분한 마음을 유지할 수 있는 짧은 글을 통해 창의성, 집중력을 높이고, 업무 생산성을 향상시킬 수 있습니다.
2. 자동적으로 이루어지지 않는 데이터 시각화
첫 번째 프로토타입에서는 “시각화"를 명시해야 데이터 시각화가 가능했지만, SQL에 익숙하지 않은 사용자를 위해 질문에 맞는 SQL과 데이터 시각화 자료를 함께 제공하는 방식이 Core Value 중 하나인 “Effective”에 더 적합합니다.
3. 문서화된 형태로 받는 데이터 시각화
문서화된 형태(Pdf)로는 이미지를 개별적으로 활용하기 어렵기 때문에, 시각화된 데이터 이미지를 낱개로 제공하고 바로 다운로드해 활용할 수 있도록 개선합니다.
4. 질문을 고도화할 수 있는 방법
“추천 키워드"를 통해 사용자가 필요한 데이터를 스스로 판단하고 탐색하게 도와주며, 사용자는 데이터 조회와 분석 과정을 보다 주도적으로 수행할 수 있습니다.
추천 키워드는 코사인 유사도(Cosine Similarity) 기반 텍스트 유사도 계산 방식을 통해 도출합니다. ‘의미적 근접성’이 항상 ‘목적 적합성'을 보장하지는 않기 때문에, 단순 유사도 계산이 아닌, 사용자 질문 의도를 기반으로 유사도를 필터링하는 방식을 적용합니다. 이 과정에서 Few-Shot Prompting 기술이 적용합니다.
Final Service Prototype
Onboarding Flow
전사 구성원 대상 | 고객사 대상
1. 질문 방법 선택
사용자 김지수가 Speech to SQL을 사용하는 첫 단계입니다. 사용자 김지수는 이번 캠페인의 성과와 지난 분기 캠페인 성과 비교를 위해 Speech to SQL 서비스를 사용합니다. 음성과 텍스트로 질문할 수 있습니다.
2. 사용자 질문
김지수는 이번 분기 캠페인 신규 가입자 수, 채널별 유입 수, 채널별 전환율, 반응이 가장 높았던 요일과 시간대와 같은 지표를 얻고자 합니다. 이 네 가지를 Speech to SQL에게 질문합니다.
3. Speech to SQL 응답 준비
Speech to SQL은 김지수의 질문을 분석하고, 관련 데이터를 찾기 위한 작업을 수행합니다. 화면에는 사용자에게 차분하고, 동기부여를 위한 메세지가 노출됩니다.
4. Speech to SQL 응답 - 1
Speech to SQL은 해당 질의에 맞는 데이터를 조회하여 SQL 쿼리문을 생성합니다.
5. Speech to SQL 응답 - 2
SQL 쿼리문과 함께 데이터를 해석한 결과, 그리고 시각화된 결과를 함께 응답합니다.
6. Speech to SQL 응답 - 3
Speech to SQL은 사용자가 질문한 내용 외에도 “이런 지표도 함께 보면 좋겠다"는 분석 관점의 제안으로 추천 키워드를 제공합니다.
7. 추천 키워드 선택
사용자 김지수는 Speech to SQL이 응답한 추천 키워드 중 지난 분기 캠페인 성과 비교를 선택합니다.
8. 비교 요청에 대한 Speech to SQL 응답 - 1
Speech to SQL은 두 시점의 캠페인 데이터를 데이터베이스에서 조회하여 SQL쿼리문으로 응답합니다.
9. 비교 요청에 대한 Speech to SQL 응답 - 2
또한, 조회한 데이터를 비교 분석하여 사용자에게 전달합니다. 비교 분석한 결과를 시각화한 이미지도 함께 응답합니다.
10. 시각화 데이터 확인
김지수는 지난 캠페인과 이번 캠페인 성과를 비교한 데이터를 확인 후 필요한 이미지를 다운로드해 보고서에 활용합니다.
ËÖ Service Promo Video
A Little Help from ËÖ
ËÖ를 한눈에 이해할 수 있는 방법
Speech to SQL의 UX 디자인 뿐만 아니라, Keynote, 고객사 제안서 등 대내외적으로 공개되는 모든 결과물에 대해 Visualization을 담당했습니다. ËÖ Service Promo Video는 사업부 팀원들의 Sale Kit의 한 부분으로, 사업 제안서와 함께 고객사에 전달되었습니다.
ËÖ Service Promo Video는 2개의 파트로 구성되어 있습니다. 첫 번째 파트에서는 ËÖ의 서비스 소개, 두 번째 파트에서는 ËÖ의 Technology를 소개합니다.
Appendix
Onboarding Flow
전사 구성원 대상 | 고객사 대상