AWS Summit Seoul 2025 (온라인) 후기(5)

세션: 클라우드를 위해 구축되고 AI에 최적화된: MongoDB Atlas on AWS

태그: 입문자용 - 레벨 100, 데이터베이스, ai/ml, core service day 트랙

 

Atlas가 AWS에서 서비스하는 MongoDB였다니 시작부터 놀라운 정보...

NoSQL은 Redis만 써봤고 MongoDB는 이론만 잠깐 배우고 말아서 낯선데, 세션 레벨이 낮길래 냉큼 클릭했다.

내가 MongoDB에 대해 아는 것: NoSQL 데이터베이스임. 최근 주가가 200달러 안팎임. ㅋㅋㅋㅋㅋㅋ 이게 아는 게 맞나 싶다...

---

 

클라우드에 서비스하기 좋은 DB인 모양이다. 미션 크리티컬한 서비스에도 적용할 수 있는 안정적인 DB라고.

아 AI 데이터는 이미지, AR, 보이스 등을 다양하게 다루다보니 데이터가 플렉시블해서 NoSQL이 일반적인 RDBMS + SQL보다 적하합할 수 있겠다.

Atlas로는 데이터베이스 + 벡터 서치 + 백업 + 스트림 등의 다양한 기능을 통합적으로 제공하고 있다. (스텝 간소화)

임베딩 엔진은 일종의 사전과 같이 가지고 있는 데이터 중 의미론적으로 가장 유사한 응답을 내놓는 방식으로 서비스한다. MongoDB는 임베딩 데이터를 저장하고 검색하는 기능을 제공하고 있다.

임베딩 엔진에서 모든 데이터는 벡터화해서 저장하고 검색해야 되기 때문에, 데이터 저장소와 임베딩 데이터베이스가 필요하다. MongoDB는 하나의 통합 DB 안에서 벡터 데이터에 대한 다양한 기능을 제공한다. 즉, 별도의 데이터 동기화가 불필요하다.

원천 데이터와 그것을 통해 만든 벡터 데이터를 JSON문서를 통해 알아낼 수 있다. 하나의 임베딩 데이터 안에 원천 데이터와 벡터 데이터를 함께 저장할 수 있다는 의미다. 

예시가 흥미롭다. 여러 영화에 대한 소개글을 벡터화 시켜서 저장해두면 '가상의 캐릭터가 우주에서 전쟁하는 이야기'와 같이 모호하게 검색해도 그와 가장 의미론적으로 유사한 벡터 데이터를 가진 영화를 응답할 수 있다는 것이다. 정확한 키워드 매칭 없이도 의도에 가까운 응답값을 얻을 수 있다는 뜻이다.

AWS Bedrock을 활용한다고 하는데, 자세한 부분은 모르겠다. 일단 원천 데이터를 임베딩 엔진을 통해 벡터 데이터로 가공하여 저장해서 임베딩 데이터베이스를 구성한다. 검색 내용에 대해서도 마찬가지로 벡터 데이터를 만들고 서치 API를 사용하여 유사한 응답을 찾는다고 한다. RAG도 들어는 본 것 같은데 잘 모르겠다.

지식을 쪼개서 벡터화하여 저장하게 되면, 질문 데이터도 벡터화하여 유사한 값을 찾고, 그 모든 벡터 데이터를 LLM에 보내면 이를 토대로 응답을 생성한다고 한다. 할루시네이션(AI 정보의 부정확성 문제)은 확실히 감소할 것 같다. 특히 애플리케이션을 구성할 때, 보편적인 지식이 아니라 특정 전문 분야의 지식에 대한 답변을 해주는 AI를 상정하고 원천 데이터베이스를  그렇게 구성했다면, chatGPT 같은 일반적인 LLM보다 훨씬 의도에 가까운, 문맥에 맞고 전문적인 답변이 가능한 애플리케이션을 구현할 수 있어 보인다.

그게 RAG (Retrieval Augmented Generation) 개념과 무슨 상관인가 해서 잠깐 영상을 멈추고 찾아보니, RAG는 검색 증강 생성, 즉 학습된 데이터를 그대로 답변하는 것이 아니라 검색이나 베이스 데이터에 기반해서 적합한 응답을 생성해내는 기술이라고 한다. 직전 문단에서 생각한 기술이 RAG 그 자체였군 싶다.

Bedrock에 Atlas를 지정하면 데이터를 쪼개고(chunking) 벡터 데이터화 하여 저장하고 인덱싱하는 과정을 해준다는 모양이다. 이러한 결합이 질문을 지식 기반으로 만들어 답변하기에 가장 좋은 아키텍처라는 주장이다. 

오 기존 데이터베이스가 존재하는 구조치고 새로운 정보 업데이트도 어렵지 않은 것 같다. 하여튼 모호한 질문에 대해서도 썩 적합한 답변이 나올 수 있겠다는 것은 확실해보인다. AI 시장이 발달하면서 질문을 잘 하는 능력이 중요해졌다고 생각했는데, 사람들은 또다시 대충 질문해도 원하는 답변을 주는 기술을 만들고 있구나. 그게 보편적으로 유용하긴 하지.

키워드 검색과 벡터 검색이 결합되어 있는데다, 가중치 우선순위 부여를 통해 더 적절한 응답을 내놓는다는 건 큰 장점인 것 같다. 최근 아이폰에서 앱 서랍 검색 시, '음'만 치면 '음악'이 나오는데 '음악'을 치면 '음악' 앱이 안나온다는 웃긴 글을 봤는데, 유사한 벡터 데이터에만 의존하면 비슷한 일이 벌어질 수 있으나, 질문에 정확한 키워드가 있으면 키워드 검색에 자동으로 우선순위를 부여해서 해당 방향성으로 응답을 내놓는다니 Atlas에서 제공하는 LLM 임베딩 엔진은 그럴 일은 없겠다.

---

전반적으로 흥미로웠다. 새로운 개념도 몇 개 알아가는 군.

사이들 프로젝트를 하면서는 보통 RDBMS를 사용하다 보니 MongoDB를 써볼 기회가 없었는데 Atlas는 좀 궁금해졌다. 프리티어 없으면 안 써볼 것 같긴 하지만... 하여튼 AI 쪽은 진지하게 공부하고 싶은 마음은 별로 없어도 이렇게 가벼운 세션 같은 거 듣는 건 참 재밌는 것 같다. 근데 사실 모든 지식이 그래... 가볍게 들으면 뭐든 재밌음...