LlamaIndex x 52g Connect Day를 다녀온 후기

지난 9월 26일에 “LlamaIndex x 52g Connect Day” 에 다녀왔습니다.

LLM, RAG 에 대한 강연이자, 사용경험 발표이면서 개발자 및 LLM 에 대해 관심있는 사람들의 커넥션을 도모하는 자리였습니다.

이 자리에서 얻은 많은 인사이트를 기록하고 관련 자료를 유튜브영상으로 공유받아 링크를 첨부합니다. (하단 레퍼런스 유튜브 링크 참고)

• 미르와 시티즌 디벨로퍼를 위한 개발 프로세스
• 한국어 LLM 이용엔 AutoRAG
• 결론
• 레퍼런스 링크

미르와 시티즌 디벨로퍼를 위한 개발 프로세스

52g 그룹사에서 LLM 을 이용한 사내 AI 프로덕트를 만들 때, 도메인 지식이 필요한 부분이 분명히 있다는 것 입니다.

특정 그룹(혹은 부서) 마다 업무 내용이 다르고 그에 대한 기반 지식이 다른 것인데, 개발자가 이 과정에 직접 참여하게 되면 공수 시간이 늘어남은 물론이고 퀄리티 또한 개발자의 편차를 그대로 적용받게 되겠죠.

이는 실제 프로덕트 개발과정의 고충과도 직접적인 연관이 있는 부분이라 더욱 공감되기도 했습니다.

이런 이슈를 보완하기 위한 방식으로 시티즌 디벨로퍼를 적극 활용하는 것에 초점을 둔 해결책은 바로 노코드 RAG툴 개발 이었고, 미르 라는 솔루션이 그 역할을 하고있었습니다.

개발자 없이 노코드 툴을 활용해서 LLM, 즉 AI 프로덕트를 개발하는 것이 해결책이었던 것 입니다.

사내 Gen AI 활용 프로세스를 설명들으니 더욱 쉽게 이해되었고, 과감하면서도 실용적인 아이디어라 개발 프로세스가 줄어듬에 감탄하게 되었습니다.

미르를 이용해 보지는 않았으나, n8n과 비슷한 UI&UX에서 더욱 그룹내 UX에 특화되고 진보된 서비스라고 생각되었습니다.

개발&비즈니스적인 관점에서 LLM 을 실제로 운영한 경험을 매우 재밌게 들을 수 있었던 부분 입니다.

특히 LLM 사용에 대한 Cost Save 가 평소에도 궁금했는데, lite LLM 을 사용해 랩핑도 하고 어떤 모델을 사용할지 선택권을 주는 부분이 흥미롭게 다가왔습니다. error 처리에 대해 llm 의 exception 부분 code 일부도 보여주셔서 흥미롭게 봤던 기억이 납니다.

개발자는 개발만 되지 않는다고 생각합니다. 그 생각이 ‘성능/비용/속도 중심으로 LLM 을 사용하며 비용이 얼마나 나오는지 정확히 파악해야한다’ 라는 강연 내용을 통해서 더 확고해졌습니다.

code level 에서 tracking 이 가능한 부분이 있다면 적극 활용하며 서버 사용량에 대한 부분을 더 까다롭게 관리해야 할 것 같습니다. (AI 특성상 비용이 비용이니만큼..)

한국어 LLM 이용엔 AutoRAG

한국어 이용자에 대한 RAG 평가와 최적화에 대한 내용이었고 AutoRAG 라는 라이브러리를 알게해준 강연이었습니다.

네이버와 업스테이지 도큐멘트 파서 같은 모델(OCR 모델)을 사용한 문서 파싱으로 한국어를 사용하는 프로덕트에 대한 문제를 다루기도 했습니다.

다만 OCR 모델을 그대로 사용하는 것은 cost가 많이 들기 때문에 중간에 테이블 디텍션 모델을 적용해, 테이블이 포함된 페이지는 고급 OCR을 사용하고, 표가 없는 페이지는 간단한 오픈소스 PDF 리더로 처리하는 방식으로 최적화 한 내용이 매우 흥미로웠습니다.

한국어 RAG 사용시에 전통적인 검색 모델을 고려할 필요가 있다고 설명합니다. 한국어 형태소 분석기와 같은 맞춤형 도구를 사용할 때 성능 차이가 발생할 수 있습니다.

RAG 성능 향상에 많이 도움을 받은 방법은 Rerank를 사용하는 것이라고 하셨는데, 한국어를 지원하는 리랭커로 Cohere 와 KoRerank 추천해주셨습니다. (KoRerank 보다 Cohere 를 추천..!?)

결론

7시쯤 진행된 이 행사는 꽤 규모가 크다는 느낌을 많이 받았습니다.

이 자리에 참석하고나서야 52g가 어떤 회사이며 오픈 이노베이션 GS(5pen 2nnovation GS) 라는 의미인 것도 알게 되었습니다. 무게와 관련이 있을거라는 생각이었는데, 그 뜻을 알고보니 굉장히 영어와 한글의 조화가 인상적인.. 이름이었다고 생각합니다.

체크인 후 크라이치즈버거에서 준비해주신 음식을 먹을 수 있었습니다.

버거를 먹으면서 편지를 읽으니, 마음이 훈훈해지는 느낌이 들어 강연 전에 기운을 얻은 것 같아 좋았습니다.

강연 내용에 대해 노트하고 내용을 정리하니 다시 한번 너무 유익한 시간이었다고 생각합니다.

자리는 공개적이었지만, 일부 프로덕트 솔루션에 대한 설명이 섞여있던만큼 포스트로 올리는 것에 대한 고민이 많았습니다. (그냥 추억으로 남겨놓고자 노션에 정리해두고 말아야지.. 라고 생각했습니다.)

그런데 , 52g의 병진님 께서 참석자 분들에게 메일로 강연에 대한 자료와 유튜브 영상도 만들어 링크도 보내주셨습니다.

레퍼런스 링크는 발표자료를 유튜브로 편집해 공유해 주신 부분입니다. 바쁘실텐데 이렇게 보내주시는것도 그렇고, 정말 대단하신 분이라는 생각이 듭니다.

여담으로 참석 베네핏으로 경품 추첨에서 티셔츠에 당첨되었습니다!

하지만 누구신지.. 제 상품을 대신 수령하셨고, 이에 대해 병진님께서 52g 팀 후드티를 대신 주셨습니다.

이 팀 후드티 받으러 가는길에 팔로워 임을.. 밝힐 수 있어서 좋았습니다.

또..짧았지만 예전에 같이 프로젝트를 했던 옛 동료분을 만나서 좋았습니다.

Pierre님의 영어로 강연한 시간에서 (영어 청취력 부족 이슈로 인한..)집중력이 많이 떨어져서 당시에 매우 아쉬웠었는데, 유튜브 영상이 올라와서 너무 좋았습니다.

강연 전에 llama deploy 에 대해 관심을 갖게되었는데, llamaindex 개발자분과 기념사진도 찍을 수 있어서 영광이었습니다.

기대 이상으로 많은 것을 느끼고 배울 수 있어서 좋은 자리였습니다.

레퍼런스 링크

• 허영수님 | 52g |Introduction & Gen AI Tech 최신 동향
• 강병진님 | 52g |LLM Builder를 활용한 AI Agent 개발 효율 개선
• 허훈님 | Liner |처음부터 다시 LLM 어플리케이션을 개발한다면
• 김동규님 | AutoRAG |한국어 Advanced RAG 평가와 최적화 방법
• Pierre-Loic Doulcet님 | LlamaIndex |Building an Advanced Knowledge Assistant
• AutoRAG