질문
혹시 LLM이 아닌 일반 챗봇, 쓸만하다고 생각하시나요?
저는 개발자는 아니고 기획자인데, 챗봇 기획쪽으로 꾸준히 일을 하고 있어요.
하지만 만드는 입장에서 봐도 솔직히 GPT부터 시작된 대 AI 시대 이후로는 궁금한 게 있으면 LLM 챗봇에 물어보지 특정 기업의 챗봇에 물어보게 되지는 않더라구요.
좀 더 솔직히 말하자면 그 전에도 어차피 챗봇에 물어봐서 얻을 수 있는 정보는 홈페이지나 FAQ 게시판 등에 충분히 있고, 정말 궁금한 점이 생겼을 때에는 챗봇은 해결할 수 없다는 걸 이미 알고있으니까 바로 상담원 연결이나 게시판 질문으로 넘어가는 경우가 많았구요.
그렇다보니 긱뉴스를 보시는 분들, 그러니까 IT관련 업계에 종사 중이거나 관심이 많은 분들이라고 해야할까요?
그런 분들의 입장에서 실제 일상생활에서 LLM이 아닌 챗봇, 뭐 예를 들면 내가 쓰는 카드사, 은행사, 증권사에 질문이 있을 때 그 업체에 내장된 챗봇을 정말로 사용하는지, 사용할 때 이게 정말 '유용하다'고 느끼는 경우가 있는지... 그런 게 좀 궁금해졌어요.
여러분은 실생활에서 챗봇을 정말 활용하시나요? 써본 챗봇 중 괜찮은 챗봇이 있으셨나요?
개인적으로 직접 써본 챗봇 중에 만족했던 건 하나도 없었습니다.. 사람 대 사람 고객센터 연결을 하기위해 어쩔 수 없이 사용하는 경우가 많았어요.
격하게 공감합니다 ㅠㅠ 실질적으로 챗봇이 해결해줄 수 있는 문제가 별로 없는 것 같아요.
써본 챗봇들 문제가 깊이가 너무 얕아요, 단순 메뉴 링크 안내나 간단한 정보만을 제공하는데 제가 원하는건 문제의 해결이나 방법이지 그 부분은 깊이 못들어가더라구요. claude 나 codex 처럼 나 대신 승인까지는 아니더라도, 문제를 제시받고 파악했으면 어떤 경로를 통해 이 문제를 해결할 수 있다 없다가 나올텐데, 있다면 챗봇이 주도적으로 진행하고 사용자는 보고 승인하는 구조면 좀더 활용이 좋지 않을까 싶어요
결국 체계와 법이 기술력을 따라가지 못해서 그런 것 같아요.
현실적으로 고객 질의에 포함된 진짜 문제의 원인이 뭔지 찾고 해결방법을 제시하려면 어느정도 성능을 갖춘 LLM모델, 또는 고성능 GPU에 얹은 sLM 모델을 사용하고 유관 도구들에도 다 최소한 조회권한 정도는 연결해야 할텐데, 고영향 인공지능 사용에 대한 법령도 그렇고 개인정보보호법이나 기타 서비스 연동에 제약이 걸리는 법령들, 혹은 각 회사의 내부 규정들이 있다보니 이렇게 다양한 인간이 만든 규칙들이 변하는 속도가 기술의 발전속도를 따라가지 못하고, 결국 특정 기업의 맞춤형 제품보다는 상대적으로 규약이 덜하고 더 폭넓은 정보를 가지고있는 오픈모델들에 사용자가 쏠리는 느낌이라고 해야할까요?
기술과 현실 사이의 벽이 거의 이상과 현실 사이만큼이나 높게 느껴지네요ㅠㅠ
일반 챗봇은 찾아주기는 해도 Tool Calling까지 연결 되어 있는게 없어서 그런지, 결국 문제 해결까지는 못하더라고요.
대신에 이거를 챗봇이라고 말해도 되는지 모르겠지만요, AWS나 GCP에 붙어 있는 챗봇은 엄청 유용하다고 느꼈어요. 문제를 물어보면, 그거 분석해서 직접 Cloud 쪽 상태라, 로그 확인해서 실질적인 원인 파악과 문제 해결 방법을 알려줘서요.
사실상 챗봇이 얼마나 강력한 성능을 제공할 수 있느냐는 내가 챗봇에게 얼마나 많은 권한을 부여할 수 있는지, 챗봇이 사용자 승인 없이 직접 접근할 수 있는 정보와 사용할 수 있는 도구가 어떤 것들이 있는지에 따라 달라지는 느낌이네요.
현실적으로 개인이 '내가 가진 정보와 도구'에 대해 '내 챗봇'에게 허락해서 비서처럼 쓰는 것과 기업이 고객에게 제공할 때 기업에 내장된 데이터-고객의 정보를 포함한-와 도구에 기반해서 제공하는 것 차이의 성능격차는 정말 어쩔 수가 없네요ㅠㅠ
개발자들은 클로드/코덱스하고 대화하다가 다른 챗봇을 만나면 사실 좀 한숨나는 경우가 많은거 같아요.
물론 주위에선 실제로 지피티 안쓰는 사람들은 제미나이도 꽤 만족하셔서요. 그런 챗봇들도 나름 만족하지 않을까 생각도 듭니다.
저는 개발을 하는 입장은 아니라서 GPT랑 제미나이 둘 다 가장 저렴한 요금제(Go/Plus)로 맛만 보고 있는데, 코딩을 하는 수준이 아니라 이미지 분석을 하거나 간단한 웹페이지를 만들고 일부 수정하는 수준은 확실히 그 둘 정도로도 충분하더라구요.
물론 CodeX 쓰다가 일반 GPT로만 넘어가도 성능 격차가 느껴지긴 하지만 사실 내가 정말 그럴싸한 아웃풋을 만들어낼 게 아니라면 무료모델이나 가장 저렴한 모델정도로도 충분히 사용이 가능하니…….
하지만 기업에서 제공하는 챗봇을 사용할 때 고객이 기대하는 건 GPT나 제미나이가 해줄 수 없는, 그 기업만의 데이터를 활용한 무언가일텐데 그걸 만족시킬 수 있는 챗봇은 정말 어떻게 해야 나올 수 있을지 모르겠네요.
특히 미토스부터 해서 보안에 대한 이슈도 자꾸 터지다보니 국가 차원에서도 섣불리 기업들에 AI써도 된다, 고객정보 연동해도 된다 허가해주기가 어렵고 기업 입장에서도 리스크를 고려하지 않을 수 없는 것 같아요.
무슨 기술이든 과도기에는 어쩔 수 없는 일이긴 하지만 참 이론상의 기술력과 실제 서비스에서 그걸 활용할 수 있는 수준 사이의 격차가 너무 크네요ㅠ