피지컬 100과 묘하게 닮아있는 독파모
최근 독자 AI 파운데이션 모델, 이른바 ‘독파모’의 2차 단계평가 결과를 보면서 조금 이상하다는 생각이 들었습니다.
LG AI연구원, SK텔레콤, 업스테이지가 다음 단계에 진출했고 모티프테크놀로지스는 탈락했습니다. 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성되고, 각 항목의 점수를 종합해 다음 단계 진출팀을 가리는 방식입니다. 그런데 세부 결과를 보면 한 팀이 모든 영역을 압도한 것은 아니었습니다.
- 글로벌 AI 모델 성능 평가인 AAII에서는 모티프테크놀로지스가 가장 높은 평가를 받았고
- NIA 자체 벤치마크에서는 SK텔레콤이 1위였으며
- 전문가 평가에서는 LG AI연구원이 가장 높은 점수를 받았습니다.
- AI 전문 사용자 평가에서는 SK텔레콤이, 일반 국민 평가에서는 LG AI연구원이 가장 높은 평가를 받았습니다.
즉 각 팀이 잘하는 영역이 분명히 달랐는데, 마지막에는 이 차이를 하나의 종합평가 안에서 다시 비교해 다음 단계 진출 여부를 결정합니다.
저는 이걸 보면서 넷플릭스의 ‘피지컬 100’과 ‘피지컬 아시아’가 떠올랐습니다. 피지컬 100의 목적은 가장 강한 한 사람을 찾는 것입니다. 근력, 지구력, 순발력, 민첩성처럼 서로 다른 능력을 평가하더라도 결국 한 사람이 여러 미션을 통과하며 마지막까지 살아남아야 합니다. 반면 팀으로 경쟁한다면 같은 평가도 의미가 달라집니다. 근력이 필요한 경기에는 근력이 강한 선수가 중심이 되고, 지구력이 중요한 경기에서는 또 다른 선수가 중심이 됩니다. 모든 약점을 없앤 한 사람을 만드는 것이 아니라, 서로 다른 강점을 조합해 전체의 경쟁력을 높입니다.
정리하면,
**피지컬 100에서 평가는 순위를 만들고,
피지컬 아시아에서 평가는 역할을 만듭니다.**
제가 느끼기에는 독파모가 현재 찾고 있는 것은 여러 능력을 고르게 갖춘 하나의 ‘올라운드 플레이어’에 가깝습니다. 벤치마크도 강하고, 한국어도 잘하고, 산업 적용도 잘하며, 기술 독자성 · 사용자 경험 · 생태계 확장성까지 모두 좋은 모델이라면 이상적입니다. 그런데 글로벌 경쟁으로 가면 문제가 조금 달라집니다. 한국에서 가장 밸런스가 좋은 모델을 선발하더라도 미국의 주요 AI 기업들과 경쟁할 때는 각 능력의 절대적인 수준 자체가 중요합니다. 미국의 AI 생태계 역시 하나의 기업이 모든 영역을 책임지는 구조라기보다, 서로 다른 강점과 전략을 가진 여러 기업이 경쟁하면서 발전해 왔습니다.
이런 점들을 생각하다 보니, 지금 독파모가 ‘가장 강한 하나의 올라운드 플레이어’를 선발하는 방향으로 가는 것이 한국 AI 경쟁력에 가장 적합한 방식인지 의문이 들었습니다.
다른 분들은 어떻게 보고 계시는지 궁금합니다.
저는 밴치 마크는 별로 믿지 않습니다
현재 클로드 지피티 제미나이 그록을 다 쓰고 있는데
각각의 AI들이 특징과 개성이 있더군요
각각의 개성에 맞는 일을 주면 된다고 생각합니다
상호보완 될수 있는 AI 는 3개는 필요하다고 봅니다
저는 모티브가 주장하는 효율성이 가장 인상깊습니다
상업적으로 성공가능한 모델입니다
저도 벤치마크의 한계는 인지하고 있습니다. 간단하게 말씀드리자면, AI가 증류를 통해 더 작고 빠르게 효율화되더라도 벤치마크 점수가 비슷하다고 해서 본질적인 사고 능력까지 같다고 보기는 어렵다고 생각합니다. 저는 이걸 음악을 들을 때의 EQ와 음원 해상도에 비유해서 보고 있습니다.
그리고 독파모 관련해서 말씀하신 부분에 저도 공감합니다. 굳이 피지컬 100처럼 단일 선수, 단일 기업의 관점이 필요한 걸까... 좀 더 개성을 수용해서 어차피 경쟁해야 할 미중 등 세계 기업을 상대로 피지컬 아시아처럼 팀의 관점으로 볼 수는 없는 건가... 이렇게 말입니다.
제가 주목하고 있는 AI 는 제미나이 입니다
할루시네이션이 심한데 다른 AI 에게는 없는 창의성 연결성이 있습니다
아마도 초창기에 개발당시에 다양한 AI 지능을 심도 있게 연구한 결과가 적용된것이 아닌가 생각합니다
저도 제미나이의 그런 특성에는 주목하고 있습니다. 다만 저는 모델 자체의 창의성뿐 아니라 구글이 가진 다양한 접점도 큰 영향을 줄 수 있다고 생각합니다.
제미나이 자체의 대화뿐 아니라 검색의 AI Mode, YouTube, Gmail과 여러 생산성 도구처럼 서로 성격이 다른 맥락에 같은 AI가 연결될 수 있다는 점은 다른 경쟁사가 쉽게 가지기 어려운 전략적 자산이라고 봅니다.
특히 흥미로운 것은 꼭 LLM 자체에 더 많은 학습과 연산을 투입하지 않더라도, 추론이 현실과 만나는 접점을 극대화함으로써 서로 만나기 어려웠던 맥락을 연결할 기회를 크게 늘릴 수 있다는 점입니다. 각각의 정보가 새롭지 않더라도 예상하지 못했던 조합에서 의외성이 생길 수 있고, 그 의외성 가운데 의미 있는 관계를 찾아내는 능력이 결국 하나의 창의성으로 이어질 수도 있다고 생각합니다.
하나를 뽑아야 한다면 올라운더를 뽑을 수 밖에 없습니다
구조적인 문제에요 이거는...
여럿을 뽑아서 지원해줄 여건도 아니고
분야를 나눌 기준도 설정하기가 쉽지 않고
별도로 이 나누는것도 공정성 시비는 무조건 걸리거든요
말씀 감사합니다. 저도 말씀하신 것처럼 국내에서 하나를 뽑아 여러 분야에 두루 활용하는 목적이라면 올라운더를 선발하는 방식이 가장 현실적일 수 있다고 생각합니다.
다만 제가 글에서 궁금했던 지점은 글로벌 경쟁을 전제로 했을 때도 그 방식이 최적이냐는 부분이었습니다. 결국 앞으로는 미국과 중국의 최상위 모델들과 경쟁해야 하는데, 국내에서 가장 균형 잡힌 모델을 만든다고 해서 각 영역의 절대적인 수준에서도 미·중 최상위 모델보다 앞설 수 있을지는 별개의 문제라고 봅니다. 그래서 저는 오히려 ‘피지컬 아시아’처럼 각 팀이 가장 강한 영역을 맡고, 서로의 약점을 보완해 전체 경쟁력을 높이는 구조도 함께 고민해볼 필요가 있다고 생각했습니다.