일상
앤트로픽의 워터마크 사건을 어떻게 보시나요?
최근 앤트로픽이 Claude가 생성에 관여한 텍스트를 판별하기 위한 워터마크를 도입하면서 여러 논쟁이 이어지고 있습니다. 제가 느낀 부분은 기이함이었습니다. 앤트로픽이 투명하게 공개할 수는 없지만 일정한 기준점을 가지고 검증 수단을 제공하되, 그것이 판정을 보장하지는 않는 참고용이라는 애매모호한 상황이었습니다. 이걸 보면서 저는 오히려 AI 시대에는 기존의 ‘표현의 자유’라는 개념만으로 생성과 유통의 문제를 모두 설명하기 어려워지고 있다는 생각이 들었습니다.
AI는 개인이 무엇인가를 만들어내는 장벽을 크게 낮췄고, SNS와 플랫폼은 그것을 사회에 배포하는 장벽까지 낮췄습니다. 그렇다면 이제 표현의 자유를 하나의 개념으로만 보기보다
표현의 자유 = 생성의 자유 + 배포의 자유
처럼 두 단계로 나눠볼 필요가 있지 않을까요?
개인이 무엇인가를 생각하고 만들어보는 것과, 그것을 실제로 공개해 타인과 사회에 영향을 미치는 것은 같은 행위가 아닙니다. 이 둘을 구분하면 각 주체의 책임도 조금 더 명확해질 수 있다고 생각합니다.
- 사용자는 무엇을 생성할 자유와 그것을 공개했을 때의 책임을 구분할 수 있고, 기업은 사용자가 생성한 결과물을 보호할 책임과 실제 배포 과정에서의 관리 책임을 나눠볼 수 있습니다.
- 행정부와 사법부 역시 생성 결과만 보고 개인의 의도를 추정하기보다, 실제로 누가 공개를 결정했고 어떤 방식으로 배포했으며 어떤 영향과 피해가 발생했는지를 기준으로 개입할 수 있습니다.
- 입법부도 생성 자체를 과도하게 제한하지 않으면서, 배포를 통해 현실화되는 사회적 영향과 책임을 보다 구체적으로 설계할 수 있습니다.
저는 이렇게 생성과 배포를 구분하는 것이 '표현의 자유'라는 하나의 관점에서 접근하다 발생하는 ‘다 막을 것인가, 다 허용할 것인가’라는 극단적인 충돌을 벗어나는 시작점이 될 수 있다고 생각합니다.
다른 분들은 이번 앤트로픽 워터마크 사건을 어떻게 보시는지 궁금합니다.
개인적인 생각으로는 자사 모델이 생성한 글들이 어떻게 활용되고 있나 트래킹 하고 싶어서 넣은거 같은 느낌이 좀 있어요.
사용자들이 어떻게 사용 활용하는지 알게 되면 다음 모델의 방향을 잡기 쉬울거라고 봐요. 그래도 예전에는 여러가지 트래킹 도구들도 있었고 사용 범위도 통제 가능 범위 내에 있었는데, ai 모델은 텍스트 생성이니 그게 어려워져서 워터마크까지 도달한게 아닐까 하는 생각입니다.
물론 전 관계자가 아니므로 뇌피셜입니다 ㅎㅎ
말씀 감사합니다.
말씀하신 부분은 전혀 생각지도 못했는데 말씀을 듣고 나니 어...??? 하는 느낌이 들었습니다. 말씀대로라면 앤트로픽이 정말 기발한 한 수를 두었다고 할까요? ㅎㅎㅎ 마치 위조지폐 감별기를 어디서 가져간다는 이름을 받은 다음, 해당 조직에서 사용하는 경우 어디서 어떤 콘텐츠(문서)를 검증해봤고 어느 정도의 수준으로 가공·변형되었는지 같은 분포도를 파악할 수 있달까요? 특히나 앤트로픽은 엄격하게 단정하는 것이 아니라 참고용으로만 사용하라는 나름의 장치까지 두었으니, 향후 발생할 수 있는 책임 부담에서도 상대적으로 여유가 생기고요.
물론 저도 관계자가 아니니 확답할 수 없으나, 말씀하신 아이디어는 제가 생각하지 못한 부분에서 전구가 켜지는 느낌이었습니다 ㅎㅎ
더더욱 쓸생각이 사라졌습니다.
말씀 감사합니다.
저도 지금은 마치 “한번 해봤어” 같은 접근으로 보이지만, 시간이 지날수록 이런 검증의 권한은 점점 더 강화될 수 있고, 앤트로픽의 의도와는 다르게 어느 순간 검열의 수단으로도 이어질 수 있지 않을까 하는 걱정이 들기도 합니다.
자사 모델을 학습하기 위해서 크롤링 봇을 통해서 이곳 저곳 데이터를 가지고 오는데..
클로드 모델에서 학습하기 위한 깨끗하고, 검증 받을 수 있는 자료를 만들기 위함이 아닌가 하는 그런 의심(?)이 듭니다.
말씀 감사합니다.
말씀을 보니 모델 붕괴의 측면에서도 생각해 볼 수 있게다는 느낌이 듭니다. 생성형 AI의 결과물이 인터넷에 계속 쌓이고, 이후 다시 크롤링을 통해 학습 데이터로 들어가게 되면 AI가 만든 결과물을 AI가 반복해서 학습하는 구조가 만들어질 수 있으니까요.
그렇다면 앤트로픽은 자사의 모델에서 출발한 결과물이 얼마나 원본에서 멀어졌는지를 파악하기 위한 생각의 '족보'를 만들어보고 싶었던건 아닐까요? 인간이 만든 원천 자료인지, Claude가 1차로 생성한 것인지, 이후 사람이나 다른 AI를 거쳐 몇 단계 가공된 결과물인지 어느 정도의 계보를 구분할 수 있다면 학습 데이터의 품질을 관리하는 데도 의미가 있을 것 같습니다. 게다가 모델 붕괴를 막기 위해 크롤링 과정에서 얼마나 학습 데이터를 배척해야 하는지도 판단할 수 있구요.
그러면 족보에도 몇 촌인지 촌수가 있듯이, 앞으로는 AI 생성물도 단순히 표절률이나 유사도를 넘어 어느 정도로 AI 생성 과정을 거쳤는지를 촌수(단계)로 구분해야 하는 시대가 올 수도 있지 않을까 합니다.
저는 개인적으로 찬성합니다. AI가 만든 글이나 자료가 섞이면, 많은 문제들이 생긴다고 생각하고 실제도 보고 있는 듯 해서요.
1. 뉴욕타임즈에서 대충 기사 밑에 참고를 위해 AI로 생성된 이미지 입니다 라고 대충 표시하는게 아니라, 아래 사진처럼 AI 이미지에 "GENERATE BY A.I."를 다 붙이고 있습니다.
2. 이런 사례를 보면, AI 때문에 소중한 사람의 시간을 뺏기는 경우가 있어서, 더더욱 있어야 한다는 생각이 드네요.
말씀 감사합니다.
그런데 말씀해 주신 관점을 생각하다 보니 의외로 다른 지점에서 생각이 열렸습니다. 혹시 예능을 즐겨 보시나요? 예능 자막은 재미를 더하는 역할도 하지만, 한편으로는 복잡한 상황을 빠르게 압축해서 ‘상황 = 자막’처럼 치환해 버리는 기능도 있다고 생각합니다. 그렇다면 지금의 AI 이미지도 비슷한 역할을 하고 있는 것은 아닐까 하는 생각이 들었습니다.
과거의 사진도 구도와 순간 선택에 따라 강한 프레임 효과를 만들 수 있었습니다. 다만 결국 현실에 실제로 존재했던 순간을 포착해야 한다는 제약이 있었습니다. 반면 AI는 특정 사건이나 주장에 가장 어울리는 표정, 구도, 분위기, 상징성을 갖춘 이미지를 현실처럼 생성할 수 있습니다. 이렇게 되면 GENERATED BY A.I.라는 표시는 결국 어떤 도구로 만들었는지를 알려주는 수준에 가까워질 수도 있다고 생각합니다. 사람은 “AI가 만든 이미지니까 어떤 부분을 재해석하고 비판적으로 봐야겠다”라고 생각하기도 전에, 이미 그 이미지가 제시하는 해석을 먼저 받아들일 수 있기 때문입니다. 마치 예능 자막처럼요.
다만 미디어 영역에서 그 무게는 예능과 비교할 수 없을 겁니다. 특정 사건과 인물, 사회적 이슈를 다루는 이미지라면 사람의 인지와 인식에 훨씬 더 강한 영향을 줄 수 있기 때문입니다. 그런 측면에서 저는 AI 생성물이라는 사실을 표시하는 것만으로 책임을 다했다고 보기는 어렵고, 책임 있는 배포를 위해서는 좀 더 엄격하고 구체적인 가이드라인이 만들어져야 한다고 생각합니다.
이제 AI 시대인데 AI 인지 아닌지의 구별보다는 그 내용의 참/거짓 판별이 더 중요하지 않나 싶습니다.
독자적인 사고는 안되지만 AI 로 만든 것들은 그냥 사람이 만든거랑 같다고 하면
인간이 이제껏 만들어왔던 거짓 사진 합성이나 거짓 기사나 뭐가 다를까요.
참과 거짓을 판별할 수 있는 방법이나 능력이 더 중요하겠지요.
말씀 감사합니다.
말씀처럼 인간이든 AI든 누가 만들었는가보다, 생성한 결과물이 참인가 거짓인가의 관점이 더 중요하다고 봅니다.
그런데 한편으로는 이런 생각도 들었습니다. 우리는 사람이 만든 정보에 대해서는 이미 어느 정도 비판적인 관점을 가지고 있습니다. 완전한 거짓뿐 아니라 사실 90%에 거짓 10%를 섞거나, 일부 사실만 골라 특정 방향으로 해석하게 만드는 방식도 경계합니다. 그리고 AI가 만든 것에 대해서도 그런 노력을 하게 될 것이로 생각합니다.
하지만 AI라는 기술이 주는 후광효과에는 우리가 제대로 대응하고 있을까? 하는 생각이 들었습니다. 압도적인 연산 능력과 함께 인간과는 달리 가치중립적일 것 같다는 기대감은 AI 자체에 일종의 후광효과를 만들 수 있습니다. 그 결과, 결과물을 비판적으로 검토하기도 전에 이미 큰 방향의 판단을 어느 정도 끝낸 상태에서 그것을 마주하게 될 수도 있습니다.
그런 의미에서 본질을 생각하는 힘인 ‘철학’이 지금 시대에 다시 필요한 이유가 이런 거 때문은 아닐까라고 생각해 봅니다.
요즘 사람을 위한 커뮤게시판도 aI가 글쓰고 댓글다는 시대이다보니 왠지 맞춤법오타도 적고 정갈하게 쓴글 보면 항상 AI판독기를 돌려보는 습관이 생겼네요
전 사실 텍스트기반 워터마킹은 무리라 생각합니다
왜냐면 오탐오진확률이 매우 높은게 텍스트이기때문이조 텍스트영역만큼은 앞으로 더 진찌 휴먼이쓴건지 구분하기 어려울겁니다
특히 글이 짧아질수록
그리고 텍스트는 우회기법도 그만큼 발전하기도 쉽조
방금 재밌는 현상을 겪었습니다. 제가 실수로 말씀주신 댓글이 아닌 제 글의 댓글로 달아 제 댓글을 삭제하고 axiongravity의 답글로 다시 댓글을 달려고 했더니 이미 작성된 댓글이 존재한다고 같은 내용의 작성은 안되네요. 단순하게는 이런 식의 실수까지도 어떤 의도를 가진것으로 보는 문제점 또한 있지 않을까 합니다.
말씀 감사합니다.
우선 전 AI(GPT와 제미나이)를 이렇게 사용합니다. 전 UX 전략으로 시작해서 관점을 보다 보니 그 논리적 흐름만을 따라가다 보면 현실에 맞지 않는 붕 뜬 이야기가 될 가능성이 있습니다. 그래서 제가 기본 골격을 잡고 그 과정에서 제 생각이 기술적 측면에서 가능한지 아닌지를 계속 점검합니다. 그 이후 전체 초안이 나오면 그걸 또 다시 제가 검토해가며 완성본을 만듭니다.
말씀 주신 부분에 대해선 저도 텍스트 기반 워터마킹은 생각보다 훨씬 어려운 문제라고 보고 있습니다. 그런데 말씀하신 AI 판독기를 생각하다 보니 조금 다른 문제가 떠올랐습니다. 저는 앞으로 텍스트를 볼 때 ‘지식의 신규성’과 ‘문장의 완결성’을 나눠서 봐야 하지 않을까 생각합니다.
예를 들어 기존 연구보다 반보 정도 앞선 논문이 있다고 가정해 보겠습니다. 대신 이 논문은 각종 선행 연구와 출처를 아주 높은 수준으로 작성했습니다. 이런 경우 AI 판독기가 과연 ‘지식의 신규성’에 대한 판단은 둘째 치더라도 ‘문장의 완결성’ 측면에서 어떻게 바라볼까 하는 생각이 들었습니다. 조금 더 나아간 결과물에 완결성까지 좋으니 “이건 AI를 써서 만들어낸 아류작이야.”라고 볼 수 있는 여지는 없을까 하는 부분입니다. 즉, 기존 논문을 아주 조금씩 바꿔 논문 수를 늘리는 일종의 ‘논문 뻥튀기’를 의심하는 거죠.
더 우려되는 부분은 ‘지식의 신규성’과 ‘문장의 완결성’ 사이의 ‘허수’입니다. 실제 지식의 신규성은 낮은데, 문장 작성에 특화된 AI가 논리와 표현을 매우 정교하게 다듬어 훨씬 깊은 글처럼 보이게 만들 수 있습니다. 그리고 판독기까지 이를 구분하지 못한다면, 실제 지식보다 높은 가치가 부여될 수도 있습니다. 이때 그 부가가치는 누구의 것이고, 그 허수로 피해가 발생한다면 책임은 누구에게 있는지도 모호해집니다.
그리고 글의 길이도 재미있는 문제 같습니다. 논문처럼 길어질수록 이런 지적 허수를 쌓을 공간은 커지지만, 반대로 “넌 바보다”처럼 극단적으로 짧은 문장은 인간이 썼는지 AI가 썼는지 판별할 정보 자체가 거의 없습니다.
그래서 저는 워터마킹이 의미 없는 기술이라기보다, 그것이 해결할 수 있는 문제가 생각보다 좁을 수 있다고 봅니다. 이런 현실적인 부분 때문에 ‘단순히 AI가 썼는가? 아닌가?’를 넘어서 앞서 말씀드린 것처럼 ‘지식의 신규성’ 부분인가? ‘문장의 완결성’ 부분인가? 등 초점을 좀 더 명확히 하고 접근해야 하지 않을까 합니다.
이번에 anthropic에서 발표한 중국AI 업체의 claude 도용상황에 대한 얘기를 들어보니, 1차적으로는 그런걸 잡기위한걸 목표로 한게 아닌가하는 생각이 드네요
말씀 감사합니다.
말씀하신 부분을 저도 생각해봤는데... 그 용도로 사용하려면 중국 업체의 학습 과정이나 학습 후 결과물에 대한 상당한 접근권이 필요하지 않을까요? 가중치와 방법론이 공개되어도 실제 학습에 어떤 입력과 출력을 사용했는지는 공개되지 않기 때문에, 현재 공개된 판독 방식만으로 비인가 증류를 직접 검증하는 데는 한계가 있어 보입니다.
저는 EU의 규제 순응때문이라고 알고 있었는데 - 동시에 여러 사업적인 부가 효과 (위에서 말씀하셨듯 학습에서 AI 생성 콘텐츠를 제거하는, 증류 검증 등) 도 있을 수 있겠네요. https://artificialintelligenceact.eu/article/50/
말씀 감사합니다.
생각해 보니 EU 규제를 피할 수는 없으니 대응은 하면서도 이후에 이런 긍정적인 효과에 대해서도 알게 된 거 아닐까? 하는 생각도 해봅니다. 규제 때문이니 규제에만 대응해야지 식의 소극적 대응보다는 훨씬 유리하니까요.