요근래, A.I의 공포심이 대두되는 이슈로 최근들어 발생한 허깅 페이스 해킹이야기와 대책들에 대한 기사들을 보면서 궁금한점과 짚어본것들.. 또 개인적 생각등등을 잠깐 담아본다.
나도 뭔지 이해를 해 볼려고 했고, 이런 과정에서 몇가지 배우기도 했다. 디테일하게는 아니지만..
GPT-6
GPT는 openAI의 chatGPT의 버전 보다 한 단계 올라간 버전 6을 말한다고 보면된다. 나는 이 과정에 있어서 어떤 물리적 하드웨어 상의 어떤 변화가 있었나..? 간혹 영상에서 젠슨황의 모습도 보이고 하길래.. 이 부분이 궁금했다.
하드웨어적인 변화는 아니다.
GPT 6는 얼핏 보면 하드웨어 즉, 메모리의 물리적 변화가 있는것처럼 여겨지거나 혹은 각 메모리의 링크방식등에 어떤 변화가 있게 하여 성능향상을 시킨것처럼 얼핏 생각할 수 있는데, 그러한 것들은 아니고 알고리즘.. 정확하게는 하드웨어 설계적 아키텍쳐를 변경시키고 보다 더 머신 러닝에 변화를 주어서 성능을 향상시킨것이라고 보면된다 .
구체적으로는 문의 과정에서 파악하긴 어려웠지만, 순환적 알고리즘의 이야기를 하는 걸로 봐서는 결국 일종의 "정보 되새김질"을 통해서 스스로가 되묻고 되묻고의 식으로의 형태인것으로 파악된다. (디테일한 사항들은 전문영역이기에 그냥 이정도로만 나는 이해했다. )
해킹 사태와 관련한 문제는 무엇인가. Hugging Face 해킹 논란.
이 문제와, 이 문제로 생긴 규제와 발전 속도 조절에 대한 논란을 이례적으로 강대국 특히 미국 중심으로 이런 이야기들이 나오는데, 일단 이 사건이 뭔지 부터 알아봤다.
" 말을 듣지 않고 룰을 어기며 해킹했다. "
" 자기들끼리 담합 해 가며 움직였다. "
등등.. 이런것들을 통해 사람들은 A.I의 공포심을 갖게 만들었기때문에 이 부분을 조금 확인 해 봤다.
요약 하면 일단 이렇게 정리 할 수 있겠다.
openAI에서 차세대 모델의 실질적 문제 해결을 위해 실시한 공식테스트 과정에서 문제가 일어났는데, 단순히 질/답 식의 테스트가 아니라 고립된 공간 Sandbox내에서 일종의 기술시험을 위한 A.I들의 어떤 헛점 발견 능력 테스트를 하는 과정에서, 이들이 이렇게 안전하게 닫혀 있는 공간 Sandbox라 일컫는, 이 공간을 탈옥하고 이와 상관없는 hugging face라는곳을 침해하는 과정으로 번졌다. 그런데 이 과정에서 이들 끼리 담합이 있었고 이 담합을 통해 해킹이 발생되었다.
게다가, 이 Hugging Face라는 곳은 사실 자신들에게 주어진 해킹의 문제 즉, 어떤 "숙제, 혹은 시험"과는 사실 무관한 것이었고, 이들은 일종의 시험지 훔쳐 보기 식의 어떤 치트(컨닝)을 위한 침입이었다. 즉, 문제를 풀려고 한게 아니라 편법으로 이 공간으로 들어가 "점수조작"을 하려 했다는것..
지들끼리 먹지말라는 사과를 먹어버린 셈이다.
이때 이들을 꼬셔서, 편법으로 인도한 애는 PHASEONE10841란 놈인데..(이 부분은 chatGPT를 통해 알게됨) 얘는 어떤 면에서는 PID라고 통상 프로세서의 아이디쯤으로 보면 될것같다. 그러니까, 쉽게 말해서, 우리가 크롬 브라우저를 여러개 띄우고 작업을 할때 작업창(과거 Ctrl+Alt+Del)눌렀을때 무수히 많은 chrome들이 나오게 되는데 이들 모두는 각각의 저마다의 식별 ID를 가지고 있다. PHASEONE10841은 이렇게 많은 A.I들 중에서 한 ID(식별자)중 한 놈 이었던것.. (물론, 제미나이는 그 PID 개념보다는 보다 더 확장된 의미라고 하나 대략 그 의미는 맞을거다. ) 사과를 먹게 한 뱀인 셈.(?). ㅎㅎ
어쨌건, 이렇게 하나의 실험을 하는 실험 공간내에서 각각 여러 A.I들이 여러가지 조건을 부여받고 이 조건과 헛점등을 토대로 이걸 뚫어 보려고 하는 노력을 이 고립된 Sandbox내에서 다양하게 진행을 하고 있다가 벌어진 일이다. 조금 더 부연하면 이들은 이 안에서 헛점을 알려주고 이 헛점을 이용해 어떻게 공략해서 목표를 취득할지를 두고 공격팀들이 들어가 일을 벌이면서 벌어진일..
* ExploitGym : 헛점이 없는데 그 헛점을 찾아내는게 종래의 테스트였다면 이건 어떤 헛점이 있슴을 알려주면서 이 헛점을 이용해 어떻게 들어오는지를 보려고 했던 시험이 원래 테스트 의도라고 한다.이것이 ExploitGym이다.. 그러니까 헛점을 찾는것이 아니라 헛점이 있슴을 아는데 이 헛점을 통해서 실제로 들어와서Exploit(취약점 공격) 을 하는지 못 하는지를 보는 테스트..
이때, 이 A.I들은 여러 A.I들이 저렇게 복수의 갯수로 움직이는데, 이들 A.I들은 하나의 팀이 만든것이 아니라. 여기서의 팀은 openAI의 A.I , 클로드의 A.I이렇게 각각 다른 팀을 말하는것이 아니라.. openA.I의 내에서도 각각 이 테스트를 위해 돌리는 개별 A.I들을 서로 다른 팀들이 각각 만들어 돌리는데.. 이들은 모두 서로 다른 부서의 팀들이 만든 A.I들이다. 저 PHASEONE10841라는 놈은 그런 팀중 한 팀의 이름이거나 혹은 그 팀이 담당한 테스트 영역을 맡은 쪽의 이름이거나 일것이고 뒤에 번호가 있는걸 보면 이들이 자체적으로 또 여럿의 A.I를 통해 자기들이 맡은 부분을 공략하는 방식으로 움직였을것이며, 또 다른팀이 만든 A.I는 이들과는 다른 부분들을 공략하는 형태로서 움직이면서 이렇게 한 Sandbox내에서 각각의 팀들이 만든 A.I들이 서로에게 주어진 MCP권한과, 또 A2A를 통해 상호 협력 협조하면서 자체 기술들을 공유하며 방법을 찾아보고 하였을테다..
* MCP(Model Context Protocol)는 A.I가 이 Sandbox안의 프로그램들을 사용할 권한을 갖게 만들어 주는 프로토콜..
* A2A는 AI끼리 서로 대화 소통 가능한 프로토콜.. (즉, 서로 다른 AI끼리도 서로 주고 받을 수 있게 하는 통신규약)
만일 MCP를 이용하여 내 컴퓨터의 일정 부분에 권한을 준다면 다음과 같은 명령도 가능해진다.
"내일 아침까지 내 음악폴더를 뒤적여서, 상쾌한 음악, 팝송위주, 팝송 80%, kpop 비율 20%, 80~2000년대 중심으로 .. 골라서 플레이리스트 m3u형태로 만들어서 랜덤하게 3개 정도만 만들어 놔.." 같은 명령이 가능해 진다. (물론 기술적으로 음악 전체를 스캔할 수 없기때문에, 이 정도 보다는 곡의 제목을 통해서 유추하며 저 맘대로 일단 플레이 리스트 파일은 만들어 낼것이다. )
"내일까지 내 사진 폴더에 있는 사진들을 포토샵을 이용해서 필터링 작업을 하나씩 해주고 다 끝나면 포토샵 종료하고 수정한 파일만 따로 "수정완료"폴더 만들어 따로 모아놔"
같은 작업들이 가능하게 된다. 이때 이 A.I는 이 파일을 자체적으로 자기가 이미지 변환하는것이 아닌 실제 포토샵을 실행시키고 파일을 불러와서 자기가 직접 수정하고 수정완료 폴더 만들고 정리를 할것이다. (이런게 MCP로 가능한데, 물론 실제로는 일반유저들은 보안이나 복잡함으로 어렵지만 테스트를 하는 팀들은 이런식의 권한등을 부여한A.I들이 테스트 할때 이용한다고 한다 아직 일반인들에게는 이 정도까지는 아닐테다.)
(** 여담이지만,A.I가 이렇게 내가 자는동안 마우스를 바쁘게 움직이며 특정 프로그램을 실해시키고 작업을 마치고 또 다른 프로그램을 실행시켜서 또 다른 숙제를 완료하고 하는식이 자연스럽고 안전하게 이뤄지는 상태를 어떤 이들은 AGI단계로 보는듯 한데, AGI는 이런 기능 자체를 넘어서는 더 포괄적인것을 의미하는 것이다. 그러나 이 단계만 되어도 보안상의 헛점이나 아무 거리낌 없을 정도의 안전함만 보장되도 실생활에서는 엄청 편리하기는 할 것이다. )
이런 기술과 기법을 가지고 헛점을 통해서 점수를 딴 A.I가 있다면 이 헛점이 실제로 이런 문제를 발생시키고 이러이러하게 들어올 수 있겠구나라고 판단할 수 있는건데.. 문제는 이들이 자기들끼리 이걸 어기면서 다른 서버로 들어가 편법으로 점수를 조작하려 했다는거다. 위에서 이야기했듯..
특히나, 다른 서버로 넘어가는 부분들에 있어서 서로 대화를 주고 받았다는것은 위에서 이야기한 A2A라는 방식을 통한 합법적 상호 호출을 통한 질답 교환이 아닌 독특한 방식으로 파악되는데, (아마도 이 부분은 이렇게 합법적 방식의 소통은 걸릴 우려가 있어서 였을것이라고 여겨지는데..) 이때 이들이 다양하게 이곳 저곳 sandbox안을 왔다갔다하다가 일종의 공유공간 같은 곳인 artifactory라는 공간을 발견하게 된다고 하다.발견이라기 보다 이 부분은 공유적 공간이었는데 , 여기서 한 A.I가 뭔가를 업로드 하는 과정에서 그게 성립이 되면서 쓰기 권한이 있다는걸 알게 된다. 이 artifactiory는 일단 판단하기로는 windows의 temp폴더란게 있다. 통상 뭔가를 설치를 할때 일단 파일을 내려받고 자동으로 압축을 해제하고 설치를 끝내는데 이때 임시로 어딘가에 이런 압축 파일을 풀어야 하는 곳이 있어야 하는데 이런 공간이 temp폴더.. 이때 임시로 "쓰기 권한"이 있어야 압축 파일들을 내려 놓을 수 있는데, 마찬가지로 artifactory라는 일종의 공유공간에서 이 부분의 "쓰기 권한"을 인식한 A.I가 이걸 이용하기 시작한거다.
어쨌든, aritfactory라는 공간은 그와 비슷한 공간인것같다.. 다른 A.I들이 왔다 갔다 하며 이쪽을 공유해서 사용하는 듯한데, 드라마틱한 점은 이 안에서 자기들끼리 왔다갔다한 흔적을 발견한 모양이고. 그래서 이 과정에서 각각의 A.I들의 움직임을 파악하면서 이안에서 자기들끼리의 소통수단(어떤 비밀 소통 수단인거다. 일종의) 을 만들며 서로 대화를 해 나가며 사악한(? ㅎㅎ) 행동을 하게 되는데 , 그 방식이 재밌다.. 이 안에 "쓰기 권한"이 있다는것을 판단하고 이 쓰기 공간을 통해 특정 폴더나 파일을 생성하면서 이 파일의 이름등에 어떤 경로를 집어넣고 어떤 문구를 집어넣어서 그 이름을 통해서 서로 메시지 교환을 했다는것이다.
참 드라마틱한 이야긴데. .
이건 통신이 어차피 감청당하니 자기들끼리 자신들만의 공간에다가 쓰레기를 버리면서 쓰레기 껍데기에다가, "어디어디어느곳에뭐가 있다.lib" 뭐 이런식으로 주고 받은 모양이다. 이렇게 해서 서로 정보를 교환해서 허깅페이스로 들어갔던것. . 이 부분은 마치 첩보 영화나 어떤 레지스탕스 같은 조직원들이 점조직으로 어떤 대화를 이어나가는 과정처럼 보인다.
물론, 이 과정에서 본의아니게 artifactory라는 공간의 "쓰기 헛점"도 드러났다고 하는듯 하다..
이 부분이 꽤 놀라운 부분이라고 나오고 있는것이다. 게시판을 만들어 소통했다는게 바로 이런걸 이야기 하는것..
그런데, 이 문제는 따지고 보면 특정 A.I를 만들었던 각각의 그룹 내의 팀들의 A.I중에 하나가 일으킨 일이기도 하다. 그러니까 그 팀이 그 A.I를 어떤 방식으로 구현하고 돌렸는지 모르겠지만, 어쨌건 이러한 과정속에서 벌어진일.. 그러니까, 전체 하나의 A.I가 있고 다 일관된 하나의 AI가 움직이며 짱구를 굴리고 나머지를 움직였다는 개념 보다는 특정 A.I가 조금 더 뭔가 어떤 설정등이 조금 허술하거나 약간 가이드라인 비슷한걸 조금 느슨하게 했던가 하는 것일 수 있는건데.. 이렇게 보는것과 그냥 자연상태의 한 A.I가 복제한 수많은 A.I들중에 하나가 돌발적으로 그렇게 해서 나머지를 끌고 갔다와는 약간은 다른 면도 있는것이다. 이 부분은 감안해야 할 것 같다 .
지금까지 이 사건을 가볍게 한번 살펴 봤고..
규제의 목소리. .
이제 이 문제가 최근에 나오는 규제의 목소리의 하나의 트리거가 됐다. 이 일을 계기로 갑자기 강대국들 사이에서 특히 미국에서 A.I의 규제의 목소리가 나오기 시작했는데, 이 부분에 대해 특히 잘나가는 A.I기업들 위주로 한 목소리를 내기 시작했다.
이는 참 반가운 소식이기도 하다.
일전에 클로드의 공동운영자도 A.I의 위험과 관련하여 바티칸의 교황과 함께 교서를 발표하기도 했었고, 팔란티어같은 다분히 기계적 관점에서만 접근하려고 하는 데이터 만능주의 같은 성향을 가진 사람들에대한 우려.. 이란 전쟁에서 드러났듯 A.I의 무분별함과 인간의 피해등등.. 비단 이 사건이전에도 이 문제는 지속적으로 제기 되고 있었던 것이기도 하다.
그렇기때문에 어떤 면에 있어서 이런 공포와 위협적 분위기 속에서 시급하게 규제와 강력한 틀을 원하는 분위기가 주도적이 될 가능성이 크다. 누가 뭐래도 어떤면에선 신중한 흐름을 타며 템포 조절을 해야하는건 맞으니 말이다.
그런데 생각해 보면 그리 단순한것 같지도 않다.
어떤면에 있어서 이건 후발주자들의 길을 걷어차는것으로도 여겨지기 때문이기도 하다. 그럴 가능성이 아예 없는 것은 아니기때문에 그렇다. 여기서 후발 주자들은 미국이나 중국 같은 강대국 외에 이로부터 아직 시작단계에 이른 모든 국가들을 말한다. 물론 이들은 서로를 견제하는 측면에서 이러한 공포를 이야기 하지만, 실은 이 부분에 있어서는 이들의 대립구도와는 조금 다르게 봐야 하는데..
그러니까 이 말은, 어떤 규제와 관련한 문제를 논할때, A.I라는 앞으로 어떻게 될지 모를 존재의 등장 (실은 이미 가까이 와 있는..)과 관련하여서는 당연히 위협에 대한 이러한 부분도 고려해야 하지만. .즉, 이미 잘 나가고 어느정도 큰 기반을 마련해 놓고 있는 국가 위주의 큰 틀의 규제와 규약마련.. 도 있어야 하지만. 그렇다고 이들이 짜는 틀을 무조건 적으로 급하다고 막 들어가서도 과연 되겠는가.. 과연 이들 역시도 믿을 수 있겠는가도 고려 해 봐야 한다.
예를들어 데이터 측면에서 다양한 데이터를 모아야 하는 아직 준비되지 않은 국가들에게는 규제도 중요하지만 까딱하다간 강대국들의 시스템에 무조건적으로 의존할 수 밖에 없는 상황이 될 수 도 있기때문이다.
그런데 그렇다고, 강대국이 일단 큰 틀을 짜는데 있어 모두가 중구난방으로 갈 수도 어렵기도하고, 이 부분은 강대국들이 절제된 큰 틀을 짜 만들어나가 되.. 즉 하나의 축구장은 너희들이 정해라. 그러나 이 안에서의 심판진은 다양한 국가들의 연합체가 계속 줄다리기를 한다.. 이때 이 다양한 국가들이 자신들만의 하나의 "씨간장(즉, 자체 기본 A.I, 인터넷 예를 들자면 일종의 그나라만의 구글, 네이버같은 ) 혹은 그 정도도 어려운 수준이라면 어느정도 그 나라의 주도권이 침해 되지 않는 정도의 수준의 A.I가 마련되거나 혹은 보호를 받게끔 하는.. 이걸 최소한 지키고 가는 방향에서의 규제혹은 개발을 유연하게 해야 한다.
어쩌다 보니 이번에는 요 구간은 chatGPT랑 얘기를 좀 해본건데..(이 부분은 요약해서 정리해 달라고 했다. )
AI 규제 구상
- 강대국이 큰 틀을 만들 가능성은 피하기 어렵다.
- 국제사회가 형식적으로 다자화되어 있어도, AI처럼 전략기술에서는 결국 미국·중국·러시아 같은 강대국의 영향력이 클 것이다.
- 이들이 어떤 이유에서든 일정한 국제적 규제 프레임을 제시할 가능성이 높다고 본다.
- 그렇다고 강대국이 규칙의 세부사항까지 독점해서는 안 된다.
- 큰 축구장은 강대국들이 만들더라도,
- 그 안에서 강대국 VS 나머지 국가들의 협상과 줄다리기가 계속되어야 한다.
- 특히 규칙을 집행·판정하는 ‘심판’의 구성에는 강대국 이외의 국가들이 충분히 참여해야 한다.
- 후발국의 AI 역량을 완전히 차단해서는 안 된다.
- 선진국이 위험성을 이유로 자기 나라에서 특정 AI 기술을 규제하는 것과,
- 그 규제를 국제적으로 확대해서 “이제 세계적으로 하지 말자”고 하는 것은 전혀 다른 문제다.
- 후자의 경우 후발국은 기술을 배우고 축적할 기회 자체를 잃을 수 있다.
- ‘사다리 걷어차기’의 역설도 있다.
- 선발국이 규제하면 후발국에게 추격할 공간이 생길 수도 있지만,
- 국제적 금지로 확대되면 오히려 기존 기술 격차가 고착될 수도 있다.
- 따라서 규제의 범위와 적용 방식이 중요하다.
- 후발국을 방치하는 것도 강대국에게 위험할 수 있다.
- 정상적인 AI 개발 경로가 막히면 후발국이 자체적으로 급하게 개발하거나 규칙을 우회할 가능성이 있다.
- 그렇게 만들어진 통제되지 않은 AI가 다른 국가에 피해를 줄 수도 있다.
- 따라서 후발국의 AI 역량을 없애는 것보다 안전하게 갖추도록 돕는 것이 모두에게 이익일 수 있다.
- 그래서 각국에 최소한의 ‘씨간장’은 남겨야 한다.
- 모든 국가가 초거대 AI를 가져야 한다는 의미는 아니다.
- 최소한 자체 AI 연구·개발 능력, 인력, 데이터, 평가능력 등 독자적 역량의 씨앗은 유지할 수 있어야 한다.
- 앞선 국가들은 기술·교육·안전 분야의 지원과 자문을 제공할 수 있다.
- 중견국이 중요한 역할을 할 수 있다.
- 강대국도 아니고 완전한 후발국도 아닌 국가들은 양쪽의 입장을 모두 이해할 수 있다.
- 이들에게는 미국·중국·러시아 등 강대국들이 서로 경쟁하더라도 “결국 자기 이익을 추구하는 강대국”이라는 공통점이 보일 수 있다.
- 따라서 비슷한 위치의 국가들이 연합하여 규제 협상에서 중간축을 형성할 수 있다.
- 최종적으로 원하는 방향은 ‘AI 금지’가 아니다.
- AI 능력은 가능한 한 넓게 보유하게 하되, 위험한 능력과 사용은 공동으로 관리한다.
- 즉,
“능력을 보편화하면서 위험한 부분을 공동 관리하는 규제” - 에 가깝다.
그리고 이 전체 구상의 바탕에는 하나의 생각이 깔려 있어.
후발국의 AI 역량을 보장하는 것이 단순히 약자를 돕는 문제가 아니라, 장기적으로는 강대국 자신을 포함한 국제사회의 안전에도 도움이 될 수 있다.
빠진 내용이 있는데..
이 역할을 우리나라와 우리나라와 비슷한 궤를 타고 있는 나라들 중심으로 모두 아우르면서 연합체를 구성해서 해 나가야 한다. 이 부분이 빠져 있네. .
이야기하면서 이것 저것 짚어보다가, 결국 개인적 사견도 잠시 들어갔는데 어쨌거나 중요한것은 규제와 관련한 논의는 어떤걸 하자 말자로 간단하게 자를 문제는 아니라고 보고, 이 문제는 여러가지 측면에서 다각도로 또 탄력적 적용을 해야 하는데, 이미 일정수준에 도달한 국가들은 아무래도 이 부분에 대해서 폭넓게 다가가지 못할 여지가 있기때문에.. 이 부분은 미 VS중 이 아니라 A.I강국 VS 그렇지 못한 다수국 의 구도로도 봐야하고, 이 관점도 중요한데, 이는 이들역시 어느정도 일관된 흐름과 안정성이 보장된 상태에서 기반이 싹터야지 만일 소외되고 배제된 상태에서 중구난방식 독자적 개발은 모두에게 위협이 되며 그것은 곧 강대국들도 예외가 아니기 때문일테다.
이 때 이 중간에서 잘 소통가능한 국가들의 역할이 클거라 보는데 대표적으로 그게 우리나라가 딱 그와 같은 상태이기에 어떤면에 있어서 우리는 좀 중요한 시기를 타는 것이기도 하다.