AI와 대화할 때 한번에 많은 양의 텍스트를 주고 받는 꼼수는 없을까?

결론: 없다. (아직은)

---

'AI에게 거대한 일을 부탁하는 방법이 언젠간 나올까?'

 

내가 생각하기에 현재 AI의 가장 큰 한계는 한 번에 주고 받을 수 있는 토큰 수에 제한이 있는 것이다.

연속적인 일을 처리하려면 이전 대화의 데이터를 같이 전달해야 하는데, 요청이 누적되다보면 어느 순간 토큰 수 제한에 걸리고 만다.

이전 대화를 적절히 요약하여 전달하면 되지만, 그럴수록 이전 대화에 대한 정보는 흐려진다.

 

비슷한 예로 AI에게 "책 한 권 분량의 텍스트를 줄테니 한 줄 요약해줘."라고 요청할 수 없다. (요청은 해도 되지만 바로 에러가 돌아온다)

책의 텍스트를 적절히 쪼개서(사람이 해야 한다) 각각을 요약한 후에, 그것을 다시 합쳐서, 합쳤는데도 길면 그것을 다시 또 적절히 쪼개서(사람이 해야 한다) AI가 한번에 받아들일 수 있는 크기까지 요약을 해서. 마지막 텍스트를 한 줄 요약하는 것으로 책을 요약할 수 있다.

 

애초에 책을 한 줄 요약하는 것에는 정답이 없으니, 대충 이렇게 하면 맞긴 하겠다. 

 

AI가 실제로 책을 한 줄 요약하는 방법은 제목으로 웹 검색을 해서 책에 대한 정보를 찾은 다음에 그것을 바탕으로 한 줄 요약을 만드는 것이다.

 

 

 

그러다 문득 이런 생각을 했다.

---

 

보낼 메시지를 압축해서 보내고, 받는 메시지도 압축해서 달라고 하면 되잖아?

 

아니 이런, 천재영재아인슈타인캔스탑하이퍼스텔라지니어스 같은 생각을 하다니.

당장 챗지피티에게 물어보았다.

 

텍스트를 zlib 압축+base64 인코딩으로 전달하면 안 되니?

응 안 돼

 

아 넵... 안 되는군요.

 

이번엔 그록(Grok3)에게 물어보았다.

 

되긴 되는데 토큰 수가 줄지는 않아

 

압축해서 보내도 되긴 되는데 토큰 수는 줄어들지 않아. 왜냐구?

1. python zlib + base64 인코딩하여 전달하면 압축해제해서 읽고 대답하는 것
     => 가능하다.

2. 그런데 토큰수는 내용을 분석하는 단위이기 때문에 압축 해제 이후의 원본 데이터를 기준으로 계산이 된다
    => 토큰 수 줄이는 효과는 없음

   (다만, API를 통해 주고 받는 데이터의 크기가 줄어드는 효과는 있다. base64 인코딩은 일반적으로 33%정도 길이가 증가하기 때문에 zlib으로 75%이하의 압축 효율을 보여줘야 의미가 있다.)

3. 토큰 수를 줄이려면?

   => 불필요한 단어를 줄이고, 질문을 짧고 간결하게 해라. 

   아 넵...

---

이런 식의 압축은 가능하다고 한다.

보내는 텍스트

⚙️ 압축 룰: P=프로젝트, M=모듈, A=에러 메시지
👉 텍스트: "P1의 M3에서 A4가 발생함"

응답

"해결책: M3의 캐시 초기화를 수행 (P1), 로그 A4를 확인"


복호화(사람이 하거나, LLM에게 다시 시킴)
"해결책: 프로젝트1의 모듈3 캐시 초기화 수행, 로그 에러 메시지4 확인"

 

압축 룰도 토큰을 잡아먹기 때문에 압축 룰의 길이 보다 줄어든 텍스트의 길이가 많아야 유효한 방식이다.

- 압축 룰 만들다가 시간 다 보내겠다 이놈들아.

 

---

개발자들 이제 어떡하냐고... 괜찮아, 쟤네 긴 거 못해.

 

AI를 이용해 코드를 작성하는 것이 가능한 이유는 개발 방식의 고도화로 모듈화가 잘 되어 있기 때문이다.

파일 하나에 코드를 2만줄, 3만줄씩 쓰는 것을 본 선배 개발자들이 경기(경끼)를 일으키며 모듈화를 열심히 강조한 결과, 파일 하나의 크기는 AI가 고도로 연산을 하여 결과물을 내기에 적절한 크기의 사이즈가 되어 버렸다.

 

그럼 이제 개발자는 어떡하나요. 이제 망했다는 소리가 여기저기서 들리는데.

 

AI가 모듈을 잘 만들어주긴 하지만, 그것도 어디까지나 사람이 요청한 것이다.

그렇다! 우리는 어떤 모듈을 만들지 요청을 해야 한다. 그리고 AI가 만든 모듈을 엮어야 한다.

 

가장 처음 단계로 돌아가서 무엇을 만들지 생각을 하고,

그러기 위해서 어떤 파트가 필요하며,

각 파트를 어떤 AI가 개발 가능한 단위로 쪼개어 일을 시키고.

그것을 다시 엮어 하나로 만드는 것.

 

개발자의 일은 그렇게 변해갈 것이다.

그러니 공부 안 해도 된다는 소리 하지 말고, 프로그래밍 공부를 열심히 하자.

해본 사람이 일도 잘 시킨다.