인공지능, 빅데이터/Codex1 728x90 반응형 Codex 작업 시 한글을 사용하면 토큰과 성능에 영향이 있다. Codex 로 소프트웨어를 개발할 때 한글을 사용하면 토큰 사용량도 조금 더 많고 성능에도 영향이 있다. 한글 자체가 사용하는 바이트 수가 큰 것도 있겠지만 그것 보다는 영어로 번역하는데 발생하는 비용과 인코딩 이슈가 더 영향이 큰 것 같다. 체감이 될 정도라서 GPT에게 물어보니 아래처럼 답변을 받았다. 질문너가 작성한 .md 파일들 보면 영어로 작성된 것들이 있는데 영어로 작성하면 한글로 작성할 때 보다 토큰 사용량이나 코딩 성능, 정확도 같은 것이 차이가 나? 다른 장점과 단점이 있어?답변네, 차이가 있습니다. 다만 “영어가 무조건 좋다 / 한글이 무조건 좋다”라기보다 문서 목적에 따라 다릅니다.토큰 사용량보통 영어가 더 적은 토큰으로 표현됩니다.한글은 문장 자체는 짧아도 토크나이저 기준으로 더 잘.. 2026. 6. 9. 이전 1 다음
