토큰

대규모 언어 모델이 처리하는 텍스트의 기본 단위(대략 4자 또는 0.75단어)입니다.

자연어 처리와 생성형 AI에서 토큰은 모델이 처리하는 데이터의 기본 단위입니다. 토큰은 하나의 단어와 정확히 일치하지 않으며, 오히려 자주 등장하는 문자 시퀀스나 하위 단어(sub-word)를 나타냅니다. 영어의 경우 100개의 토큰이 약 75개의 단어에 해당한다는 유용한 경험칙이 있습니다. 인공지능 경제를 추적하는 투자자에게 토큰은 수익화와 비용의 핵심 화폐입니다. 파운데이션 모델 제공업체는 처리되는 입력 토큰(프롬프트)과 출력 토큰(생성)의 양을 기준으로 개발자와 기업에 요금을 부과합니다. 따라서 토큰 볼륨은 실제 소프트웨어 사용량과 수요를 보여주는 핵심 대리 지표 역할을 합니다. 토큰 가격 추세와 100만 개 토큰 생성 비용을 분석하면 투자자는 소프트웨어 기업의 단위 경제성, 모델 개발사의 가격 결정력, 그리고 클라우드 인프라 계층 전반의 수요 성장세를 평가할 수 있습니다. 토큰 가격의 급격한 하락은 모델 제공업체 간의 치열한 경쟁을 시사할 수 있으며, 토큰 볼륨의 증가는 기업 도입이 확대되고 있음을 나타냅니다.

기업용 소프트웨어 회사가 75,000단어가 포함된 문서를 처리합니다. 업계 표준 변환을 사용하면 이는 약 100,000토큰에 해당합니다(75,000단어 / 토큰당 0.75단어). API 제공업체가 1,000토큰당 $0.015를 부과하는 경우, 해당 문서를 처리하는 총 비용은 다음과 같이 계산됩니다: (100,000토큰 / 1,000) $0.015 = $1.50.