100만 토큰 컨텍스트, 무엇이 바뀌나
Anthropic이 출시한 Claude Opus 4.7은 단일 호출에서 100만 토큰까지 받을 수 있다. 책 한 권, 장기 대화 전체, 중간 규모 코드가 통째로 컨텍스트에 들어간다. 검색 단계를 건너뛰고 "전부 넣고 묻기"가 가능해졌다.
비용 구조는 바뀌었다. 입력 토큰당 가격은 그대로지만, 100만 토큰을 매 호출 넣으면 회당 비용이 수십 달러까지 갈 수 있다. 해결책은 지시문 재사용: 같은 공통 앞부분을 5분 안에 다시 보내면 90% 할인된다. 이제 "재사용 적중률"이 응답 시간만큼 중요한 운영 지표가 됐다.
그렇다면 검색 증강 생성은 죽었나. 아니다. 매번 다른 큰 컨텍스트가 필요한 검색형 워크로드는 여전히 검색 증강 생성이 싸다. 100만 토큰 컨텍스트는 (1) 코드 분석처럼 한 컨텍스트를 길게 우려먹거나 (2) 5분 유효시간 안에 여러 왕복 호출을 모으는 경우 빛난다. 손익분기점 계산을 다시 짤 시점이다.
핵심 정리
- 100만 토큰 컨텍스트가 검색 증강 생성을 무의미하게 만들지 않는다. 워크로드 패턴에 따라 분기점이 다르다.
- 지시문 재사용 적중률을 측정하지 않으면 비용을 모른다. 새 핵심 지표로 추가하라.
- 5분 유효시간 안에 왕복 호출을 묶는 설계가 새로운 디자인 제약이 된다.
→ 영어판 보기
