모델 개발사는 반복되는 프롬프트를 최대 90% 할인해줘요 — 캐시가 살아 있는 동안만요. 캐싱AI는 앱과 모델 사이의 프록시로 캐시를 깨뜨리는 원인을 고치고, 꺼지기 직전의 캐시를 대신 데워서 그 할인이 매달 청구서에 실제로 반영되게 해요. 연동은 베이스 URL 한 줄이면 끝나요. Model providers discount repeated prompts by up to 90% — but only while the cache stays alive. Caching.ai is a proxy between your app and the model: it fixes what breaks your cache and keeps it warm right before it expires, so the discount actually lands on your monthly bill. Integration is a one-line base-URL swap.
기업이 파운데이션 모델 API에 쓴 돈은 2025년 한 해 125억 달러예요 (Menlo Ventures). 그런데 코딩 에이전트가 모델에 보내는 토큰의 96%는 이미 보낸 내용의 반복이라 (워싱턴대 2026), 모델 개발사도 캐시된 프롬프트를 최대 90%까지 할인해줘요 (Anthropic). 문제는 캐시가 몇 분이면 꺼지고, 프롬프트 한 줄만 달라져도 깨진다는 거예요 — 할인은 공식인데, 챙기는 건 전부 사용자 몫이에요. Enterprises spent $12.5B on foundation model APIs in 2025 alone (Menlo Ventures). 96% of the tokens coding agents send are repeats of what was already sent (Univ. of Washington, 2026) — which is why providers discount cached prompts by up to 90% (Anthropic). The catch: caches expire in minutes and break on a single changed line. The discount is official; collecting it is entirely on you.
OpenAI도 캐시된 입력을 90% 할인해요 (OpenAI Pricing). 그런데 GPT-5.6부터는 캐싱 방식이 바뀌어서, 아무 설정 없이 쓰면 캐시 히트가 0%까지 떨어져요 — 저희가 1만 콜 넘게 돌려 실측한 숫자예요. 할인은 지켜야 받는 돈인데, 지켜주는 도구가 없었어요. 캐싱AI는 앱과 모델 사이의 프록시로 그 빈틈을 채워요 — 깨진 캐시는 고치고, 꺼질 캐시는 데우고, 아낀 금액은 검증해서 숫자로 보여줘요. OpenAI discounts cached input by 90% too (OpenAI Pricing). But GPT-5.6 changed how caching works — with default settings, cache hits drop to 0%, a number we measured across 10,000+ calls. The discount only pays if someone defends it — and no tool did. Caching.ai fills that gap as a proxy between your app and the model: it repairs broken caches, warms expiring ones, and verifies every dollar saved.
진짜 히트율, 검증된 절감액, 지금 새고 있는 낭비 추정액까지 콜 단위로 계측해요. 기록은 토큰 수·지연시간 같은 숫자뿐이라, 프롬프트 본문은 남지 않아요.Real hit rates, verified savings, and an estimate of what's still leaking — measured per call. Only numbers like token counts and latency are recorded; prompt bodies never are.
약속이 아니라 청구서로 증명해요Proven on the invoice, not in a promise
프롬프트 속 타임스탬프, 랜덤 ID, 도구 순서 변경 — 캐시를 깨뜨리는 원인을 잡아내 알려줘요. 캐시 설정이 아예 없는 요청에는 지나가는 길에 자동으로 넣어주고요.Timestamps in prompts, random IDs, reordered tools — it catches what breaks the cache and tells you why. Requests with no cache setup at all get it injected on the way through.
이미 캐시를 쓰는 요청은 건드리지 않아요Requests already using caching are left alone
캐시가 꺼지기 직전, 1토큰짜리 신호를 대신 보내 살려둬요. 신호 비용까지 계산해서 이득일 때만 보내고, 하루 예산 상한 안에서만 움직여요.Right before the cache expires, it sends a 1-token ping on your behalf. It only pings when the math says it pays off — and always within a daily budget cap.
뜸한 상담형 트래픽에서도 실측 67% 절감 — 신호 비용 포함67% measured savings even on sparse traffic — ping costs included
GPT-5.6부터 캐싱 방식이 바뀌어서, 아무 설정 없이 쓰면 캐시 히트가 0%예요. 캐싱AI는 바뀐 규칙에 맞게 요청을 손봐 히트를 되살려요 — 실측으로 90%까지 아꼈어요.GPT-5.6 changed how caching works — on default settings, cache hits are 0%. Caching.ai reshapes each request to the new rules and restores the hits: up to 90% saved, measured.
2026년 7월 실측 · 원시 로그 공개Measured July 2026 · raw logs published
내 앱의 호출 리듬을 학습해서 가장 싼 캐시 설정을 알아서 골라요. 켜는 건 스위치 하나고, 하루 안전 예산이 기본으로 걸려 있어 비용이 폭주할 걱정이 없어요.It learns your app's call rhythm and picks the cheapest cache setup on its own. Turning it on is one switch — with a daily safety budget on by default, spend can't run away.
모든 최적화는 키별 스위치 — 강제 적용이 없어요Every optimization is a per-key switch — nothing forced
코드 수정 없이 베이스 URL만 바꾸면 돼요. 클로드 코드·코덱스·커서 같은 코딩 도구부터 LlamaIndex·AI SDK 같은 프레임워크까지 그대로 붙고, 스트리밍도 바이트 그대로 통과해요.No code changes — just swap the base URL. Coding tools like Claude Code, Codex, and Cursor connect as-is, along with frameworks like LlamaIndex and the AI SDK. Streams pass through byte-for-byte.
2분이면 절약이 시작돼요Savings start in two minutes
요청은 내 API 키 그대로 모델 개발사에 전달돼요. 본문은 저장하지 않고 토큰 수·지연시간 같은 숫자만 남기고, 키는 AES-256으로 암호화해 전달할 때만 써요.Requests go to the provider with your own API key. Bodies aren't stored — only numbers like token counts and latency — and keys are AES-256 encrypted, used solely to forward.
떠날 때도 클릭 한 번이면 키·기록이 즉시 지워져요Leave anytime — one click wipes keys and records instantly
프록시와 콘솔 코어가 Apache-2.0 오픈소스예요. 외부 프록시를 쓸 수 없는 보안 환경이라면, 명령어 한 줄로 내 인프라에 무료로 직접 띄우면 돼요.The proxy and console core are Apache-2.0 open source. If your security rules out an external proxy, one command self-hosts it free on your own infrastructure.
클라우드와 셀프호스트, 같은 코드예요Cloud and self-host run the same code
AI가 처리하는 토큰은 1년 만에 7배씩 늘고 있어요 — 구글 혼자 한 달에 3,200조 개를 처리해요 (Google I/O 2026). 쓰는 양이 늘수록 반복도 늘고, 챙기지 못한 할인도 커져요. 캐싱AI의 목표는 모든 AI 호출이 지나가는 길목에서 낭비를 조용히 지워주는 기본 인프라예요 — 개발자가 캐시를 공부하지 않아도, 청구서는 늘 최저가가 되도록요. 비즈라우터·비즈코더와 함께, AI 비용의 전 구간을 AI3가 지켜요. The tokens AI processes are growing 7x a year — Google alone handles 3.2 quadrillion a month (Google I/O 2026). The more you use, the more repeats — and the bigger the uncollected discount. Caching.ai aims to be the default infrastructure that quietly erases that waste on the path of every AI call, so the bill is always the lowest it can be — no cache expertise required. Together with BizRouter and BizCoder, AI3 guards the full arc of AI spend.
목표 — 모든 AI 호출의 기본 절약 레이어Goal — the default savings layer for every AI call시스템 프롬프트, 툴 정의, 문서 컨텍스트가 콜마다 통째로 반복돼요. 입력 토큰의 96%가 반복이라는 실측도 있어요 — 캐시 할인을 가장 크게 받을 수 있는 워크로드예요.System prompts, tool definitions, and document context repeat wholesale on every call — measurements put repeats at 96% of input tokens. No workload gains more from cache discounts.
"캐시를 잘 쓰면 아낄 수 있대요"만으로는 결재가 안 나요. 캐싱AI는 아낀 금액을 콜 단위로 검증해 숫자로 보여주고, 그 숫자에서만 수수료를 받아요."We could save with better caching" doesn't get budget approved. Caching.ai verifies savings per call, shows the number — and charges its fee only out of that number.
트래픽이 외부를 지나면 안 되는 팀은 같은 코드를 사내에 직접 띄우면 돼요. Apache-2.0 오픈소스라 무료고, 절감 원리도 코드로 전부 확인할 수 있어요.If traffic can't leave your network, run the same code in-house. It's Apache-2.0 open source — free, with every savings mechanism auditable in code.