Mwen te bati yon sistèm rapò bot chat lang natirèl, ki te pote soti nan Retrieval Augmented Generation (RAG). Li bay yon eksperyans gwo pou itilizatè a, yo te kapab kesye done yo ak jwenn rapò te fèmen ak koupe pa dimansyon yo ke yo te vle. Li te entelijan ak bay efikasite. Li te konvèti ton de done nan lwil oliv. 
 
 
 Lè sa a, bill la LLM API te vini. Li se lè mwen te konprann ke nan rechèch mwen pou bati intelijans sa a, mwen te kreye yon jaden nwa finansye. Lè sa a, bill la LLM API te vini. Li se lè mwen te konprann ke nan rechèch mwen pou bati intelijans sa a, mwen te kreye yon jaden nwa finansye. Nan mond lan IT jodi a, chak ekip ap chèche yo bati yon sistèm Agentic AI. Nan chak anviwònman, sistèm sa yo Agentic AI fè dè santèn de milye de apèl LLM, kòmanse ak devlopman, eval, tès akseptabilite itilizatè ak Lè sa a nan anviwònman pwodiksyon an. Nan lòd yo kreye repons fondamantal, nou aplike Retrieval Augmented Generation (RAG). Sa vle di nou kesyon magazen vètikal pou kontni menm jan an ak pase done yo retire ak kesyon itilizatè a, prompts, egzanp, enstriksyon gardrails, estriktirasyon respon, elatriye nan LLM. Sa vle di pou yon kesyon senp, nou ajoute dè santèn de token adisyonèl nan non an nan konteks, gardrails ak kèk prompting, elatriye Modèl lang gwo (LLM) analize sa yo kòm token yo ak fè travay li yo kreye repons la ak Lè sa a nou jwenn repons la nan kesyon nou an. Sa a ka yon repons a nan kesyon nou an oswa li ka yon repons estriktirasyon nan youn nan etap yo nan yon Nan sistèm mwen an, sistèm la retire done soti nan Vector DB ak Knowledge Graph yo fonde repons la. Mwen te observe alantou ~2000 token enprime nan fenèt la konte. LLM la Lè sa a, gen yon reponn reflete, 500 token. Nan premye gade, sa a se sèlman yon kèk cent. Men, ak 200.000 kesyon yon jou, sa yo "cent" transfere nan yon monstr. Jis ajoute ke itilize ak plizyè itilizatè pandan faz yo devlopman ak evalyasyon tou. Koulye a, pri pou chak milyon token itilize kòm enpòte ak pwodiksyon sanble pi bon mache kòm nou se nan etap yo anvan yo nan adopte LLM api ak founisè sèvis te delibere bay anpil rabè. Nan tan kap vini an pri sa yo pral pi wo, ak Lè sa a, pri an jeneral soti nan devlopman Èske ou ka tou referans nan kèk atik ki rele defi ki gen rapò ak pri a nan LLM la. Lwa pri LLM se ranfòse edikasyon - ak startups Ki jan skalasyon antrepriz AI ak LLM la mal ka koute ou Mwen te bati sistèm ki baze sou RAG lè l sèvi avèk LangGraph, Neo4j, ChromaDB, ak Redis. Mwen pote modèl sa a arsitektur rele Semantic Cache ak detaye implemantasyon yo diminye brûler token nan pwodiksyon an. Modèl sa a ka diminye pri a itilize LLM ou pa caching ak reponn a kesyon menm jan an anvan invoye LLM chak fwa. Permite m' prezante modèl sa a pou ou ke ou ka aplike nan plizyè ka itilizasyon ak nan plizyè pwen touche nan pwosesis travay AI ajan ou. Ki sa ki se Cache Cache te egziste pou èdtan nan estrikti sistèm IT nou an. Li te kòmanse ak In-Memory, Lè sa a li te distribye. Nan premye, te gen kèk ofrann limite pou deplwaman sou-prem oswa VM ki baze sou. Avèk aparans la nan nwaj, anpil ofrann nwaj te devlope. Nan tan sa a, nou gen sistèm caching ki byen matirite. Sepandan, itilize nan sistèm la caching te baze sou pa gen valè kle. Chaj yo se hashed ak anbake nan yon estrikti done kalite tab Hash. Caching te toujou yon rechèch egzak ki baze sou kle. Si kle ou se prezan, sistèm la cache ap retounen valè yo pou kle ou, ak si kle a se pa, sa vle di li pa te sove oswa li te retire. Sepandan, li pa te janm vle pou Ki sa ki se Semantic Cache Vèktè ak plizyè dimansyon ak jwenn vèktè lè l sèvi avèk similite cosine oswa mekanis menm jan an tou te egziste pou yon tan. Sepandan, ak LLM ak RAG, embeddings vèktè ak rechèch similite te vin pi popilè. Vèktè RAG se youn nan chwa prensipal yo nan solisyon pou sistèm ki baze sou RAG. Sa a ede nan jwenn kontni menm jan an. Sa a se pa yon rechèch kle egzak, men sa a ede nan jwenn vèktè embedded ki se semantikman menm jan. Kapasite sa a te orijinèlman devlope nan baz done Vector. Men, kounye a, kapasite sa a se tou disponib nan sistèm caching tankou redis ak kounye a founisè sèvis cloud yo te tou prezante kapasite sa a nan ofri cache yo. 
 
 Nou ka defini Semantic Cache kòm yon cache ki retire entèdi cache ki baze sou vle di a nan yon kontni oswa dokiman olye pou hash la nan kle a. Nou ka defini Semantic Cache kòm yon cache ki retire entèdi cache ki baze sou vle di a nan yon kontni oswa dokiman olye pou hash la nan kle a. Ki jan Semantic Cache se diferan Tanpri fè yon diferans rapid ant Cache, Semantic Cache ak RAG. Tables sa yo ka ede nan clarify diferans ki genyen ant Cache tradisyonèl ak Semantic Cache. 
 
 
 
 
 
 
 
 
 
 
 Factors 
 Traditional Cache 
 Semantic Cache 
 
 
 
 
 Approach 
 Key based 
 Meaning based 
 
 
 
 
 Key Search 
 Exact match 
 Similar match 
 
 
 
 
 Best For 
 APIs 
 LLMs 
 
 
 
 
 Example 
 Key, Value (Student_Id, Student_Obj) 2025081520, StudentObject1 2025091640, StudentObject2 if key used while doing look up is different, then it wont's return any result 
 Statements Where did Alex graduate from? Which university did Alex graduate from? both will fetch the same entry from cache. Approche nan Ki baze sou Signifikatè ki baze Rechèch kle Eksepsyonèl Match Matche menm jan an Pi bon pou Apèl LLM nan Egzanp Key, Valè (Student_Id, Student_Obj) 2025081520, StudentObjè1 2025091640, StudentObjèti2 si kle a itilize pandan y ap gade moute se diferan, Lè sa a, it won't retire nenpòt ki rezilta Deklarasyon Ki kote Alex te gradye soti nan? Nan ki inivèsite te Alex gradye? tou de pral retire menm entwodiksyon soti nan cache a. Tables sa yo ka ede nan clarify diferans ant RAG ak Semantic Cache. 
 
 
 
 
 
 
 
 
 
 
 Factors 
 RAG 
 Semantic Cache 
 
 
 
 
 Use 
 To generate new response 
 To return previously generated and cached answer 
 
 
 
 
 Data 
 External data sources like Vector databases 
 Previously generated Questions and Answer 
 
 
 
 
 Cost 
 Medium to High 
 Low 
 
 
 
 
 Best For 
 Grounded response generation 
 Repeated but similar question Sèvi Pou kreye yon nouvo repons Devlope repons ki te kreye anvan ak cache Datè sous done ekstèn tankou baz done Vector Prejèman kreye kesyon ak repons Pwodwi Mwayen nan segondè Low nan Pi bon pou Yon jenerasyon responsiv fonksyonèl Repete, men menm jan kalite kesyon Nou ka wè ke diferans ki genyen ant RAG ak Semantic cache se senp, men enpak la finansye se gwo. RAG retire enfòmasyon brik ak genere repons. Si kesyon ou yo repete, caching repons genyen paske li oblije retire, zouti òkès, ak jenerasyon. Semantic Cache ki baze sou RAG Architecture Mwen te konsepsyon aritèkti a anba a pou cache semantik sou aritèkti a RAG estanda. Eleman nan Architecture 
 
 
 
 
 
 
 
 
 itilizatè: Soti nan nenpòt kliyan tankou navigatè a oswa aplikasyon mobil, yon API Q & A ap rele lè yon itilizatè antre nenpòt kesyon nan lang natirèl. API Gateway: Demand API se autentike ak otorize nan Gateway GraphRAG + VectorRAG Agent System(FastAPI)
 
 
 
 A LangGraph ReAct agent, this orchestrates the workflow. It decides whether to check the cache, query the graph store or vector store, or respond to the user.
 
 
 
 Guardrails: Implemented via system prompts and specific instruction sets to ensure safe and accurate responses. MCP (Model Context Protocol):
 
 
 
 
 
 Semantic Cache MCP Client: Connects to the cache server using Server-Sent Events (SSE). Semantic Cache MCP Server: A FastMCP server that exposes tools (cache_lookup, cache_store) and manages cache server(Redis) interactions. Semantic Cache Server(Redis): Acts as a Semantic Cache. It stores vector embeddings of questions and corresponding answers to provide fast retrieval for similar queries. LLM: Motè a rezonans pou ajan la ak jeneratè a pou Cypher kesyon pou GraphRAG ak repons lang natirèl. Observability (LangSmith): Pèmèt tracking, kontwole, ak debugging pou etap yo ekzekisyon nan ajan an. Graf la Konesans (Neo4j): Li magazen relasyon estrikti (pwa, (Person)-[:WORKS_AT]->(Organizasyon)) ak se kesyon atravè Cypher ki te kreye pa LLM la. Vector Store (ChromaDB): Li sove embeddings vètikal yo ki te kreye soti nan dokiman konesans. Pou aplike caching semantik la, sitou nouvo semantik MCP konpozan cache a te ajoute nan estanda RAG ki baze sou Sistèm ajan. 
 
 
 
 The agent first does a cache look up.
 
 
 
 
 Semantic Cache MCP client uses cache_lookup tool to check if the question is already answered and cached Semantic Cache MCP Server uses CACHE_SIMILARITY_THRESHOLD of >95% to decide whether a similar question is cached in the server. I tested similarity thresholds ranging from 80% to 99%. Below 90%, false positives increased and I started getting incorrect cached answers for loosely similar phrases. Above 97%, cache hit rates were significantly bad. In my use case, finally 95% provided the best trade off between precision and reuse. The right balance, however, depends on your specific use case and data distribution. Si hit la cache rive, Lè sa a, li retire repons la san yo pa fè nenpòt RAG apèl, sa vle di pa Vector db, pa gen okenn konesans graf apèl oswa LLM apèl. Pifò enpòtan LLM apèl se evite. Si kache a manke rive, Lè sa a, li kouri estanda a RAG ak jere repons la. Li asire w ke yo sove kesyon an ak repons la nan sèvè a kache, ki se itilize pou apèl pita. Kòd la anba a montre kòd la nan sèvè a MCP pou rechèch cache. Mwen te itilize rechèch semblanz ki baze sou KNN e mwen te retounen sèlman 1 matche ki pi pre. Mwen itilize distans kòm yon pousantaj ak (1-pousantaj) kòm yon semblanz. Yon pwen plis enpòtan se lè l sèvi avèk dyalèk 2 ki se yon nesesite pou rechèch vètikal nan Redis, si sa a, rechèch la pral default. @mcp.tool()
def cache_lookup(question: str) -> str:
"""
 Look up a semantically similar question in the cache.
 Args:
 question: The question to look up
 Returns:
 JSON with cached answer if found (similarity >= 95%), or cache miss indication
 """
global _hits, _misses
client = get_redis_client()
ensure_index_exists(client)
# Compute embedding for the query
query_embedding = compute_embedding(question)
query_vector = np.array(query_embedding, dtype=np.float32).tobytes()
# Vector similarity search
try:

q = (
Query(f"*=>[KNN 1 @embedding $vec AS score]")
 .return_fields("question", "answer", "expires_at", "score")
 .sort_by("score")
 .dialect(2)
 )

results = client.ft(INDEX_NAME).search(
q,
query_params={"vec": query_vector}
 )

if results.total > 0:
doc = results.docs[0]
score = float(doc.score)
similarity = 1 - score # Convert distance to similarity
expires_at = float(doc.expires_at)

# Check expiration
if time.time() > expires_at:
logger.info(f"Cache entry expired for: '{question[:50]}...'")

# Delete expired entry
client.delete(doc.id)
_misses += 1
return json.dumps({
"found": False,
"reason": "expired"
 })

# Check similarity threshold
if similarity >= CACHE_SIMILARITY_THRESHOLD:
_hits += 1
logger.info(f"Cache HIT: similarity={similarity:.4f} for '{question[:50]}...'")

return json.dumps({
"found": True,
"answer": doc.answer.decode() if isinstance(doc.answer, bytes) else doc.answer,
"similarity": round(similarity, 4),
"original_question": doc.question.decode() if isinstance(doc.question, bytes) else doc.question
 })

_misses += 1
logger.info(f"Cache MISS for: '{question[:50]}...'")
return json.dumps({
"found": False,
"reason": "no_similar_question"
 })

except Exception as e:
logger.error(f"Cache lookup error: {e}")
_misses += 1
return json.dumps({
"found": False,
"reason": f"error: {str(e)}"
 })
 Kòd la anba a montre kòd la nan MCP sèvè a pou magazen cache. Mwen te an premye kalkil nan entegre a nan kesyon an, ki anbake ansanm ak kesyon an brik ak repons kòm valè pou kle a ki se hash la estanda md5 nan kesyon an. @mcp.tool()
def cache_store(question: str, answer: str) -> str:
"""
 Store a question-answer pair in the semantic cache.
 Args:
 question: The original question
 answer: The answer to cache
 Returns:
 JSON confirmation of storage
 """

client = get_redis_client()
ensure_index_exists(client)

try:

# Compute embedding
embedding = compute_embedding(question)
embedding_bytes = np.array(embedding, dtype=np.float32).tobytes()

# Generate unique key
key_hash = hashlib.md5(question.encode()).hexdigest()[:12]
cache_key = f"cache:{key_hash}"
current_time = time.time()

# Store in Redis hash
client.hset(cache_key, mapping={
"question": question,
"answer": answer,
"embedding": embedding_bytes,
"created_at": current_time,
"expires_at": current_time + CACHE_TTL_SECONDS
 })

# Set TTL on the key
client.expire(cache_key, CACHE_TTL_SECONDS)
logger.info(f"Cached answer for: '{question[:50]}...' (TTL: {CACHE_TTL_SECONDS}s)")
return json.dumps({
"stored": True,
"key": cache_key,
"ttl_seconds": CACHE_TTL_SECONDS
 })

except Exception as e:
logger.error(f"Cache store error: {e}")
return json.dumps({
"stored": False,
"error": str(e)
 })
 Snapshot a anba a montre caching nan kesyon ak repons nan Redis ak embeddings. Kòd la kliyan MCP a ap montre nan snippet sa a pou invoke cache_lookup def cache_lookup(self, question: str) -> dict:
return _run_async(self._req_with_connection("cache_lookup", question))
 Kòd la kliyan MCP yo rele cache_store def cache_store(self, question: str, answer: str) -> dict:
return _run_async(self._req_with_connection("cache_store", question, answer))
 Trac la anba a montre nou flux la nan egzekisyon. Trace se etalaje nan apèl cache_lookup, epi ou ka wè pwodiksyon an kòm cache_hit kòm false ak rezon no_similar_question. Se poutèt sa, nan sa a flux, estanda RAG se kouri. Ou ka wè node graph_rag_query nan tèkstur la ki te swiv pa yon apèl LLM. Koulye a, li se moman la nan verite, lè yon kesyon menm jan an mande ankò. Nou ka wè nan moman sa a, cache_hit se vre. Gen yon ti kras chanjman nan tèm nan kesyon an, men li se menm jan ak anvan an, se konsa pousantaj la nan similitude se 0.9866 jan yo montre anba a. Se poutèt sa, repons la se dirèkteman retrete soti nan cache a epi ou pa pral wè egzèsis la RAG flux la. Repons la se dirèkteman retounen soti nan cache a semantik. Rezilta Ajoute cache semantik nan yon sistèm GraphRAG oswa VectorRAG bay yon pèfòmans mesurab ak benefis pri. Anvan, sistèm la te pran 5 a 6 segonn pou chak demann, ki gen ladan rechèch vètikal, kreyasyon ak egzekisyon nan konesans chèk grafik konesans, ak jenerasyon repons final pa LLM la. Lè sa a hit cache te rive, repons yo te sou ekran la nan itilizatè a nan 900 ms nan 1.2 segonn. Nan mwayen, sa a bay yon rediksyon nan 24% nan apèl chak jou LLM, ki diminye frè LLM API. Strateji Semantik Cache Ki jan Semantic Cache genyen Kòm yon sistèm trete volim segondè, trafik pratik, yon kouch kouch ajoute yon benefis pèfòmans. Li genyen lè konesans menm jan an mande pa anpil itilizatè, tankou nan "Support Customer & Helpdesks" ka itilize, kote kesyon yo tankou "Ki jan mwen resete motè a mwen?", "Ki jan se politik refwadisman ou?". Nan ka itilize Dokiman pwodwi, kote itilizatè yo se kesyon nan menm manuels pwodwi. Sa a rive menm lè devlopè yo kesyon dokiman teknik menm ak dosye API. Nan ka itilize Inyonèl HR & Onboarding, kote kesyon tankou "Ki jan mwen enskri nan asirans sante?" ak "Ki jan se orè vakans?" popile pa chak anplwaye. Nan Compliance & Policy Q&A, kote sistèm ou bay estanda, repon Ki jan yo evite Semantic Caching Si de itilizatè mande menm kesyon an men mande repons diferan ki baze sou istwa medikal yo oswa pwofil yo oswa balans kont yo, yon cache semantik ka bay repons ki pa kòrèkteman. Li menm fè mal lè dokiman ou, baz konesans ak done yo volatil oswa li se tan reyèl, tankou lè ou bezwen repons sou pri a aksyon oswa envantè viv, yon cache se rivyè ou. Ou bezwen RAG a wè estati a kounye a nan mond lan. Semantic Cache Invalidation Stratèji Yon cache bezwen refresh ak semantik cache bezwen yon estrateji envalidasyon adisyonèl. Tout enskripsyon cache dwe tag ak yon created_at timestamp yo jere valè li yo viv (TTL). Nan semantik cache anplis document_version ak embedding_model itilize pandan jenerasyon an tou ta dwe tag. Sa a se enpòtan paske si ou amelyore modèl la embedding, vètikal ou chanje espas. Sa a fè enskripsyon cache ansyen oblije. Nou bezwen trace varyab sa yo, se konsa nou ka trigger invalidation cache lè yon sous dokiman se ajou oswa modèl la embedding se chanje oswa ajou. Sa a asire ke sistèm nou an pa reponn ak repons inexact. Autorizasyon ak sekirite konsèy Nan nenpòt sistèm caching, ou dwe asire w ke li otorize anvan li bay done a nan itilizatè a. Li tou dwe asire w ke done caching se pwoteje nan repo a tou. Implemantasyon nan semantik cache dwe adheres a prensip sa yo, li pa ta dwe wè kòm jis ajoute yon kouch pou pèfòmans oswa benefis nan pri. Nan yon sistèm plizyè-tennant, kle izolasyon chenant dwe aplike nan cache. An menm jan an nan sistèm itilizatè hiper-personalize, nivo itilizatè a nan espò non dwe fè nan cache a. Sa a garanti ke rechèch nan semblanti vètikal se limite nan bwat la espesifik ki apwopriye nan itilizatè sa a espesifik nan òganizasyon ki koresponn. Pwen ki pi enpòtan sou otorizasyon se kreyasyon an nan keys cache-conscious, kote hash la nan kle a gen ladan wòl espesifik itilizatè a oswa nivo aksè. Sa a asire ke yon itilizatè ki gen mwens privilèj pa jwenn yon repons cache soti nan yon itilizatè ki gen plis privilèj. Yon hit cache pa ta dwe yon mekanis retire done ki pa otorize. Si yon itilizatè pa gen pèmèt yo retire yon dokiman espesifik oswa yon ranje baz baz atravè yon pipeline RAG, Lè sa a, yo ta dwe pa kapab retire repons la ki te kreye soti nan cache a. Finalman, yo satisfè divès kalite kondisyon konpatibilite tankou HIPPA oswa SOC2, repons ou dwe enkripsyon anvan li se cache. Li se pa negosyab nan tout. Cache a semantik ta dwe itilize menm pratik la kriptografik kòm depo done prensipal ou. Konklisyon Blueprint a nan arsitektur la, snippets kòd ak diferan snapshots yo pwouve ke li se posib pou semantik cache kesyon yo ak fè yon rechèch sembolik ki baze sou embeddings vètikal pou retounen repons yo te anvan yo te kreye pou evite RAG ki baze sou LLM apèl pou kesyon menm jan an. Egzanp la ki montre pi wo a se trè senp, sepandan, nou ka anplwaye seleksyon sa a arsitektur pou plizyè LLM pwen touche ki rive nan sistèm la Agentic AI fè desizyon pa sèlman pou kesyon ak repons nan itilizatè final la. Semantic caching se yon fason senp pou diminye pri a token pandan y ap kenbe bon jan kalite a nan repons. Si sistèm ou jwenn kesyon menm jan an pou reponn, ajoute yon lag cache anvan etap yo retire ak jenerasyon se yon avantaj. Pata a pi fasil se ke ou pa bezwen revize arsitektur RAG ou, ou jis optimize flux la pa trete entansyon repetitif pi bonè nan lanmè a.

This story contains new, firsthand information uncovered by the writer.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Read My Stories

Odyo sa a pwodui nan lang orijinal istwa a!

Optimize pri itilize nan LLM ak Semantic Cache

About Author

KÒMANtè

KANDYE TAGS

ATIK SA A TE PREZANTE NAN

Related Stories

HackerNoon Contributor Nikita Vasilev on Programming, Python, and More

HN Editor Picks: Top Tech Stories of March 2023

Meet the Writer: HackerNoon's Contributor Konstantin Malkov - Product Manager

It's Gonna Be May... a New Mobile App Update, Pixelated Avatars, Revamped Story Pages and More

HackerNoon Contributor Nikita Vasilev on Programming, Python, and More

HN Editor Picks: Top Tech Stories of March 2023

Meet the Writer: HackerNoon's Contributor Konstantin Malkov - Product Manager

It's Gonna Be May... a New Mobile App Update, Pixelated Avatars, Revamped Story Pages and More

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps