مقالات تحمل الوسم واجهات الذكاء الاصطناعي

ما هي KV cache؟ كيف تعيد نماذج LLM استخدام حالات الانتباه

تعرّف على KV cache ودورها في تسريع فك ترميز نماذج LLM، ونمو استهلاك الذاكرة مع طول السياق، وعلاقتها بتخزين المطالبات المؤقت وتكاليف API.