API गेटवे में कंट्रोल प्लेन और डेटा प्लेन

कॉन्फ़िगरेशन प्रबंधन और लाइव API अनुरोधों को अलग रखने की एक संक्षिप्त वास्तुकला मार्गदर्शिका।

विषय-सूची

pi 的agent 架构

API गेटवे को चलाना आसान होता है जब कॉन्फ़िगरेशन और लाइव अनुरोध प्रसंस्करण को अलग जिम्मेदारियाँ माना जाए।

दो प्लेन, दो काम

प्लेनमुख्य कामउदाहरण
कंट्रोल प्लेनइच्छित स्थिति प्रबंधित करनारूट, प्रदाता, मूल्य और नीतियाँ
डेटा प्लेनलाइव अनुरोध संभालनाप्रमाणीकरण, रूटिंग, मीटरिंग और उत्तर

कंट्रोल प्लेन पूर्ण कॉन्फ़िगरेशन को जाँचकर प्रकाशित करता है। डेटा प्लेन स्वीकृत संस्करण पढ़ता है और ट्रैफ़िक जारी रखता है।

सुरक्षित अपडेट क्रम

  • उम्मीदवार कॉन्फ़िगरेशन की जाँच करें।
  • उसे अपरिवर्तनीय संस्करण के रूप में प्रकाशित करें।
  • सक्रिय पॉइंटर को परमाणु रूप से बदलें।
  • केवल प्रभावित कैश हटाएँ।
  • वास्तविक अनुरोध जाँचें और पिछला संस्करण रोलबैक के लिए रखें।

निगरानी और निर्णय

कॉन्फ़िगरेशन संस्करण, रूटिंग त्रुटि, अपस्ट्रीम विलंब और रोलबैक स्थिति अलग-अलग मापें। लेखन और समीक्षा कंट्रोल प्लेन में रखें; प्रमाणीकरण, रूटिंग, कोटा और स्ट्रीमिंग डेटा प्लेन में रखें।

अपना LLM वर्कफ़्लो बेहतर बनाना चाहते हैं?

एक API से मॉडल जोड़ें, कुंजियाँ प्रबंधित करें और AI खर्च नियंत्रित करें।

मुफ़्त शुरू करें