कैसे एक अद्यतन या नई Robots.txt फ़ाइल को पुनः सबमिट करें

रोबोट txt

हमारी एजेंसी संभालती है जैविक खोज परामर्श उद्योग में कई सास विक्रेताओं के लिए। एक क्लाइंट जिसे हमने हाल ही में काम करना शुरू किया था, एक काफी मानक अभ्यास किया था, एक उपडोमेन पर उनके आवेदन को रखने और उनके ब्रोशर साइट को कोर डोमेन में ले जाने के लिए। यह एक मानक अभ्यास है क्योंकि यह आपकी उत्पादन टीम और आपकी मार्केटिंग टीम दोनों को किसी अन्य पर निर्भरता के बिना आवश्यकतानुसार अपडेट करने में सक्षम बनाता है।

उनके ऑर्गेनिक खोज स्वास्थ्य का विश्लेषण करने के पहले चरण के रूप में, हमने वेबमास्टर्स में ब्रोशर और एप्लिकेशन डोमेन दोनों को पंजीकृत किया। तभी हमने एक तात्कालिक मुद्दे की पहचान की। सभी एप्लिकेशन पृष्ठों को खोज इंजन द्वारा अनुक्रमित होने से अवरुद्ध किया जा रहा था। हमने वेबमास्टर्स में उनकी robots.txt प्रविष्टि पर नेविगेट किया और तुरंत समस्या की पहचान की।

माइग्रेशन की तैयारी करते समय, उनकी विकास टीम नहीं चाहती थी कि एप्लिकेशन सबडोमेन को खोज द्वारा अनुक्रमित किया जाए, इसलिए उन्होंने खोज इंजन तक पहुंच की अनुमति नहीं दी। robots.txt फ़ाइल आपकी साइट के मूल में पाई जाने वाली एक फ़ाइल है – yourdomain.com/robots.txt - इससे सर्च इंजन को पता चल सकता है कि उन्हें साइट क्रॉल करनी चाहिए या नहीं। आप संपूर्ण साइट या विशिष्ट पथों पर अनुक्रमण को अनुमति देने या अस्वीकार करने के लिए नियम लिख सकते हैं। आप अपने साइटमैप फ़ाइल को निर्दिष्ट करने के लिए एक पंक्ति भी जोड़ सकते हैं।

पिछली कक्षा का Robots.txt फ़ाइल में निम्नलिखित प्रविष्टि थी जो साइट को खोज परिणाम रैंकिंग में क्रॉल और अनुक्रमित होने से रोकती थी:

उपयोगकर्ता-एजेंट: * अनुमति न दें: /

इसे इस प्रकार लिखा जाना चाहिए था:

उपयोगकर्ता-एजेंट: * अनुमति दें: /

उत्तरार्द्ध साइट को क्रॉल करने वाले किसी भी खोज इंजन को अनुमति प्रदान करता है कि वे साइट के भीतर किसी भी निर्देशिका या फ़ाइल तक पहुंच सकते हैं।

महान ... तो अब है कि रोबोट पाठ फ़ाइल एकदम सही है लेकिन Google को कैसे पता चलता है और वे साइट की दोबारा जांच कब करेंगे? ठीक है, आप पूरी तरह से अनुरोध कर सकते हैं कि Google आपके robots.txt की जांच करे, लेकिन यह बहुत सहज नहीं है।

पर नेविगेट करें Google सर्च कंसोल सर्च कंसोल को क्रॉल> robots.txt परीक्षक. आप परीक्षक के भीतर सबसे हाल ही में क्रॉल की गई robots.txt फ़ाइल की सामग्री देखेंगे। यदि आप अपनी robots.txt फ़ाइल को पुनः सबमिट करना चाहते हैं, तो सबमिट करें क्लिक करें और एक पॉपअप कुछ विकल्पों के साथ आएगा।

पुन: सबमिट करें robots.txt

अंतिम विकल्प है Google को अपडेट करने के लिए कहें। उस विकल्प के बगल में स्थित ब्लू सबमिट बटन पर क्लिक करें और फिर वापस नेविगेट करें क्रॉल> robots.txt परीक्षक पृष्ठ को पुनः लोड करने के लिए मेनू विकल्प। अब आपको अद्यतन किए गए robots.txt फ़ाइल को डेट स्टैम्प के साथ देखना चाहिए जो दिखाता है कि इसे फिर से क्रॉल किया गया था।

यदि आपको एक अद्यतन संस्करण दिखाई नहीं देता है, तो आप सबमिट पर क्लिक कर सकते हैं और चयन कर सकते हैं अपलोड किया गया संस्करण देखें अपनी वास्तविक robots.txt फ़ाइल पर नेविगेट करने के लिए। कई सिस्टम इस फाइल को कैश करेंगे। वास्तव में, आईआईएस इस फाइल को उनके यूजर इंटरफेस के माध्यम से दर्ज नियमों के आधार पर गतिशील रूप से उत्पन्न करता है। नई robots.txt फ़ाइल को प्रकाशित करने के लिए आपको नियमों को अपडेट करने और कैशे को रीफ्रेश करने की सबसे अधिक संभावना है।

रोबोट-पाठ-परीक्षक

तुम्हें क्या लगता है?

यह साइट स्पैम को कम करने के लिए अकिस्मेट का उपयोग करती है। जानें कि आपका डेटा कैसे संसाधित किया जाता है.