कैसे एक अद्यतन या नई Robots.txt फ़ाइल को पुनः सबमिट करें

रोबोट txt

हमारी एजेंसी संभालती है जैविक खोज परामर्श उद्योग में कई सास विक्रेताओं के लिए। एक क्लाइंट जिसे हमने हाल ही में काम करना शुरू किया था, एक काफी मानक अभ्यास किया था, एक उपडोमेन पर उनके आवेदन को रखने और उनके ब्रोशर साइट को कोर डोमेन में ले जाने के लिए। यह एक मानक अभ्यास है क्योंकि यह आपकी उत्पादन टीम और आपकी मार्केटिंग टीम दोनों को किसी अन्य पर निर्भरता के बिना आवश्यकतानुसार अपडेट करने में सक्षम बनाता है।

उनके जैविक खोज स्वास्थ्य का विश्लेषण करने के पहले चरण के रूप में, हमने वेबमास्टर्स में ब्रोशर और एप्लिकेशन डोमेन दोनों को पंजीकृत किया। तभी हमने तत्काल मुद्दे की पहचान की। सभी एप्लिकेशन पृष्ठ खोज इंजन द्वारा अनुक्रमित होने से अवरुद्ध किए जा रहे थे। हमने वेबमास्टर्स में उनके robots.txt प्रविष्टि पर नेविगेट किया और तुरंत समस्या की पहचान की।

माइग्रेशन की तैयारी करते समय, उनकी विकास टीम नहीं चाहती थी कि एप्लिकेशन सबडोमेन को खोज द्वारा अनुक्रमित किया जाए, इसलिए उन्होंने खोज इंजनों तक पहुंच को रोक दिया। Robots.txt फ़ाइल आपकी साइट के मूल में मिली एक फ़ाइल है - yourdomain.com/robots.txt - इससे सर्च इंजन को पता चल सकता है कि उन्हें साइट क्रॉल करनी चाहिए या नहीं। आप संपूर्ण साइट या विशिष्ट पथों पर अनुक्रमण को अनुमति देने या अस्वीकार करने के लिए नियम लिख सकते हैं। आप अपने साइटमैप फ़ाइल को निर्दिष्ट करने के लिए एक पंक्ति भी जोड़ सकते हैं।

RSI Robots.txt फ़ाइल में निम्नलिखित प्रविष्टि थी जो साइट को खोज परिणाम रैंकिंग में क्रॉल और अनुक्रमित होने से रोकती थी:

उपयोगकर्ता-एजेंट: * अनुमति न दें: /

इसे इस प्रकार लिखा जाना चाहिए था:

उपयोगकर्ता-एजेंट: * अनुमति दें: /

उत्तरार्द्ध साइट को क्रॉल करने वाले किसी भी खोज इंजन को अनुमति प्रदान करता है कि वे साइट के भीतर किसी भी निर्देशिका या फ़ाइल तक पहुंच सकते हैं।

महान ... तो अब है कि रोबोट पाठ फ़ाइल सही है लेकिन Google को कैसे पता है और वे फिर से साइट की जाँच कब करेंगे? ठीक है, आप निवेदन कर सकते हैं कि Google आपके robots.txt की जाँच करे, लेकिन यह बहुत सहज नहीं है।

पर नेविगेट करें Google सर्च कंसोल सर्च कंसोल को क्रॉल> robots.txt परीक्षक। आप परीक्षक के भीतर सबसे हाल ही में क्रॉल किए गए robots.txt फ़ाइल की सामग्री देखेंगे। यदि आप अपनी robots.txt फ़ाइल को पुनः सबमिट करना चाहते हैं, तो सबमिट करें पर क्लिक करें और एक पॉपअप कुछ विकल्पों के साथ आएगा।

पुन: सबमिट करें robots.txt

अंतिम विकल्प है Google को अपडेट करने के लिए कहें। उस विकल्प के बगल में स्थित ब्लू सबमिट बटन पर क्लिक करें और फिर वापस नेविगेट करें क्रॉल> robots.txt परीक्षक पृष्ठ को पुनः लोड करने के लिए मेनू विकल्प। अब आपको अद्यतन किए गए robots.txt फ़ाइल को डेट स्टैम्प के साथ देखना चाहिए जो दिखाता है कि इसे फिर से क्रॉल किया गया था।

यदि आपको अपडेटेड संस्करण नहीं दिखता है, तो आप सबमिट पर क्लिक कर सकते हैं अपलोड किया गया संस्करण देखें अपनी वास्तविक robots.txt फ़ाइल में नेविगेट करने के लिए। कई सिस्टम इस फाइल को कैश कर देंगे। वास्तव में, IIS गतिशील रूप से अपने यूजर इंटरफेस के माध्यम से दर्ज किए गए नियमों के आधार पर इस फ़ाइल को उत्पन्न करता है। नई रोबो.टैक्स फ़ाइल प्रकाशित करने के लिए आपको नियमों को अपडेट करना होगा और कैश को रीफ्रेश करना होगा।

रोबोट-पाठ-परीक्षक

तुम्हें क्या लगता है?

यह साइट स्पैम को कम करने के लिए अकिस्मेट का उपयोग करती है। जानें कि आपका डेटा कैसे संसाधित किया जाता है.