Robots.txt जनरेटर
robots.txt फाइल जनरेट करें
User-agent #1
Group allow and disallow paths for one crawler.
अगला कदम
संबंधित अगले कदम के साथ वर्कफ़्लो जारी रखें।
Privacy & Trust
Disallow
Keep restricted directories and crawl-budget heavy paths visible in one editor.
Sitemap URL
Declare your sitemap location directly in robots.txt.
Crawl Delay
Set crawl delay only when you explicitly need it for a crawler.
robots.txt
robots.txt फाइल जनरेट करें
संबंधित उपकरण
मेटा टैग जनरेटर
SEO के लिए HTML मेटा टैग जनरेट करें
Open Graph प्रीव्यू
सोशल मीडिया पर पेज प्रीव्यू
स्कीमा मार्कअप जनरेटर
JSON-LD स्ट्रक्चर्ड डेटा जनरेट करें
साइटमैप जनरेटर
XML साइटमैप जनरेट करें
AI SEO मेटा जनरेटर
बेहतर सर्च रैंकिंग के लिए अनुकूलित मेटा टैग बनाएं
स्लग जनरेटर
टेक्स्ट को URL-फ्रेंडली स्लग में बदलें
उपयोग कैसे करें
इनपुट पेस्ट या टाइप करें
इनपुट एरिया में अपना टेक्स्ट, कोड या डेटा दर्ज करें।
विकल्प चुनें
वह ट्रांसफ़ॉर्मेशन या फ़ॉर्मेट चुनें जो आप लागू करना चाहते हैं।
परिणाम कॉपी करें
एक क्लिक से आउटपुट को अपने क्लिपबोर्ड में कॉपी करें।
यह टूल क्यों उपयोग करें
100% मुफ़्त
कोई छिपी लागत नहीं, कोई प्रीमियम टियर नहीं — हर फ़ीचर मुफ़्त है।
कोई इंस्टॉलेशन नहीं
पूरी तरह से आपके ब्राउज़र में चलता है। कोई सॉफ़्टवेयर डाउनलोड या इंस्टॉल करने की ज़रूरत नहीं।
प्राइवेट और सुरक्षित
आपका डेटा कभी आपके डिवाइस से बाहर नहीं जाता। किसी भी सर्वर पर कुछ भी अपलोड नहीं होता।
मोबाइल पर काम करता है
पूरी तरह से रेस्पॉन्सिव — अपने फ़ोन, टैबलेट या डेस्कटॉप पर उपयोग करें।
Robots.txt: बेहतर SEO नियंत्रण के लिए वेब क्रॉलर्स को निर्देशित करें
मुख्य बिंदु
- Robots.txt आपकी साइट के रूट पर एक प्लेन-टेक्स्ट फ़ाइल है जो वेब क्रॉलर्स को बताती है कि कौन से पेज एक्सेस करने हैं या छोड़ने हैं।
- यह सलाहकारी है, अनिवार्य नहीं — अच्छे क्रॉलर (Googlebot) इसका पालन करते हैं, लेकिन दुर्भावनापूर्ण बॉट इसे अनदेखा कर सकते हैं।
- Robots.txt से किसी पेज को ब्लॉक करना उसे सर्च रिज़ल्ट से नहीं हटाता — उसके लिए noindex meta tag का उपयोग करें।
Robots.txt फ़ाइल वेब मानकों (Robots Exclusion Protocol) का एक मूलभूत हिस्सा है जो वेबसाइट मालिकों को वेब क्रॉलर्स के साथ संवाद करने देता है कि उनकी साइट के किन हिस्सों को एक्सेस किया जाना चाहिए या नहीं। उचित robots.txt कॉन्फ़िगरेशन क्रॉल बजट प्रबंधित करने, निजी क्षेत्रों की रक्षा करने और सर्च इंजन इंडेक्सिंग को मार्गदर्शित करने में मदद करता है।
/robots.txt
मानक फ़ाइल स्थान
उपयोग के मामले
क्रॉल बजट प्रबंधन
सर्च इंजन को एडमिन पैनल जैसे अनावश्यक पेजों पर क्रॉल संसाधन बर्बाद करने से रोकें।
स्टेजिंग वातावरण सुरक्षा
सार्वजनिक रूप से सुलभ डेवलपमेंट या स्टेजिंग साइटों को क्रॉलर्स द्वारा इंडेक्स होने से रोकें।
डुप्लिकेट कंटेंट रोकथाम
उन URL पैटर्न की क्रॉलिंग अस्वीकार करें जो डुप्लिकेट सामग्री उत्पन्न करते हैं (फ़िल्टर, सॉर्ट पैरामीटर)।
Sitemap घोषणा
अपने XML sitemap का स्थान निर्दिष्ट करें ताकि क्रॉलर्स सभी महत्वपूर्ण पेजों को खोज सकें।
व्यावहारिक सुझाव
हमेशा robots.txt में अपने XML sitemap की ओर इशारा करने वाला Sitemap निर्देश शामिल करें।
डिप्लॉय करने से पहले Google Search Console के robots.txt Tester से अपनी robots.txt फ़ाइल जाँचें।
केवल वाइल्डकार्ड (*) नियमों के बजाय विभिन्न क्रॉलर्स के लिए विशिष्ट user-agent नियम उपयोग करें।
याद रखें: robots.txt क्रॉलिंग ब्लॉक करता है, इंडेक्सिंग नहीं। पेज बाहरी लिंक के माध्यम से अभी भी सर्च रिज़ल्ट में दिख सकते हैं।
यह टूल केवल संदर्भ और शैक्षिक उद्देश्यों के लिए है। महत्वपूर्ण स्थितियों में उपयोग करने से पहले कृपया परिणामों को स्वयं सत्यापित करें।