What is GoogleBot in Hindi: किसी भी Web Page वो चाहे Blog हो या फिर Website तब तक Search Engine result में Index नही हो सकती है जब तक उसे Google robots द्वारा या फिर किसी दुसरे सर्च इंजन दुवारा Crawl नही किया जाता । Google के लिए दुनियाभर की वेबसाइट को क्रॉल इंडेक्स करने वाले bots को GoogleBot कहते है। अलग अलग सर्च इंजन के अलग अलग bot होते है लेकिन आज के इस आर्टिकल में हम इसी के बारे में जानेंगे कि गूगलबॉट क्या है और कैसे काम करता है?
Googlebot क्या है
Googlebot की बात आते ही मुझे हमारे मनन में एक robot का फोटो दिखाई देता है, जो अज्ञात दुनिया के सभी कोनों में ज्ञान को खोजने और अनुक्रमित करने के लिए सर्च पर तेजी से बढ़ रहा है।
आप अगर अभी तक गूगल बॉट क्या है के बारें मेँ नही जान पाये है तो आपको इस Article को ज़रूर पढ़ना चाहिए। जिसमें आप गूगल बॉट की पूरी जानकारी प्राप्त कर सकते है।
गूगल बॉट क्या है - What is GoogleBot in Hindi
Googlebot Google द्वारा प्रयोग किया जाने वाला एक वेब क्रॉलर सॉफ्टवेयर है, जो Google खोज इंजन के लिए खोज योग्य सूचकांक बनाने के लिए वेब से दस्तावेज़ एकत्र करता है।
यह google's web crawler का generic name है। यह नाम वास्तव में दो अलग-अलग प्रकार के वेब क्रॉलर का उल्लेख करने के लिए उपयोग किया जाता है।
- Desktop Crawler
- Mobile Crawler
डेस्डेकटॉप क्रॉलर कंप्यूटर पर एक उपयोगकर्ता का अनुकरण करता है, और एक मोबाइल क्रॉलर एक मोबाइल डिवाइस पर एक उपयोगकर्ता का अनुकरण करता है।
Bot एक तरह का Software होता है, जिसे Software Robots या Spider के नाम से भी जाना जाता है। Bot को Artificial Intelligence और Machine Learning की Help से Develop किया गया है। इसका मुख्य कार्य किसी भी Web Page पर मौजूद सभी Details को Search Engine मेँ Index/Crawl करना होता है।
सभी Search Engine का अलग-अलग Bots होती है, जो अपने-अपने Search Engine मेँ Blog/Website को Crawl करता है। यहाँ हम आपको popular Search Engine गूगलबॉट के बारें मेँ बताने जा रहे है।
गूगल ने अपने अलग-अलग Crawl System को Index करने के लिए अलग-अलग तरह के गूगलबॉट बना रखा है। जिसे हम GoogleBot Family के नाम से भी जान सकते है।
सभी GoogleBots का Works Different होता है। आपने देखा होगा, जब भी आप Google में कोई भी Keyword Type करके Search करते है तो आपके सामने अलग-अलग Google Menus आते है।
जैसे:- News, Images, Videos, Shopping, Maps, Books इत्यादि। इन सभी Categories का कम अलग-अलग होता है।
GoogleBot कैसे काम करता है?
सभी सर्च इंजन का अलग-अलग Search Console होता है, जिसे हम Webmaster tool के नाम से भी जानते है। उसी तरह Google का Search Console tool है।
जब भी आप अपना Blog का कोई Page, Post या पूरी Website ही Search Console Crawl करते है तो GoogleBot Family आपके Blog पर एक Group में आती है।
जैसा कि हमने आपको पहले बताया था कि Google ने अपना कई तरह के Bots बना रखे है, जिसका Works अलग-अलग होता है। जब यह गूगलबॉट आपके Blog पर आता है तो वह यह देखता है कि इस Blog पर ब्लॉग के webmaster ने क्या-क्या Information दी हुई है और वो आर्टिकल उनके रिलेवेंट है या नहीं
उदाहरण के लिये, आपने अपना Article Google Search Console में Index करने के लिए Request की, तब सभी GoogleBots आपके Blog पर आते है और वह देखते है कि इस Post में Text के अलावा Image, Audio, Videos, Books, Locations, News क्या क्या Content दिया गया है।
उसी हिसाब से जिस GoogleBot का जो Work होता है वह Data आपके Blog से opy करता है और उसे अपने Server में Store करके रखता है। जब गूगलबॉट का पूरा काम ख़तम हो जाती है तो गूगलबॉट आपके Blog से चला जाता है।
यह सब करने के बाद आपका Blog Post का URL Google Search Engine में Index कर देती है। जब भी कोई User आपके Blog Post Keyword के जरिये Search Result में आता है तो Google आपके Ranking के अनुसार आपके कंटेंट को search result में दिखता है ।
GoogleBot कितने प्रकार का होता है?
Google अब तक बहुत सारे Bots को Develop कर चुका है जो Google Search Result के लिए कई तरह के काम करते है। नीचे आप देख सकते है कि GoogleBot कितने प्रकार के होता है और इन Bots का काम क्या-क्या है।
- Desktop GoogleBot
Google का Desktop Bot किसी भी Web Page को Desktop Version के रूप में Crawl करता है, जिससे कोई भी Result Search Engine में Show हो पाता है और User Experience को बढ़ाता है। यह Bot सिर्फ Desktop में ही Web Pages को Crawl करता है।
- Mobile GoogleBot
Internet अधिक Mobile Browser से ही Use किया जाता है। Google का Mobile Bot किसी भी Blog को Mobile Friendly बनाने के लिए काम करता है, जिससे User को Help मिल सकें।
- Image GoogleBot
जब भी आप अपना Blog Post में किसी भी Image को Add करते है तो Google का Image Bot आपके उस Image को Copy कर Google Search Result में Index करता है और user के keyword के बेसिस पे ये Result Show करता है।
- Videos GoogleBot
Basically जब Blog Post में YouTube Videos या Other Source का Video Content Add की जाती है तो Google का Video Bot उसे Crawl करके Google Videos Result के अलावा All Result में भी Show करता है।
- News GoogleBot
आपका ब्लॉग अगर News से Related है और आपने Google News में अपना Blog Submit कर रखा है तो User जब भी किसी भी तरह के News के बारें में जानना चाहता है और अगर उसका Post आपके News Blog पर पहले से Publish है तो Google का News Bots आपका Blog Post Result में Show करता है।
- Adsense GoogleBot
Google का Adsense Bot का यह Work होता है कि आपके Blog किसी भी Particular Post में किस Type का Content है। उसी हिसाब से यह Adsense Approve Blog पर Ads Show करता है।
- Adword GoogleBot
Adword Google का Ad Service है, जो Adsense के साथ मिलकर Blog पर Ad Show करती है। Adword Bot का काम यह होता है कि User जो इस Blog पर Visit किया है है नहीं या फिर, उसे किस Type का Result पसंद है।
कहने का मतलब है कि User का Query अधिकतर समय क्या होती है, उसी Query के जरिये User को कैसा विज्ञापन दिखाता है।
- Book GoogleBot
आपने अपना Blog Post में किसी Book के बारें में बताया है या उसका Download Link दिया है तो Google User को इस Bot के जरिये Google Menu Result में Book now या book का भी Option Show करता है, जहां आपका भी Result Show कर सकता है।
एक तरीके से हम यह Confirm हो चुके है कि Google अपना काम कई तरह के Bots से करवाता है। आने वाले Time में GoogleBot और भी Develop किया जायेगा, जिससे User Experience और अच्छा होगा।
GoogleBot Page Crawl करने के लिए क्या-क्या चीज़ ध्यान मे रखता है?
जब आप अपने Blog को Public करते है और आप यह चाहते है कि Search Engine आपके किस Page को Crawl करे और किस Page को नही तो ये आप खुद निर्धारित करते है।
इसके लिए आप robots.txt file का इस्तेमाल कर सकते है, जिसके जरिये हम सभी प्रकार के robots को control कर सकते है। गूगलबॉट को भी आप इसी से कण्ट्रोल कर सकते है।
GoogleBot किसी भी URL को Crawl करने से पहले उस Blog का robots.txt File को Scan करता है और यह निर्धारित करता है कि मुझे क्या-क्या Permission Crawl करने के मिला हुआ है।
या दूसरी तरह meta tags का इस्तेमाल करके रोबोट्स को कण्ट्रोल किया जा सकता है। इसमें Bots आपके Blog पर Add Meta tag को देखता है।
GoogleBot को Block कैसे करें
आप चाहते है कि GoogleBot आपके Blog पर कुछ Private Pages को Search Engine में Crawl नही करें तो आप उसे robots.txt के जरिये Block कर सकते है। जिससे Bot आपके उन पेजेज को search इंजन पे Index नही कर पायेगा।
निचे दिए गए उदाहरण Code में देख सकते है
User-agent: *नोट:- आप अपना Blog पर bots को Crawl करने से Disallow करना चाहते है तो इसे आप अपना robots.txt File में User-Agent: * और Disallow: करें।
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /recommends/ (Affiliate links are disallowed)
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
User-agent: NinjaBot
Allow: /
User-agent: Mediapartners-Google*
Allow: /
User-agent-Googlebot-Image
Allow: /wp-content/uploads ( येह हम कुछ फोल्डर जैसे फोटो (image) को इंडेक्स करने के लिए परमिशन दे रहे)
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Search engine bots को block करने की अधिक जानकारी के लिए ये आर्टिकल पढ़े, Website Security के लिए
Bad Bots को Block कैसे करें?
तो देखा आपने GoogleBot आपकी Blog को Search Engine में कैसे Crawl करती है और यह किस तरह से काम करती है। एक बात याद रखे आप अपने Blog पर किसी Fixed Time में Post Publish करते है तो Google Bots उसे Search Engine में Index Fast करती है और Ranking बढ़ाने में भी Help करती है।
Final Word
आपने इस Article में GoogleBot क्या है, कितने type का होता है और ये काम कैसे करता है के बारे में जाना। आशा करता हूँ आपको यह जानकारी पसंद आई होगी।