एक क्रलर के हो? क्रलर उपकरण "Yandex" र Google

इन्टरनेटमा हरेक दिन त्यहाँ, एक वेबसाइट पुरानो वेब पृष्ठहरू अपडेट सिर्जना फोटो र भिडियो अपलोड गर्न नयाँ सामाग्री को एक ठूलो रकम हो। खोज इन्जिन लुकेका बिना वर्ल्ड वाइड वेब मा भेट्टाउन सकिएन यी कागजात को कुनै पनि। कुनै पनि समय मा रोबोट कार्यक्रम जस्तै विकल्प अवस्थित छैन। के तपाईं कसरी सञ्चालन गर्न र आवश्यक किन, खोज रोबोट छ?

खोज रोबोट के हो

क्रलर साइट (खोज इन्जिन) - यसलाई चाँडै इन्टरनेट मार्फत नेभिगेट कुनै पनि अपरेटर हस्तक्षेप बिना, वेब पृष्ठ को लाखौं भ्रमण गर्न सक्षम छ कि एक स्वचालित कार्यक्रम छ। Bots निरन्तर स्क्यान ठाउँ हो , वर्ल्ड वाइड वेब को नयाँ वेब पृष्ठहरू फेला पार्ने र नियमित पहिले नै अनुक्रमित जानुहोस्। वेब crawlers spiders, crawlers, Bots अन्य नामहरू।

किन खोज इन्जिन spiders छन्

अनुक्रमित वेब पृष्ठ, साथै पाठ, चित्र, अडियो र भिडियो फाइलहरू भनी छन् - खोज इन्जिन spiders प्रदर्शन गर्ने मुख्य कार्य। Bots सन्दर्भहरू, दर्पण साइटहरु (प्रतिहरू) र अद्यावधिक जाँच गर्नुहोस्। रोबोट्स पनि वर्ल्ड वाइड वेब लागि प्राविधिक स्तर विकास र लागू जो विश्व संगठन, को एकरूप स्तर लागि HTML-कोड नियन्त्रण प्रदर्शन।

अनुक्रमणिका के हो र यो किन आवश्यक छ

अनुक्रमणिका - छ, वास्तवमा, खोज इन्जिन द्वारा एक विशेष वेब पृष्ठमा गएर प्रक्रिया छ। कार्यक्रम यस साइटमा पाठ स्कैन, चित्र, भिडियो, बहिर्गमन लिंक, त्यसपछि पृष्ठ खोज परिणाम देखा पर्छ। केही अवस्थामा, साइट स्वतः, त्यसपछि यो खोज इन्जिन गर्न स्वयं वेबमास्टर थप गर्न सकिँदैन स्क्यान गर्न सकिन्छ। सामान्यतया, यो अभाव हुन्छ बाह्य लिंक को एक विशेष (अक्सर हालै मात्र सिर्जना) पृष्ठमा।

इन्जिन spiders कसरी खोज

प्रत्येक खोज इन्जिन यस्तै कार्यक्रम, "Yandex" वा अन्य प्रणाली मा काम गर्दछ गुगल खोज रोबोट यसको आफ्नै बोट भएको संयन्त्र अनुसार एकदम भिन्न हुन सक्छन्।

कार्यक्रम साइट मा "आउँछ" र मुख्य पृष्ठ बाह्य लिंक, वेब संसाधन (प्रयोगकर्ता देख्न गर्छ कि भन्ने देख उपरि सहित) "यस्तो लेखिएको छ": सामान्य मा, एक रोबोट काम सिद्धान्त रूपमा निम्नानुसार छ। नाउ एक साइट को पृष्ठ बीच नेभिगेट र अरूलाई मा सार्न कसरी छ।

कार्यक्रम सूचकांक कुन साइट चयन गर्नेछ? छैन भन्दा अक्सर "यात्रा" को माकुरा ठूलो सन्दर्भ वजन संग समाचार साइटहरू वा प्रमुख स्रोत निर्देशिका र एग्रीगेटर सुरु। क्रलर लगातार पृष्ठ एक एक गरेर, दर र निम्न कारक अनुक्रमणिका को स्थिरता मा स्कैन:

• आन्तरिक: perelinovka, साइट आकार, सही कोड, प्रयोगकर्ता-अनुकूल र यति मा (एउटै स्रोत पृष्ठ बीच आन्तरिक लिंक);
• बाह्य: कुल सन्दर्भ वजन, साइटमा जान्छ जो।

पहिलो कुरा robots.txt कुनै पनि वेबसाइटमा खोज रोबोट खोजीहरू। थप स्रोत अनुक्रमणिका जानकारी यो कागजात हो प्राप्त आधारित गरिन्छ। यो फाइल पृष्ठ भ्रमणहरू को संभावना "Yandex" वा Google मा एक प्रारम्भिक हिट साइट हासिल गर्न, फलस्वरूप, खोज इन्जिन द्वारा वृद्धि, र गर्न सक्ने "spiders" को लागि विशेष निर्देशनहरू समावेश छन्।

कार्यक्रम crawlers analogs

अक्सर शब्द "खोज रोबोट" बौद्धिक, प्रयोगकर्ता वा स्वायत्त एजेन्ट, "चींटियहरुलाई" वा "कीडे" संग भ्रमित छ। मात्र एजेन्ट संग तुलना जोडतोडले महत्वपूर्ण मतभेद, अन्य परिभाषा रोबोट को समान प्रकार उल्लेख।

उदाहरणका लागि, एजेन्ट हुन सक्छ:

• बौद्धिक: साइटमा साइटबाट सारियो जुन कार्यक्रम, स्वतन्त्र कसरी अगाडि बढ्न निर्णय; तिनीहरूले इन्टरनेटमा धेरै साधारण छैनन्;
• । स्वायत्त: यी एजेन्ट एक उत्पादन, खोज चयन, वा बाहिर प्रकारका, तथाकथित फिल्टर, नेटवर्क कार्यक्रम सानो सम्बन्धित छन् जो भर्नु मा प्रयोगकर्ता सहयोग;
• प्रयोगकर्ता: कार्यक्रम वर्ल्ड वाइड वेब संग प्रयोगकर्ता अन्तरक्रिया योगदान, ब्राउजर (उदाहरणका लागि, ओपेरा, अर्थात्, गुगल क्रोम, फायरफक्स), दूत (Viber, टेलिग्राम) वा ई-मेल प्रोग्रामहरू (एमएस आउटलुक र Qualcomm)।

"Ants" र "कीडे" खोज इन्जिन "spiders" थप समान छन्। नेटवर्क र लगातार बीच पहिलो फारम यो कमिला बस्ती जस्तै अन्तरक्रिया, "कीडे" मानक क्रलर जस्तै अन्य पक्षहरूमा मा दोहराने गर्न सक्षम छ।

खोज इन्जिन रोबोट को विविधता

crawlers को धेरै प्रकार को बीच भेद। कार्यक्रम को उद्देश्य आधारमा, ती हुन्:

• "मिरर" - डुप्लिकेटहरु वेबसाइट ब्राउज छन्।
• मोबाइल - वेब पृष्ठ को मोबाइल संस्करण मा ध्यान।
• द्रुत - नवीनतम अद्यावधिक हेर्दै द्वारा चाँडै नयाँ जानकारी समाधान।
• सन्दर्भ - सन्दर्भ सूचकांक, उनको संख्या गणना।
• Indexers सामग्री विभिन्न प्रकारका - पाठ, अडियो, भिडियो, चित्र लागि विशेष कार्यक्रम।
• "स्पाइवेयर" - अझै खोज इन्जिन मा देखाइएको छैन पृष्ठहरू लागि देख।
• "Woodpecker" - समय समयमा साइटहरु आफ्नो सान्दर्भिकता र दक्षता जाँच गर्न जानुहोस्।
• राष्ट्रिय - देश डोमेन को एक मा स्थित वेब स्रोतहरू ब्राउजिङ (जस्तै, .mobi, वा .kz .ua)।
• विश्व - सूचकांक सबै राष्ट्रिय साइटहरू।

रोबोट प्रमुख खोज इन्जिन

केही खोज इन्जिन spiders पनि छन्। सिद्धान्त मा, व्यापक आफ्नो कार्यक्षमता भिन्न हुन सक्छन्, तर अभ्यास मा कार्यक्रम लगभग समान छन्। वेब पृष्ठहरू अनुक्रमणिका मुख्य मतभेद रोबोट निम्नानुसार दुई प्रमुख खोज इन्जिन हो:

• परीक्षणको stringency। यो विश्वास छ कि क्रलर को संयन्त्र "Yandex" केहि stricter अनुमान वर्ल्ड वाइड वेब को स्तर अनुपालनको लागि साइट।
• साइट को निष्ठाको संरक्षण। गुगल क्रलर indexes सम्पूर्ण साइट (मिडिया सामग्री सहित), "Yandex" पनि सामग्री छानेर हेर्न सक्छन्।
• गति परीक्षण नयाँ पृष्ठ। गुगल दुई हप्ता वा बढी लाग्न सक्छ "Yandex द्वारा" प्रक्रिया को मामला मा, केहि दिन भित्र खोज परिणाम मा नयाँ स्रोत थप्छ।
• पुन अनुक्रमणिका फ्रिक्वेन्सी। "Yandex" क्रलर दुई पटक एक हप्ता अद्यावधिक जाँच, र Google - एक हरेक 14 दिन।

इन्टरनेट, को पाठ्यक्रम, दुई खोज इन्जिन सीमित छैन। अन्य खोज इन्जिन गर्ने आफ्नै अनुक्रमणिका मापदण्डहरु पालना आफ्नो रोबोट छ। साथै, त्यहाँ धेरै प्रमुख छैन खोज स्रोतहरू डिजाइन गर्दै छन् "spiders", र व्यक्तिगत टोली वा वेबमास्टरों छन्।

साधारण गलतफहमियहरुलाई

विपरीत लोकप्रिय विश्वास गर्न, "spiders" जानकारी प्रक्रिया छैन। कार्यक्रम मात्र स्कैन र वेब पृष्ठ भण्डारण गर्छ र थप प्रक्रिया पूर्ण बिभिन्न रोबोट लाग्छ।

साथै, धेरै प्रयोगकर्ताहरू खोज इन्जिन spiders नकारात्मक प्रभाव र "हानिकारक" इन्टरनेट छ भन्ने विश्वास गर्छन्। वास्तवमा, "spiders" केही संस्करण एकदम सर्भर अधिभार गर्न सक्नुहुन्छ। कार्यक्रम, रोबोट कन्फिगरेसनमा गल्तिहरु सिर्जना गर्ने वेबमास्टर, - मानव कारक पनि हो। अझै विद्यमान कार्यक्रम को सबै भन्दा राम्रो डिजाइन र पेशेवर व्यवस्थित, र कुनै पनि उदीयमान समस्या द्रुत हटाइयो।

कसरी अनुक्रमणिका व्यवस्थापन गर्न

खोज इन्जिन रोबोट स्वचालित रूपमा कार्यक्रम हो, तर अनुक्रमणिका प्रक्रिया आंशिक वेबमास्टर द्वारा नियन्त्रण गर्न सकिन्छ। यो निकै बाह्य र मद्दत गर्छ आन्तरिक अनुकूलन स्रोत को। साथै, तपाईं स्वयं एक खोज इन्जिन एक नयाँ साइट थप्न सक्नुहुन्छ: दर्ता वेब पृष्ठहरू विशेष फारम ठूलो स्रोतहरू छन्।