بررسي يک موتور جستجوي پيمايشي
موتورهاي جستجوي پيمايشي شامل سه عنصر اصلي هستند. اولي در اصطلاح عنکبوت (Spider) است که پيمايشگر (Crawler) هم ناميده مي‌شود. پيمايشگر همينکه به يک صفحه مي‌رسد، آنرا مي‌خواند و سپس لينکهاي آن به صفحات ديگر را دنبال مي‌نمايد. اين چيزيست که براي يک سايت پيمايش‌شده (Crawled) اتفاق افتاده است. پيمايشگر با يک روال منظم، مثلا يک يا دو بار در ماه به سايت مراجعه مي‌کند تا تغييرات موجود در آنرا بيابد. هر چيزي که پيمايشگر بيابد به عنصر دوم يک موتور جستجو يعني فهرست انتقال پيدا مي کند. فهرست اغلب به کاتالوگي بزرگ اطلاق مي‌شود که شامل ليستي از آنچه است که پيمايشگر يافته است. مانند کتاب عظيمي که فهرستي را از آنچه که پيمايشگرها از صفحات وب يافته‌اند، شامل شده است. هرگاه سايتي دچار تغيير شود، اين فهرست نيز به روز خواهد شد.
از زماني که تغييري در صفحه‌اي از سايت ايجاد شده تا هنگاميکه آن تغيير در فهرست موتور جستجو ثبت شود مدت زماني طول خواهد کشيد. پس ممکن است که يک سايت پيمايش‌شده باشد اما فهرست‌شده نباشد. تا زمانيکه اين فهرست‌بندي براي آن تغيير ثبت نشده باشد، نمي‌توان انتظار داشت که در نتايج جستجو آن تغيير را ببينيم. نرم‌افزار موتور جستجو، سومين عنصر يک موتور جستجو است و به برنامه‌اي اطلاق مي‌شود که بصورت هوشمندانه‌اي داده‌هاي موجود در فهرست را دسته‌بندي کرده و آنها را بر اساس اهميت طبقه‌بندي مي‌کند تا نتيجه جستجو با کلمه‌هاي درخواست شده هر چه بيشتر منطبق و مربوط باشد.

چگونه موتورهاي جستجو صفحات وب را رتبه‌بندي مي‌کنند؟
وقتي شما از موتورهاي جستجوي پيمايشي چيزي را براي جستجو درخواست مي‌نماييد، تقريبا بلافاصله اين جستجو از ميان ميليونها صفحه صورت گرفته و مرتب مي‌شود بطوريکه مربوط‌ترين آنها نسبت به موضوع مورد درخواست شما رتبه بالاتري را احراز نمايد.
البته بايد در نظر داشته باشيد که موتورهاي جستجو همواره نتايج درستي را به شما ارائه نخواهند داد و مسلما صفحات نامربوطي را هم در نتيجه جستجو دريافت مي‌کنيد و گاهي اوقات مجبور هستيد که جستجوي دقيقتري را براي آنچه که مي‌خواهيد انجام دهيد اما موتورهاي جستجو کار حيرت‌انگيز ديگري نيز انجام مي‌دهند.
فرض کنيد که شما به يک کتابدار مراجعه مي کنيد و از وي درباره «سفر» کتابي مي خواهيد. او براي اينکه جواب درستي به شما بدهد و کتاب مفيدي را به شما ارائه نمايد با پرسيدن سوؤالاتي از شما و با استفاده از تجارب خود کتاب مورد نظرتان را به شما تحويل خواهد داد. موتورهاي جستجو همچنين توانايي ندارند اما به نوعي آنها را شبيه‌سازي مي‌کنند.
پس موتورهاي جستجوي پيمايشي چگونه به جواب مورد نظرتان از ميان ميليونها صفحه وب مي‌رسند؟ آنها يک مجموعه از قوانين را دارند که الگوريتم ناميده مي‌شود. الگوريتمهاي مورد نظر براي هر موتور جستجويي خاص و تقريبا سري هستند اما به هر حال از قوانين زير پيروي مي‌کنند:

مکان و تکرار
يکي از قوانين اصلي در الگوريتمهاي رتبه‌بندي موقعيت و تعداد تکرار کلماتي است که در صفحه مورد استفاده قرار گرفته‌اند که بطور خلاصه روش مکان - تکرار (Location/Frequency Methode) ناميده ميشود.
کتابدار مذکور را به خاطر مي‌آورِد؟ لازم است که او کتابهاي در رابطه با کلمه «سفر» را طبق درخواست شما بيابد. او در وحله اول احساس مي‌کند که شما به دنبال کتابهايي هستيد که در نامشان کلمه «سفر» را شامل شوند. موتورهاي جستجو هم دقيقا همان کار را انجام مي‌دهند. آنها هم صفحاتي را برايتان ليست ميکنند که در برچسب Title موجود در کد HTML حاوی کلمه «سفر» باشند.
موتورهاي جستجو همچنين به دنبال کلمه مورد نظر در بالاي صفحات و يا در ابتداي پاراگرافها هستند. آنها فرض مي‌کنند که صفحاتي که حاوي آن کلمه در بالاي خود و يا در ابتداي پاراگرافها و عناوين باشند به نتيجه مورد نظر شما مربوط تر هستند. تکرار يا Frequesncy عامل بزرگ و مهم ديگري است که موتورهاي جستجو از طريق آن صفحات مربوط را شناسايي مي‌نمايند. موتورهاي جستجو صفحات را تجزيه کرده و با توجه به تکرار کلمه‌اي در صفحه متوجه مي‌شوند که آن کلمه نسبت به ديگر کلمات اهميت بيشتري در آن صفحه دارد و آن صفحه را در درجه بالاتري نسبت به صفحات ديگر قرار مي‌دهند.

دستور آشپزي
خب آشپزي چه ربطي به موتورهاي جستجو دارد؟ رابطه در اينجاست. همانطور که آشپزهاي حرفه‌اي دستورات آشپزي خود را در لفافه نگه مي‌دارند و مقدار و چگونگي ادويه‌هاي افزودني به غذاهاي خود را افشا نمي‌کنند، چگونگي کارکرد دقيق موتورهاي جستجو درباره روشهايي از قبيل مکان-تکرار فاش نمي‌شود و هر موتور جستجويي روش خود را دنبال مي‌کند. به همين دليل است که وقتي شما کلمات واحدي را در موتورهاي متفاوت جستجو مي‌کنيد، به نتايج متفاوتي مي‌رسيد.
برخي موتورهاي جستجو نسبت به برخي ديگر صفحات بيشتري را فهرست کرده‌اند. نتيجه اين خواهد شد که هيچ موتور جستجويي نتيجه جستجوي مشترکي با موتور ديگر نخواهد داشت و شما نتايج متفاوتي را از آنها دريافت مي‌کنيد. موتورهاي جستجو همچنين ممکن است که برخي از صفحات را از فهرست خود حذف کنند البته به شرطی که آن صفحات با Spam شدن سعی در گول زدن موتورهای جستجوگر داشته باشند. Spamming روشی است که برخی از صفحات برای احراز رتبه بالاتر در موتورهاي جستجو در پيش مي‌گيرند و آن به اين صورت است که با تکرار بيش از حد کلمات بطور عمدي سعي در بر هم زدن تعادل و در نتيجه فريب موتورهاي جستجو دارند. آنها سعي دارند که با افزايش عامل تکرار، در رتبه بالاتري قرار بگيرند. موتورهاي جستجو راههاي متنوعی برای جلوگيری از Spamming دارند و در اين راه از گزارشهاي کاربران خود نيز بهره مي‌برند.

عوامل خارج از صفحه
موتورهاي جستجوي پيمايشي اکنون تجربه فراواني در رابطه با وب مسترهايي دارند که صفحات خود را براي کسب رتبه بهتر مرتبا بازنويسي مي‌کنند. بعضي از وب مسترهاي خبره حتي ممکن است به سمت روشهايي مانند مهندسي معکوس براي کشف چگونگي روشهاي مکان-تکرار بروند. به همين دليل، تمامي موتورهاي جستجوي معروف از روشهاي امتيازبندي «خارج از صفحه» استفاده مي‌کنند. عوامل خارج از صفحه عواملي هستند که از تيررس وب‌مسترها خارجند و آنها نمي‌توانند در آن دخالت کنند و مساله مهم در آن تحليل ارتباطات و لينکهاست. بوسيله تجزيه صفحات، موتورهاي جستجو لينکها را بررسي کرده و از محبوبيت آنها مي‌فهمند که آن صفحات مهم بوده و شايسته ترفيع رتبه هستند. بعلاوه تکنيکهاي پيشرفته به گونه‌اي است که از ايجاد لينکهاي مصتوعي توسط وب‌مسترها براي فريب موتورهاي جستجو جلوگيري مي‌نمايد. علاوه بر آن موتورهاي جستجو بررسي مي‌کنند که کدام صفحه توسط يک کاربر که کلمه‌اي را جستجو کرده انتخاب مي‌شود و سپس با توجه به تعداد انتخابها، رتبه صفحه مورد نظر را تعيين کرده و مقام آنرا در نتيجه جستجو جابجا مي‌نمايند.

شبكه ابر بزرگراه اطلاعات : اينترنت

وب و www و w3 : كل وب

صغحه وب ( web page ) : يك پرونده ساده وب هر چيزي كه در پنجره مرورگرتان (browser ) ميتوانيد بينيد.

مرورگر، مرورگر وب ( browser , web browser ) : قسمتي از نرم افزار كه در كامپيوتر و به شما اجازه مي دهد تا صفحات وب را ببينيد. معمولترين مرورگرهاي وب يا web browser ها عبارتند از Internet Explorer و Netscape .

Web Site :يك سري از صفحات وب كه به صورت منطقي با يكديگرارتباط دارند و آنها معمولاً ظاهر و حال و هواي مشابهي دارند وبه يك موضوع مرتبط مي شوند.

home page : رساله مقدماتي يا صفحه خوش آمد گويي براي يك وب سايت را گويند. home page شخصي يك نفر يك صفحه وب است كه خود او را توصيف مي كند.

Link , Hot link , Hyper link: يك قسمت از يك صفحه وب كه با كليك كردن بر روي آن مي توان به جاهاي ديگري رفت مثال: اين يك لينك به موتور جستجوي گوگل است

لينكها معمولاً با رنگهاي متفاوت و يا به صورتUnder line از متن اصلي شناخته مي شوند.

Broken link : يك لينك كه شما رابه صفحه اي آدرس مي دهد كه در گذشته وجود داشته ولي اكنون وجود ندارد واگر شما بر روي آن كليك كنيد آنچه در برابر شما ظاهر خواهد شد صفحه اي است كه در آن پيغام page not found (صفحه پيدا نشد ) يا page can not display ( صفحه قابل نمايش نيست ) يا Error 404 (خطاي 404 ) وجود دارد.

Hyper text : متني كه مي تواند شامل لينكهايي باشد.

HTML : اين زباني است كه تمامي صفحات وب بر اساس آن نوشته شده اند.

URL : اين آدرس يك صفحه وب است براي مثال :

http://english.unitecnology.ac.nz/resources/tutorial/introduction

URL يك صفحه وب است.

Webserver , Web Server :يك وب سرور كامپيوتري است كه تعدادي صفحات وب را در خود داشته و آنها را به كامپيوترهايي كه آن صفحات را در خواست مي كنند ارائه مي دهد. هيچ چيز بسيار ويژه اي در اين كامپيوترها وجود ندارد و فقط يك كامپيوتر معمولي است كه نرم افزارهاي ويژه اي را اجراء مي كند. ( با اين وجود يك كامپيوتر به اندازه كافي قوي است. )

SURF : سرفينگ در وب ( surfing the web ) به اين معناست كه به صورت تصادفي از اينترنت استفاده كنيم بدون داشتن يك جهت مشخص و فقط با دنبال كردن لينكها به سايت يا صفحه جالبي برسيد.

Cyber : يك ملك نيست اما در بافت اينترنت وجود دارد.

Cyber space : يك دنياي مجازي در اينترنت است.

new bie : يك شحص كه در اينترنت تازه كار است يا در يك زمينه خاص در اينترنت تازه كار است مثلاً در زمينه هايي مانند : Use net , IRC يا در يك گروه بخصوص مانند mailing list يا يك گروه حبري.

post : وقتي كه شما به يك بحث و نظرخواهي عمومي پيغام ميفرستيد شما در حال عمل posting هستيد. كلمه post مي تواند به عنوان يك فعل بكار رود.( I posted a message ) يا به صورت اسم ( that was a nice post )

FAQ : مخفف كلمات « Frequently Asked Question » است. كه بر اساس سئوالات تكراري كه افراد تازه كار يكي پس از ديگري از افراد با تجربه تر در بحثهاي on line مي پرسند شكل گرفته است. حرفه ايهايي كه از پاسخ دادن به سئوالات تكراري خسته شده اند شروع به نوشتن ليستي از سئوالات مكرر پرسيده شده و جوابهايشان كردند بنابراين تازه كارها ( New bies ) مي توانند به آنها مراجعه كنند.

اكنون FAQ توسعه يافته و عمومي تر طراحي شده و مي توان از آنها براي آشنايي با يك موضوع خاص استفاده كرد.

Download : به معني انتقال يك فايل از يك كامپيوتر دور از كامپيوتر شما به كامپيوترتان است.از نظر فني هر بار كه شما يك صفحه وب را روي صفحه مانيتور خود نگاه ميكنيد آن را download ميكنيد. (و همه اجزاي آن صفحه وب را از قبيل عكس ها و آنچه كه در بر مي گيرد )

Shareware : نرم افزارهايي كه به صورت رايگان هستند كه معمولاً نگارش سبك هستند و اغلب مي توانند از وب download شوند.

ISP : مخفف «internet service provider » است. آنها كمپانيهايي هستند كه دسترسي به شبكه اينترنت را براي شما فراهم مي كنند شما معمولاً از يك مودم كه به يك خط تلفن وصل شده است استفاده ميكنيد كه با گرفتن شماره شما را به ISP تان وصل مي كند.

Band width : اين يك تعريف فني دارد اما بيشتر براي توصيف اينكه چه مقدار اطلاعات در واحد زمان يك خط معمولي مي تواند انتقال دهد بكار ميرود و اين به سرعت خط ارتباطي شما با اينترنت بستگي دارد.

E-anything : شما مي توانيد از پيشوند E براي هر فعاليتي كه در اينترنت انجام مي شود استفاده كنيد E-learning ( آموزش الكترونيكي يا اينترنتي ) و يا E-comerrce ( تجارت الكترونيك ) مثالهاي معمولي از اين دست هستند. اين سنت در سراسر جهان از E-mail ( كه مخفف Electronic Mail ) نشات گرفته شده است.