موتور جستجو چیست / انواع موتورهای جستجو
انواع موتورهای جستجو :
موتورهای جستجو به دو دسته کلی تقسیم میشوند. موتورهای جستجوی پیمایشی و فهرستهای تکمیلدستی. هر کدام از آنها برای تکمیل فهرست خود از روشهای متفاوتی استفاده میکنند البته لازم به ذکر است که گونه ای جدید از موتورهای جستجوگر تحت عنوان "ابر جستجوگر" (Meta Search Engines) نیز وجود دارد که در ادامه به توضیح هر یک از این موارد خواهیم پرداخت :
-- موتورهای جستجوی پیمایشی:
موتورهای جستجوی پیمایشی (Crawler-Based Search Engines) مانند گوگل فهرست خود را بصورت خودکار تشکیل میدهند. آنها وب را پیمایش کرده، اطلاعاتی را ذخیره میکنند، سپس کاربران از میان این اطلاعات ذخیره شده، آنچه را که میخواهند جستجو میکنند. اگر شما در صفحه وب خود تغییراتی را اعمال نمایید، موتورهای جستجوی پیمایشی آنها را به طور خودکار مییابند و سپس این تغییرات در فهرستها اعمال خواهد شد. عنوان، متن و دیگر عناصر صفحه، همگی در این فهرست قرار خواهند گرفت.
-- فهرست تکمیل دستی:
فهرستهای تکمیلدستی یا (Human-Powered Directories) مانند فهرست بازی (Open Directory) مانند Dmoz وابسته به کاربرانی است که آن را تکمیل میکنند. شما صفحه مورد نظر را به همراه توضیحی کوتاه در فهرست ثبت میکنید یا این کار توسط ویراستارهایی که برای آن فهرست در نظر گرفته شده، انجام میشود. عمل جستجو در این حالت تنها بر روی توضیحات ثبت شده صورت میگیرد و در صورت تغییر روی صفحه وب، روی فهرست تغییری به وجود نخواهد آورد. چیزهایی که برای بهبود یک فهرستبندی در یک موتور جستجو مفید هستند، تأثیری بر بهبود فهرستبندی یک دایرکتوری ندارند. تنها استثناء این است که یک سایت خوب با پایگاه دادهای با محتوای خوب شانس بیشتری به نسبت یک سایت با پایگاه داده ضعیف دارد. البته در مورد جستجوگرهای مشهور از جمله گوگل و یاهو، یک مولفه دیگر هم برای بهبود فهرستبندی وجود دارد که کمک مالی است، یعنی وبگاههایی که مایل به بهبود مکان وبگاه خود در فهرست بندی هستند، میتوانند با پرداخت پول به این جستجوگرها به هدف خویش برسند.
-- موتورهای جستجوی ترکیبی با نتایج مختلط:
به موتورهایی اطلاق میشود که هر دو حالت را در کنار هم نمایش میدهند. غالباً، یک موتور جستجوی ترکیبی در صورت نمایش نتیجه جستجو از هر یک از دستههای فوق، نتایج حاصل از دسته دیگر را هم مورد توجه قرار میدهد. مثلاً موتور جستجوی ام.اس.ان (MSN) بیشتر نتایج حاصل از فهرستهای تکمیلدستی را نشان میدهد اما در کنار آن نیم نگاهی هم به نتایج حاصل از جستجوی پیمایشی دارد.
-- ابر جستجوگرها:
این گونه جدید از موتورهای جستجوگر که قدمت چندانی نیز ندارند از ترکیب کردن نتایج حاصل از چندید موتورجستجوگر استفاده میکند.بدین معنی که این موتور عبارت مورد نظر شما را در چندین موتورجستجوگر ِ جستجو میکند و نتایج آنها را با هم ترکیب کرده و یک نتیجه کلی به شما ارایه میدهد.بهعنوان مثال موتورجستجوگر داگ پایل [1] از نتایج حاصل از موتورهای Google - Yahoo - MSN و ASK استفاده کرده و نتیجه حاصل را به شما میدهد. آگاهی گیلان
بررسی یک موتور جستجوی پیمایشی:
موتورهای جستجوی پیمایشی شامل سه عنصر اصلی هستند. اولی در اصطلاح عنکبوت (Spider) است که پیمایشگر (Crawler) هم نامیده میشود. پیمایشگر همین که به یک صفحه میرسد، آن را میخواند و سپس پیوندهای آن به صفحات دیگر را دنبال مینماید. این چیزیست که برای یک سایت پیمایششده (Crawled) اتفاق افتاده است. پیمایشگر با یک روال منظم، مثلاً یک یا دو بار در ماه به سایت مراجعه میکند تا تغییرات موجود در آن را بیابد. هر چیزی که پیمایشگر بیابد به عنصر دوم یک موتور جستجو یعنی فهرست انتقال پیدا میکند. فهرست اغلب به کاتالوگی بزرگ اطلاق میشود که شامل لیستی از آنچه است که پیمایشگر یافته است. مانند کتاب عظیمی که فهرستی را از آنچه پیمایشگرها از صفحات وب یافتهاند، شامل شده است. هرگاه سایتی دچار تغییر شود، این فهرست نیز به روز خواهد شد. از زمانی که تغییری در صفحهای از سایت ایجاد شده تا هنگامی که آن تغییر در فهرست موتور جستجو ثبت شود مدت زمانی طول خواهد کشید. پس ممکن است که یک سایت پیمایششده باشد اما فهرستشده نباشد. تا زمانی که این فهرستبندی برای آن تغییر ثبت نشده باشد، نمیتوان انتظار داشت که در نتایج جستجو آن تغییر را ببینیم. نرمافزار موتور جستجو، سومین عنصر یک موتور جستجو است و به برنامهای اطلاق میشود که به صورت هوشمندانهای دادههای موجود در فهرست را دستهبندی کرده و آنها را بر اساس اهمیت طبقهبندی میکند تا نتیجه جستجو با کلمههای درخواست شده هر چه بیشتر منطبق و مربوط باشد.
منبع : وب سایت ویکیپدیا با تغییرات
۱ – موتورهای عمومی که در کلیه پایگاهها فارغ از نوع آن جستجو می کنند. موتورهای عمومی معروف عبارتند از: altavista.com, google.com, go.com, hotbot.com .
2 – موتورهای تخصصی در یک رشته خاص مانند اخبار “news.com”، تجارت “deja.com”، شرکتها “yellow pages.com”،افراد “whowhere.com”، مقالات و انتشارات “infojump.com”
3 – موتورهای تخصصی در خدمات اینترنت مانند گروههای خبری و مباحثه “deja.com”، بهترین پایگاه “magellan.com”.
4 – موتورهای کلان ; این موتورها عبارت مورد جستجو را همزمان به چند موتورجستجو داده و پاسخها را اولویت بندی کرده و با ذکر نام موتور جستجو نمایش می دهند.مانند mamma.com,savvysearch.com
5 – نقطه شروع ; اینگونه سایتها موتورهای جستجو را برحسب موضوعات مختلف معرفی می کنند. درصورتی که موتورهای تخصصی و عمومی را نمی شناسید از این پایگاهها شروع کنید. مانند allonesearch.com
6 – موتور اختصاصی پایگاهها; بعضی از پایگاههای بزرگ مانند مایکروسافت ، جنرال الکتریک ،… از داخل پایگاه خود موتور جستجو دارند. جدیدا می توان از موتورهای جستجو عمومی مانند hotbot,altavista,… در یک پایگاه جهت جستجو در آن استفاده کرد.
تقسیم بندی دیگری که از موتور جستجو می توان کرد، موتورهای جستجوگر، و دوم موتورهایی است که پایگاهها را دسته بندی موضوعی کرده اند و به آنها web directoryگفته می شود. معروفترین آنها webcrawear,yahooاست . درحال حاضر اکثر موتورهای جستجو دسته بندی موضوعی نیز دارند و در هر دسته و یا زیرشاخه های بعدی می توان جستجو کرد.
نحوه کار موتورهای جستجو
در این مقاله فقط نحوه کار موتورهای عمومی بررسی می شود. موتورهای عمومی ازبرنامه هایی معروف به crawler,robot و یا spiderبرای یافتن و مرور صفحات وب استفاده می کنند. نحوه کار این برنامه ها بدین صورت است که با یافتن یک صفحه کلمات مورداستفاده در آن را شناسایی کرده و به جداول فهرست بانک اطلاعاتی خود اضافه می کنند درواقع موتورها صفحات وب را در بانک اطلاعاتی نگهداری نمی کنند بلکه دربانک اطلاعاتی فهرستی از کلمات وآدرس صفحات مشمول این کلمات می باشد.
کار دیگر این برنامه ها این است که به صفحات فهرست شده قبلی مراجعه کرده ودرصورت به روز شدن صفحات ، مجددا آنها را فهرست بندی می کنند. ممکن است پایگاه موردنظرموجودنبوده ویاآدرس آن عوض شده باشد.
عوامل مهم در فهرست کردن یک صفحه وب ، تعداد وقوع کلمه در صفحه ، محل قرارگیری آن ، نوع فایلهای مورداستفاده در صفحه ، درجه اهمیت کلمه در صفحه با توجه به کلید واژه های تعیین شده توسط مالک صفحه و توضیحات آمده در بخش دستورات meta در شناسنامه صفحه می باشد.
موتورهای جستجو باتوجه به حجم بانک اطلاعاتی و برنامه هایشان به پایگاههای جدید مراجعه می کنند ولی مطمئنا تمام پایگاههای وب را شامل نمی شوند. بزرگترین موتور جستجوی عمومی حدود ۵۰۰ میلیون صفحه وب را شامل می شود. درصورتی که می خواهید پایگاه وب شما به بانک اطلاعاتی یک موتور جستجو اضافه شود پایگاه وب خود را به آن موتور جستجو معرفی کنید در صفحات وب ، در بخش دستورات شناسنامه ای صفحه ، کلید واژه های موردنظر خود را معرفی کنید. موتورهای جستجوعمومی به دو روش کلمات را فهرست بندی می کنند.
۱- keyword indexing اغلب موتورهای جستجو براساس کلمات فهرست بندی می کنند.درواقع درجستجوکلمات هم معنی راتشخیص نمی دهند.
concept based indexing – 2براساس مفهوم کلمه فهرست بندی می کنند. بدین ترتیب که اگر شما به دنبال کلمه y2kبگردید، صفحاتی که کلمات ۲۰۰۰ year problem نیز در نتایج می آید.
معروفترین موتوری که براساس مفهوم جستجو می کند excite.com می باشد.
نکته دیگری که در فهرست بندی باید بدانید این است که هر موتور چه بخشهایی ازیک صفحه را فهرست می کند. برای مثال ممکن است فقط hyperlink,heading, titleها ویا چند خط اول صفحه را فهرست کند. در برخی از موتورهای جستجو مانند opentextمی توان تعیین کرد که کلمه مورد جستجو در کجای صفحه باشد. برای مثال در…,heading,title نکته دیگر کلمات معروف به stop word هستند مانندweb,and,or,the,is,an,a و… بعضی از موتورها این کلمات را درنظر نمی گیرند.
عوامل مهم در انتخاب موتور جستجو
عوامل زیردرانتخاب موتورجستجومهم هستند:
حجم بانک اطلاعاتی موتور جستجو و تعداد صفحات مرور شده توسط آن
به روز بودن بانک اطلاعاتی
تعداد صفحات مرورشده در روز
سرعت برگرداندن نتایج جستجو
تعداد سرویس دهنده های آن در شبکه اینترنت جهت کاهش ترافیک و افزایش سرعت
نحوه نمایش نتایج جستجو و کنترل آن توسط کاربر
نحوه اولویت بندی نتایج حاصله و ارتباط آنها با یکدیگر و کنترل آن توسط کاربر
راحتی استفاده
صفحات معرفی شده به آن طی چند روز در فهرست قرار می گیرند
پشتیبانی ,imagemap,frameامنیت در پایگاهها
قابلیت جستجو در نتایج
پشتیبانی stop words
حساس به حروف بزرگ و کوچک
پشتیبانی عبارت
عدم محدودیت درتعدادحروف عبارت جستجو
دسته بندی موضوعی وامکان جستجودرهردسته
جستجو در خدمات اینترنت شامل وب ، گروههای خبری و مباحثه ،…
پشتیبانی عملگرهای جستجو
پشتیبانی زبانهای مختلف وتبدیل زبانهابه یکدیگر
جستجو براساس تاریخ
ارائه امکانات بهتر از جمله ارسال نتایج به آدرس پست الکترونیک ، ارائه تبلیغات “banner” مرتبط با عبارت .
جستجو براساس نوع فایل مانند تصویر
جستجو در مکان خاصی از صفحه وب
جستجو در دستورات “tag” صفحه وب
ارائه کلید واژه ها و نتایج مشابه
عملگرهای جستجو
عملگر REQUIRED TERM “+” وقتی این عملگر در کنار یک کلمه می آید به معنی این است که کلمه موردنظر حتما در صفحه باشد.
عملگر PROHIBITED TERM”-” با گذاشتن این عملگر کنار کلمه ، صفحاتی آورده می شود که کلمه موردنظر در آن نباشد، در مثال language-english +تمام صفحاتی آورده می شود که کلمه language در آن باشد ولی زبان english در آنها نباشد.
عملگر PROXIMITY کلمات موردنظر در کنار هم و یا نزدیک هم باشند. با عملگرnear/n دو کلمه به تعداد n کلمه نزدیک یکدیگر باشند. با عملگر followed byمابین دوکلمه ، دوکلمه دقیقا در کنار هم و با ترتیب قیدشده بیایند. موتور جستجوی webcrawler قویترین موتور در زمینه PROXIMITY است .
عملگرWILDCARD”* ویا$” با این عملگر برای مثال radio* تمام صفحاتی که کلمه radio و مشتقات آن را داشته باشد می آورد. مثل کلمه radiology، باتوجه به موتور،تعداد حروف آورده شده بعداز کلمه متفاوت خواهدبود.
عملگر منطقی BOOLEAN شامل
AND NOT, OR, AND با استفاده از ANDمابین دوکلمه صفحاتی که هم کلمه اول وهم کلمه دوم را شامل شود می آورد. با استفاده ORمابین دوکلمه ، صفحاتی که یا کلمه اول و یا کلمه دوم را شامل شود می آورد.
بااستفاده AND NOT مابین دوکلمه ، صفحاتی آورده می شود که شامل کلمه اول باشد و حتی شامل کلمه دوم نباشد. بجای عبارت AND NOT,OR,AND می توان ازنشانه های آن استفاده کرد:
& به جای AND، ا به جای OR و ! به جای NOT
گروهبندی منطقی با استفاده از پرانتز () مثل : iran and “tourism or hotel”
استفاده از quotation mark برای مشخص کردن عبارت . ” search engine” دقیقا دوکلمه به صورت یک عبارت در صفحه باشد. می توان برای مشخص کردن عبارت ازعلامت |;بین کلمات استفاده کرد.
بسیاری از موتورهای جستجو در دو حالت ساده و پیشرفته “advanced” جستجومی کنند. معمولا درحالت پیشرفته ، عملگرهای منطقی و PROXIMITY قابل استفاده می باشد.
چگونه جستجوی بهتری انجام دهیم
بخاطر داشته باشید کلید جستجوی موفق در این است که شما باهوش تر از کامپیوترهستید.
ابتدا ببینیدکه به دنبال چه موضوعی هستید باتوجه به انواع موتور جستجو که درابتدای مقاله ذکر شد، موتور خود را انتخاب کنید. قبل از جستجو لازم است با مراجعه به برنامه helpهر موتور دستورالعمل های آن را مطالعه کنید تا حداکثراستفاده ازآن رابکنید.عملگرهای گفته شده دربالا معمولا دراکثرموتورهاقابل استفاده هستند.
علاوه بر نکات قیدشده در مقاله رعایت نکات ذیل کمک بسیاری در انجام جستجوی بهتر دارد:
۱ – از حروف بزرگ برای جستجو اسامی خاص ، شرکتها و محصولات استفاده کنید. درانگلیسی بسیاری از کلمات عام و خاص هستند مثلORACLE که به معنی الهام غیبی است ولی به صورت خاص ORACLE یک RDBMSاست .
۲ – بعضی از کلمات از سایر کلمات مشتق شده است کوچکترین آن مجموعه را بدهید.
۳ – از کلمات مفرد استفاده کنید جمع آن نیز در نتایج خواهدآمد.
۴ – اگر تلفظ صحیح یک کلمه را نمی دانید چند تلفظ را با هم بدهید مثل : dostoyevski dostoevski dostoevsky
5 – از عبارت استفاده کنید ” best search engine ”
6 – چند مترادف کلمه را باهم بدهید.
secure security privacy safe
7 – می توان درجه بندی نتایج را کنترل کرد و یا می توان به یک کلمه در یک عبارت وزن بیشتری دادبرای مثال shopping shopping shopping mall
8 – از کلمات عمومی مثل کتاب car استفاده نکنید بلکه با استفاده از عبارت ، دقیقا دریک زمینه ســــوال کنیـد بــــرای مثــــال اگر می خواهید ماشین بخرید نام ماشین و
شهر موردنظر خود را وارد کنید
“toyota dealership” and texas
9 – بسیاری از موتورهای جستجو در کنار نتایج حاصله similar sites دارند که امکان دسترسی به نتایج بهتر را می دهند.
۱۰ – تاریخ صفحات را مشخص کنید.
۱۱ – نوع زبان را مشخص کنید.
در انتها پایگاههایی هستند که می توان از طریق آنها استراتژی جستجو را تعریف کرد.باتوجه به عوامل مهم ازنظر شما، موتور جستجوی مناسب را معرفی می کند. نمونه آن noodlequest.com است .
www.google.com
www.yahoo.com
www.msn.com
www.altavista.com
www.excite.com
www.hotbot.com
www.infoseek.com
www.lycos.com
www.opentext.com
www.snap.com
www.webcrawler.com
www.go.com
www.alltheweb.com
www.ibound.com
www.nothernlign.com
www.mckinley.com
www.looksmart.com
www.metacrawler.com
www.dogpile.com
www.mamma.com
www.reddif.com
www.aol.com
http://www.search.com/
اسماعیل مصطفی زاده دکتری برنامه ریزی درسی از علاقمندان حوزه برنامه درسی و آموزش می باشم.دراین وبلاگ مطالب علمی مربوط به حوزه علوم تربیتی(مطالعات برنامه درسی ، روانشناسی تربیتی ،آموزش) جهت بحث و تبادل نظر مطرح می شود.