شماره تماس: 02128425610شماره ثبت شرکت : 50256

کاربرد فایل robot.txt

موتورهای جستجو گر مانند گوگل ، بینگ برای اینکه بتوانند سایت ها را رتبه بندی کنند و ایندکس کنند از روبات ها spider , robot استفاده می کنند. وب سایت هایی که از این فایل استفاده می کنند در رتبه بهتری در پیج رنک قرار می گیرند علاوه بر seo این فایل باعث ایجاد امنیت بالاتری در برابر حملات می شود.توسط این فایل می توانید محدودیتها  زیادی رو بر روی سایت خود ایجاد نمایید.

 

محتویات فایل

فایل robots.txt یک فایل متنی است که از یک یا تعداد بیشتری از دستورات ساخته شده است. نمونه کد زیر مثالی از محتویات فایل Robots.txt می باشد :

 

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/

 

در نمونه کد فوق، دایرکتوری های cgi-bin، tmp و همچنین ~joe از لیست فولدرهای قابل ایندکس شدن حذف گردیده و روبات موتور جستجو از پوشه های مذکور صرف نظر می کند.

دقت نمایید که برای خارج نمودن چند فولدر از لیست ایندکسینگ باید هریک را همانند مثال فوق در سطری جداگانه تعریف نمایید و امکان درج آن ها به صورت یکجا یعنی “Disallow: /cgi-bin/ /tmp/”  وجود ندارد.

علامت ستاره “*” به معنای تمامی روبات های جستجو گر می باشد.

خارج کردن فولدرهای خاص از لیست ایندکسینگ وب سایت بسته به نوع سرور و وب سایت شما متفاوت می باشد و باید با درنظر گرفتن نکات مختلفی انجام پذیرد. در هر حال در دسترس خارج کردن تمامی پوشه ها از تمامی روبات ها چندان توصیه نمی شود، زیرا با این کار سایت شما دیگر توسط روبات ها ایندکس نشده و در نتایج موتورهای جستجو نیز نمایش داده نمی شود. در ادامه برخی از نمونه کدهای مورد استفاده در فایل Robots.txt شرح داده می شود.

برای ممنوع نمودن تمامی روبات ها از کل وب سایت (یا سرور) مورد استفاده قرار می گیرد.

User-agent: * Disallow: /

 

برای فراهم شدن دسترسی تمامی روبات ها به تمامی پوشه های وب سایت

User-agent: * Disallow:

(برای اینکار می توانید همچنین یک فایل Robots.txt خالی تهیه کرده و یا اصلا آن را ایجاد نکنید تا در این صورت به طور پیشفرض روبات ها به تمامی وب سایت شما دسترسی داشته باشند.)

 

جهت خارج نمودن سه فولدر از لیست ایندکسینگ روبات ها

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/

برای ممنوع کردن یک روبات خاص از دسترسی به سایت

User-agent: BadBot Disallow: /

 

برای اعطای دسترسی به یک روبات خاص

User-agent: Google Disallow:

توجه داشته باشید که محل قرار گیری این فایل در سایت شما به شکل زیر است:

www.YourSite.com/robot.txt

نظرات کاربران
مطالب مرتبط
آموزش ریست کردن پسورد وردپرس در PHPmyadmin

برای ریست کردن پسورد wordperss از طریق PHPmyadmin مراحل زیر را انجام دهید   ابتدا در هاست خود لاگین کرده…

ایجاد DNS اختصاصی در دایرکت ادمین

ایجاد نیم سرور اختصاصی برای دامنه های IR با دامنه های بین المللی متفاوت است  ایجاد نیم سرور اختصاصی برای…

آموزش ست کردن نیم سرورهای دامنه آی آر

وارد سایت ایرنیک شوید و ورود به سامانه را بزنید تا وارد پنل کاربری شوید . بعد از قسمت فهرست…

آموزش ست کردن دامنه روی CloudFlare

برای ست کردن دامین سایت روی CloudFlare به شیوه زیر عمل کنید: ابتدا وارد سایت cloudfalre.com شده و روی Sign…

درباره آسمان هاست!

تمامي كالاها و خدمات اين فروشگاه، حسب مورد داراي مجوزهاي لازم از مراجع مربوطه مي‌باشند و فعاليت‌هاي اين سايت تابع قوانين و مقررات جمهوري اسلامي ايران است قیمتی که در هنگام سفارش مشتري در پیش‌­فاکتور منظور گرديده است، معتبر مي‌باشد