شماره تماس: 02128425610شماره ثبت شرکت : 50256

کاربرد فایل robot.txt

موتورهای جستجو گر مانند گوگل ، بینگ برای اینکه بتوانند سایت ها را رتبه بندی کنند و ایندکس کنند از روبات ها spider , robot استفاده می کنند. وب سایت هایی که از این فایل استفاده می کنند در رتبه بهتری در پیج رنک قرار می گیرند علاوه بر seo این فایل باعث ایجاد امنیت بالاتری در برابر حملات می شود.توسط این فایل می توانید محدودیتها  زیادی رو بر روی سایت خود ایجاد نمایید.

 

محتویات فایل

فایل robots.txt یک فایل متنی است که از یک یا تعداد بیشتری از دستورات ساخته شده است. نمونه کد زیر مثالی از محتویات فایل Robots.txt می باشد :

 

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/

 

در نمونه کد فوق، دایرکتوری های cgi-bin، tmp و همچنین ~joe از لیست فولدرهای قابل ایندکس شدن حذف گردیده و روبات موتور جستجو از پوشه های مذکور صرف نظر می کند.

دقت نمایید که برای خارج نمودن چند فولدر از لیست ایندکسینگ باید هریک را همانند مثال فوق در سطری جداگانه تعریف نمایید و امکان درج آن ها به صورت یکجا یعنی “Disallow: /cgi-bin/ /tmp/”  وجود ندارد.

علامت ستاره “*” به معنای تمامی روبات های جستجو گر می باشد.

خارج کردن فولدرهای خاص از لیست ایندکسینگ وب سایت بسته به نوع سرور و وب سایت شما متفاوت می باشد و باید با درنظر گرفتن نکات مختلفی انجام پذیرد. در هر حال در دسترس خارج کردن تمامی پوشه ها از تمامی روبات ها چندان توصیه نمی شود، زیرا با این کار سایت شما دیگر توسط روبات ها ایندکس نشده و در نتایج موتورهای جستجو نیز نمایش داده نمی شود. در ادامه برخی از نمونه کدهای مورد استفاده در فایل Robots.txt شرح داده می شود.

برای ممنوع نمودن تمامی روبات ها از کل وب سایت (یا سرور) مورد استفاده قرار می گیرد.

User-agent: * Disallow: /

 

برای فراهم شدن دسترسی تمامی روبات ها به تمامی پوشه های وب سایت

User-agent: * Disallow:

(برای اینکار می توانید همچنین یک فایل Robots.txt خالی تهیه کرده و یا اصلا آن را ایجاد نکنید تا در این صورت به طور پیشفرض روبات ها به تمامی وب سایت شما دسترسی داشته باشند.)

 

جهت خارج نمودن سه فولدر از لیست ایندکسینگ روبات ها

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/

برای ممنوع کردن یک روبات خاص از دسترسی به سایت

User-agent: BadBot Disallow: /

 

برای اعطای دسترسی به یک روبات خاص

User-agent: Google Disallow:

توجه داشته باشید که محل قرار گیری این فایل در سایت شما به شکل زیر است:

www.YourSite.com/robot.txt

نظرات کاربران
مطالب مرتبط
آموزش نصب وردپرس (WordPress)

وردپرس یکی از بهترین سیستم های مدیریت محتوای سایت می باشد که به صورت رایگان در اختیار شما قرار می…

چرخه حیات دامین های بین المللی

  دوره ی فعال (Active) در این دوره دامنه در اختیار صاحب امتیاز آن است و صاحب دامنه می تواند…

آموزش نصب وردپرس از طریق Site Software در Cpanel

یکی از ویژگی های جدید Cpnael امکان نصب سریع و آسان وردپرس از طریق Site Software می باشد. برای نصب…

سایت های معروف تست سرعت سایت

اگر به دنبال ابزاری برای تست سرعت سایت خود هستید می توانید از سایت هایی که به شکل آنلاین این…

درباره آسمان هاست!

تمامي كالاها و خدمات اين فروشگاه، حسب مورد داراي مجوزهاي لازم از مراجع مربوطه مي‌باشند و فعاليت‌هاي اين سايت تابع قوانين و مقررات جمهوري اسلامي ايران است قیمتی که در هنگام سفارش مشتري در پیش‌­فاکتور منظور گرديده است، معتبر مي‌باشد