فایل Robots.txt چیست؟

کلاً یک تارنما به وسیله ربات های خزنده گزینه استیناف قرار می‌گیرد؛ این ربات ها روز به روز هوشمند خیس گردیده و مبتنی بر الگوریتم های تازه، بروز می گردند. این قابلیت و امکان برای شما مهیا می‌باشد که ربات های خزنده را کنترل کرده و دسترسی آنان را محصور نمائید. یکی‌از خط مش های محصور کردن دسترسی ربات های گوگل، دستکاری فولدر Robots.txt میباشد. ولی پوشه Robots.txt چیست؟ این پوشه چه کاربردی داراست؟ درپی به طور بدون نقص دراین باره کلام کرده ایم و فراگیری ایجاد کرد فایل robots txt در وردپرس آموزش سئو مشهد را نیز قرار داده ایم.

فولدر Robots.txt چیست؟

موتورهای کاوش به امداد ربات های خزنده خویش می‌توانند سایت های گوناگون را استیناف نمایند؛ اما این قابلیت برای شما وجود داراست که جهت حرکت یا این که همان مسیر تکان ربات های خزنده را معین نمایید. این کار به یاری فایل ربات قابلیت پذیر میباشد. فولدر Robots.txt، در واقع یک فایل متنی ساده میباشد که در مسیر اصلی وبسایت یا این که آموزش سئو در مشهد روت دایرکتوری ( Root Directory ) قرار می گیرد.

این فولدر قسمت های قابل دسترسی یا این که محدوده گردیده برای ربات ها را تعریف می نماید. به امداد اطلاعاتی که در‌این فایل قرار می دهید، می‌توانید به ربات های خزنده بگویید که کدام یک از صفحه ها تارنما را چشم و ایندکس نمایند و کدامیک را نادیده بگیرند. می اقتدار اینطور اظهار کرد که او‌لین چیزی که ربات های خزنده در تارنما شما مشاهده می نمایند، همین فولدر است. شما می‌توانید داده ها این فولدر را با کاوش نشانی زیر ملاحظه کنید:

 ساخت فایل robots.txt 

قبل از آنکه برای ایجاد کرد فایل robots.txt مبادرت فرمایید، اعتقاد و باور نتیجه ها فرمائید که اینگونه فایلی نیست؛ برای این فعالیت کافیست نشانی www.YourWebsite.com/robots.txt را سرچ نمایید. درصورتی که با برگه 404 مواجه شدید، یعنی این پوشه نیست.

البته در صورتیکه با صفحه ای دربرگیرنده کدهای User-agent و … روبرو شدید، بایستی برای رئیس فایل به در دست گرفتن پنل هاست سایتتان رجوع کنید. برای بازنویسی فایل robots.txt، آن را در یک ویرایشگر متنی معمولی گشوده کرده و تغییرات ما یحتاج را انجام نمائید. بعد آن را ذخیره کرده و جایگزین فایل گذشته نمایید.

اما در شرایطی‌که اینگونه فایلی در هاست سایتتان عدم وجود، از روش اپ Notepad ویندوز یک فولدر متنی بسازید و با اسم robots آن را ذخیره نمایید؛ سپس دستورات آیتم نظرتان را در آن درج کرده و بعد از ذخیره کردن، آن را در روت اصلی وب سایت آپلود نمایید.

نکته بسیار مهمی که باید به آن توجه نمایید، این است که پوشه robots.txt به حروف تبارک و خرد حساس است. به عنوان مثال در شرایطی که بخواهید برای فایلی با اسم File.php محدودیتی ساخت نمایید و به اشتباه در پوشه robots.txt، اسم آن را file.php بنویسید، هیچ محدودیتی برای آن ایفا نکرده اید.

نحوه آزمایش پوشه robots.txt

در شرایطی که بخواهید از طریق بی آلایش استفاده نمایید، باید پوشه robots.txt را گشوده کرده و اوامر داخل آن را تفحص نمائید. اما نحوه حرفه‌ای تری نیز وجود دارااست که شما می‌توانید به امداد ابزار آزمایش پوشه robots.txt در کنسول گوگل آن را آزمایش کنید.

برای استعمال از این ابزار مراحل پایین را طی فرمایید:

آغاز وارد تارنما Google Search Console گردید

روی قسمت robots.txt Tester کلیک کنید

آیتم Test را گزینش نمائید

اگر که مشکلی در فایل robots.txt وجود نداشته باشد، دکمه قرمز آزمایش، به رنگ سبز و Allowed عوض میشود. اما اگر مشکلی باشد، دستور نقص‌ دار هایلایت و مشخص می گردد. ضمن این، این ابزار تجهیزات دیگری را نیز در اختیار شما قرار می‌دهد؛ برای مثال می توانید از روش قسمت URL Tester، نشانی صفحه ها مختلف تارنما را رسیدگی کنید تا متوجه گردید که برای ربات ها مسدود گردیده اند یا این که نه.

همینطور به کمک این ابزار میتوانید محتویات فولدر robots.txt را تغییر‌و تحول بدهید. اما برای انجام تغییرات در سایتتان، بایستی محتوای دستکاری گردیده را جایگزین محتوای گذشته در فولدر robots.txt در هاست خویش کنید. برای این کار کافیست بعد از دستکاری متن، روی دکمه Submit کلیک فرمایید تا به نصیب بعدی بروید. در نصیب آینده شما می‌توانید فولدر robots.txt را دانلود نمائید، سپس پوشه جدید را جایگزین فولدر پیشین کنید. در غایت به‌این ورقه برگشته و دکمه Submit را بزنید. 

آموزش ایجاد کرد پوشه robots txt در وردپرس

مواقعی که در صدر برای تشکیل داد پوشه robots txt گفته شد، برای وردپرس نیز قابل اجرا می‌باشد. ولی نکاتی را باید دراین مورد رعایت کنید:

نکته اولیه

در سال های قبلی برای مسدود سازی دسترسی ربات ها به پنل رئیس وب سایت وردپرس، می بایست از روش پنل مدیریتی وردپرس، مبادرت می کردیم. البته در سال 2012 با بروزرسانی وردپرس، دیگر این کار ضرورتی نداشت؛ چرا که وردپرس به طور پیشفرض قابلیتی را به تگ هدر پوشه اضافه کرده که تگ noindex و مسدود سازی یا این که disallow در آن گنجانده گردیده است. در سود برگه پنل مدیریت وبسایت وردپرس بدون هیچ مبادرت خاصی از لیست ایندکس موتورهای کاوش بیرون گردیده‌است.

نکته دوم

در وردپرس به طور پیشفرض فولدر robots.txt با اسم فولدر مجازی robots.txt یا این که Virtual robots.txt خیال می‌گردد. یعنی شما نمی توانید به طور بی واسطه بدین پوشه دسترسی داشته و آن را بازنویسی نمایید. شما می توانید تنها از روش گشودن نشانی http://www.example.com/robots.txt در مرورگر به‌این پوشه دسترسی داشته باشید.

شیوه نامه پیش فرضی که در پوشه robots.txt قرار دارد، به طور ذیل میباشد:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

طبق این دستور، ربات ها اذن دسترسی به کاغذ admin-ajax.php را دارا‌هستند؛ در شرایطی‌که می‌خواهید دسترسی بدین ورقه را غیر فعال فرمایید، می بایست به پیکربندی وردپرس رفته و گزینه Search Engine Visibility را فعال فرمائید.

ایجاد کرد robots.txt وردپرس

برای ساخت فایل robots.txt در وردپرس آغاز وارد هاست سایتتان بشوید؛ بعد از آنجا روی آیتم File Manager کلیک فرمائید تا بتوانید فایل ها گوناگون جان دار در سایتتان را مشاهده کنید.

بعداز ورود به‌این آیتم، مسیر /public_html/ را تعیین نمائید. فعلا فایلی که با نرم‌افزار notepad یا این که هر اپلیکیشن ویرایشگر متن دیگری که ساخته اید را با اسم robots.txt ذخیره و روی هاست آپلود کنید. برای این شغل کافیست آیتم Upload را گزینش و فولدر را به هاست خویش اضافه فرمائید.

ضمن این شما می‌توانید با کلیک روی آیتم \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" FILE+ \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" طبق تصویر پایین، در فیلد New File Name، فایلی را با اسم robots.txt وارد کرده و در غایت Create New File کلیک کنید تا پوشه شما ساخته خواهد شد.

اینک به یاری اوامر زیر می‌توانید فایل robots.txt را در دست گرفتن کنید؛ قبل از آن می بایست بدانید که فایل robots.txt از دو فرمان و ضابطه تبعیت می نماید. این ضوابط به گستردن پایین خواهد بود:

User-agent: به امداد این دستور می‌توانید مشخص و معلوم فرمائید که چه نوع رباتی به دایرکتوری های هاست شما دسترسی خواهد داشت. 

Disallow: این دستور معلوم می نماید که ربات ها اذن ورود به چه مسیرهایی را در هاست ندارند.

به عنوان مثال اگر در هاست خویش فایل ای با اسم \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\"new folder \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" دارید و می خواهید که ربات ها به آن دسترسی نداشته باشند، باید قطعه کد ذیل را در فایل robots.txt خویش قرار بدهید:

User-agent: *

Disallow: /new folder/

دستورها انتخاب سطح دسترسی فولدر robots.txt در وردپرس

کلاً گوگل ربات های مختلفی را پیاده سازی نموده است که هرمورد وظیفه رسیدگی آیتم خاصی را در تارنما ها دارا هستند. مثلا ربات Googlebot وظیفه ایندکس صفحات را دارااست یا این که ربات Googlebot-image، برای بازرسی تصاویر یک سایت پیاده سازی شد‌ه‌است. شما می‌توانید دسترسی تمامی این ربات ها را به یاری دستورات تحت محصور فرمایید:

محصور کردن دسترسی به یک تصویر:

user-agent: Googlebot-image

disallow: /photo/

غیر فعال کردن دسترسی به تک تک وبسایت:

 Disallow: /

غیر فعال کردن دسترسی به یک پوشه خاص:

Disallow: /name-folder/

Disallow: /name-folder/file/

محصور کردن به دسترسی به یک فولدر:

 Disallow: /name-folder/name-file.format (pdf,jpg,...)

محصور کردن فایل‌هایی به فرمت خاص:

Disallow: /*.gif$

Disallow: /*.pdf$

Disallow: /*.docs$

دسترسی نقشه وبسایت در فایل robots.txt:

روی هم رفته شما می توانید به دو طریق نقشه سایتتان را به گوگل معرفی نمایید؛ برای این شغل می توانید از سرچ کنسول یا این که فولدر robots.txt به کارگیری نمائید. اما قبل از آن بهتر می‌باشد با پژوهش نوشته‌ی علمی \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" طراحی وب مپ \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" نقشه سایتتان را بسازید. آنگاه عالی می باشد از روش سرچ کنسول نقشه سایتتان را به گوگل معرفی نمائید؛ برای این شغل باید سایتتان را در سرچ کنسول تصویب کرده باشید. در نوشته ی علمی \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" تصویب وبسایت در سرچ کنسول \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\" به شما آموزش های ما یحتاج را داده ایم.

ولی در شرایطی که میخواهید از روش پوشه robots.txt این فعالیت را اجرا بدهید، بایستی قطعه کد زیر را به فایل خویش اضافه فرمائید:

 Sitemap:https://example.com/sitemap.xml 

نحوه دستکاری فایل robots.txt در وردپرس

با تمرکز به آنچه گفته شد، قابلیت ویرایش مستقیم پوشه robots.txt در وردپرس نیست. به همین استدلال بایستی برای ویرایش آن، یک فولدر نو را ایجاد کرد کرده و در هاست دوباره لود فرمائید. هنگامی که فایل جدید robots.txt ساخته می گردد، فایل مجازی به طور اتوماتیک غیر فعال می‌گردد.

لزوم داشتن فایل robots.txt چیست؟

اگر که‌این فولدر در هاست سایتتان آپلود نشده باشد، خزندگان و ربات های موتورهای کاوش می توانند به تک تک صفحه ها وبسایت شما دسترسی پیدا کرده و آن‌ها‌را گزینه تفحص قرار دهند.

در شرایطی‌که فایل robots.txt به صحت در وبسایت آپلود نشود، چه می گردد؟

درصورتی که این فولدر به صدق تهیه و تنظیم نشده باشد یا این که به طور بی نقص در هاست آپلود نشده باشد، ربات های خزنده مانند قبل کلیه صفحه ها وبسایت را ایندکس می نمایند. در واقع ربات ها دستوراتی را انجام می نمایند که به طور ظریف و همخوانی با کردار آنان تمجید گردیده باشد. در غیر اینصورت وظیفه طبیعی و مهم خویش را ایفا می دهند. 

دلایل مهم به کار گیری از فایل robots.txt 

1. بهبود عملکرد سئو سایت

تارنما های تبارک و پر طرفدار، روزمره هزاران توشه به وسیله ربات های گوناگون مورد تحقیق قرار میگیرند. این ربات ها در حین دو مرحله یعنی پژوهش و ایندکس، سایت را تفحص می نمایند. هم اکنون فرض نمایید روزمره بیش از صدها ربات یک وب سایت را استیناف نمایند؛ این رخداد سبب نماید شدن سرعت بار گذاری وب سایت خواهد شد. به این دلیل‌که آحاد قسمت های وبسایت و هاست، زیر اثر هزارن ربات قرار گرفته می باشد.

قابل ذکر می‌باشد که‌این آیتم برای وبسایت های کم بازدید، اثر کمتری داراست. ولی به هر جهت وبسایت هایی که باید روزمره ترافیک متعددی را هندل نمایند، با اضافه شدن وسعت متعددی از ربات ها نیز، دچار نقص‌ خواهند شد. به همین جهت هست که سئوکاران برای بهبود سرعت وبسایت، دسترسی ربات ها را محصور می نمایند. در واقع با این کار اذن رسیدگی برخی از قسمت های وبسایت که از لحاظ سئو التفات کمتری دارا هستند را به ربات ها نمی دهند.

2. رئیس دسترسی موتورهای کاوش

از معمول ترین دلایل به کارگیری از پوشه robots.txt، محصور کردن دسترسی ربات های خزنده به قسمت های متفاوت یک تارنما است. مطلقا این پرسش برایتان پیش خواهد آمد که چرا بعضا از صفحه ها نباید ایندکس شوند؟ ایندکس شدن بعضی از صفحه ها وبسایت قادر است نتایج نامطلوبی را برای شما داشته باشد.

به عنوان مثال فرض کنید شما به مناسبت های مختلف، فستیوال ای را در سایت خویش برگزار میکنید و برای این فستیوال ها صفحاتی را ساخت می‌کنید. ضرورتی ندارد که ربات های خزنده این صفحه های را ایندکس نمایند؛ به دلیل آن که پس از مدتی غیر فعال گردیده و از طرفی توشه محتوایی متعددی نیز ندارند. به همین برهان در پوشه robots.txt، بیان می‌کنیم که‌این صفحات ایندکس نشوند.

چرا‌که در شکل ایندکس شدن، ممکن است تحت عنوان صفحه های زامبی یا این که بی قیمت شناخته شوند. قابل ذکر میباشد که ایندکس نشدن یک شیت از وبسایت، به معنای چشم نشدن آن برگه بوسیله کاربر وجود ندارد. صرفا در نتیجه ها آورده نشده و توسط ربات ها استیناف نمی شود.

3. مدیر لینک های وب سایت

یکی از تکنیک های سئو کلاه سیاه، تکنیک URL Cloacking می‌باشد؛ در بنا شده در این تکنیک شما نشانی یک شیت را از لحاظ موتورهای کاوش نهفته می‌کنید. یک کدام از دلایل استفاده از پوشه robots.txt، مدیریت همین صفحات می‌باشد. با این تکنیک شما می‌توانید نشانی صفحات را از حیث کاربر و موتور کاوش پنهان نگه دارید.

بیشترین کاربرد URL Cloacking، در سیستم همیاری در فروش یا این که Affiliate Marketing به چشم میخورد. با این کار شما می توانید لینک و پیوند های ساخت گردیده در Affiliate را رئیس کرده و نشانی آن‌ها‌را پنهان فرمایید. در غایت استفاده کننده مجبور می‌شود روی آنان کلیک نماید.

در نقطه پایان

در‌این محتوا به شما گفتیم که فولدر Robots.txt چیست و چه کاربردی دارد؟ همانطور که گفتیم به کمک فولدر Robots.txt می توانید ربات های خزنده گوگل را تا حدی در دست گرفتن کرده و از ایندکس شدن و رسیدگی صفحات بی قیمت نیز دوری فرمایید. با این کار میتوانید میزان دارایی خزش سایتتان را صرف صفحه ها ارزشمند خیس نمائید و در منفعت seo تکنیکال سایتتان را ارتقا دهید.