چکیده این مطلب :

فایل Robots.txt یک فایل متنی است که توسط برنامه نویس وب یا مدیر وب برای ارتباط با ربات ها ایجاد می شود . در واقع این فایل به روبات ها دستور می دهد که خزیدن در سایت به چه صورت انجام شود.

فرمت اصلی فایل robots.txt

User-agent: [user-agent name]

Disallow: [URL string not to be crawled]

 

فقط با نوشتن همین دو خط دستور فایل robots.txt کامل می شود. ولی این فایل می تواند شامل کدهای بیشتری باشد.

User-agent: [نام ربات]

Disallow: [آدرس هایی که قرار نیست ربات گوگل ببیند]

ALLow: [آدرس هایی که ربات گوگل باید ببیند]


کارهایی که فایل robots.txt برای ما انجام می دهد عبارتند از:

1-      خزیدن در سایت  برای کشف محتوای وب

2-     فهرست کردن محتوا به طوری که روبات های گوگل که به دنبال اطلاعات هستند به آنها دسترسی داشته باشند.

نکاتی مهم در مورد فایل robots.txt

برای اینکه ربات های گوگل بتواند این فایل را پیدا کنند باید در دایرکتوری سطح بالای وب سایت یا در ریشه سایت باشد .فایل robots.txt حساس به کوچک و بزرگ بودن حروف است: فایل باید به نام robots.txt باشد (نه Robots.txt، robots.TXT، و غیره).

برخی از عوامل مخرب مانند ربات های مخرب باعث می شوند که ربات های گوگل نتوانند فایل robots.txt را ببینند.

فایل robots.txt به طور عمومی در دسترس است فقط کافی است در پایان هر دامنه  robots.txt را اضافه کنید تا فایل ربات وب سایت مورد نظر را ببیند.

برای هر زیر دامنه از یک دامنه باید یک فایل robots.txt جدا در نظر گرفت. به عنوان مثال blog.example.com و example.com باید فایل های robots.txt خود را داشته باشند.

به طور کلی بهترین روش برای نشان دادن نقشه سایت، فایل robots.txt است.

 

گوگل چطور متوجه آپدیت شدن محتوای سایت می شود؟

نحوه استفاده فنی از robots.txt

 User-agent: نام خزنده یا ربات  است که در سایت می خزد. 

Disallow این دستور استفاده می شود که آدرس مشخص شده از دید ربات ها مخفی بماند.

چرا باید فایل robots.txt را یاد بگیریم؟

استفاده نامناسب از فایل robots.txt می تواند سئو سایت شما را خراب کند.

فایل robots.txt کنترل میکند که چگونه خزنده (عنکبوت) موتورهای جستجو با صفحات وب شما ارتباط برقرار کنند.

اسم این فایل در چندین دستورالعملی که گوگل برای ارتقاء سئو سایت معرفی کرده، نام برده شده است.

اولین کاری که ربات های گوگل هنگام سر زدن به سایت انجام می دهند، بررسی فایل robots.txt است. این به این دلیل است که ربات متوجه شود آیا اجازه وارد شدن به سایت را دارد و سپس به صفحات مجاز وارد می شود و صفحات غیر مجاز را نادیده می گیرد. راه ارتباطی بین مدیر سایت و ربات های گوگل فایل robots.txt است.

با قرار دادن نقشه سایت در فایل robots.txt می توانید روند خزیدین در سایتتان را برای ربات ها آسان تر کنید.

اطمینان از  نحوه کار کرد فایل robots.txt

با استفاده از گوگل وب مستر می توانید نحوه کارکرد فایل robots.txt را تست کنید.

 

برای بهبود مقالات بعدی، لطفا نظرات و پیشنهادات ارزشمند خود را برای ما ارسال کنید.


نظر خود را ارسال کنید

پیشنهاد می دهیم این آموزش ها را نیز ببینید
بستن logo

ورود به ناحیه کاربری

هنوز در سایت عضو نشده ام!