فایل Robots.txt چیست و چه فایده ای دارد؟
حتما” تا بحال از فایل robots.txt چیزهایی شنیده اید واین سئوال برایتان پیش آمده که این فایل از کجا می آید و باید آنرا در کجا قرار دهیم . به طور خلاصه این فایل ، یک فایل تکست معمولی است که مثلا” میتوان آنرا در نوت پد ایجاد کرد و در ریشه اصلی سایت ، در هاست شما قرار میگیرد.
شما در این فایل برای موتورهای جستجوگر، همچون یاهو و گوگل تعریف میکنید که چه دسته بندی ها یا صفحاتی را لیست کند و کدام ها را لیست نکند.
این کار باعث میشود لینک های مفید تری از سایت شما ایندکس شده ، و یا بخشهایی که تمایل ندارید لیست نشوند . این نوشته مقدماتی ،و نمونه آورده شده فقط در حد یک آشناییست . این شما هستید که باید با دقت و نکته سنجی ، رباتهای موتورهای جستجوگر را هدایت کنید . به عنوان مثال میتوانید تعیین کنید که کامنتها درگوگل ایندکس نشود تا چگالی کلمات کلیدی پایین نیاید یا مثلا” بخش های ادمین یا … در ضمن خیلی بهتراست که در آن به سایت مپ خود هم لینک بدهید
در زیر میتوانید یک فایل نمونه را از این دست مشاهده کنید . به راحتی متوجه خواهید شد که در مقابل دایرکتوریهایی که میخواهیم دیده نشوند عبارت Disallow و یا برای آنها که مایلند دیده شوند Allow را انتخاب کرده ایم . با کمی دقت اصول کار را کاملا” در میابید .
امیدوارم مفید واقع شود – نمونه ای از یک فایل robots.txt
من دارم رو یه سایتی کار میکنم چطور میتونم مطمئن بشم کسی اونو ایندکس نمیکنه و صفحاتش توسط کسی جز من دیده نمیشه؟ سایتم وردپرسیه.
در حال حاضر براش سایت مپ درست نکنید و سایتتان را در گوگل وبمستر و … معرفی نکنید .
در ورد پرس و در بخش مدیریت ، به قسمت تنظیمات و سپس خواندن بروید . در انتهای صفحه گزینه ای در این باره دارد که آنرا تیک بزنید تا موتورهای جستجوگر آنرا ایندکس نکنند .
بعد از این کار در فایل robots.txt این کد را در خط اول بزنید . ( اگر اضافه نشده بود )
User-agent: Googlebot
Disallow:
Allow: /*
و یا اینکه اصلا” در حال حاضر این فایل را نسازید .
کاملا” نمیتونید مطمئن باشید که هیچ موتوری شما را ایندکس نکند ولی تا حد زیادی موثر است .
موفق باشید .
مفید بود خیلی ممنون
خوشحال شدم که مفید بوده . ممنون از توجه و همراهی تان