نحوه ایجاد و بهینه سازی فایل Robots.txt

زهرا فنودی سئو و بهینه سازی, وردپرس 2021/05/12 225 0

نحوه ایجاد و بهینه سازی فایل Robots.txt

در این پست، به آموزش نحوه ایجاد و بهینه سازی فایل Robots.txt وردپرس برای سئو بهتر خواهیم پرداخت.

فایل Robots.txt به موتورهای جستجو می گوید که چگونه می توانند وب سایت شما را جستجو کنند ، که آن را به یک ابزار SEO فوق العاده قدرتمند تبدیل می کند.

نحوه ایجاد و بهینه سازی فایل Robots.txt

پرونده robots.txt چیست؟

Robots.txt یک فایل متنی است که دارندگان وب سایت می توانند با ایجاد رباتهای موتور جستجو چگونه صفحات را در سایت خود بخزند و فهرست کنند.

این به طور معمول در پوشه اصلی وب سایت شما ذخیره می شود. قالب اصلی یک فایل robots.txt به این شکل است:

شما می توانید چندین دستورالعمل داشته باشید تا URL های خاص را مجاز یا ممنوع کرده و چند نقشه سایت اضافه کنید. اگر یک URL را مجاز نمی دانید ، ربات های موتور جستجو تصور می کنند که اجازه دارند آن را بخزند.

در اینجا یک فایل نمونه robots.txt به نظر می رسد:

در مثال فوق robots.txt ، ما به موتورهای جستجو اجازه داده ایم که پرونده ها را در پوشه آپلودهای وردپرس ماجراجویی و فهرست کنند.

پس از آن ، ما ربات های جستجو را از پلاگین های خزنده و نمایه سازی و پوشه های مدیریت وردپرس مجاز نمی دانیم.

در آخر ، ما URL نقشه سایت XML خود را ارائه داده ایم.

آیا برای سایت وردپرس خود به یک پرونده Robots.txt نیاز دارید؟

اگر پرونده robots.txt ندارید ، موتورهای جستجو همچنان وب سایت شما را خزنده و فهرست می کنند. با این حال ، نمی توانید به موتورهای جستجو بگویید که نباید از کدام صفحات یا پوشه ها خزنده شوند.

این در حالی که برای اولین بار وبلاگ راه اندازی می کنید و محتوای زیادی ندارید ، تأثیر زیادی نخواهد داشت.

با این وجود وقتی وب سایت شما رشد می کند و محتوای زیادی دارید ، پس احتمالاً می خواهید کنترل بهتری بر نحوه خزیدن و نمایه سازی وب سایت خود داشته باشید.

در اینجا دلیل آن وجود دارد.

ربات های جستجو برای هر وب سایت سهمیه خزیدن دارند.

این بدان معنی است که آنها تعداد مشخصی از صفحات را در یک جلسه خزیدن خزنده می کنند. اگر آنها خزیدن در همه صفحات سایت شما را به پایان نرسانند ، آنها دوباره برمی گردند و در جلسه بعدی خزیدن را از سر می گیرند.

این می تواند سرعت نمایه سازی وب سایت شما را کاهش دهد.

با جلوگیری از تلاش رباتهای جستجو برای جستجوی صفحات غیرضروری مانند صفحات مدیریت وردپرس ، پرونده های پلاگین و پوشه تم ها ، می توانید این مشکل را برطرف کنید.

با اجازه دادن به صفحات غیرضروری ، سهمیه خزیدن خود را ذخیره می کنید. این به موتورهای جستجو کمک می کند تا صفحات بیشتری را در سایت شما جستجو کرده و در اسرع وقت آنها را فهرست بندی کنند.

دلیل خوب دیگر استفاده از پرونده robots.txt زمانی است که می خواهید موتورهای جستجو را از نمایه سازی یک پست یا صفحه در وب سایت خود متوقف کنید.

این امن ترین راه برای مخفی کردن مطالب از بین عموم نیست ، اما به شما کمک می کند تا از نمایش آنها در نتایج جستجو جلوگیری کنید.
یک فایل Ideal Robots.txt چگونه به نظر می رسد؟

بسیاری از وبلاگ های معروف از یک پرونده robots.txt بسیار ساده استفاده می کنند. محتوای آنها بسته به نیاز سایت خاص ممکن است متفاوت باشد:

این فایل robots.txt به همه ربات ها اجازه می دهد تا تمام مطالب را فهرست بندی کنند و پیوندی به نقشه های سایت XML وب سایت برای آنها فراهم می کند.

برای سایت های وردپرسی ، قوانین زیر را در پرونده robots.txt توصیه می کنیم:

این به ربات های جستجو می گوید تا تمام تصاویر و پرونده های وردپرس را فهرست بندی کنند. این ربات های جستجو را از نمایه سازی پرونده های افزونه وردپرس ، منطقه مدیر وردپرس ، فایل readme وردپرس و پیوندهای وابسته مجاز نمی کند.

با افزودن نقشه سایت به پرونده robots.txt ، جستجوی همه صفحات سایت خود را برای ربات های گوگل آسان می کنید.

اکنون که دانستید یک فایل ایده آل robots.txt به نظر می رسد ، بیایید نگاهی به نحوه ایجاد یک فایل robots.txt در وردپرس بیندازیم.
چگونه یک فایل Robots.txt در وردپرس ایجاد کنیم؟

برای ایجاد یک فایل robots.txt در وردپرس دو روش وجود دارد. شما می توانید روشی را انتخاب کنید که برای شما مناسب باشد.

روش 1: ویرایش فایل Robots.txt با استفاده از All in One SEO

All in One SEO همچنین به عنوان AIOSEO شناخته می شود بهترین افزونه SEO وردپرس در بازار است که بیش از 2 میلیون وب سایت از آن استفاده می کنند.

استفاده از آن آسان است و به همراه یک مولد فایل robots.txt ارائه می شود.

توجه: نسخه رایگان AIOSEO نیز موجود است و از این ویژگی برخوردار است.

پس از نصب و فعال سازی افزونه ، می توانید از آن برای ایجاد و ویرایش فایل robots.txt خود به طور مستقیم از منطقه مدیر وردپرس خود استفاده کنید.

برای ویرایش پرونده robots.txt خود کافیست به All in One SEO »Tools بروید.

نحوه ایجاد و بهینه سازی فایل Robots.txt

ابتدا باید با کلیک روی گزینه “Enable Custom Robots.txt” گزینه ویرایش را روشن کنید.

با فعال کردن این ضامن ، می توانید یک فایل سفارشی robots.txt در وردپرس ایجاد کنید.

نحوه ایجاد و بهینه سازی فایل Robots.txt

All in One SEO پرونده موجود robots.txt شما را در بخش “Robots.txt Preview” در پایین صفحه نمایش نشان می دهد.

این نسخه قوانین پیش فرض را که توسط وردپرس اضافه شده است نشان می دهد.

نحوه ایجاد و بهینه سازی فایل Robots.txt

این قوانین پیش فرض به موتورهای جستجو می گوید که از پرونده های اصلی وردپرس شما استفاده نکنند ، به ربات ها اجازه می دهد تا تمام مطالب را فهرست بندی کنند و به آنها پیوندی به نقشه های سایت XML سایت شما می دهد.

اکنون ، می توانید قوانین سفارشی خود را برای بهبود robots.txt خود برای جستجوگرها اضافه کنید.

برای افزودن یک قانون ، یک عامل کاربری در قسمت “User Agent” وارد کنید. با استفاده از * این قانون در مورد همه نمایندگان کاربر اعمال می شود.

سپس ، آیا می خواهید موتورهای جستجو برای خزیدن “اجازه (Allow)” یا “منع شوند (Disallow)” را انتخاب کنید.

بعد ، نام پرونده یا مسیر دایرکتوری را در قسمت “Directory Path” وارد کنید.

نحوه ایجاد و بهینه سازی فایل Robots.txt

این قانون به طور خودکار در مورد robots.txt شما اعمال می شود. برای افزودن قانون دیگر ، دکمه “افزودن قانون” را کلیک کنید.

توصیه می کنیم قوانین را اضافه کنید تا زمانی که قالب ایده آل robots.txt را که در بالا به اشتراک گذاشتیم ایجاد کنید.

قوانین سفارشی شما به این شکل خواهد بود.

نحوه ایجاد و بهینه سازی فایل Robots.txt

پس از اتمام کار ، فراموش نکنید که برای ذخیره تغییرات خود بر روی دکمه “ذخیره تغییرات” کلیک کنید.

روش 2. با استفاده از FTP به صورت دستی پرونده Robots.txt را ویرایش کنید

برای این روش ، شما باید از یک سرویس گیرنده FTP برای ویرایش پرونده robots.txt استفاده کنید.

به سادگی با استفاده از سرویس گیرنده FTP به حساب میزبانی وردپرس خود متصل شوید.

پس از ورود ، می توانید فایل robots.txt را در پوشه اصلی وب سایت خود مشاهده کنید.

نحوه ایجاد و بهینه سازی فایل Robots.txt

اگر چیزی را نمی بینید ، پس احتمالا پرونده robots.txt ندارید.در این صورت ، می توانید پیش بروید و یکی ایجاد کنید.

نحوه ایجاد و بهینه سازی فایل Robots.txt

Robots.txt یک فایل متنی ساده است ، به این معنی که می توانید آن را در رایانه خود بارگیری کرده و با استفاده از ویرایشگر متن ساده مانند Notepad یا TextEdit ویرایش کنید.

پس از ذخیره تغییرات ، می توانید آن را دوباره در پوشه اصلی وب سایت خود بارگذاری کنید.
چگونه فایل Robots.txt خود را آزمایش کنیم؟

هنگامی که فایل robots.txt خود را ایجاد کردید ، همیشه بهتر است آن را با استفاده از یک ابزار تستر robots.txt تست کنید.

ابزارهای بسیاری برای آزمایش robots.txt وجود دارد ، اما ما توصیه می کنیم از یکی از ابزارهای موجود در Google Search Console استفاده کنید.

ابتدا باید وب سایت خود را با Google Search Console پیوند دهید.
سپس ، می توانید از Google Test Console Robots Testing Tool استفاده کنید.

نحوه ایجاد و بهینه سازی فایل Robots.txt

به سادگی ویژگی های مورد نظرتان (property ) را از لیست کشویی انتخاب کنید.

این ابزار به طور خودکار پرونده robots.txt وب سایت شما را واکشی می کند و در صورت یافتن خطاها و هشدارها را برجسته می کند.

نحوه ایجاد و بهینه سازی فایل Robots.txt

جمع بندی مطالب:

هدف از بهینه سازی فایل robots.txt شما جلوگیری از خزیدن موتورهای جستجو در صفحاتی است که در دسترس عموم نیست. به عنوان مثال ، صفحات موجود در پوشه wp-plugins یا صفحات موجود در پوشه مدیر وردپرس.

یک افسانه رایج در بین متخصصان سئو این است که مسدود کردن دسته وردپرس ، برچسب ها و صفحات بایگانی سرعت خزیدن را بهبود می بخشد و منجر به فهرست بندی سریعتر و رتبه بندی بالاتر می شود.

این درست نیست. این نیز برخلاف دستورالعمل های مدیر وب سایت Google است.

توصیه می کنیم برای ایجاد یک پرونده robots.txt برای وب سایت خود از قالب فوق robots.txt پیروی کنید.

امیدواریم این مقاله به شما کمک کند تا یاد بگیرید چگونه فایل robots.txt وردپرس خود را برای سئو بهینه کنید.

نحوه ایجاد و بهینه سازی فایل Robots.txt

شما کاربران عزیز می توانید برای استفاده ی بیش تر از خدمات سایت پنگاش هم اکنون در ناحیه کاربری ثبت نام کنید تا علاوه بر استفاده از پست های  آموزشی رایگان بتوانید به محصولات فروشگاه و تخفیف های فوق العاده پنگاش دسترسی داشته باشید.

توجه

کلیک

اگر با این مشکل آشنا هستید خودتان انجام دهید ولی اگر نمی دانید که این کار را چطور انجام دهید می توانید هم اکنون در ناحیه کاربری ثبت نام کرده و اطلاعات سایت را تیکت کنید تا با اندک هزینه ای کار شما را انجام دهیم . اگر خواستید می توانید برای مشاوره با شماره های ۰۹۱۷۹۰۵۹۳۵۰ و یا ۰۹۳۹۸۶۹۵۲۳۸ با ما در ارتباط باشید.


کلیه حقوق برای وب سایت پنگاش محفوظ می باشد و هر گونه کپی برداری پیگرد قانونی دارد.
stats
تماس