فایل Robots.txt چیست؟
فایل Robots.txt یک فایل متنی است که در ریشه وبسایت قرار می‌گیرد و برای ارتباط با ربات‌های جستجوگر استفاده می‌شود. این فایل به ربات‌ها (مانند ربات‌های گوگل) دستوراتی را ارائه می‌دهد که نشان می‌دهد کدام بخش‌ها یا صفحات وبسایت می‌توانند توسط ربات‌ها فهرست‌بندی شوند و کدام بخش‌ها باید در جستجوهای آن‌ها صرف نظر شود. این فایل به وبمسترها امکان می‌دهد تا کنترل دقیق‌تری بر روند شناسایی و فهرست‌بندی صفحات وبسایت خود در نتایج جستجو داشته باشند.