បញ្ចូលអាសយដ្ឋានគេហទំព័រ ឬទំព័រ ដើម្បីទាញយក robots.txt របស់វា ហើយសាកល្បងថាតើ URL មួយអាចត្រូវបានរុករកឬទេ។ កម្មវិធីសាកល្បងអនុវត្តច្បាប់របស់ Google៖ វាជ្រើសក្រុមសម្រាប់ user agent ដែលជាក់លាក់បំផុត បន្ទាប់មកផ្លូវ Allow ឬ Disallow ដែលត្រូវគ្នាវែងបំផុតឈ្នះ ជាមួយ wildcard * និងសញ្ញាចុងបញ្ចប់ $។ វាប្រាប់អ្នកពីបន្ទាត់ពិតប្រាកដដែលសម្រេច ហើយបង្ហាញលទ្ធផលសម្រាប់ crawler 22 ក្នុងពេលតែមួយ រួមទាំង Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot និង Google-Extended។
ឯកសារនេះអាចកែបាន៖ ប្តូរច្បាប់មួយ ហើយលទ្ធផលធ្វើបច្ចុប្បន្នភាពភ្លាមៗ ដូច្នេះអ្នកអាចសាកល្បងការកែមុនពេលបង្ហោះវា។ អ្នកក៏អាចបិទភ្ជាប់ robots.txt ដោយមិនទាញយកអ្វីទាំងអស់។ កម្មវិធីសាកល្បងក៏ចង្អុលបង្ហាញកំហុសវាក្យសម្ព័ន្ធ directive ដែលមិនស្គាល់ ច្បាប់នៅក្រៅក្រុម និង directive ដែល Google មិនអើពើ ដូចជា Crawl-delay និង Noindex។
របៀបប្រើឧបករណ៍ សាកល្បង Robots.txt
- បញ្ចូលអាសយដ្ឋានគេហទំព័រ ឬទំព័រ ហើយចុច ទាញយក robots.txt (ឬបិទភ្ជាប់ឯកសារទៅក្នុងកម្មវិធីកែ)។
- វាយផ្លូវ URL ដែលត្រូវសាកល្បង ដូចជា
/blog/post?ref=1។ - ជ្រើស crawler មួយ ឬជ្រើស ផ្សេងទៀត ហើយវាយ token user agent ណាមួយ។
- អានលទ្ធផល និងបន្ទាត់ដែលត្រូវគ្នា បន្ទាប់មកពិនិត្យតារាងសម្រាប់ crawler ទាំងអស់ និងបញ្ជីបញ្ហា។
ហេតុអ្វីប្រើ សាកល្បង Robots.txt របស់ ToolOrca
- ច្បាប់ផ្គូផ្គងរបស់ Google៖ ក្រុម user agent ជាក់លាក់បំផុត ផ្លូវវែងបំផុតឈ្នះ Allow ឈ្នះពេលស្មើ wildcard * និង $
- លទ្ធផលសម្រាប់ Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended និងផ្សេងទៀត
- បង្ហាញច្បាប់ និងលេខបន្ទាត់ពិតប្រាកដនៅពីក្រោយលទ្ធផលនីមួយៗ
- ការកែផ្ទាល់៖ សាកល្បងការផ្លាស់ប្តូរមុនពេលបង្ហោះ
- រកកំហុសវាក្យសម្ព័ន្ធ directive សរសេរខុស Noindex ដែលមិនគាំទ្រ និងច្បាប់មុន User-agent ណាមួយ
- គ្រប់គ្រងឯកសារដែលបាត់ (404 = អនុញ្ញាតទាំងអស់) និងកំហុសម៉ាស៊ីនមេ (5xx = Google ផ្អាកការរុករក)
របៀបដែល Google អាន robots.txt
crawler មួយគោរពតែក្រុមមួយប៉ុណ្ណោះ៖ ក្រុមដែលបន្ទាត់ User-agent ត្រូវនឹងឈ្មោះរបស់វាជាក់លាក់បំផុត។ បើឯកសារមួយមានក្រុមសម្រាប់ Googlebot និងមួយសម្រាប់ * នោះ Googlebot មិនអើពើក្រុម * ទាំងស្រុង ដែលធ្វើឱ្យម្ចាស់គេហទំព័រជាច្រើនភ្ញាក់ផ្អើល។ នៅក្នុងក្រុម ច្បាប់ដែលមានផ្លូវត្រូវគ្នាវែងបំផុតឈ្នះ។ បើ Allow និង Disallow ត្រូវគ្នាដោយប្រវែងស្មើគ្នា Allow ឈ្នះ។
robots.txt គ្រប់គ្រងការរុករក មិនមែនការដាក់ index ទេ។ ទំព័រដែលត្រូវបានរារាំងនៅតែអាចបង្ហាញក្នុង Google ដោយគ្មានការពិពណ៌នា បើគេហទំព័រផ្សេងភ្ជាប់មកវា។ ដើម្បីរក្សាទំព័រមួយឱ្យនៅក្រៅលទ្ធផលស្វែងរក សូមអនុញ្ញាតការរុករក ហើយបន្ថែម <meta name="robots" content="noindex"> ជំនួសវិញ។
ការរារាំង AI crawler
ក្រុមហ៊ុន AI ប្រើ user agent ដាច់ដោយឡែក៖ GPTBot (ការបណ្តុះបណ្តាល OpenAI) OAI-SearchBot និង ChatGPT-User (ការស្វែងរក និងការរុករករបស់ ChatGPT) ClaudeBot (Anthropic) PerplexityBot, CCBot (Common Crawl) Google-Extended (ការបណ្តុះបណ្តាល Gemini វាមិនប៉ះពាល់ Google Search ទេ) និង Applebot-Extended។ បន្ថែមក្រុមមួយជាមួយ Disallow: / សម្រាប់អ្វីដែលអ្នកចង់រារាំង។ កម្មវិធីបង្កើត robots.txt មានប្រអប់ធីកសម្រាប់ពួកវា។
robots.txt គឺជាការស្នើសុំ មិនមែនជាសោទេ។ crawler ដែលគួរឱ្យទុកចិត្តអនុវត្តតាមវា ប៉ុន្តែវាមិនបញ្ឈប់ scraper ដែលមិនអើពើវាឡើយ។
សំណួរដែលសួរញឹកញាប់
តើមានអ្វីកើតឡើង បើគេហទំព័រគ្មាន robots.txt?
បើ /robots.txt ឆ្លើយ 404 (ឬ 4xx ផ្សេង) crawler ចាត់ទុកអ្វីៗទាំងអស់ថាអនុញ្ញាត។ បើវាឆ្លើយកំហុសម៉ាស៊ីនមេ (5xx) ឬអស់ពេល Google ឈប់រុករកគេហទំព័ររហូតដល់វាអាចអានឯកសារម្តងទៀត។
តើ Google គាំទ្រ Crawl-delay ទេ?
ទេ។ Google មិនអើពើ Crawl-delay ហើយកែតម្រូវអត្រារុករករបស់វាដោយខ្លួនឯង។ Bing និង Yandex ប្រើវា។
តើផ្លូវ URL ប្រកាន់អក្សរតូចធំទេ?
បាទ/ចាស។ Disallow: /Admin/ មិនរារាំង /admin/ ទេ។ ប៉ុន្តែឈ្មោះ user agent មិនប្រកាន់អក្សរតូចធំទេ។
តើខ្ញុំអាចសាកល្បង robots.txt មុនពេលបង្ហោះបានទេ?
បាន។ បិទភ្ជាប់ ឬកែឯកសារក្នុងកម្មវិធីកែ។ គ្មានអ្វីត្រូវបានទាញយក ឬរក្សាទុកទេ ហើយរាល់ការផ្លាស់ប្តូរត្រូវបានសាកល្បងភ្លាមៗក្នុងកម្មវិធីរុករករបស់អ្នក។
តើមានអ្វីត្រូវបានរក្សាទុកទេ?
ទេ។ ម៉ាស៊ីនមេរបស់យើងទាញយកតែ robots.txt ដែលអ្នកស្នើប៉ុណ្ណោះ។ ការសាកល្បង និងការកែកើតឡើងក្នុងកម្មវិធីរុករករបស់អ្នក។