រំលងទៅមាតិកា

កម្មវិធីសាកល្បង Robots.txt

ស្វែងយល់ថាតើ Googlebot, Bingbot ឬ AI crawler អាចទាញយក URL មួយបានឬទេ និងហេតុអ្វី។

ឧបករណ៍នេះផ្ទុកទំព័រតាមរយៈម៉ាស៊ីនមេរបស់យើង ព្រោះកម្មវិធីរុករកមិនអាចអានគេហទំព័រផ្សេងដោយផ្ទាល់បានទេ។ មានតែអាសយដ្ឋានដែលអ្នកបញ្ចូលប៉ុណ្ណោះដែលត្រូវបានផ្ញើ ហើយលទ្ធផលត្រូវបានរក្សាទុកតែប៉ុន្មាននាទីប៉ុណ្ណោះ មិនត្រូវបានរក្សាទុកជាអចិន្ត្រៃយ៍ឡើយ។ ឯកជនភាព

Or paste a robots.txt below and test it without fetching anything.

Edits are tested instantly. Nothing is saved or sent anywhere.

រាយការណ៍បញ្ហា

សូមកុំដាក់ព័ត៌មានផ្ទាល់ខ្លួន ឬព័ត៌មានរសើប។

តើមានអ្វីកើតឡើង ហើយអ្នករំពឹងទុកអ្វី? (១០–២០០០ តួអក្សរ) ០ / ២០០០

កម្មវិធីរុករក និងប្រព័ន្ធរបស់អ្នក ទំហំអេក្រង់ និងសារកំហុសថ្មីៗនៅលើទំព័រនេះ។ មិនដែលភ្ជាប់អ្វីដែលអ្នកបានវាយ ឬឯកសាររបស់អ្នកទេ។ ឯកជនភាព

អ្វីដែលត្រូវផ្ញើ
 

បញ្ចូលអាសយដ្ឋានគេហទំព័រ ឬទំព័រ ដើម្បីទាញយក robots.txt របស់វា ហើយសាកល្បងថាតើ URL មួយអាចត្រូវបានរុករកឬទេ។ កម្មវិធីសាកល្បងអនុវត្តច្បាប់របស់ Google៖ វាជ្រើសក្រុមសម្រាប់ user agent ដែលជាក់លាក់បំផុត បន្ទាប់មកផ្លូវ Allow ឬ Disallow ដែលត្រូវគ្នាវែងបំផុតឈ្នះ ជាមួយ wildcard * និងសញ្ញាចុងបញ្ចប់ $។ វាប្រាប់អ្នកពីបន្ទាត់ពិតប្រាកដដែលសម្រេច ហើយបង្ហាញលទ្ធផលសម្រាប់ crawler 22 ក្នុងពេលតែមួយ រួមទាំង Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot និង Google-Extended។

ឯកសារនេះអាចកែបាន៖ ប្តូរច្បាប់មួយ ហើយលទ្ធផលធ្វើបច្ចុប្បន្នភាពភ្លាមៗ ដូច្នេះអ្នកអាចសាកល្បងការកែមុនពេលបង្ហោះវា។ អ្នកក៏អាចបិទភ្ជាប់ robots.txt ដោយមិនទាញយកអ្វីទាំងអស់។ កម្មវិធីសាកល្បងក៏ចង្អុលបង្ហាញកំហុសវាក្យសម្ព័ន្ធ directive ដែលមិនស្គាល់ ច្បាប់នៅក្រៅក្រុម និង directive ដែល Google មិនអើពើ ដូចជា Crawl-delay និង Noindex។

របៀបប្រើឧបករណ៍ សាកល្បង Robots.txt

  1. បញ្ចូលអាសយដ្ឋានគេហទំព័រ ឬទំព័រ ហើយចុច ទាញយក robots.txt (ឬបិទភ្ជាប់ឯកសារទៅក្នុងកម្មវិធីកែ)។
  2. វាយផ្លូវ URL ដែលត្រូវសាកល្បង ដូចជា /blog/post?ref=1។
  3. ជ្រើស crawler មួយ ឬជ្រើស ផ្សេងទៀត ហើយវាយ token user agent ណាមួយ។
  4. អានលទ្ធផល និងបន្ទាត់ដែលត្រូវគ្នា បន្ទាប់មកពិនិត្យតារាងសម្រាប់ crawler ទាំងអស់ និងបញ្ជីបញ្ហា។

ហេតុអ្វីប្រើ សាកល្បង Robots.txt របស់ ToolOrca

  • ច្បាប់ផ្គូផ្គងរបស់ Google៖ ក្រុម user agent ជាក់លាក់បំផុត ផ្លូវវែងបំផុតឈ្នះ Allow ឈ្នះពេលស្មើ wildcard * និង $
  • លទ្ធផលសម្រាប់ Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended និងផ្សេងទៀត
  • បង្ហាញច្បាប់ និងលេខបន្ទាត់ពិតប្រាកដនៅពីក្រោយលទ្ធផលនីមួយៗ
  • ការកែផ្ទាល់៖ សាកល្បងការផ្លាស់ប្តូរមុនពេលបង្ហោះ
  • រកកំហុសវាក្យសម្ព័ន្ធ directive សរសេរខុស Noindex ដែលមិនគាំទ្រ និងច្បាប់មុន User-agent ណាមួយ
  • គ្រប់គ្រងឯកសារដែលបាត់ (404 = អនុញ្ញាតទាំងអស់) និងកំហុសម៉ាស៊ីនមេ (5xx = Google ផ្អាកការរុករក)

របៀបដែល Google អាន robots.txt

crawler មួយគោរពតែក្រុមមួយប៉ុណ្ណោះ៖ ក្រុមដែលបន្ទាត់ User-agent ត្រូវនឹងឈ្មោះរបស់វាជាក់លាក់បំផុត។ បើឯកសារមួយមានក្រុមសម្រាប់ Googlebot និងមួយសម្រាប់ * នោះ Googlebot មិនអើពើក្រុម * ទាំងស្រុង ដែលធ្វើឱ្យម្ចាស់គេហទំព័រជាច្រើនភ្ញាក់ផ្អើល។ នៅក្នុងក្រុម ច្បាប់ដែលមានផ្លូវត្រូវគ្នាវែងបំផុតឈ្នះ។ បើ Allow និង Disallow ត្រូវគ្នាដោយប្រវែងស្មើគ្នា Allow ឈ្នះ។

robots.txt គ្រប់គ្រងការរុករក មិនមែនការដាក់ index ទេ។ ទំព័រដែលត្រូវបានរារាំងនៅតែអាចបង្ហាញក្នុង Google ដោយគ្មានការពិពណ៌នា បើគេហទំព័រផ្សេងភ្ជាប់មកវា។ ដើម្បីរក្សាទំព័រមួយឱ្យនៅក្រៅលទ្ធផលស្វែងរក សូមអនុញ្ញាតការរុករក ហើយបន្ថែម <meta name="robots" content="noindex"> ជំនួសវិញ។

ការរារាំង AI crawler

ក្រុមហ៊ុន AI ប្រើ user agent ដាច់ដោយឡែក៖ GPTBot (ការបណ្តុះបណ្តាល OpenAI) OAI-SearchBot និង ChatGPT-User (ការស្វែងរក និងការរុករករបស់ ChatGPT) ClaudeBot (Anthropic) PerplexityBot, CCBot (Common Crawl) Google-Extended (ការបណ្តុះបណ្តាល Gemini វាមិនប៉ះពាល់ Google Search ទេ) និង Applebot-Extended។ បន្ថែមក្រុមមួយជាមួយ Disallow: / សម្រាប់អ្វីដែលអ្នកចង់រារាំង។ កម្មវិធីបង្កើត robots.txt មានប្រអប់ធីកសម្រាប់ពួកវា។

robots.txt គឺជាការស្នើសុំ មិនមែនជាសោទេ។ crawler ដែលគួរឱ្យទុកចិត្តអនុវត្តតាមវា ប៉ុន្តែវាមិនបញ្ឈប់ scraper ដែលមិនអើពើវាឡើយ។

សំណួរដែលសួរញឹកញាប់

តើមានអ្វីកើតឡើង បើគេហទំព័រគ្មាន robots.txt?

បើ /robots.txt ឆ្លើយ 404 (ឬ 4xx ផ្សេង) crawler ចាត់ទុកអ្វីៗទាំងអស់ថាអនុញ្ញាត។ បើវាឆ្លើយកំហុសម៉ាស៊ីនមេ (5xx) ឬអស់ពេល Google ឈប់រុករកគេហទំព័ររហូតដល់វាអាចអានឯកសារម្តងទៀត។

តើ Google គាំទ្រ Crawl-delay ទេ?

ទេ។ Google មិនអើពើ Crawl-delay ហើយកែតម្រូវអត្រារុករករបស់វាដោយខ្លួនឯង។ Bing និង Yandex ប្រើវា។

តើផ្លូវ URL ប្រកាន់អក្សរតូចធំទេ?

បាទ/ចាស។ Disallow: /Admin/ មិនរារាំង /admin/ ទេ។ ប៉ុន្តែឈ្មោះ user agent មិនប្រកាន់អក្សរតូចធំទេ។

តើខ្ញុំអាចសាកល្បង robots.txt មុនពេលបង្ហោះបានទេ?

បាន។ បិទភ្ជាប់ ឬកែឯកសារក្នុងកម្មវិធីកែ។ គ្មានអ្វីត្រូវបានទាញយក ឬរក្សាទុកទេ ហើយរាល់ការផ្លាស់ប្តូរត្រូវបានសាកល្បងភ្លាមៗក្នុងកម្មវិធីរុករករបស់អ្នក។

តើមានអ្វីត្រូវបានរក្សាទុកទេ?

ទេ។ ម៉ាស៊ីនមេរបស់យើងទាញយកតែ robots.txt ដែលអ្នកស្នើប៉ុណ្ណោះ។ ការសាកល្បង និងការកែកើតឡើងក្នុងកម្មវិធីរុករករបស់អ្នក។