កម្មវិធីពិនិត្យតំណខូចផ្ទុកទំព័រមួយ ហើយសាកល្បងរាល់តំណនៅលើវា ព្រមទាំងរូបភាព script, stylesheet និង frame របស់វា។ វារាយការណ៍តំណដែលឆ្លើយ 404 ឬកំហុសផ្សេង តំណដែលដែនលែងមាន តំណដែលបញ្ជូនបន្ត (ជាមួយខ្សែសង្វាក់ពេញ) និងធនធាន http:// នៅលើទំព័រ https (mixed content) នីមួយៗជាមួយទំព័រដែលវាត្រូវបានរកឃើញ និងអត្ថបទតំណរបស់វា។
ជ្រើស រហូតដល់ 50 ទំព័រ ដើម្បីរុករកគេហទំព័រ៖ ម៉ាស៊ីនមេរបស់យើងតាមតំណនៅលើ host ដដែល គោរព robots.txt ហើយឈប់ត្រឹម 50 ទំព័រ ឬប្រហែល 25 វិនាទី បន្ទាប់មកពិនិត្យតំណដែលមិនស្ទួនរហូតដល់ 300។ វាផ្ញើសំណើយ៉ាងច្រើនពីរក្នុងពេលតែមួយទៅគេហទំព័រណាមួយ ដូច្នេះវាស្រាលចំពោះម៉ាស៊ីនមេរបស់អ្នក និងគេហទំព័រដែលអ្នកភ្ជាប់ទៅ។
របៀបប្រើឧបករណ៍ ពិនិត្យតំណខូច
- បញ្ចូលអាសយដ្ឋានទំព័រ ឬទំព័រដើម។
- ជ្រើស តែទំព័រនេះ ឬចំនួនទំព័រដែលត្រូវរុករក និងថាតើត្រូវពិនិត្យតំណទៅគេហទំព័រផ្សេងដែរឬទេ។
- ចុច ស្វែងរកតំណខូច។ ការរុករកអាចចំណាយពេលរហូតដល់មួយនាទី។
- កែតំណក្នុងផ្ទាំង បញ្ហា បន្ទាប់មកទាញយក CSV ឬចម្លងបញ្ជីសម្រាប់ក្រុមរបស់អ្នក។
ហេតុអ្វីប្រើ ពិនិត្យតំណខូច របស់ ToolOrca
- ពិនិត្យតំណ រូបភាព script, stylesheet និង iframe
- ការរុករកគេហទំព័រដដែលរហូតដល់ 50 ទំព័រ (ជាជម្រើស) ដែលគោរព robots.txt និង Crawl-delay
- ស្វែងរកកំហុស 4xx/5xx ដែនស្លាប់ ការអស់ពេល ខ្សែសង្វាក់ redirect និង mixed content
- បង្ហាញកន្លែងដែលតំណនីមួយៗត្រូវបានរកឃើញ និងអត្ថបទតំណរបស់វា
- សំណើ HEAD មុន និង GET ពេលម៉ាស៊ីនមេបដិសេធ HEAD ដូច្នេះការព្រមានខុសតិចជាង
- ត្រងតាមប្រភេទបញ្ហា ហើយនាំចេញទាំងអស់ជា CSV
ហេតុអ្វីតំណខូចប៉ះពាល់ SEO
តំណទៅទំព័រដែលបាត់ ខ្ជះខ្ជាយការចុចរបស់អ្នកទស្សនា ហើយធ្វើឱ្យគេហទំព័រមើលទៅដូចជាគ្មានការថែទាំ។ សម្រាប់ម៉ាស៊ីនស្វែងរក តំណខាងក្នុងដែលខូចគឺជាផ្លូវទាល់៖ crawler មិនអាចទៅដល់ទំព័រនៅពីក្រោយវាបានទេ ហើយតម្លៃចំណាត់ថ្នាក់ដែលតំណនោះនឹងផ្ទេរ ត្រូវបាត់បង់។ កែ 404 ខាងក្នុងដោយកែតំណ ឬបន្ថែម redirect 301 ពី URL ចាស់ទៅទំព័រជំនួសរបស់វា។ កម្មវិធីបង្កើត redirect សរសេរច្បាប់សម្រាប់ Apache, Nginx និងផ្សេងទៀត។
Redirect មិនមែនជាកំហុសទេ ប៉ុន្តែរាល់ជំហានបន្ថែមការធ្វើដំណើរទៅមកមួយ ហើយខ្សែសង្វាក់ redirect ច្រើនធ្វើឱ្យទំព័រយឺត។ ធ្វើបច្ចុប្បន្នភាពតំណឱ្យចង្អុលត្រង់ទៅអាសយដ្ឋានចុងក្រោយ។
ពេលតំណបង្ហាញ "ពិនិត្យដោយដៃ"
គេហទំព័រមួយចំនួន ដូចជា LinkedIn, Amazon ឬគេហទំព័រដែលមានការការពារ bot ឆ្លើយការពិនិត្យស្វ័យប្រវត្តិដោយ 403, 429 ឬ 999 ទោះបីទំព័រនោះដំណើរការក្នុងកម្មវិធីរុករកក៏ដោយ។ កម្មវិធីពិនិត្យសម្គាល់ពួកវាថា ពិនិត្យដោយដៃ ជំនួសឱ្យខូច។ សូមបើកតំណដោយខ្លួនឯងដើម្បីបញ្ជាក់។
តំណទៅអាសយដ្ឋានឯកជន port មិនស្តង់ដារ ឬអាសយដ្ឋាន IP មិនត្រូវបានពិនិត្យទេដើម្បីសុវត្ថិភាព ហើយត្រូវបានរាយថា មិនបានពិនិត្យ។
សំណួរដែលសួរញឹកញាប់
តើវាអាចពិនិត្យតំណបានប៉ុន្មាន?
តំណមិនស្ទួនរហូតដល់ 300 ក្នុងការពិនិត្យមួយដង និងទំព័ររុករករហូតដល់ 50។ សម្រាប់គេហទំព័រធំជាងនេះ សូមពិនិត្យផ្នែកសំខាន់ៗម្តងមួយៗ។
តើ crawler គោរព robots.txt ទេ?
បាទ/ចាស។ វាប្រាប់ឈ្មោះខ្លួនថា ToolOrcaSEO អនុវត្តតាមច្បាប់សម្រាប់ឈ្មោះនោះ ឬសម្រាប់ * គោរព Crawl-delay រហូតដល់ 2 វិនាទី ហើយមិនរុករក ឬពិនិត្យ URL ខាងក្នុងដែល robots.txt ហាមឃាត់។
ហេតុអ្វីតំណដែលដំណើរការត្រូវបានរាយការណ៍ថាខូច?
ម៉ាស៊ីនមេអាចរារាំងសំណើស្វ័យប្រវត្តិ កំណត់អត្រាម៉ាស៊ីនមេរបស់យើង ឬឆ្លើយខុសគ្នានៅក្រៅប្រទេសរបស់អ្នក។ សាកល្បងតំណក្នុងកម្មវិធីរុករក។ បើវាដំណើរការ អ្នកអាចមិនអើពើវាបាន។
តើ mixed content ជាអ្វី?
រូបភាព script ឬ stylesheet ដែលផ្ទុកតាម http:// នៅលើទំព័រ https://។ កម្មវិធីរុករករារាំង ឬដាក់សញ្ញាវា ដូច្នេះសូមប្តូរអាសយដ្ឋានទាំងនោះទៅ https://។
តើទំព័រដែលខ្ញុំពិនិត្យត្រូវបានរក្សាទុកនៅកន្លែងណាមួយទេ?
ទេ។ ម៉ាស៊ីនមេរបស់យើងទាញយកទំព័រម្តងដើម្បីវិភាគ រក្សាលទ្ធផលក្នុង memory ប៉ុន្មាននាទី ដើម្បីឱ្យការពិនិត្យម្តងទៀតលឿនភ្លាមៗ ហើយមិនរក្សាទុកអ្វីទាំងអស់។ អាសយដ្ឋានឯកជន និងក្នុងស្រុក (localhost, 192.168.x.x, 10.x.x.x, ឈ្មោះ .local) ត្រូវបានបដិសេធ។