Cách dùng file Robots.txt cho SEO

Thực chất, file robots.txt là một tập sự kiện văn bản đơn thuần (không đựng mã HTML) được đặt trong thư mục gốc của website site.

Tác Dụng và bí quyết tiêu dùng file Robots.txt cho seo

File Robots.txt và tầm quan trọng của Robots.txt sở hữu tối ưu hóa

Ví dụ *http://www.example.com/robots.txt.

Vậy, làm thế nào để tạo ra một file robots.txt?

rất đơn thuần, các bạn có thể mở chương trình Notepad hay bất cứ chương trình soạn thảo văn bản nào, lưu file mang tên robots.txt là xong. một số cái lệnh trong file này với cấu trúc như sau:

>>> Dịch vụ: Thiết kế web spa

User-agent: googlebot

Disallow: /cgi-bin/

Trong đấy User-agent: là đại diện của một search engine, Googlebot là spider của Google. Trong ví dụ này, chỉ một vài spider của Google là được phép index web site. Disallow: là không cho phép thực hiện điều gì đấy. ở ví dụ trên là không cho phép những spider index thư mục "cgi-bin" trong web site.

1 ví dụ nữa:

User-agent: googlebot

Disallow: /support

phần lớn một số trang nằm trong thư mục support, hay support-desk sẽ không được index.

nếu tất cả mọi người muốn mọi vài search engine sở hữu thể index web site của quý khách, nhưng không được index các trang trong thư mục "cgi-bin" thì tiêu dùng lệnh sau:

User-agent: *

Disallow: /cgi-bin/

vài điều buộc phải tránh:

- ko dùng các chú thích trong file robots.txt, nó sở hữu thể khiến các spider của search engine bị lầm lẫn.

Ví dụ: "Disallow: support # Don't index the support directory" might be misinterepreted as "Disallow: support#Don't index the support directory".

- ko được để khoảng trắng ở đầu mẫu lệnh.

- không thay đổi trật tự của một vài dòng lệnh.

>>> Có thể bạn quan tâm: Thiet ke web ban hang

Ví dụ:

Disallow: /support

User-agent: *

- ko tiêu dùng quá 1 thư mục trong dòng lệnh Disallow.

Ví dụ:

User-agent: *

Disallow: /support /cgi-bin/ /images/

các search engine không hiểu định dạng trên. mọi người buộc phải viết thế này:

User-agent: *

Disallow: /support

Disallow: /cgi-bin/

Disallow: /images/

- đề nghị cứng cáp các mệnh đề, từ sử dụng trong lệnh là đúng. Ví dụ, thư mục của người mua là "cgi-bin" (viết thường, không viết hoa), nhưng khí vào lệnh, các bạn lại viết là "Cgi-Bin" thì một số spider sẽ "bó tay".

- ko yêu cầu tiêu dùng lệnh Allow trong file robots.txt, nguyên nhân là trong web site của tất cả mọi người chắc chắn sẽ có một vài trang hoặc những thành phần mọi người không muốn bị người khác "nhòm ngó". giả dụ người mua dùng lệnh Allow, tất cả rất nhiều ngóc ngách trong web site của người mua sẽ bị index!

>>> sự kiện thêm: Thiết kế web khách sạn