Trong quá trình tối ưu hóa trang web cho các công cụ tìm kiếm, việc kiểm soát cách Google lập chỉ mục và hiển thị nội dung của bạn là rất quan trọng. Các thẻ meta như robots, thuộc tính data-nosnippet và tiêu đề HTTP X-Robots-Tag đóng vai trò quan trọng trong việc định hình cách mà nội dung trang web xuất hiện trong kết quả tìm kiếm. Trong bài viết này, chúng ta sẽ cùng tìm hiểu chi tiết về cách sử dụng các yếu tố này để tối ưu hóa SEO hiệu quả.
Tài liệu này mô tả chi tiết cách tối ưu hóa việc sử dụng các thiết lập ở cấp trang và cấp văn bản nhằm điều chỉnh cách Google hiển thị nội dung của bạn trong kết quả tìm kiếm. Bạn có thể chỉ định các thiết lập cấp trang bằng cách thêm thẻ meta vào các trang HTML hoặc tiêu đề HTTP. Các thiết lập cấp văn bản có thể được xác định bằng thuộc tính data-nosnippet áp dụng cho các phần tử HTML trong một trang.
Cần lưu ý rằng các trình thu thập dữ liệu sẽ chỉ có thể đọc và tuân thủ các thiết lập này nếu chúng có quyền truy cập vào các trang có chứa các thiết lập đó.
Quy tắc <meta name="robots" content="noindex"> sẽ áp dụng cho các trình thu thập dữ liệu của công cụ tìm kiếm. Tuy nhiên, để chặn các trình thu thập dữ liệu không thuộc công cụ tìm kiếm, chẳng hạn như AdsBot-Google, bạn cần thêm các quy tắc cụ thể cho từng loại trình thu thập dữ liệu (ví dụ: <meta name="AdsBot-Google" content="noindex">).
Sử dụng thẻ meta robots
Việc sử dụng thẻ meta robots cho phép bạn kiểm soát chi tiết cách Google lập chỉ mục và hiển thị từng trang riêng lẻ trong kết quả tìm kiếm của Google. Để thực hiện điều này, bạn cần đặt thẻ meta robots vào phần <head> của trang HTML, như ví dụ sau:
<html><head>
<meta name="robots" content="noindex">
(...)
</head>
<body>(…)</body>
</html>
Nếu bạn sử dụng một hệ thống quản lý nội dung (CMS) như Wix, WordPress hoặc Blogger, có thể bạn sẽ không thể trực tiếp chỉnh sửa HTML của mình hoặc không muốn làm như vậy. Trong trường hợp này, CMS của bạn có thể đã cung cấp sẵn một trang cấu hình cho công cụ tìm kiếm hoặc một cơ chế khác để thiết lập các thẻ meta.
Nếu bạn muốn thêm thẻ meta vào trang web của mình, hãy tìm kiếm hướng dẫn về cách sửa đổi phần <head> của trang trên CMS của bạn, ví dụ như tìm kiếm với từ khóa “thêm thẻ meta trên Wix”.
Trong ví dụ trên, thẻ meta robots sẽ hướng dẫn các công cụ tìm kiếm không hiển thị trang này trong kết quả tìm kiếm. Giá trị của thuộc tính name (robots) chỉ định rằng quy tắc này áp dụng cho tất cả các trình thu thập dữ liệu. Cả hai thuộc tính name và content đều không phân biệt chữ hoa chữ thường. Để nhắm đến một trình thu thập dữ liệu cụ thể, bạn cần thay thế giá trị robots của thuộc tính name bằng mã tác nhân người dùng của trình thu thập dữ liệu mà bạn muốn nhắm đến. Google hỗ trợ hai mã tác nhân người dùng trong thẻ meta robots; các giá trị khác sẽ bị bỏ qua:
googlebot: áp dụng cho tất cả các kết quả văn bản.googlebot-news: áp dụng cho các kết quả tin tức.
Ví dụ: Để hướng dẫn Google không hiển thị một trang cụ thể trong kết quả tìm kiếm, bạn có thể chỉ định googlebot làm giá trị cho thuộc tính name của thẻ meta:
<meta name="googlebot" content="noindex">
Để cho phép một trang xuất hiện trong kết quả tìm kiếm của Google trên web nhưng không cho phép trang đó xuất hiện trong Google News, hãy sử dụng thẻ meta googlebot-news:
<meta name="googlebot-news" content="noindex">
Nếu bạn muốn chỉ định nhiều trình thu thập dữ liệu khác nhau, hãy sử dụng nhiều thẻ meta robots:
<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">
Để ngăn chặn việc lập chỉ mục các tài nguyên không phải dạng HTML (như tệp PDF, video hoặc hình ảnh), hãy sử dụng tiêu đề phản hồi X-Robots-Tag.
Sử dụng tiêu đề HTTP X-Robots-Tag
Việc sử dụng tiêu đề HTTP X-Robots-Tag cho phép bạn kiểm soát cách các trình thu thập dữ liệu xử lý các trang web của bạn, tương tự như thẻ meta robots nhưng thông qua phản hồi tiêu đề HTTP. Bạn có thể áp dụng X-Robots-Tag cho một URL cụ thể, và tất cả các quy tắc có thể được sử dụng trong thẻ meta robots cũng có thể được chỉ định dưới dạng X-Robots-Tag. Dưới đây là ví dụ về phản hồi HTTP sử dụng X-Robots-Tag để hướng dẫn các trình thu thập dữ liệu không lập chỉ mục một trang:
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(...)
X-Robots-Tag: noindex
(...)
Bạn có thể kết hợp nhiều tiêu đề X-Robots-Tag trong một phản hồi HTTP hoặc chỉ định một danh sách các quy tắc được phân tách bằng dấu phẩy. Ví dụ sau minh họa phản hồi tiêu đề HTTP sử dụng quy tắc X-Robots-Tag: noarchive kết hợp với X-Robots-Tag: unavailable_after:
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(...)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(...)
Nếu cần, bạn có thể chỉ định tác nhân người dùng cụ thể trước các quy tắc X-Robots-Tag. Ví dụ, bạn có thể sử dụng nhóm tiêu đề HTTP X-Robots-Tag sau đây để kiểm soát cách các công cụ tìm kiếm khác nhau xử lý một trang trong kết quả tìm kiếm:
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(...)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(...)
Những quy tắc được chỉ định mà không nêu rõ tác nhân người dùng sẽ được áp dụng cho tất cả các trình thu thập dữ liệu. Tiêu đề HTTP, tên tác nhân người dùng và các giá trị được chỉ định đều không phân biệt chữ hoa chữ thường.
Trong trường hợp các quy tắc robots xung đột với nhau, quy tắc nào có phạm vi hạn chế cao hơn sẽ được ưu tiên áp dụng. Ví dụ: nếu một trang có cả quy tắc max-snippet:50 và nosnippet, thì quy tắc nosnippet sẽ được áp dụng.
Quy tắc lập chỉ mục và phân phát hợp lệ
Bạn có thể sử dụng các quy tắc sau đây, dưới dạng mà máy có thể đọc, để kiểm soát hoạt động lập chỉ mục và phân phát đoạn trích thông qua thẻ meta robots và X-Robots-Tag. Mỗi giá trị đại diện cho một quy tắc cụ thể, và bạn có thể kết hợp nhiều quy tắc trong một danh sách phân tách bằng dấu phẩy hoặc trong các thẻ meta riêng biệt. Những quy tắc này không phân biệt chữ hoa chữ thường.
Cần lưu ý rằng một số công cụ tìm kiếm có thể xử lý các quy tắc này khác nhau, dẫn đến sự khác biệt trong việc lập chỉ mục và phân phát nội dung.
all
Không có hạn chế đối với việc lập chỉ mục hay phân phát nội dung. Quy tắc này là giá trị mặc định và không gây ảnh hưởng khi được nêu rõ ràng.
noindex
Ngăn chặn việc hiển thị trang, nội dung phương tiện hoặc tài nguyên trong kết quả tìm kiếm. Nếu không chỉ định quy tắc này, trang, nội dung phương tiện hoặc tài nguyên có thể được lập chỉ mục và xuất hiện trong kết quả tìm kiếm.
Để xoá thông tin khỏi Google, hãy làm theo hướng dẫn từng bước của chúng tôi.
nofollow
Ngăn Google theo dõi các liên kết trên trang này. Nếu không chỉ định quy tắc này, Google có thể sử dụng các liên kết trên trang để khám phá các trang liên kết. Tìm hiểu thêm về nofollow.
none
Tương đương với việc kết hợp noindex và nofollow.
noarchive
Ngăn hiển thị đường liên kết đã lưu trong bộ nhớ đệm trong kết quả tìm kiếm. Nếu không chỉ định quy tắc này, Google có thể tạo một phiên bản được lưu trong bộ nhớ đệm và người dùng có thể truy cập thông qua kết quả tìm kiếm.
nositelinkssearchbox
Ngăn hiển thị hộp tìm kiếm liên kết trang web trong kết quả tìm kiếm cho trang này. Nếu không chỉ định quy tắc này, Google có thể tạo một hộp tìm kiếm riêng cho trang web của bạn trong kết quả tìm kiếm, cùng với các liên kết trực tiếp khác đến trang web.
nosnippet
Ngăn hiển thị đoạn trích văn bản hoặc video xem trước trong kết quả tìm kiếm cho trang này. Hình thu nhỏ tĩnh (nếu có) vẫn có thể hiển thị nếu điều này mang lại trải nghiệm tốt hơn cho người dùng. Quy tắc này áp dụng cho mọi loại kết quả tìm kiếm trên Google, bao gồm tìm kiếm trên web, Google Hình ảnh, Khám phá, và thông tin tổng quan do AI tạo. Nó cũng ngăn việc sử dụng nội dung làm dữ liệu đầu vào trực tiếp cho thông tin tổng quan về AI.
Nếu không chỉ định quy tắc này, Google có thể tạo một đoạn trích văn bản và video xem trước dựa trên thông tin có sẵn trên trang.
Để loại bỏ một số mục nội dung khỏi đoạn trích trong kết quả tìm kiếm, hãy sử dụng thuộc tính HTML data-nosnippet.
indexifembedded
Cho phép Google lập chỉ mục nội dung của một trang nếu trang đó được nhúng vào trang khác thông qua iframes hoặc các thẻ HTML tương tự, bất kể có quy tắc noindex hay không. Quy tắc indexifembedded chỉ có hiệu lực khi đi kèm với noindex.
max-snippet: [số]
Giới hạn số lượng ký tự tối đa được sử dụng trong đoạn trích văn bản cho kết quả tìm kiếm này. Lưu ý rằng một URL có thể xuất hiện trong nhiều kết quả tìm kiếm trên một trang kết quả tìm kiếm. Lệnh này không ảnh hưởng đến hình ảnh hoặc video xem trước và áp dụng cho mọi dạng kết quả tìm kiếm như Google Tìm kiếm trên web, Google Hình ảnh, Khám phá, Trợ lý, và thông tin tổng quan do AI tạo. Nó cũng giới hạn lượng nội dung có thể được sử dụng làm dữ liệu đầu vào trực tiếp cho thông tin tổng quan do AI tạo của Google. Tuy nhiên, giới hạn này không áp dụng nếu nhà xuất bản đã cấp quyền sử dụng nội dung riêng biệt. Ví dụ, nếu nhà xuất bản cung cấp nội dung dưới dạng dữ liệu có cấu trúc trong trang hoặc có thỏa thuận cấp phép với Google, thì cài đặt này sẽ không cản trở những phương thức sử dụng cụ thể đã được cho phép. Quy tắc này sẽ bị bỏ qua nếu [số] không được chỉ định hoặc không thể phân tích cú pháp.
Nếu bạn không chỉ định quy tắc này, Google sẽ tự động chọn độ dài của đoạn trích.
Giá trị đặc biệt:
- 0: không hiển thị đoạn trích, tương đương với nosnippet.
- -1: Google sẽ chọn độ dài đoạn trích mà họ cho là hiệu quả nhất để giúp người dùng khám phá nội dung và dẫn họ đến trang web của bạn.
ví dụ:
- Cách ngăn một đoạn trích hiển thị trong kết quả tìm kiếm:
<meta name="robots" content="max-snippet:0">
- Cách cho phép hiển thị tối đa 20 ký tự trong đoạn trích:
<meta name="robots" content="max-snippet:20">
- Cách chỉ định rằng không có giới hạn về số lượng ký tự hiển thị trong đoạn trích:
<meta name="robots" content="max-snippet:-1">
max-image-preview: [chế độ cài đặt]
Chỉ định kích thước tối đa của hình ảnh xem trước cho trang này trong kết quả tìm kiếm. Nếu không chỉ định quy tắc max-image-preview, Google có thể hiển thị một hình ảnh xem trước với kích thước mặc định.
Những giá trị [chế độ cài đặt] được chấp nhận:
- none: không hiển thị hình ảnh xem trước.
- standard: hiển thị một hình ảnh xem trước với kích thước mặc định.
- large: hiển thị một hình ảnh xem trước lớn hơn, với kích thước tối đa bằng chiều rộng của khung nhìn.
Lệnh này áp dụng cho mọi dạng kết quả tìm kiếm như tìm kiếm web trên Google, Google Hình ảnh, Khám phá, và Trợ lý. Tuy nhiên, giới hạn này không áp dụng nếu nhà xuất bản đã cấp quyền sử dụng nội dung riêng biệt. Ví dụ, nếu nhà xuất bản cung cấp nội dung dưới dạng dữ liệu có cấu trúc trong trang như AMP hoặc phiên bản chuẩn hóa của một bài viết, hoặc có thỏa thuận cấp phép với Google, chế độ cài đặt này sẽ không cản trở những phương thức sử dụng cụ thể đã được cho phép.
Nếu không muốn Google sử dụng hình thu nhỏ có kích thước lớn hơn khi các trang AMP và phiên bản chuẩn hóa của bài viết xuất hiện trong kết quả tìm kiếm hoặc Khám phá, hãy chỉ định giá trị max-image-preview là standard hoặc none.
ví dụ:
<meta name="robots" content="max-image-preview:standard">
max-video-preview: [số]
Chỉ định đoạn xem trước video có thời lượng tối đa [số] giây cho các video trên trang này trong kết quả tìm kiếm. Nếu không chỉ định quy tắc max-video-preview, Google có thể hiển thị đoạn video trong kết quả tìm kiếm và tự quyết định thời lượng xem trước của đoạn video đó.
Giá trị đặc biệt:
- 0: chỉ sử dụng hình ảnh tĩnh, theo chế độ cài đặt của max-image-preview.
- -1: không giới hạn thời lượng xem trước video.
Quy tắc này áp dụng cho mọi dạng kết quả tìm kiếm trên Google như tìm kiếm trên web, Google Hình ảnh, Google Video, Khám phá, và Trợ lý. Quy tắc này sẽ bị bỏ qua nếu [số] không được chỉ định hoặc không thể phân tích cú pháp.
ví dụ:
<meta name="robots" content="max-video-preview:-1">
notranslate
Ngăn không cho phép cung cấp bản dịch của trang này trong kết quả tìm kiếm. Nếu không chỉ định quy tắc này, Google có thể cung cấp bản dịch cho tiêu đề và đoạn trích của kết quả tìm kiếm đối với các kết quả không cùng ngôn ngữ với cụm từ tìm kiếm. Nếu người dùng nhấp vào tiêu đề đã được dịch, mọi tương tác tiếp theo của họ với trang sẽ diễn ra thông qua Google Dịch, với việc dịch tự động mọi liên kết mà người dùng theo dõi.
noimageindex
Ngăn lập chỉ mục hình ảnh trên trang này. Nếu không chỉ định giá trị này, hình ảnh trên trang có thể được lập chỉ mục và hiển thị trong kết quả tìm kiếm.
unavailable_after: [ngày/giờ]
Không hiển thị trang này trong kết quả tìm kiếm sau ngày/giờ chỉ định. Bạn phải chỉ định ngày/giờ ở định dạng được chấp nhận rộng rãi như RFC 822, RFC 850, hoặc ISO 8601. Quy tắc này sẽ bị bỏ qua nếu ngày/giờ không hợp lệ được chỉ định. Mặc định, nội dung không có ngày hết hạn.
Nếu không chỉ định quy tắc này, trang này có thể xuất hiện vô thời hạn trong kết quả tìm kiếm. Googlebot sẽ giảm tốc độ thu thập dữ liệu của URL sau ngày và giờ đã được chỉ định.
ví dụ:
<meta name="robots" content="unavailable_after: 2020-09-21">Xử lý các quy tắc lập chỉ mục và phân phát kết hợp
Bạn có thể thiết lập một hướng dẫn bao gồm nhiều quy tắc bằng cách kết hợp các thuộc tính thẻ meta robots bằng dấu phẩy hoặc sử dụng nhiều thẻ meta riêng biệt. Ví dụ dưới đây minh họa cách sử dụng thẻ meta robots để chỉ định rằng trang không được lập chỉ mục và các liên kết trên trang không được thu thập dữ liệu:
Sử dụng danh sách quy tắc phân tách bằng dấu phẩy Sử dụng nhiều thẻ meta riêng biệt
<meta name="robots" content="noindex, nofollow">
Ví dụ khác minh họa cách giới hạn đoạn trích văn bản tối đa 20 ký tự và cho phép hiển thị hình ảnh xem trước kích thước lớn:
<meta name="robots" content="max-snippet:20, max-image-preview:large">
Trong trường hợp bạn áp dụng nhiều quy tắc cho các trình thu thập dữ liệu khác nhau, công cụ tìm kiếm sẽ sử dụng quy tắc tổng hợp từ những quy tắc không cho phép. Ví dụ:
<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">
Khi Googlebot thu thập dữ liệu từ trang chứa những thẻ meta này, nó sẽ diễn giải rằng trang đó có quy tắc noindex và nofollow.
Sử dụng thuộc tính HTML data-nosnippet
Bạn có thể chỉ định cho công cụ tìm kiếm không sử dụng một số phần văn bản của trang HTML làm đoạn trích bằng cách sử dụng thuộc tính HTML data-nosnippet. Thuộc tính này có thể được triển khai ở cấp phần tử HTML trong các thẻ như span, div và section. Data-nosnippet được xem là một thuộc tính boolean, có nghĩa là mọi giá trị được chỉ định cho thuộc tính này sẽ bị bỏ qua. Để đảm bảo khả năng đọc của trình duyệt, phần HTML cần phải tuân thủ đúng cú pháp và các thẻ HTML phải được đóng chính xác.
Ví dụ minh họa:
<p>Phần văn bản này có thể xuất hiện trong đoạn trích
<span data-nosnippet>và phần này sẽ không xuất hiện.</span></p><div data-nosnippet=“true”>Cũng không có trong đoạn trích</div>
<div data-nosnippet=“false”>Cũng không có trong đoạn trích</div>
<!– tất cả các giá trị đều bị bỏ qua –>
<!– thẻ “div” không được đóng đúng cách sẽ khiến toàn bộ nội dung sau đó bị ảnh hưởng –>
<!– KHÔNG HỢP LỆ: không phải là thẻ span, div hoặc section –>
<div data-nosnippet>
<p>Tuy nhiên, phần này sẽ không có trong đoạn trích.</p>
<ul>
<li>Nội dung không có trong đoạn trích</li>
<li>Thêm nội dung không có trong đoạn trích</li>
</ul>
</div>
Google thường kết xuất các trang để lập chỉ mục, nhưng quá trình này không phải lúc nào cũng diễn ra. Vì vậy, thuộc tính data-nosnippet có thể được xử lý trước hoặc sau khi trang được kết xuất. Do quá trình kết xuất không luôn luôn xảy ra, bạn không cần phải thêm hoặc xóa thuộc tính data-nosnippet khỏi các phần tử hiện có bằng JavaScript. Khi thêm các phần tử DOM qua JavaScript, hãy đảm bảo rằng thuộc tính data-nosnippet được áp dụng ngay từ khi phần tử được thêm vào DOM. Nếu bạn sử dụng các phần tử tùy chỉnh, hãy bao bọc hoặc kết xuất chúng bên trong các thẻ div, span hoặc section nếu cần sử dụng thuộc tính data-nosnippet.
Sử dụng dữ liệu có cấu trúc
Thẻ meta robots kiểm soát lượng nội dung mà Google tự động trích xuất từ các trang web để hiển thị trong kết quả tìm kiếm. Tuy nhiên, nhiều nhà xuất bản còn sử dụng dữ liệu có cấu trúc schema.org để cung cấp thông tin cụ thể nhằm tối ưu hóa cách trình bày kết quả tìm kiếm. Các giới hạn của thẻ meta robots không ảnh hưởng đến việc sử dụng loại dữ liệu có cấu trúc này, ngoại trừ đối với article.description và các giá trị description được chỉ định cho các nội dung sáng tạo khác. Bạn nên sử dụng quy tắc max-snippet để giới hạn thời lượng tối đa của nội dung xem trước dựa trên các giá trị description này. Ví dụ, một trang chứa dữ liệu có cấu trúc về công thức nấu ăn sẽ vẫn đủ điều kiện xuất hiện trong băng chuyền công thức nấu ăn, ngay cả khi văn bản xem trước bị giới hạn. Bạn có thể sử dụng max-snippet để giới hạn độ dài của văn bản xem trước, nhưng thẻ meta robots sẽ không áp dụng nếu thông tin được cung cấp thông qua dữ liệu có cấu trúc để hiển thị dưới dạng kết quả nhiều định dạng.
Để quản lý việc sử dụng dữ liệu có cấu trúc cho trang web của bạn, hãy chỉnh sửa các loại và giá trị của dữ liệu có cấu trúc, thêm hoặc xoá thông tin để chỉ cung cấp những dữ liệu mà bạn muốn hiển thị. Lưu ý rằng, ngay cả khi bạn khai báo dữ liệu có cấu trúc trong phần tử data-nosnippet, hệ thống vẫn có thể sử dụng dữ liệu đó cho kết quả tìm kiếm.
Cách triển khai X-Robots-Tag trong thực tế
Bạn có thể thêm X-Robots-Tag vào phản hồi HTTP của trang web thông qua các tệp cấu hình của phần mềm máy chủ web. Trên các máy chủ web dựa trên Apache, bạn có thể sử dụng tệp .htaccess hoặc httpd.conf. Lợi ích của việc sử dụng X-Robots-Tag trong phản hồi HTTP là bạn có thể thiết lập các quy tắc thu thập dữ liệu áp dụng trên toàn bộ trang web, tăng cường tính linh hoạt nhờ sử dụng biểu thức chính quy.
Ví dụ: Để thêm X-Robots-Tag với giá trị noindex, nofollow vào phản hồi HTTP cho mọi tệp .PDF trên toàn bộ trang web, bạn có thể thêm đoạn mã sau vào tệp .htaccess gốc hoặc tệp httpd.conf trên Apache, hoặc tệp .conf trên NGINX.
Apache
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
NGINX
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}
X-Robots-Tag cũng có thể được sử dụng cho các tệp không phải HTML, như hình ảnh, khi bạn không thể sử dụng thẻ meta robots HTML. Ví dụ, để thêm quy tắc X-Robots-Tag noindex cho các tệp hình ảnh (.png, .jpeg, .jpg, .gif) trên toàn bộ trang web:
Apache
<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>
NGINX
location ~* \.(png|jpe?g|gif)$ {
add_header X-Robots-Tag "noindex";
}
Bạn cũng có thể thiết lập tiêu đề X-Robots-Tag cho từng tệp tĩnh riêng lẻ:
Apache
# The htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
NGINX
location = /path/to/unicorn.pdf {
add_header X-Robots-Tag "noindex, nofollow";
}
Kết hợp quy tắc trong tệp robots.txt với các quy tắc lập chỉ mục và phân phát
Khi Google thu thập dữ liệu một URL, nó sẽ phát hiện các thẻ meta robots và tiêu đề HTTP X-Robots-Tag. Tuy nhiên, nếu tệp robots.txt không cho phép thu thập dữ liệu trên trang đó, các quy tắc lập chỉ mục và phân phát sẽ bị bỏ qua, do trình thu thập dữ liệu không thể truy cập các thông tin này. Để đảm bảo các quy tắc lập chỉ mục hoặc phân phát được tuân theo, bạn cần cho phép quá trình thu thập dữ liệu trên những URL chứa các quy tắc đó.
Việc sử dụng đúng cách thẻ meta robots, thuộc tính data-nosnippet và tiêu đề HTTP X-Robots-Tag là yếu tố quan trọng trong chiến lược SEO của bạn. Những công cụ này không chỉ giúp bạn kiểm soát cách Google lập chỉ mục và hiển thị nội dung mà còn giúp bảo vệ thông tin nhạy cảm, tăng cường trải nghiệm người dùng và đảm bảo rằng trang web của bạn được tối ưu hóa một cách hiệu quả nhất. Hãy áp dụng chúng một cách hợp lý để đạt được hiệu quả tối ưu trong chiến dịch SEO của bạn.
