Cách thức Google thu thập dữ liệu trên trang theo ngôn ngữ

Nếu trang web của bạn có các trang hiển thị nội dung khác nhau tùy theo ngôn ngữ (tức là trang web điều chỉnh nội dung dựa trên quốc gia dự đoán hoặc ngôn ngữ ưu tiên của người dùng), thì Google có thể không thu thập dữ liệu, lập chỉ mục hoặc xếp hạng đầy đủ tất cả các phiên bản ngôn ngữ. Nguyên nhân chính là do địa chỉ IP mặc định của trình thu thập dữ liệu Googlebot thường xuất phát từ Hoa Kỳ. Ngoài ra, Googlebot gửi các yêu cầu HTTP mà không thiết lập tiêu đề Accept-Language.

Lưu ý quan trọng: Để đảm bảo Google nhận diện đúng các phiên bản ngôn ngữ, bạn nên sử dụng URL riêng biệt cho từng ngôn ngữ và chú thích chúng bằng thẻ hreflang với thuộc tính rel=”alternate”.

Thu thập dữ liệu theo vị trí địa lý

Googlebot thu thập dữ liệu bằng cả địa chỉ IP từ Hoa Kỳ và các địa chỉ IP quốc tế.

Như đã được khuyến nghị, khi Googlebot xuất phát từ một quốc gia cụ thể, hãy xem Googlebot như bất kỳ người dùng nào từ quốc gia đó. Điều này có nghĩa là nếu bạn chặn người dùng tại Hoa Kỳ truy cập nội dung của mình nhưng cho phép người dùng tại Úc truy cập, thì máy chủ của bạn nên chặn Googlebot có địa chỉ IP từ Hoa Kỳ nhưng cho phép Googlebot từ Úc truy cập.

Các lưu ý khác

• Googlebot sử dụng cùng một chuỗi tác nhân người dùng (User-Agent string) cho tất cả cấu hình thu thập dữ liệu. Bạn nên tìm hiểu thêm về các chuỗi tác nhân người dùng mà trình thu thập dữ liệu của Google sử dụng.
• Bạn có thể xác minh các lần thu thập dữ liệu của Googlebot theo vị trí địa lý bằng cách thực hiện tra cứu DNS ngược.
• Đảm bảo rằng trang web của bạn áp dụng chính sách loại trừ robots một cách nhất quán cho mọi ngôn ngữ. Điều này có nghĩa là các thẻ meta robots và tệp robots.txt nên chỉ định các lệnh tương tự cho mọi phiên bản ngôn ngữ.