Back to Question Center
0

Semalt robots.tx Ví dụ về SEO tuyệt vời Semalt robots.txt ví dụ về SEO tuyệt vời

1 answers:

Các robot. txt là một tập tin rất mạnh nếu bạn đang làm việc trên một trang web của SEO. Đồng thời, nó cũng phải được sử dụng cẩn thận. Nó cho phép bạn từ chối các công cụ tìm kiếm truy cập vào các tập tin nhất định và các thư mục, nhưng đó là rất thường không những gì bạn muốn làm. Qua nhiều năm, đặc biệt là Google đã thay đổi rất nhiều trong cách thu thập thông tin web, vì vậy các phương pháp hay nhất cũ không còn hợp lệ. Bài đăng này giải thích những thực tiễn tốt nhất hiện tại dành cho các robot WordPress của bạn - holderrieth laufenn. txt và tại sao.

Google hiển thị đầy đủ trang web của bạn

Không còn là Google trẻ câm mà chỉ cần lấy các trang web của bạn HTML và bỏ qua phong cách của bạn và JavaScript. Nó tìm nạp tất cả mọi thứ và hiển thị các trang của bạn hoàn toàn. Điều này có nghĩa là khi bạn từ chối Google truy cập vào các tệp CSS hoặc JavaScript của bạn, nó không giống như vậy ở tất cả . Bài đăng này về Google Panda 4 cho thấy một ví dụ về điều này. Chúng tôi đã nói lại lần nữa và sẽ tiếp tục nói: đừng chặn các tệp CSS và JavaScript của bạn.

Các thực hành tốt nhất cũ của việc có một robot . txt khóa truy cập vào thư mục wp-includes của bạn và thư mục plugin của bạn không còn hợp lệ. Đây là lý do tại sao trong WordPress 4. 0, tôi mở ra vấn đề và viết miếng vá để loại bỏ wp-includes /. * từ robot mặc định của WordPress . txt .

Rất nhiều chủ đề cũng sử dụng các yêu cầu JavaScript không đồng bộ, cái gọi là AJAX, để thêm nội dung vào trang. Theo mặc định, WordPress đã sử dụng để chặn các. Vì vậy, tôi đã tạo ra vé cho WordPress để cho phép Google thu thập dữ liệu admin-ajax. php URL trong wp-admin . Điều này đã được cố định trong WordPress 4. 4.

Robot. txt từ chối các liên kết giá trị của chúng

Cái gì khác là điều rất quan trọng cần ghi nhớ. Nếu bạn chặn URL với các robot của bạn trên trang web . txt , các công cụ tìm kiếm sẽ không thu thập thông tin các trang đó. Điều này cũng có nghĩa là họ không thể phân phối giá trị liên kết trỏ tới các URL đó. Vì vậy, nếu bạn có một phần của trang web mà bạn không muốn hiển thị trong kết quả tìm kiếm, nhưng có được nhiều liên kết, không sử dụng robot. txt . Thay vào đó, hãy sử dụng thẻ meta của robot với giá trị là noindex, hãy làm theo . Điều này cho phép các công cụ tìm kiếm phân phối đúng giá trị liên kết cho các trang trên trang của bạn.


Các robot WordPress của chúng tôi. txt ví dụ

Vì vậy, những gì cần được trong các robot WordPress của bạn. txt? Hiện tại chúng ta đang rất sạch sẽ. Chúng tôi không còn chặn bất cứ điều gì ! Chúng tôi không chặn thư mục của chúng tôi / wp-content / plugins / vì plugin có thể xuất ra JavaScript hoặc CSS mà Google cần hiển thị trên trang. Chúng tôi cũng không chặn thư mục của chúng tôi / wp-includes / , vì các trình JavaScript mặc định đi kèm với WordPress, mà nhiều chủ đề sử dụng, đến từ những thư mục này.

Chúng tôi cũng không chặn thư mục / wp-admin / của chúng tôi. Lý do rất đơn giản: nếu bạn chặn nó, nhưng liên kết nó một nơi nào đó do tình cờ, mọi người vẫn có thể thực hiện truy vấn đơn giản [inurl: wp-admin] trong Google và tìm trang web của bạn. Kiểu truy vấn này là loại truy vấn độc hại tin tặc tình yêu để làm. Nếu bạn không làm bất cứ điều gì, WordPress có (bằng cách làm của tôi) một tiêu đề siêu trang của siêu máy tính trên trang quản trị ngăn các công cụ tìm kiếm hiển thị các trang này trong kết quả tìm kiếm, một giải pháp sạch hơn.

Bạn nên làm gì với robot của bạn . txt

Bạn nên đăng nhập vào Google Search Console và trong Thu thập thông tin → Lấy như Google, sử dụng tùy chọn Fetch and Semalt:

Semalt robots.txAn example for great SEO
Semalt robots.txt example for great SEO

Nếu không giống như những gì bạn thấy khi duyệt qua trang web của mình, hoặc nó phát ra các lỗi hoặc thông báo: sửa chúng bằng cách loại bỏ các đường ngăn chặn quyền truy cập vào các URL này từ các robot của bạn . txt .

Nếu bạn liên kết đến Sơ đồ trang web XML của bạn từ robot của bạn. txt ?

Chúng tôi luôn cảm thấy liên kết đến sơ đồ trang web XML của bạn từ robot của bạn. txt là một điều vô nghĩa. Đây là lý do khiến plugin Yoast SEO của chúng tôi không thêm vào các robot của bạn . txt . Đừng dựa vào họ để tìm hiểu về sơ đồ trang XML của bạn thông qua robot của bạn. txt .

Đọc thêm: 'robot. txt: hướng dẫn cuối cùng '»

March 1, 2018