Trang chủ Tản mạn Google công bố mã nguồn trình phân tích tập tin robots.txt

Google công bố mã nguồn trình phân tích tập tin robots.txt

Google tuyên bố rằng Robots Exclusion Protocol (REP) là một tiêu chuẩn không chính thức trong 25 năm qua. Nó mang lại nhiều nghi nghờ cho các nhà phát triển web và công cụ thu thập thông tin. Google hiện tuyên bố rằng họ sẽ đi đầu trong việc làm cho REP trở thành một tiêu chuẩn công nghiệp, như một phần của nỗ lực này, đó là công bố mã nguồn của trình phân tích này và chính thức biến nó thành mã nguồn mở. Mã nguồn được chia sẻ trên GitHub, sử dụng giấy phép Apache License 2.0.

DOWNLOAD

Google tuyên bố:

Hôm nay, chúng tôi đã thông báo rằng chúng tôi đang đi đầu trong nỗ lực biến REP thành một tiêu chuẩn internet. Mặc dù đây là một bước quan trọng, điều đó có nghĩa là công việc bổ sung dành cho các nhà phát triển phân tích các tệp robot.txt.

Chúng tôi mở thư viện C++ mà các hệ thống của chúng tôi sử dụng để phân tích cú pháp và khớp các quy tắc trong các tập tin robot.txt. Thư viện này đã tồn tại được 20 năm và nó chứa các đoạn mã được viết vào những năm 90. Kể từ đó, thư viện phát triển; chúng tôi đã học được rất nhiều về cách các quản trị web viết các tệp robot.txt và các trường hợp đặc biệt mà chúng tôi phải thực hiện và thêm những gì chúng tôi đã học được trong nhiều năm qua vào dự thảo internet khi nó có ý nghĩa.

Huỳnh Mai Anh Kiệt

- Advertisement -
Huỳnh Mai Anh Kiệthttps://www.mangbinhdinh.vn
Anh là một người đam mê công nghệ. Hiện tại anh là một lập trình viên tại Quy Nhơn.

BÌNH LUẬN

Vui lòng nhập bình luận của bạn
Vui lòng nhập tên của bạn ở đây

BÀI VIẾT MỚI

Google sắp khai tử ứng dụng Google Shopping trên iOS và Android

Google được cho là đã thêm Google Shopping vào danh sách các ứng dụng sắp khai tử của mình. Sau khi các thành viên...

Google Pixel 5A 5G vẫn sẽ ra mắt vào cuối năm nay

Thứ Sáu tuần trước, Google cho biết sẽ ra mắt điện thoại tầm trung Pixel 5A vào cuối năm nay, bác bỏ tin đồn...

Facebook chi 23 triệu đô la để bảo vệ Mark Zuckerberg

Facebook đã chi hơn 23 triệu USD để bảo vệ cho Mark Zuckerberg - CEO và là người sáng lập Facebook vào năm ngoái....

Cách tùy chỉnh công cụ tìm kiếm trong Firefox

Bạn có thể sử dụng bất kỳ công cụ tìm kiếm nào mà bạn thích trong trình duyệt web của mình. Và bạn cũng...

12 cách khắc phục con trỏ chuột không hiển thị trong Windows 10

Con trỏ chuột đã trở thành một phần không thể thiếu trong quá trình chúng ta tương tác với máy tính. Vì vậy, hãy...

BẠN XEM CHƯA

Website Trường Trung cấp Kinh tế kỹ thuật Bình Định bị tấn công

Theo như thông tin đăng tải trên Zone-H thì trang web Trường Trung cấp Kinh tế kỹ thuật Bình Định có địa chỉ www.trungcapktktbinhdinh.edu.vn...

Du ký Singapore – Kỳ 1

Vừa rồi mình có một chuyến du hý ở Singapore. Cũng vui khi được đến một đất nước mới và biết thêm nhiều thứ....

Kiểm tra hàm đã được gọi hay chưa trong Javascript

Bạn viết và sử dụng các hàm Javascript ở nhiều khác nhau thì có thể đôi lần bạn gặp lại tình trạng gọi lặp...

Hướng dẫn tra cứu mã số thuế thu nhập cá nhân

Thuế thu nhập cá nhân là khoản tiền mà người có thu nhập phải trích nộp một phần tiền lương, hoặc từ các nguồn...

Thiết lập tính năng theo dõi lịch sử tìm kiếm trên trang web bằng Google Analytics

Bạn có chức năng tìm kiếm trên trang web và bạn muốn kiểm tra xem khách hàng của mình đã tìm kiếm gì trên...