Trang chủ Tản mạn Google công bố mã nguồn trình phân tích tập tin robots.txt

Google công bố mã nguồn trình phân tích tập tin robots.txt

Google tuyên bố rằng Robots Exclusion Protocol (REP) là một tiêu chuẩn không chính thức trong 25 năm qua. Nó mang lại nhiều nghi nghờ cho các nhà phát triển web và công cụ thu thập thông tin. Google hiện tuyên bố rằng họ sẽ đi đầu trong việc làm cho REP trở thành một tiêu chuẩn công nghiệp, như một phần của nỗ lực này, đó là công bố mã nguồn của trình phân tích này và chính thức biến nó thành mã nguồn mở. Mã nguồn được chia sẻ trên GitHub, sử dụng giấy phép Apache License 2.0.

DOWNLOAD

Google tuyên bố:

Hôm nay, chúng tôi đã thông báo rằng chúng tôi đang đi đầu trong nỗ lực biến REP thành một tiêu chuẩn internet. Mặc dù đây là một bước quan trọng, điều đó có nghĩa là công việc bổ sung dành cho các nhà phát triển phân tích các tệp robot.txt.

Chúng tôi mở thư viện C++ mà các hệ thống của chúng tôi sử dụng để phân tích cú pháp và khớp các quy tắc trong các tập tin robot.txt. Thư viện này đã tồn tại được 20 năm và nó chứa các đoạn mã được viết vào những năm 90. Kể từ đó, thư viện phát triển; chúng tôi đã học được rất nhiều về cách các quản trị web viết các tệp robot.txt và các trường hợp đặc biệt mà chúng tôi phải thực hiện và thêm những gì chúng tôi đã học được trong nhiều năm qua vào dự thảo internet khi nó có ý nghĩa.

Huỳnh Mai Anh Kiệt

Huỳnh Mai Anh Kiệthttps://www.mangbinhdinh.vn
Anh là một người đam mê công nghệ. Hiện tại anh là một lập trình viên tại Quy Nhơn.

BÌNH LUẬN

Vui lòng nhập bình luận của bạn
Vui lòng nhập tên của bạn ở đây

- Advertisment -
Shopify

BÀI VIẾT MỚI

Nền tảng trực tuyến cho phép bạn thiết lập trang web chỉ trong vài phút

Bất kỳ doanh nghiệp nào hiện nay cũng đều cần một trang web. Tuy nhiên, không phải ai cũng có đủ chuyên môn kỹ...

Chuyên gia bảo mật người Việt phát hiện lỗ hổng bảo mật trên hệ điều hành Windows

Vừa qua, anh Lê Hữu Quang Linh (linhlhq) - chuyên gia bảo mật của Trung tâm Giám sát an toàn không gian mạng quốc...

Hẹn hò theo “phong cách nhà giàu” với Tesla Dating

Mới đây, tờ Business Insider vừa tiết lộ rằng một ứng dụng hẹn hò mang tên Tesla Dating sắp được ra mắt bởi Ajitpal...

Internet Explorer chính thức bị khai tử sau 25 năm

Trong bài đăng trên trang blog chính thức vào hôm thứ hai (17/8), Microsoft công bố họ sẽ không còn tiếp tục hỗ trợ...

PayPal lần đầu tiên bổ nhiệm giám đốc điều hành ở Trung Quốc

PayPal liên tiếp có những động thái cho thấy nền tảng thanh toán trực tuyến hàng đầu thế giới này sẽ tiếp cận thị...

BẠN XEM CHƯA

Google sẽ bỏ ứng dụng AdSense trên Android và iOS trong năm nay

Google AdSense là một dịch vụ quảng cáo trên Internet được Google ra mắt cho chủ sở hữu trang web (nhà xuất bản). Với...

Ẩn thanh điều khiển trên Windows Media Player

Nếu bạn thường xem phim hay mở các tập tin video bằng phần mềm Windows Media Player (WMP) có sẵn trong hệ điều hành...

16GB không gian lưu trữ trên mây cho bạn

Hiện nay có rất nhiều dịch vụ cung cấp những không gian lưu trữ trực tuyến miễn phí cho phép bạn lưu trữ dữ...

Tiết kiệm cước internet 3G/4G bằng ứng dụng mới của Google – Datally

Google vừa tung ra ứng dụng mới Datally có thể giúp người dùng thiết bị chạy hệ điều hành Android hiểu và kiểm soát...

Mạng Bình Định hỗ trợ tra cứu điểm thi THPT Quốc gia 2019 ở Hội đồng thi Bình Định

Theo thông tin Báo Bình Định thì tính đến thời điểm hiện tại công tác chấm thi ở Hội đồng thi THPT Quốc gia...