Trang chủ Tản mạn Google công bố mã nguồn trình phân tích tập tin robots.txt

Google công bố mã nguồn trình phân tích tập tin robots.txt

Google tuyên bố rằng Robots Exclusion Protocol (REP) là một tiêu chuẩn không chính thức trong 25 năm qua. Nó mang lại nhiều nghi nghờ cho các nhà phát triển web và công cụ thu thập thông tin. Google hiện tuyên bố rằng họ sẽ đi đầu trong việc làm cho REP trở thành một tiêu chuẩn công nghiệp, như một phần của nỗ lực này, đó là công bố mã nguồn của trình phân tích này và chính thức biến nó thành mã nguồn mở. Mã nguồn được chia sẻ trên GitHub, sử dụng giấy phép Apache License 2.0.

DOWNLOAD

Google tuyên bố:

Hôm nay, chúng tôi đã thông báo rằng chúng tôi đang đi đầu trong nỗ lực biến REP thành một tiêu chuẩn internet. Mặc dù đây là một bước quan trọng, điều đó có nghĩa là công việc bổ sung dành cho các nhà phát triển phân tích các tệp robot.txt.

Chúng tôi mở thư viện C++ mà các hệ thống của chúng tôi sử dụng để phân tích cú pháp và khớp các quy tắc trong các tập tin robot.txt. Thư viện này đã tồn tại được 20 năm và nó chứa các đoạn mã được viết vào những năm 90. Kể từ đó, thư viện phát triển; chúng tôi đã học được rất nhiều về cách các quản trị web viết các tệp robot.txt và các trường hợp đặc biệt mà chúng tôi phải thực hiện và thêm những gì chúng tôi đã học được trong nhiều năm qua vào dự thảo internet khi nó có ý nghĩa.

Huỳnh Mai Anh Kiệt

Huỳnh Mai Anh Kiệthttps://www.mangbinhdinh.vn
Anh là một người đam mê công nghệ. Hiện tại anh là một lập trình viên tại Quy Nhơn.

BÌNH LUẬN

Vui lòng nhập bình luận của bạn
Vui lòng nhập tên của bạn ở đây

- Advertisment -
Shopify

BÀI VIẾT MỚI

Facebook chi 400 triệu đô để mua lại Giphy

Giphy là một nền tảng trực tuyến hỗ trợ lưu trữ và tìm kiếm ảnh động (GIF) trực tuyến của Mỹ. Và mới đây...

reCAPTCHA rất hữu ích trong số hoá dữ liệu

Sách được xem là những kho tàng tri thức của nhân loại, tuy nhiên việc lưu trữ sách là cả một vấn đề to...

The Pirate Bay đã trở lại bằng tên miền ban đầu

Sau khi The Pirate Bay bị "chết" đội ngũ đã gửi tất cả lưu lượng truy cập đến "lỗ đen" (Local Black Hole 127.0.0.1.)và...

Dân Anh đốt cột phát sóng 5G vì nghi phát tán virus Corona

Ít nhất ba cột phát sóng 5G vừa bị đốt cháy vì có người tin rằng nó là nguồn phát tán virus corona. Theo BBC,...

Kiểm tra trình duyệt của khách có phải là Safari bằng PHP

Hôm rồi chợt nhận ra điều là Safari của Apple chưa hỗ trợ hiển thị ảnh WebP. Vậy là cái plugin Hura Apps Photos...

BẠN XEM CHƯA

Cách lấy tiêu đề của một trang web bằng PHP

Bạn muốn lấy thông tin tiêu đề của 1 trang web nằm ở thẻ <title>. Với ngôn ngữ PHP bạn dễ dàng thực hiện....

Quản lý và cập nhật các phần mềm trên máy tính dễ dàng với USSU Unlimited

Máy tính của bạn cài đặt vô số phần mềm tiện ích và để đảm bảo các phần mềm này luôn được cập nhật...

Tên miền Megaupload do FBI thu giữ trỏ về trang web khiêu dâm

Mới đây người dùng phát hiện ra một tên miền của trang Megaupload cũ là Megaupload.org đang trỏ về một địa chỉ quảng cáo...

Thủ khoa…

Một mùa thi nữa lại qua đi. Thời điểm các trường đại học và cao đẳng trong cả nước công bố điểm là thời...

Hướng dẫn tạo shortcut để mở nhanh trình duyệt web chế độ ẩn danh

Các trình duyệt web hỗ trợ người dùng chế độ ẩn danh (private) giúp ẩn danh tính khi truy cập Inetnet bằng cách không...