Trang chủ Tản mạn Google công bố mã nguồn trình phân tích tập tin robots.txt

Google công bố mã nguồn trình phân tích tập tin robots.txt

Google tuyên bố rằng Robots Exclusion Protocol (REP) là một tiêu chuẩn không chính thức trong 25 năm qua. Nó mang lại nhiều nghi nghờ cho các nhà phát triển web và công cụ thu thập thông tin. Google hiện tuyên bố rằng họ sẽ đi đầu trong việc làm cho REP trở thành một tiêu chuẩn công nghiệp, như một phần của nỗ lực này, đó là công bố mã nguồn của trình phân tích này và chính thức biến nó thành mã nguồn mở. Mã nguồn được chia sẻ trên GitHub, sử dụng giấy phép Apache License 2.0.

DOWNLOAD

Google tuyên bố:

Hôm nay, chúng tôi đã thông báo rằng chúng tôi đang đi đầu trong nỗ lực biến REP thành một tiêu chuẩn internet. Mặc dù đây là một bước quan trọng, điều đó có nghĩa là công việc bổ sung dành cho các nhà phát triển phân tích các tệp robot.txt.

Chúng tôi mở thư viện C++ mà các hệ thống của chúng tôi sử dụng để phân tích cú pháp và khớp các quy tắc trong các tập tin robot.txt. Thư viện này đã tồn tại được 20 năm và nó chứa các đoạn mã được viết vào những năm 90. Kể từ đó, thư viện phát triển; chúng tôi đã học được rất nhiều về cách các quản trị web viết các tệp robot.txt và các trường hợp đặc biệt mà chúng tôi phải thực hiện và thêm những gì chúng tôi đã học được trong nhiều năm qua vào dự thảo internet khi nó có ý nghĩa.

Huỳnh Mai Anh Kiệt

Huỳnh Mai Anh Kiệthttps://www.mangbinhdinh.vn
Anh là một người đam mê công nghệ. Hiện tại anh là một lập trình viên tại Quy Nhơn.

BÌNH LUẬN

Vui lòng nhập bình luận của bạn
Vui lòng nhập tên của bạn ở đây

- Advertisment -
Shopify

BÀI VIẾT MỚI

Hướng dẫn tạo ảnh hoạt hình từ ảnh thật với ToonMe

Bạn có tò mò muốn biết bản thân mình sẽ như thế nào khi trong vai một nhân vật hoạt hình không? Không cần...

Top Các Chuyên Gia Shopify Ở Việt Nam

Shopify là nền tảng thương mại điện tử cho phép dễ dàng tạo ra các trang web bán hàng online cho do doanh nghiệp...

Hỗ trợ tốt là dịch vụ tốt, sản phẩm tốt?

Sáng nay nhận được email thông báo tên miền hết hạn từ 1 dịch vụ trong nước. Mình lập tức đăng nhập vào để...

TinyURL có giao diện mới và bổ sung các tính năng mới

TinyURL được biết đến là trang web hỗ trợ rút gọn link số 1 của thế giới. Trải qua bao nhiêu năm thì giao...

Facebook, Apple tố cáo lẫn nhau trục lợi từ thu thập dữ liệu người dùng

Trong một bức thư gửi những người ủng hộ quyền riêng tư, apple cho biết họ sẽ triển khai việc "theo dõi tính minh...

BẠN XEM CHƯA

Mẹo sửa Registry để tăng tốc chép dữ liệu giữa máy tính và USB

Đầu tiên bạn tải gói tin mang tên KB2581464 tại địa chỉ: http://tinyurl.com/mc9r392. Và tiến hành cài đặt bình thường. Sau đó khởi động...

Hướng dẫn nhập thông tin ngân hàng trong Google Adsense

Trước kia mình nhận tiền Google Adsense bằng hình thức Western Union. Tuy nhiên dạo gần đây đi làm nên cũng ít thời gian...

Chèn tính năng thu video lên trang web của bạn

Trong bài viết hôm nay, mình sẽ hướng dẫn bạn cách thu thập video từ người dùng và khách truy cập trang web của...

Hostgator giảm giá 60% nhân dịp năm nhuận 2016

Năm 2016 là năm đặc biệt vì năm nay là... năm nhuận (4 năm mới có một lần sao không đặc biệt được :v...

Một số trang web Freelance Việt cho Freelancer Việt

Có rất nhiều trang web freelance (việc làm tự do) trên thế giới để các bạn có thể tìm đến. Nhưng nếu bạn chỉ...