Trang chủ Tản mạn Google công bố mã nguồn trình phân tích tập tin robots.txt

Google công bố mã nguồn trình phân tích tập tin robots.txt

Google tuyên bố rằng Robots Exclusion Protocol (REP) là một tiêu chuẩn không chính thức trong 25 năm qua. Nó mang lại nhiều nghi nghờ cho các nhà phát triển web và công cụ thu thập thông tin. Google hiện tuyên bố rằng họ sẽ đi đầu trong việc làm cho REP trở thành một tiêu chuẩn công nghiệp, như một phần của nỗ lực này, đó là công bố mã nguồn của trình phân tích này và chính thức biến nó thành mã nguồn mở. Mã nguồn được chia sẻ trên GitHub, sử dụng giấy phép Apache License 2.0.

DOWNLOAD

Google tuyên bố:

Hôm nay, chúng tôi đã thông báo rằng chúng tôi đang đi đầu trong nỗ lực biến REP thành một tiêu chuẩn internet. Mặc dù đây là một bước quan trọng, điều đó có nghĩa là công việc bổ sung dành cho các nhà phát triển phân tích các tệp robot.txt.

Chúng tôi mở thư viện C++ mà các hệ thống của chúng tôi sử dụng để phân tích cú pháp và khớp các quy tắc trong các tập tin robot.txt. Thư viện này đã tồn tại được 20 năm và nó chứa các đoạn mã được viết vào những năm 90. Kể từ đó, thư viện phát triển; chúng tôi đã học được rất nhiều về cách các quản trị web viết các tệp robot.txt và các trường hợp đặc biệt mà chúng tôi phải thực hiện và thêm những gì chúng tôi đã học được trong nhiều năm qua vào dự thảo internet khi nó có ý nghĩa.

Huỳnh Mai Anh Kiệt

- Advertisement -
Huỳnh Mai Anh Kiệthttps://www.mangbinhdinh.vn
Anh là một người đam mê công nghệ. Hiện tại anh là một lập trình viên tại Quy Nhơn.

BÌNH LUẬN

Vui lòng nhập bình luận của bạn
Vui lòng nhập tên của bạn ở đây

BÀI VIẾT MỚI

Tùy chỉnh con trỏ chuột cho trang web WordPress của bạn với Hura Custom Cursors

Thời gian rãnh rỗi ở nhà không biết làm gì nên viết thêm 1 plugin mới có tên Hura Custom Cursors. Đây là plugin...

Bản Đồ Danh Sách Dịch Vụ Bán Hàng Mang Đi Tỉnh Bình Định

Số là vừa rồi Sở Thông tin và truyền thông Bình Định (S4T) cho ra mắt trang bản đồ dịch vụ bán hàng mang...

Cách tra cứu điểm thi tốt nghiệp THPT tỉnh Bình Định năm 2021 bằng Zalo

Theo thông tin từ Sở Thông tin và Truyền thông tỉnh Bình Định, các bậc phụ huynh và thí sinh ở Bình Định có...

Các kênh thông tin trực tuyến đáng tin cậy để theo dõi tình hình dịch bệnh COVID-19 tại Bình Định

Tình hình dịch bệnh COVID-19 trên địa bàn tỉnh Bình Định đang diễn biến phức tạp. Sau một thời gian dài không ghi nhận...

Hình ảnh trường Đại học Quy Nhơn trước 1975

Trường Đại học Quy Nhơn là một trong ba trường đại học đa ngành đứng đầu về đào tạo tại miền Trung Việt Nam....

BẠN XEM CHƯA

Dev làm Chef: Làm sữa chua

Nhà có tủ lạnh thế mà mấy năm nay không biết làm sữa chua để ăn toàn phải đi mua. Thế rồi sẵn trời...

5 người cần phải gặp trong cuộc đời người đàn ông

Chúng ta thường nghe thấy câu: “Không ai có thể thành công một mình!” Điều này có lẽ đúng trong rất nhiều trường hợp....

CopyScape.Com – Công cụ giúp kiểm tra trang web trùng lặp nội dung

Bạn muốn kiểm tra xem nội dung 1 bài viết nào đó trên mạng internet có đang tồn tại trên 1 trang web nào...

Theo chân Apple, Google cắt giảm phí cho các nhà phát triển trên kho ứng dụng Google Play

Google đã quyết định giảm phí dịch vụ mà họ đang thu từ các nhà phát triển đang bán ứng dụng cũng như các...

Khắc phục lỗi không copy được văn bản trong Photoshop

Photoshop mình gặp tình trạng thỉnh thoảng không copy được văn bản (text) từ layer. Thông báo lỗi mỗi khi cố gắng thực hiện...