Trang chủ Tản mạn Google công bố mã nguồn trình phân tích tập tin robots.txt

Google công bố mã nguồn trình phân tích tập tin robots.txt

Google tuyên bố rằng Robots Exclusion Protocol (REP) là một tiêu chuẩn không chính thức trong 25 năm qua. Nó mang lại nhiều nghi nghờ cho các nhà phát triển web và công cụ thu thập thông tin. Google hiện tuyên bố rằng họ sẽ đi đầu trong việc làm cho REP trở thành một tiêu chuẩn công nghiệp, như một phần của nỗ lực này, đó là công bố mã nguồn của trình phân tích này và chính thức biến nó thành mã nguồn mở. Mã nguồn được chia sẻ trên GitHub, sử dụng giấy phép Apache License 2.0.

DOWNLOAD

Google tuyên bố:

Hôm nay, chúng tôi đã thông báo rằng chúng tôi đang đi đầu trong nỗ lực biến REP thành một tiêu chuẩn internet. Mặc dù đây là một bước quan trọng, điều đó có nghĩa là công việc bổ sung dành cho các nhà phát triển phân tích các tệp robot.txt.

Chúng tôi mở thư viện C++ mà các hệ thống của chúng tôi sử dụng để phân tích cú pháp và khớp các quy tắc trong các tập tin robot.txt. Thư viện này đã tồn tại được 20 năm và nó chứa các đoạn mã được viết vào những năm 90. Kể từ đó, thư viện phát triển; chúng tôi đã học được rất nhiều về cách các quản trị web viết các tệp robot.txt và các trường hợp đặc biệt mà chúng tôi phải thực hiện và thêm những gì chúng tôi đã học được trong nhiều năm qua vào dự thảo internet khi nó có ý nghĩa.

Huỳnh Mai Anh Kiệt

- Advertisement -
Huỳnh Mai Anh Kiệthttps://anhkiet.biz
Anh là một người đam mê công nghệ. Hiện tại anh là một lập trình viên cho Hura Apps - một startup nhỏ về công nghệ tại Quy Nhơn.

BÌNH LUẬN

Vui lòng nhập bình luận của bạn
Vui lòng nhập tên của bạn ở đây

BÀI VIẾT MỚI

Binance Launchpad có dễ… húp như bạn tưởng

Tiền kỹ thuật số (cryptocurrency) đang dần mở rộng. Kể ra mình biết khái niệm này từ rất lâu. Nếu các bạn là độc...

10 Công Cụ Có Thể Thay Thế ChatGPT

ChatGPT là một mô hình ngôn ngữ lớn được phát triển bởi OpenAI. Nó cung cấp các câu trả lời nhanh chóng và ngắn...

Hướng Dẫn Đăng Ký Nhận Mã Giảm Giá Highland Coffee

Highland Coffee đang có nhiều chương trình khuyến mã cho khách hàng của mình. Các khuyến mãi có thể bao gồm upsize, mua 1...

Quà cuối năm 2022 từ Shopify

Năm nay nhận quà từ các đối tác công nghệ hơi bị nhiều. Mới đây mình lại nhận được quà từ Shopify. Quà về đúng...

Nhận quà từ đối tác công nghệ Recharge

Recharge là một trong những công ty chuyên cung cấp giải pháp bán hàng đăng ký định kỳ (subscription payments) cho các nền tảng...

BẠN XEM CHƯA

Mạng Bình Định hỗ trợ tra cứu điểm thi THPT Quốc gia 2019 ở Hội đồng thi Bình Định

Theo thông tin Báo Bình Định thì tính đến thời điểm hiện tại công tác chấm thi ở Hội đồng thi THPT Quốc gia...

Bộ nguồn cho máy tính để bàn thùng nhỏ

Nếu bạn đang dùng máy tính để bàn (desktop) là dạng máy tính có thùng (case) nhỏ gọn nhãn hiệu HP, Dell, Lenovo, FPT...

Quy Nhơn, muôn nẻo quà vặt

Những quán ven đường, những chiếc xe đẩy hay quán tạm dựng lên bán quà vặt bao đời nay có nhiều thay đổi nhưng...

Thơ tặng 20/10

Ở không nghĩ ngợi vẫn vơ Thế rồi làm đại bài thơ chúc nàng Căn bản là vẫn chưa nghĩ ra tên nên thôi cứ tạm...

Kiểm soát lưu lượng Internet khi lướt web với Fastun

Sẽ không lo vấn đề lưu lượng internet khi bạn là thuê bao trọn gói nhưng nếu bạn đang sử dụng thuê bao tính...