Trang chủ Tản mạn Google công bố mã nguồn trình phân tích tập tin robots.txt

Google công bố mã nguồn trình phân tích tập tin robots.txt

Google tuyên bố rằng Robots Exclusion Protocol (REP) là một tiêu chuẩn không chính thức trong 25 năm qua. Nó mang lại nhiều nghi nghờ cho các nhà phát triển web và công cụ thu thập thông tin. Google hiện tuyên bố rằng họ sẽ đi đầu trong việc làm cho REP trở thành một tiêu chuẩn công nghiệp, như một phần của nỗ lực này, đó là công bố mã nguồn của trình phân tích này và chính thức biến nó thành mã nguồn mở. Mã nguồn được chia sẻ trên GitHub, sử dụng giấy phép Apache License 2.0.

DOWNLOAD

Google tuyên bố:

Hôm nay, chúng tôi đã thông báo rằng chúng tôi đang đi đầu trong nỗ lực biến REP thành một tiêu chuẩn internet. Mặc dù đây là một bước quan trọng, điều đó có nghĩa là công việc bổ sung dành cho các nhà phát triển phân tích các tệp robot.txt.

Chúng tôi mở thư viện C++ mà các hệ thống của chúng tôi sử dụng để phân tích cú pháp và khớp các quy tắc trong các tập tin robot.txt. Thư viện này đã tồn tại được 20 năm và nó chứa các đoạn mã được viết vào những năm 90. Kể từ đó, thư viện phát triển; chúng tôi đã học được rất nhiều về cách các quản trị web viết các tệp robot.txt và các trường hợp đặc biệt mà chúng tôi phải thực hiện và thêm những gì chúng tôi đã học được trong nhiều năm qua vào dự thảo internet khi nó có ý nghĩa.

Huỳnh Mai Anh Kiệt

- Advertisement -
Huỳnh Mai Anh Kiệthttps://anhkiet.biz
Anh là một người đam mê công nghệ. Hiện tại anh là một lập trình viên cho Hura Apps - một startup nhỏ về công nghệ tại Quy Nhơn.

BÌNH LUẬN

Vui lòng nhập bình luận của bạn
Vui lòng nhập tên của bạn ở đây

BÀI VIẾT MỚI

Hướng dẫn tải video ngắn Facebook Reel miễn phí

Facebook Reels là tính năng video ngắn mới của Facebook. Nếu bạn muốn tải những video ngắn này của mọi người thì bạn có...

Lập Trình Viên 25 Tuổi Kiếm Được $30.000 Mỗi Tháng Từ Các Ứng Dụng Shopify

Mat De Sousa là một doanh nhân Pháp, anh là người đứng sau 2 ứng dụng Shopify là Wide Bundles và WideReview do chính...

Lần đầu nhận quà từ Shopify

Hura Apps là 1 trong những đối tác của Shopify được vinh dự Shopify chọn tham gia chương trình (Huấn luyện Thương mại) Commerce...

Một số ưu đãi của Shopify cho người dùng đăng ký mới

Shopify chỉ cho phép người dùng mới 14 ngày dùng thử miễn phí. Nếu bạn cảm thấy khoảng thời gian này là không đủ...

Trang web hỗ trợ tìm kiếm trên Facebook

Facebook là mạng xã hội lớn nhất hiện nay. Thông tin được người dùng chia sẻ trên mạng xã hội này là vô cùng...

BẠN XEM CHƯA

Tạo ảnh vui nhộn dễ dàng với Funny Photo Maker

Có bao giờ bạn nhìn thấy tấm hình chụp lại cảnh tấm hình của ai đó được in trên áo của một nhân vật...

Vịt quay Bắc Kinh Quy Nhơn

Vịt quay Bắc kinh là một món ăn mà tiếng tăm của nó đã vượt qua biên giới Trung Quốc, được cả thế giới...

Nền tảng trực tuyến này cho phép bạn thiết lập trang web chỉ trong vài phút

Bất kỳ doanh nghiệp nào hiện nay cũng đều cần một trang web. Tuy nhiên, không phải ai cũng có đủ chuyên môn kỹ...

Người yêu ốm

Hắc xì, sổ mũi, nhức đầu Tự nhiên con bệnh làm sầu em tui Ngày nào tíu tít thật vui Giờ đây thui thủi lui cui một...

Chuyện anh Lương

Chiều nay, nghe tin anh LƯƠNG về mà lòng buồn khó tả. Anh LƯƠNG là con của bác CÔNG và bác TI , ảnh...