Danh sách 10 loại Bots và Botnets bạn nên biết

Bots và Botnets thường được biết đến như là một loại tội phạm mạng chuyên ăn cắp dữ liệu người dùng, số thẻ tín dụng và những mục đích phi pháp khác. Nhưng bots cũng có thể phục vụ những mục đích tốt. Việc phân biệt những bots tốt và bots xấu có thể giúp bạn tạo ra những thay đổi lớn trong việc bảo vệ website của công ty bạn và cũng để đảm bảo website của bạn có được những thứ hạng cao trên các công cụ tìm kiếm.

Hầu hết các bots tốt thường là những crawler (công cụ quét website) được gửi đi từ những trang web lớn nhất của thế giới để index (đánh chỉ mục) nội dung cho những công cụ tìm kiếm và mạng xã hội của họ. Như vây, chúng ta sẽ phải cần chúng ghé thăm website thường xuyên, việc chặn tất cả các loại bots được xem như là một chiến lược thất bại trong việc quảng bá website và mục đích kinh doanh của bạn.

Top 10 Bots và Botnets bạn nên biết

1.Googlebot
 
Googlebot là công cụ chuyên quét các website đôi khi còn được gọi là spider. Googlebot sử dụng các thuật toán để xử lý các công việc: xác định website nào được quét, mức độ thường xuyên, và có bao nhiêu trang cần được nạp lại từ các website. Quá trình Googlebot bắt đầu thu thập dữ liệu bằng một danh sách các URL được tạo ra bởi các công cụ thu thập dữ liệu trước đó và sitemap được cung cấp bởi những người quản trị website (webmaster). Khi Googlebot ghé thăm những website này nó sẽ phát hiện ra các liên kết (SRC, HREF) trên mỗi trang và thêm chúng vào danh sách để thu thập thông tin. Các trang mới, hoặc những trang đã được thay đổi, và những liên kết đã bị xóa sẽ được ghi nhận lại và được dùng để cập nhật lại các chỉ mục của Google.
 
Danh sách những IP bots của Google mà mình thu thập được từ website của mình. Bạn không nên chặn những IP bots này vì đa phần người dùng hiện nay ở Việt Nam đều dùng Google là công cụ tìm kiếm chính
 
66.249.64.201
66.249.64.206
66.249.65.78
66.249.65.81
66.249.65.84
66.249.67.37
66.249.69.63
66.249.69.71
66.249.71.171
66.249.71.182
66.249.71.193
66.249.71.35
66.249.71.44
66.249.71.53
66.249.79.207
66.249.79.23
66.249.79.235
66.249.79.242
66.249.79.249
66.249.79.30
66.249.79.37
66.249.82.144
 
2.Baidu Spider
 
Baidu spider là một robot của công cụ tìm kiếm Baidu ở Trung Quốc. Baidu là công cụ tìm kiếm hàng đầu ở Trung Quốc chuyên tìm kiếm các loại tập tin âm thanh, văn bản, hình ảnh.  
 
3.MSN Bot/Bingbot
 
MSN bot ngưng hoạt động từ tháng 10 năm 2010 và đổi tên thành Bingbot, đây cũng là công cụ thu thập dữ liệu internet được phát triển bởi Microsoft để cung cấp dữ liệu cho Bing (một công cụ tìm kiếm tương tự như Google). Nó chuyên thu thập các tài liệu từ các trang web để xây dựng các chỉ mục riêng cho Bing.com
 
4.Yandex bot
 
Yandex bot là cỗ máy tìm kiếm của Yandex. Yandex là một công ty chuyên về internet có trụ sở tại Nga và là công cụ tìm tìm kiếm lớn nhất tại Nga chiếm tới 60% thị phần tìm kiếm. Yandex được xếp hạng 5 trong số các công cụ tìm kiếm lớn nhất thế giới với hơn 150 triệu lượt tìm kiếm mỗi ngày trong theo thống kê vào tháng 4 năm 2012 và có hơn 25,5 triệu khách truy cập.
 
5.Soso Spider
 
Soso.com là một công cụ tìm kiếm của Trung Quốc thuộc sở hữu của của tập đoàn Tencent Holding, được biết đến với việc tạo ra phần mềm gửi tin nhắn QQ. Tính đến hết tháng 9 năm 2015 soso.com xếp hạng thứ 75 toàn cầu và thứ 12 tại Trung Quốc theo xếp hạng của alexa.com
 
6.Exabot
 
Exabot là công cụ thu thập dữ liệu của ExaLead có trụ sở tại Pháp, được thành lập vào năm 2000 bởi các kỹ sư thuộc tập đoàn Dassault Systèmes. ExaLead cung cấp các phần mềm tìm kiếm và hỗ trợ thống nhất thông tin truy cập phần mềm. Yandex sử dụng IP 178.255.215.90 để thu thập thông tin từ các website
 
7.Sogou Spider
 
Sogou.com là công cụ tìm kiếm của Trung Quốc. Được phát triển vào ngày 4-8-2004, đến tháng 10 năm 2015 sogou.com xếp hạng thứ 108 thế giới và thứ 18 tại Trung Quốc. Sogou cung cấp chỉ mục (index) khoảng hơn 10 tỷ trang web
 
8.Google Plus Share
 
Cho phép bạn chia sẻ những kiến nghị, địa chỉ liên lạc, và những nội dung khác với bạn bè trên công cụ tìm kiếm Google. Nút +1 giúp bạn khởi tạo khả năng chia sẻ tức thì của Google và giúp bạn chia sẻ những thứ mà bạn muốn lên mạng xã hội của Google.
 
9.Facebook External Hit
 
Cho phép người sử dụng gửi những liên kết mà bạn yêu thích cho những người dùng Facebook. Cách thức hoạt động của nó bao gồm việc hiện thị một số hình ảnh, tiêu đề bài viết hoặc một phần tóm tắt liên quan đến bài viết. Facebook sẽ lấy các thông tin này chỉ khi người dùng chia sẻ nội dung này trên ứng dụng Facebook. Vì vậy khi thiết kế website chúng ta cần phải có những thẻ meta như: title, description, image để giúp Facebook tạo ra các liên kết với một số nội dung cần thiết cho người dùng khác.
 
10.Google Feedfetcher
 
Được Google sử dụng để lấy RSS, hoặc Atom Feed, khi người dùng muốn thêm chúng vào trang chủ của Google hoặc Google Reader. Google Feedfetcher thu thập và làm mới định các loại Feed, nhưng không đánh chỉ mục chúng trong Blog Search hoặc các dịch vụ tìm kiếm khác của Google (các Feed này chỉ xuất hiện trong các quả tìm kiếm chỉ khi chúng được thu thập bởi Googlebot).
 
Top 10 Bots và Botnets bạn nên biết
 
Phân loại các loại botnet giúp website hoạt động ổn định và bảo mật tốt hơn
 
Như vậy có thể thấy các loại botnets này giúp cho website của bạn có thể được đánh chỉ mục và tìm kiếm một cách dễ dàng trên các công cụ tìm kiếm toàn cầu. Vệc phân loại ra các loại botnets này với các loại botnets spam có thể giúp bạn có thể lọc ra được những botnets có mục đích xấu nhằm tránh bị tấn công DDoS, giảm tải lưu lượng truy cập website giúp cho website hoạt động ổn định và nhanh
Web hosting by Somee.com