Sunday, November 24, 2013

Apache Accumulo là bản clone của Google BigTable do NSA thực hiện

Chà chà, sau khi nghiên cứu sâu về NSA và hệ thống do thám toàn cầu của họ. Một số thông tin thú vị được thu thập. Trong đó có thứ tôi không thể không kể ngay sau khi biết được.

Google đã tạo ra một thứ hệ quản trị cơ sở dữ liệu (DBMS) đặc chủng để quản lý kho dữ liệu khổng lồ của họ (BigData), được gọi là BigTable, đây là một hệ quản trị csdl dạng key-value thuộc dòng NoSQL DB. Hệ DBMS này cực kỳ hiệu quả trong việc hỗ trợ lưu trữ, truy lục và phân tích một lượng khổng lồ dữ liệu phi cấu trúc. Điều này đã khiến NSA chú ý, nhu cầu của họ cũng y chang Google chỉ có điều nó đen tối hơn. Họ cũng cần phải lưu trữ hàng triệu Gigabytes ( thậm chí hàng ngàn Pentabytes cũng nên ) dữ liệu dọ thám toàn cầu, đây là một lượng siêu khổng lồ dữ liệu phi cấu trúc. Họ thực sự bí vì hệ DBMS của Oracle ( vốn là hàng của quân đội Mỹ ) trở nên vô dụng trước khối lượng dữ liệu này do bản chất của Oracle DB vẫn là Relation Database nên kém hiệu quả trong quản lý dữ liệu phi cấu trúc.
Vào năm 2006, Google có công bố một nghiên cứu của họ sau 2 năm ròng xây dựng, đó là concepts về một hệ DBMS mới được gọi là BigTable (đã nói ở trên). Dĩ nhiên Google chỉ đưa concepts còn cụ thể họ chả nói là họ làm gì.
Và NSA vớ lấy cái concepts này, thử xây dựng một cái nhưng không ra hồn gì. Thế là họ chơi xấu, cho lính đột nhập Google, đánh cắp BigTable về, rồi cho đám kĩ sư ( engineer ) thực hiện cái gọi là “phân giải ngược” ( Reverse Engineering ) để tìm hiểu BigTable làm gì, rồi sau đó copy làm lại một cái y chang. Và kết quả là NSA có vũ khí siêu lợi hại, có thể nói chính BigTable đã tạo điều kiện cho PRISM thành hiện thực, do nó đã giải quyết nút thắt chỗ quản lý khối dữ liệu khổng lồ mà NSA dọ thám được.

Chuyện vui chưa kết thúc tại đó :))
Sau này vụ việc này bị bại lộ, NSA đã bí mật donate mã nguồn của BigTable-Clone ( đã bị dịch ngược và làm 1 cái y chang ) cho Apache Foundation với cái tên Apache Accumulo (http://accumulo.apache.org/). Với ý đồ thông qua việc này đổ thừa là NSA chỉ lên mạng tải một cái opensource về và xài chứ không có ăn cắp từ Google :))

Mịa Mỹ cũng chơi dơ bỏ mợ :))

—————

Với cái open source BigTable-like này thì bất kỳ chính phủ nào muốn lập 1 cái như PRISM thì coi như họ có trong tay 1 cái base khá ngon rồi :)

Tham khảo
http://www.googlersays.com/google-bigtable-facts/
http://www.googlersays.com/what-makes-google-services-work-so-fast/
http://www.googlersays.com/google-bigtable-load-balancing-structure/
http://wiki.apache.org/incubator/AccumuloProposal

No comments:

Post a Comment

Quí đọc giả đọc xong, nếu thấy chút thú vị thì tác giả cũng mong được chút comment lấy làm kích lệ