Bài viết này sẽ giải thích chi tiết Stream processing là gì, sử dụng Stream processing như thế nào.
Xử lý luồng
Xử lý luồng là một mô hình để xử lý một luồng dữ liệu đang diễn ra. Nó khác với các mô hình lập trình truyền thống, trong đó một tập dữ liệu được tải từ đĩa vào bộ nhớ và sau đó được xử lý theo những cách tùy ý. Trong xử lý luồng, một số lượng nhỏ các hoạt động được xác định trước được thực hiện song song dần dần khi dữ liệu có sẵn trong luồng.
Xử lý luồng rất phù hợp với DSP [xử lý tín hiệu kỹ thuật số], thị giác máy tính, xử lý hình ảnh và video kỹ thuật số cũng như phân tích dữ liệu lớn. Nó cho phép một doanh nghiệp xử lý, phân tích và đưa ra kết luận từ dữ liệu khi dữ liệu được thu thập trong thời gian thực.
Ngôn ngữ và nền tảng
Các ngôn ngữ lập trình, nền tảng và dịch vụ sau được thiết kế để xử lý luồng:
Amazon Kinesis Nền tảng xử lý luồng do Amazon Web Services cung cấp.
Azure Stream Analytics Xử lý luồng và phân tích thời gian thực trên nền tảng Microsoft Azure.
BrookGPU Một ngôn ngữ xử lý luồng có ảnh hưởng sớm, được phát triển và lưu trữ tại Đại học Stanford.
CUDA Compute Unified Device Architecture, một nền tảng tính toán song song độc quyền và API được phát triển bởi NVidia.
Flink Một công cụ xử lý luồng tập trung vào xử lý sự kiện và quản lý trạng thái, được phát triển bởi Apache.
Google Cloud Dataflow Dịch vụ xử lý luồng được quản lý hoàn toàn khả dụng như một phần của Google Cloud Platform.
Kafka Một nền tảng phần mềm xử lý dòng mã nguồn mở được phát triển bởi LinkedIn và sau đó được tặng cho Apache Software Foundation.
RaftLib Một thư viện xử lý dòng mã nguồn mở cho C ++, được phát triển tại Phòng thí nghiệm Siêu máy tính của Đại học Washington ở St. Louis.
StreamIt Một ngôn ngữ lập trình để tạo ra các hệ thống xử lý luồng, được tạo ra tại MIT.