Xử lý song song trong C++

Cách xử lý song song hoạt động

Thông thường, một nhà khoa học máy tính sẽ chia một nhiệm vụ phức tạp thành nhiều phần bằng công cụ phần mềm và gán từng phần cho bộ xử lý, sau đó mỗi bộ xử lý sẽ giải quyết phần của nó và dữ liệu được công cụ phần mềm tập hợp lại để đọc giải pháp hoặc thực hiện tác vụ

Thông thường, mỗi bộ xử lý sẽ hoạt động bình thường và sẽ thực hiện các thao tác song song theo hướng dẫn, lấy dữ liệu từ bộ nhớ của máy tính. Các bộ xử lý cũng sẽ dựa vào phần mềm để giao tiếp với nhau để chúng có thể duy trì đồng bộ liên quan đến những thay đổi về giá trị dữ liệu. Giả sử tất cả các bộ xử lý vẫn đồng bộ với nhau, khi kết thúc một tác vụ, phần mềm sẽ khớp tất cả các phần dữ liệu lại với nhau

Các máy tính không có nhiều bộ xử lý vẫn có thể được sử dụng trong xử lý song song nếu chúng được nối mạng với nhau để tạo thành một cụm

Các loại xử lý song song

Có nhiều loại xử lý song song, hai trong số các loại được sử dụng phổ biến nhất bao gồm SIMD và MIMD. SIMD, hoặc một lệnh nhiều dữ liệu, là một dạng xử lý song song trong đó một máy tính sẽ có hai hoặc nhiều bộ xử lý tuân theo cùng một tập lệnh trong khi mỗi bộ xử lý xử lý các dữ liệu khác nhau. SIMD thường được sử dụng để phân tích các tập dữ liệu lớn dựa trên cùng một điểm chuẩn được chỉ định

MIMD, hoặc nhiều lệnh nhiều dữ liệu, là một dạng xử lý song song phổ biến khác mà mỗi máy tính có hai hoặc nhiều bộ xử lý riêng và sẽ lấy dữ liệu từ các luồng dữ liệu riêng biệt

Một loại xử lý song song khác, ít được sử dụng hơn bao gồm MISD hoặc nhiều dữ liệu đơn hướng dẫn, trong đó mỗi bộ xử lý sẽ sử dụng một thuật toán khác với cùng một dữ liệu đầu vào

Sự khác biệt giữa xử lý nối tiếp và song song

Khi quá trình xử lý song song có thể hoàn thành nhiều tác vụ bằng cách sử dụng hai hoặc nhiều bộ xử lý, thì quá trình xử lý nối tiếp (còn gọi là xử lý tuần tự) sẽ chỉ hoàn thành một tác vụ tại một thời điểm bằng cách sử dụng một bộ xử lý. Nếu một máy tính cần hoàn thành nhiều tác vụ được giao, thì nó sẽ hoàn thành từng tác vụ một. Tương tự như vậy, nếu một máy tính sử dụng bộ xử lý nối tiếp cần hoàn thành một tác vụ phức tạp thì sẽ mất nhiều thời gian hơn so với bộ xử lý song song.

Lịch sử xử lý song song

Trong những chiếc máy tính đầu tiên, mỗi lần chỉ chạy một chương trình. Một chương trình tính toán chuyên sâu sẽ mất một giờ để chạy cũng như chương trình sao chép băng mất một giờ để chạy sẽ mất tổng cộng hai giờ để chạy. Một dạng xử lý song song ban đầu cho phép thực hiện xen kẽ cả hai chương trình với nhau. Máy tính sẽ bắt đầu thao tác I/O và trong khi chờ thao tác hoàn tất, nó sẽ thực thi chương trình sử dụng nhiều bộ xử lý. Tổng thời gian thực hiện cho hai công việc sẽ hơn một giờ một chút

Cải tiến tiếp theo là đa chương trình. Trong một hệ thống đa chương trình, mỗi chương trình do người dùng gửi được phép sử dụng bộ xử lý trong một thời gian ngắn. Đối với người dùng, có vẻ như tất cả các chương trình đang thực thi cùng một lúc. Các vấn đề về tranh chấp tài nguyên lần đầu tiên nảy sinh trong các hệ thống này. Yêu cầu rõ ràng về tài nguyên dẫn đến sự cố về bế tắc, trong đó các yêu cầu đồng thời về tài nguyên sẽ ngăn chương trình truy cập tài nguyên một cách hiệu quả. Cạnh tranh tài nguyên trên các máy không có hướng dẫn cụ thể dẫn đến thói quen phần quan trọng

Xử lý véc tơ là một nỗ lực khác để tăng hiệu suất bằng cách thực hiện nhiều việc cùng một lúc. Trong trường hợp này, các khả năng đã được thêm vào máy để cho phép một lệnh duy nhất cộng (hoặc trừ, nhân hoặc thao tác) hai dãy số. Điều này có giá trị trong một số ứng dụng kỹ thuật nơi dữ liệu xuất hiện tự nhiên ở dạng vectơ hoặc ma trận. Trong các ứng dụng có dữ liệu kém định dạng, xử lý véc tơ không có giá trị như vậy

Bước tiếp theo trong quá trình xử lý song song là giới thiệu đa xử lý. Trong các hệ thống này, hai hoặc nhiều bộ xử lý chia sẻ công việc phải hoàn thành. Các phiên bản đầu tiên có cấu hình chính/phụ . Một bộ xử lý (chính) được lập trình để chịu trách nhiệm cho tất cả các công việc trong hệ thống; . Sự sắp xếp này là cần thiết vì lúc đó người ta chưa hiểu cách lập trình máy móc để chúng có thể hợp tác quản lý tài nguyên của hệ thống

SMP và MMP

Giải quyết những vấn đề này dẫn đến hệ thống đa xử lý đối xứng (SMP). Trong một hệ thống SMP, mỗi bộ xử lý đều có khả năng và chịu trách nhiệm quản lý luồng công việc thông qua hệ thống như nhau. Ban đầu, mục tiêu là làm cho các lập trình viên thấy các hệ thống SMP giống hệt như một bộ xử lý đơn, các hệ thống đa chương trình. Tuy nhiên, các kỹ sư nhận thấy rằng hiệu suất hệ thống có thể tăng lên ở đâu đó trong khoảng 10-20% bằng cách thực hiện một số lệnh không theo thứ tự và yêu cầu lập trình viên xử lý độ phức tạp gia tăng (vấn đề chỉ có thể trở nên rõ ràng khi hai hoặc nhiều chương trình đọc đồng thời . Câu hỏi về cách các máy SMP hoạt động trên dữ liệu được chia sẻ vẫn chưa được giải quyết

Khi số lượng bộ xử lý trong các hệ thống SMP tăng lên, thời gian để dữ liệu truyền từ một phần của hệ thống đến tất cả các phần khác cũng tăng lên. Khi số lượng bộ xử lý ở đâu đó trong khoảng vài chục, lợi ích hiệu suất của việc thêm nhiều bộ xử lý vào hệ thống là quá nhỏ để biện minh cho chi phí bổ sung. Để giải quyết vấn đề về thời gian lan truyền dài, một hệ thống chuyển tin nhắn được đề cập trước đó đã được tạo ra. Trong các hệ thống này, các chương trình chia sẻ dữ liệu sẽ gửi tin nhắn cho nhau để thông báo rằng các toán hạng cụ thể đã được gán một giá trị mới. Thay vì truyền phát giá trị mới của toán hạng tới tất cả các phần của hệ thống, giá trị mới chỉ được truyền tới những chương trình cần biết giá trị mới. Thay vì bộ nhớ dùng chung, có một mạng hỗ trợ chuyển tin nhắn giữa các chương trình. Sự đơn giản hóa này cho phép hàng trăm, thậm chí hàng nghìn bộ xử lý hoạt động cùng nhau hiệu quả trong một hệ thống. Do đó các hệ thống như vậy đã được đặt tên là các hệ thống xử lý song song lớn (MPP)

Các ứng dụng MPP thành công nhất là dành cho các vấn đề có thể được chia thành nhiều hoạt động độc lập, riêng biệt trên lượng dữ liệu khổng lồ. Trong khai thác dữ liệu, cần phải thực hiện nhiều lần tìm kiếm cơ sở dữ liệu tĩnh. Trong trí tuệ nhân tạo, cần phải phân tích nhiều phương án thay thế, như trong một ván cờ vua. Thông thường các hệ thống MPP được cấu trúc như các cụm bộ xử lý. Trong mỗi cụm các bộ xử lý tương tác như trong một hệ thống SMP. Chỉ giữa các cụm mà tin nhắn được truyền. Bởi vì các toán hạng có thể được xử lý thông qua tin nhắn hoặc qua địa chỉ bộ nhớ, một số hệ thống MPP được gọi là máy NUMA, để định địa chỉ bộ nhớ không đồng nhất

Máy SMP tương đối đơn giản để lập trình; . Máy SMP làm tốt mọi dạng bài toán, miễn là lượng dữ liệu liên quan không quá lớn. Đối với một số vấn đề nhất định, chẳng hạn như khai thác dữ liệu của cơ sở dữ liệu rộng lớn, chỉ các hệ thống MPP sẽ phục vụ

xử lý song song với ví dụ là gì?

Xử lý song song trong ngôn ngữ là gì?

C có hỗ trợ thực thi song song không?

Thuật toán xử lý song song là gì?