Ứng dụng serverless không cần bạn phải cung cấp, thay đổi quy định và quản lý bất kỳ máy chủ nào. Bạn có thể xây dựng chúng gần như mọi loại ứng dụng hoặc dịch vụ phụ trợ và mọi thứ cần thiết để chạy và thay đổi quy định cho ứng dụng với mức độ sẵn sàng cao đều được xử lý giúp bạn
Kiến trúcServerlesscó thể được sử dụng cho nhiều loại ứng dụng. Ví dụ. bạn có thể xử lý lệnh giao dịch, phân tích luồng nhấp chuột, xóa dữ liệu, tạo số liệu, lọc nhật ký, phân tích truyền thông xã hội hoặc thực hiện cho phép đo từ xa và hiển thị dữ liệu của thiết bị
Trong dự án này, bạn sẽ tìm hiểu cách xây dựng ứng dụng serverless để xử lý các luồng dữ liệu trong thời gian thực thi. Bạn sẽ xây dựng cơ sở hạ tầng cho công ty cung cấp dịch vụ đi chung cấu trúc. Trong trường hợp này, bạn sẽ cho phép nhân viên vận hành hành lang tại trụ sở của Wild Rydes cấu trúc theo dõi sức khỏe và trạng thái của đội kỳ lân của họ. Mỗi kỳ lân được trang bị một biến cảm biến để thông báo vị trí báo cáo và chỉ số sinh tồn
Bạn sẽ sử dụng AWS để xây dựng ứng dụng xử lý và trực tiếp hóa dữ liệu này trong thời gian thực. Bạn sẽ sử dụng AWS Lambda để quản lý các luồng trong thời gian thực, Amazon DynamoDB để lưu trữ bản ghi trên cơ sở dữ liệu NoSQL, Amazon Kinesis Data Analytics để tổng hợp dữ liệu, Amazon Kinesis Data Firehose để lưu dữ liệu thô vào
This thảo luận được chia làm bốn mô-đun. Bạn phải hoàn thành từng mô-đun trước khi tiếp tục
1. Xây dựng dữ liệu luồng
Tạo luồng trong Kinesis rồi viết và đọc từ luồng đó để theo dõi
Kỳ lân WildRydes trên bản đồ trực tiếp. Trong mô-đun này, bạn sẽ tạo một
danh sách Amazon Cognito để cấp quyền truy cập bản đồ trực tiếp cho luồng của bạn.
2. Tổng hợp dữ liệu
Ứng dụng xây dựng Kinesis Data Analytics để đọc từ luồngvà
tổng hợp số liệu như sức khỏe của kỳ lân cận và khoảng cách di chuyển mỗi phút.
3. Xử lý luồng dữ liệu liên tục
Tiếp tục tổng hợp dữ liệu từ ứng dụng đến cơ sở dữ liệu phụ trợ được lưu trữ
trong DynamoDB và chạy truy vấn với các dữ liệu .
4. Lưu trữ & truy vấn dữ liệu
Sử dụng Kinesis Data Firehose để đưa dữ liệu cảm biến thô đến bộ chứa S3
chomục đích lưu trữ. Sử dụng Athena, bạn sẽ chạy truy vấn SQL với dữ liệu
thô để phân tích tùy biến.
Request
AWS Experience. Người mới bắt đầu đến trung cấp
Complete time. 110 phút
Chi phí hoàn thành. Mỗi dịch vụ được sử dụng trong kiến trúc này đủ điều kiện hưởng bậc miễn phí của AWS. Nếu bạn trả quá giới hạn sử dụng của Bậc miễn phí, bạn cần phải trả về 0. 5 USD để hoàn thành hướng dẫn này [giả sử mọi dịch vụ chạy trong 2 giờ]*
Để hoàn thành hướng dẫn này, bạn sẽ sử dụng
• Tài khoản AWS hiện đang hoạt động**
• Trình duyệt [đề xuất Chrome]
• AWS Lambda
• Amazon Kinesis
• Amazon S3
• Amazon DynamoDB
• Amazon Cognito
• Amazon Athena
• AWS IAM
*Ước tính này giả định bạn tuân theo các cấu hình được đặt tiêu đề xuất trong toàn bộ hướng dẫn và chấm dứt sử dụng mọi tài nguyên trong vòng 2 giờ
**Các tài khoản đã được tạo trong vòng 24 giờ vì không thể có quyền truy cập vào các tài nguyên cần thiết cho dự án này
Kiến trúc ứng dụng
Để hoàn thành khóa học này, bạn cần có tài khoản AWS và quyền truy cập để tạo tài nguyên AWS Identity and Access Management [IAM], Amazon Cognito, Amazon Kinesis, Amazon S3, Amazon Athena, Amazon DynamoDB và AWS Cloud9 trong . Hướng dẫn được chia thành từng bước bên dưới để giải thích cách thức thiết lập mọi điều kiện tiên quyết
Bước 1. Tạo tài khoản AWS
Bước 1. Tạo tài khoản AWS
Mã và hướng dẫn trong cuộc thảo luận này giả định mỗi lần chỉ có một người tham gia đang sử dụng tài khoản AWS. Nếu bạn cố gắng chia sẻ tài khoản với những người tham gia khác, bạn sẽ gặp phải xung đột khi đặt tên cho các tài nguyên định sẵn. Bạn có thể xử lý vấn đề này bằng cách chọn hậu tố trong tên tài nguyên hoặc sử dụng Khu vực riêng biệt, nhưng hướng dẫn không nêu chi tiết về các thay đổi bắt buộc để thực hiện điều này
Sử dụng tài khoản cá nhân để tạo tài khoản AWS cho hội thảo này thay vì sử dụng tài khoản của tổ chức để đảm bảo bạn truy cập đầy đủ vào các dịch vụ cần thiết cũng như để đảm bảo bạn không bỏ sót bất kỳ tài nguyên nào
Tìm thông tin tại đây về cách thiết lập Tài khoản AWS >>
Bước 2. Select the area of you
Bước 2. khu vực
Sử dụng Miền Đông Hoa Kỳ [Bắc Virginia], Miền Tây Hoa Kỳ [Oregon] hoặc Châu Âu [Ái-Len] cho cuộc hội thảo này. Mỗi vùng hỗ trợ thiết lập đầy đủ dịch vụ được áp dụng trong tài liệu. Tham khảo Bảng khu vực để xác định các dịch vụ có sẵn trong Khu vực
Bước 3. Thiết lập IDE AWS Cloud9
Bước 3. Thiết lập IDE AWS Cloud9
AWS Cloud9 là môi trường phát triển tích hợp hợp nhất [IDE] trên nền tảng đám mây cho phép bạn viết, chạy và giải mã lỗi chỉ bằng một trình duyệt. Môi trường này bao gồm một trình mã hóa, trình gỡ lỗi và thiết bị đầu cuối. Cloud9 còn đi kèm với công cụ thiết yếu cho các ngôn ngữ lập trình biến phổ biến và AWS Command Line Interface [CLI] cài đặt sẵn nếu bạn không phải cài đặt tệp hoặc đặt cấu hình máy tính xách tay khi tham gia hội thảo này. Môi trường Cloud9 của bạn sẽ có quyền truy cập vào tài nguyên AWS giống như người dùng mà bạn đã sử dụng để đăng nhập vào Bảng điều khiển quản lý AWS
Dành một khoảng thời gian để thiết lập môi trường phát triển Cloud9 của bạn
a. Vào Bảng điều khiển AWS, chọn Dịch vụ, rồi chọn Cloud9 bên dưới Công cụ của nhà phát triển
b. Chọn Tạo môi trường
c. Nhập Phát triển vào Tên và cung cấp Mô tả tùy chọn
d. Select Step next
e. Bạn có thể thiết lập môi trường nguyên trạng thái theo mặc định để khởi động phiên bản EC2 t2. micro mới, và nó sẽ tạm dừng sau 30 phút không hoạt động
f. Select Step next
g. Xem lại cài đặt môi trường và chọn Tạo môi trường. Sẽ mất vài phút để môi trường của bạn được cung cấp và chuẩn bị
h. Khi có sẵn, IDE của bạn sẽ mở trong một màn hình chào mừng
i. Bạn có thể chạy lệnh AWS CLI ở đây giống như bạn sử dụng trên bộ máy tính cục bộ của bạn. Xác thực rằng người dùng của bạn đã đăng nhập bằng cách chạyaws sts get-caller-identity
j. Bạn sẽ nhìn thấy đầu có thể hiển thị thông tin tài khoản và người dùng của bạn
k. Giữ AWS Cloud9 IDE của bạn luôn ở trạng thái mở trên tab trong cuộc hội thảo này vì bạn sẽ sử dụng nó cho các hoạt động như xây dựng và chạy ứng dụng mẫu trong bộ chứa Docker và sử dụng AWS CLI
Admin:~/environment $ aws sts get-caller-identity { "Account": "123456789012", "UserId": "AKIAI44QH8DHBEXAMPLE", "Arn": "arn:aws:iam::123456789012:user/Alice" }Bước 4. Thiết lập dòng lệnh
Bước 4. Thiết lập dòng lệnh
Mô-đun sử dụng hai dòng lệnh máy khách để mô phỏng và hiển thị biến dữ liệu cảm biến từ các kỳ lân trong đội. Đây là các chương trình nhỏ được viết trong Ngôn ngữ lập trình Go. Hướng dẫn bên dưới trong phần Cài đặt sẽ hướng dẫn chi tiết cách tải xuống tệp nhị phân xây dựng có sẵn, nhưng bạn cũng có thể tải xuống nguồn và xây dựng nó theo cách thủ công
• sản xuất. go
• người tiêu dùng. đioutput output
Trình sản xuất tạo biến dữ liệu cảm biến từ các khách hàng lân cận trên Wild Ryde. Mỗi giây, nó sẽ phát ra một vị trí của kỳ lân dưới dạng tọa độ và vĩ độ, khoảng cách di chuyển theo mét trong giây trước đó và mức độ hiện tại của điểm cho phép màu sắc và sức khỏe của kỳ lân
Trình tiêu thụ
Trình tiêu thụ được đọc và hiển thị các thông báo theo định dạng JSON từ luồng Amazon Kinesis, cho phép chúng ta giám sát những gì đang được gửi đến luồng trong thời gian thực. Sử dụng trình tiêu thụ, bạn có thể giám sát dữ liệu của trình sản xuất và ứng dụng của bạn đang gửi đi
Cài đặt
- Chuyển sang tab nơi bạn có môi trường Cloud9 đang mở
- Tải xuống và giải nén dòng lệnh máy khách bằng cách chạy lệnh sau đây trong thiết bị đầu cuối Cloud9
curl -s //dataprocessing.wildrydes.com/client/client.tar | tar -xv
Lệnh này sẽ giải nén tệp tiêu thụ và trình sản xuất theo môi trường Cloud9 của bạn
access to brief
mẹo
💡 Giữ số mở tệp trong Cloud9 hoặc trình soạn thảo văn bản trên bộ máy tính cục bộ của bạn để sao chép. Khi được hướng dẫn theo từng bước, bạn chỉ cần sao chép một vài thứ như ID hoặc Tên Tài Nguyên Amazon [ARN], sao chép và dán vào tệp giấy số
tóm tắt
🔑 Sử dụng tài khoản AWS cá nhân hoặc phát triển duy nhất
🔑 Sử dụng một trong các Khu vực Miền Đông Hoa Kỳ [Bắc Virginia], Miền Tây Hoa Kỳ [Oregon] hoặc Châu Âu [Ireland]
🔑 Luôn mở AWS Cloud9 IDE của bạn trong một tab
Bạn vừa thiết lập mọi thứ để bắt đầu xử lý luồng dữ liệu serverless theo thời gian thực hiện. Trong mô-đun tiếp theo, bạn sẽ thiết lập luồng dữ liệu để thu thập và xử lý dữ liệu theo thời gian thực.