Làm cách nào để đọc tệp csv từ một trang web trong python?

Chúng tôi có thể đọc dữ liệu từ web bằng Python bằng các mô-đun khác nhau như

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

8,

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

9, v.v. Tệp văn bản được phân tách bằng dấu phẩy [CSV] là tệp dữ liệu có thể được đọc vào DataFrame bằng gói Pandas

Hướng dẫn này trình bày cách tải xuống tệp CSV từ một URL bằng Python

Sử dụng hàm

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

0 để tải xuống tệp CSV từ một URL trong Python

Hàm

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

1 từ mô-đun Pandas có thể đọc các tệp CSV từ các nguồn khác nhau và lưu trữ kết quả trong Khung dữ liệu Pandas

Chúng tôi có thể sử dụng chức năng này để tải xuống các tệp CSV từ một URL trong Python bằng cách cung cấp trực tiếp URL trong chức năng

Mã số

import pandas as pd
df = pd.read_csv['//sample.com/file.csv']

Đoạn mã trên sẽ tải xuống tệp CSV từ URL được cung cấp và lưu trữ tệp đó trong DataFrame

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

2

Sử dụng Mô-đun

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

9 và

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

4 để tải xuống tệp CSV từ một URL bằng Python

Mô-đun

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

9 được sử dụng để làm việc và tìm nạp URL từ các giao thức khác nhau trong Python. Chúng ta có thể sử dụng hàm

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

1 để tạo kết nối tới một URL và đọc nội dung của nó

Phản hồi này có thể được xử lý bằng cách sử dụng mô-đun

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

4. Mô-đun

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

4 hoạt động với các tệp CSV trong Python

Nó có thể phân tích cú pháp phản hồi bằng hàm

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

4. Sau đó, chúng tôi có thể hiển thị kết quả được phân tích cú pháp cùng một lúc hoặc duyệt qua nội dung từng hàng một

Mã số

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

Sử dụng Mô-đun

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

8 và

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

4 để tải xuống tệp CSV từ một URL bằng Python

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

8 là một mô-đun khác có sẵn trong Python có thể tìm nạp dữ liệu từ các URL. Nó là một thư viện HTTP đơn giản với khả năng xử lý lỗi tốt hơn

Chúng ta có thể sử dụng hàm

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

8 từ mô-đun này để tìm nạp phản hồi từ URL đã cho của tệp CSV. Chúng tôi sử dụng hàm

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

9 để lặp qua nội dung phản hồi được tìm nạp bởi hàm

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

8

Nội dung này sau đó được phân tích lại bằng cách sử dụng hàm

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

4 để lấy dữ liệu cuối cùng ở định dạng phù hợp

Mã số

________số 8

Sự kết luận

Chúng tôi đã thảo luận về cách tải xuống tệp CSV từ một URL bằng Python. Hàm

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

0 là phương pháp trực tiếp nhất vì nó tự động tìm nạp và lưu trữ tệp trong DataFrame

Các phương thức khác yêu cầu chúng tôi tìm nạp phản hồi và phân tích cú pháp bằng cách sử dụng mô-đun

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

4 trong Python để có kết quả cuối cùng

giới thiệu. Trong bài viết này, tôi sẽ hướng dẫn bạn các cách khác nhau để đọc và ghi tệp CSV trong Python

Mục lục

1. CSV là gì?
2. Làm cách nào để đọc tệp CSV bằng Python?
3. Ghi vào Python CSV
4. Làm cách nào để nhập CSV Python?

1. CSV là gì?

CSV là viết tắt của “Các giá trị được phân tách bằng dấu phẩy. ” Đây là hình thức đơn giản nhất để lưu trữ dữ liệu ở dạng bảng dưới dạng văn bản thuần túy. Điều quan trọng là phải biết làm việc với CSV vì chúng tôi chủ yếu dựa vào dữ liệu CSV trong cuộc sống hàng ngày với tư cách là nhà khoa học dữ liệu

Cấu trúc của CSV.  

Chúng tôi có một tệp có tên “Salary_Data. csv. ”  Dòng đầu tiên của tệp CSV là tiêu đề và chứa tên của các trường/tính năng

Sau tiêu đề, mỗi dòng của tệp là một quan sát/bản ghi. Các giá trị của một bản ghi được phân tách bằng dấu phẩy. ”

2. Đọc một CSV

Tệp CSV có thể được xử lý theo nhiều cách trong Python

2. 1 Sử dụng csv. người đọc

Đọc CSV bằng mô-đun có sẵn của Python có tên là csv sử dụng csv. đối tượng người đọc

Các bước để đọc tệp CSV

1. Nhập thư viện csv

import csv

2. Mở tệp CSV

Các. Phương thức open[] trong python được sử dụng để mở tệp và trả về một đối tượng tệp

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

0

Loại tệp là “_io. TextIOWrapper” là đối tượng tệp được trả về bởi phương thức open[]

3. Sử dụng tệp csv. đối tượng reader để đọc tệp CSV

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

1

4. Trích xuất tên trường

Tạo một danh sách trống gọi là tiêu đề. Sử dụng phương thức next[] để lấy tiêu đề

Các. Phương thức next[] trả về hàng hiện tại và di chuyển đến hàng tiếp theo

Lần đầu tiên bạn chạy next[], nó sẽ trả về tiêu đề và lần chạy tiếp theo, nó sẽ trả về bản ghi đầu tiên, v.v.

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

2

5. Trích xuất các hàng/bản ghi

Tạo một danh sách trống có tên là rows và lặp qua đối tượng csvreader và nối từng hàng vào danh sách rows

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

3

6. Đóng tệp

Phương thức close[] dùng để đóng file đã mở. Khi nó bị đóng, chúng tôi không thể thực hiện bất kỳ thao tác nào trên nó

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

4

Hoàn thành mã

Mã Python

Đương nhiên, chúng ta có thể quên đóng một tệp đang mở. Để tránh điều đó, chúng ta có thể sử dụng câu lệnh with[] để tự động giải phóng tài nguyên. Nói một cách đơn giản, không cần phải gọi. phương thức close[] nếu chúng ta đang sử dụng câu lệnh with[]

Triển khai đoạn mã trên bằng cách sử dụng câu lệnh with[]

cú pháp. với open[filename, mode] là alias_filename

chế độ

'r' – để đọc tệp hiện có,
'w' – để tạo tệp mới nếu tệp đã cho không tồn tại và ghi vào tệp đó,
‘a’ – to append to existing file content,
‘+’ –  to create a new file for reading and writing

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

5

2. 2 Sử dụng. đường đọc []

Bây giờ câu hỏi là – “Có thể tìm nạp tiêu đề, các hàng chỉ bằng các câu lệnh open[] và with[] mà không cần thư viện csv không?”

phương thức readlines[] là câu trả lời. Nó trả về tất cả các dòng trong một tệp dưới dạng danh sách. Mỗi mục của danh sách là một hàng trong tệp CSV của chúng tôi

Hàng đầu tiên của tệp. readlines[] là tiêu đề và phần còn lại là các bản ghi

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

6

** Có thể xóa 'n' khỏi đầu ra bằng cách sử dụng. phương thức dải []

Điều gì sẽ xảy ra nếu chúng ta có một tập dữ liệu khổng lồ với hàng trăm tính năng và hàng nghìn bản ghi. Có thể xử lý danh sách không ??

Đây là thư viện pandas vào hình ảnh

2. 3 Sử dụng gấu trúc

Các bước đọc tệp CSV bằng gấu trúc

1. Nhập thư viện gấu trúc

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

7

2. Tải tệp CSV vào gấu trúc bằng read_csv[]

Cú pháp cơ bản. gấu trúc. read_csv[tên tệp, dấu phân cách=’,’]

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

8

3. Trích xuất tên trường

các cột được sử dụng để lấy tên tiêu đề/trường

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

00

4. Trích xuất các hàng

Tất cả dữ liệu của khung dữ liệu có thể được truy cập bằng tên trường

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

01

3. Ghi vào tệp CSV

Chúng tôi có thể ghi vào tệp CSV theo nhiều cách

3. 1 Sử dụng csv. nhà văn

Giả sử chúng ta đang ghi dữ liệu 3 Học sinh [Tên, Điểm M1, Điểm M2]

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

02

Các bước ghi vào tệp CSV

1. Nhập thư viện csv

import csv

2. Xác định tên tệp và Mở tệp bằng open[]

3. Tạo đối tượng csvwriter bằng csv. nhà văn[]

4. Viết tiêu đề

5. Viết phần còn lại của dữ liệu

mã cho các bước 2-5

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

04

Dưới đây là giao diện của tệp CSV của chúng tôi

3. 2 Sử dụng. dòng viết []

Lặp lại từng danh sách và chuyển đổi các thành phần danh sách thành một chuỗi và ghi vào tệp csv

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

05

3. 3. Sử dụng gấu trúc

Các bước để ghi vào CSV bằng pandas

1. Nhập thư viện gấu trúc

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

7

2. Tạo một khung dữ liệu gấu trúc bằng cách sử dụng pd. Khung dữ liệu

cú pháp. pd. DataFrame[dữ liệu, cột]

Tham số dữ liệu lấy bản ghi/quan sát và tham số cột lấy tên cột/trường

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

07

3. Ghi vào tệp CSV bằng to_csv[]

cú pháp. Khung dữ liệu. to_csv[tên tệp, sep=’,’, index=False]

**dấu phân cách là ',' theo mặc định

index=False để xóa các số chỉ mục

import urllib
import csv
res = urllib.urlopen['//sample.com/file.csv']
data = csv.reader[res]

08

Dưới đây là giao diện của CSV của chúng tôi

Ghi chú kết thúc

Cảm ơn bạn đã đọc cho đến khi kết luận. Đến cuối bài viết này, chúng ta đã quen thuộc với các cách xử lý tệp CSV khác nhau trong Python

Tôi hy vọng bài viết này là thông tin. Hãy chia sẻ nó với bạn bè học tập của bạn

Người giới thiệu

Kiểm tra mã hoàn chỉnh từ repo GitHub

Bài viết blog khác của tôi

Vui lòng xem các bài đăng trên blog khác của tôi từ Hồ sơ Vidhya Analytics của tôi

Bạn có thể tìm thấy tôi trên LinkedIn, Twitter trong trường hợp bạn muốn kết nối. Tôi sẽ rất vui khi được kết nối với bạn

Để trao đổi suy nghĩ ngay lập tức, vui lòng viết thư cho tôi tại [email được bảo vệ]

Phương tiện hiển thị trong bài viết này không thuộc sở hữu của Analytics Vidhya và được sử dụng theo quyết định của Tác giả

Cách đọc tệp CSV trực tuyến bằng Python?

Cách tốt nhất để đọc tệp CSV bằng Python là gì?