Bạn có thể mở hình ảnh bằng Python không?

Lưu trữ vào đĩa

Đầu vào của chúng tôi cho thử nghiệm này là một hình ảnh duy nhất

$ conda install -c conda-forge python-lmdb

$ pip install lmdb

$ conda install -c conda-forge python-lmdb

$ pip install lmdb

from PIL import Image
import csv

def store_single_disk[image, image_id, label]:
    """ Stores a single image as a .png file on disk.
        Parameters:
        ---------------
        image       image array, [32, 32, 3] to be stored
        image_id    integer unique ID for image
        label       image label
    """
    Image.fromarray[image].save[disk_dir / f"{image_id}.png"]

    with open[disk_dir / f"{image_id}.csv", "wt"] as csvfile:
        writer = csv.writer[
            csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
        ]
        writer.writerow[[label]]

Điều này lưu hình ảnh. Trong tất cả các ứng dụng thực tế, bạn cũng quan tâm đến siêu dữ liệu được đính kèm với hình ảnh, mà trong bộ dữ liệu ví dụ của chúng tôi là nhãn hình ảnh. Khi bạn đang lưu trữ hình ảnh vào đĩa, có một số tùy chọn để lưu siêu dữ liệu

Một giải pháp là mã hóa các nhãn thành tên hình ảnh. Điều này có lợi thế là không yêu cầu bất kỳ tệp bổ sung nào

Tuy nhiên, nó cũng có nhược điểm lớn là buộc bạn phải xử lý tất cả các tệp bất cứ khi nào bạn làm bất cứ điều gì với nhãn. Lưu trữ các nhãn trong một tệp riêng biệt cho phép bạn chơi xung quanh với các nhãn một mình mà không phải tải hình ảnh. Ở trên, tôi đã lưu trữ các nhãn trong một tệp

$ pip install h5py

Bây giờ, hãy chuyển sang thực hiện chính xác nhiệm vụ tương tự với LMDB

Lưu trữ vào LMDB

Thứ nhất, LMDB là một hệ thống lưu trữ khóa-giá trị trong đó mỗi mục nhập được lưu dưới dạng một mảng byte, vì vậy, trong trường hợp của chúng tôi, các khóa sẽ là mã định danh duy nhất cho mỗi hình ảnh và giá trị sẽ là chính hình ảnh đó. Cả khóa và giá trị đều phải là chuỗi, do đó, cách sử dụng phổ biến là tuần tự hóa giá trị dưới dạng chuỗi, sau đó bỏ tuần tự hóa giá trị đó khi đọc lại

Bạn có thể sử dụng

$ pip install lmdb

Bạn có thể tạo một lớp Python cơ bản cho hình ảnh và dữ liệu meta của nó

$ pip install Pillow

Thứ hai, vì LMDB được ánh xạ bộ nhớ, các cơ sở dữ liệu mới cần biết chúng dự kiến ​​sẽ sử dụng bao nhiêu bộ nhớ. Điều này tương đối đơn giản trong trường hợp của chúng ta, nhưng nó có thể là một vấn đề lớn trong các trường hợp khác, mà bạn sẽ thấy sâu hơn trong phần sau. LMDB gọi biến này là

$ pip install h5py

Cuối cùng, các thao tác đọc và ghi với LMDB được thực hiện trong

$ pip install h5py

Với ba điểm đó, hãy xem mã để lưu một hình ảnh vào LMDB

$ pip install Pillow

Ghi chú. Bạn nên tính toán số byte chính xác mà mỗi cặp khóa-giá trị sẽ chiếm

Với tập dữ liệu hình ảnh có kích thước khác nhau, đây sẽ là giá trị gần đúng, nhưng bạn có thể sử dụng

$ pip install h5py

$ pip install h5py

Hàm cũng sẽ không thể tính toán đầy đủ các mục, danh sách hoặc đối tượng lồng nhau có chứa tham chiếu đến các đối tượng khác

Ngoài ra, bạn có thể sử dụng để tiết kiệm cho mình một số tính toán bằng cách xác định kích thước chính xác của đối tượng

Bây giờ bạn đã sẵn sàng để lưu hình ảnh vào LMDB. Cuối cùng, hãy xem phương pháp cuối cùng, HDF5

Lưu trữ với HDF5

Hãy nhớ rằng một tệp HDF5 có thể chứa nhiều tập dữ liệu. Trong trường hợp khá tầm thường này, bạn có thể tạo hai bộ dữ liệu, một cho hình ảnh và một cho siêu dữ liệu của nó

$ pip install Pillow

$ pip install h5py

Ghi chú. Việc lựa chọn kiểu dữ liệu sẽ ảnh hưởng mạnh đến thời gian chạy và yêu cầu lưu trữ của HDF5, vì vậy tốt nhất bạn nên chọn các yêu cầu tối thiểu của mình

Bây giờ chúng ta đã xem xét ba phương pháp lưu một hình ảnh, hãy chuyển sang bước tiếp theo

Các thử nghiệm để lưu trữ một hình ảnh

Bây giờ bạn có thể đặt cả ba chức năng để lưu một hình ảnh vào từ điển, có thể được gọi sau này trong quá trình thử nghiệm thời gian

$ pip install Pillow

Cuối cùng, mọi thứ đã sẵn sàng để tiến hành thí nghiệm hẹn giờ. Hãy thử lưu hình ảnh đầu tiên từ CIFAR và nhãn tương ứng của nó và lưu trữ nó theo ba cách khác nhau

$ pip install Pillow

Ghi chú. Trong khi chơi với LMDB, bạn có thể thấy lỗi

$ pip install h5py

Điều này góp phần làm cho thời gian ghi nhanh, nhưng điều đó cũng có nghĩa là nếu bạn lưu trữ một hình ảnh nhiều lần trong cùng một tệp LMDB, thì bạn sẽ sử dụng hết kích thước bản đồ. Nếu bạn chạy một chức năng lưu trữ, trước tiên hãy nhớ xóa mọi tệp LMDB có sẵn

Hãy nhớ rằng chúng tôi quan tâm đến thời gian chạy, được hiển thị ở đây tính bằng giây và cả mức sử dụng bộ nhớ

MethodSave Single Image + MetaMemoryDisk1. 915 ms8 KLMDB1. 203 ms32 KHDF58. 243 ms8 K

Có hai điều rút ra ở đây

1. Tất cả các phương pháp đều nhanh chóng
2. Về mặt sử dụng đĩa, LMDB sử dụng nhiều hơn

Rõ ràng, mặc dù LMDB dẫn đầu về hiệu suất một chút, chúng tôi vẫn chưa thuyết phục được ai tại sao không chỉ lưu trữ hình ảnh trên đĩa. Xét cho cùng, đó là định dạng con người có thể đọc được và bạn có thể mở và xem chúng từ bất kỳ trình duyệt hệ thống tệp nào. Chà, đã đến lúc xem nhiều hình ảnh hơn…

Điều chỉnh mã cho nhiều hình ảnh

Việc lưu nhiều hình ảnh dưới dạng tệp

$ pip install lmdb

$ conda install -c conda-forge h5py

Bạn sẽ cần thay đổi mã một chút và tạo ba chức năng mới chấp nhận nhiều hình ảnh,

$ conda install -c conda-forge h5py

$ conda install -c conda-forge h5py

$ conda install -c conda-forge h5py

$ pip install Pillow

Vì vậy, bạn có thể lưu trữ nhiều tệp vào đĩa, phương thức tệp hình ảnh đã được thay đổi để lặp qua từng hình ảnh trong danh sách. Đối với LMDB, cũng cần có một vòng lặp vì chúng tôi đang tạo một đối tượng

$ conda install -c conda-forge h5py

Điều chỉnh nhỏ nhất là với phương pháp HDF5. Trên thực tế, hầu như không có sự điều chỉnh nào cả. Các tệp HFD5 không có giới hạn về kích thước tệp ngoài các hạn chế bên ngoài hoặc kích thước tập dữ liệu, vì vậy tất cả các hình ảnh được nhồi vào một tập dữ liệu duy nhất, giống như trước đây

Tiếp theo, bạn sẽ cần chuẩn bị tập dữ liệu cho các thử nghiệm bằng cách tăng kích thước của tập dữ liệu đó

Chuẩn bị bộ dữ liệu

Trước khi chạy lại thử nghiệm, trước tiên hãy nhân đôi kích thước tập dữ liệu của chúng tôi để chúng tôi có thể thử nghiệm với tối đa 100.000 hình ảnh

$ pip install Pillow

Bây giờ đã có đủ hình ảnh, đã đến lúc thử nghiệm

Thử nghiệm lưu trữ nhiều hình ảnh

Như bạn đã làm với việc đọc nhiều hình ảnh, bạn có thể tạo một từ điển xử lý tất cả các chức năng với

$ conda install -c conda-forge h5py

$ pip install Pillow

Nếu bạn đang theo dõi và tự chạy mã, bạn sẽ cần hồi hộp ngồi lại một lúc và đợi 111.110 hình ảnh được lưu trữ ba lần mỗi hình vào đĩa của bạn, ở ba định dạng khác nhau. Bạn cũng sẽ cần nói lời tạm biệt với khoảng 2 GB dung lượng ổ đĩa

Bây giờ là khoảnh khắc của sự thật. Tất cả việc lưu trữ đó mất bao lâu?

Biểu đồ đầu tiên hiển thị thời gian lưu trữ bình thường, chưa được điều chỉnh, làm nổi bật sự khác biệt lớn giữa việc lưu trữ các tệp

$ pip install lmdb

Biểu đồ thứ hai hiển thị

$ conda install -c conda-forge h5py

Mặc dù kết quả chính xác có thể khác nhau tùy thuộc vào máy của bạn, đây là lý do tại sao LMDB và HDF5 đáng để suy nghĩ. Đây là mã đã tạo biểu đồ trên

$ pip install Pillow

Bây giờ chúng ta hãy tiếp tục đọc lại các hình ảnh

Đọc từ đĩa

Trong ba phương pháp, LMDB yêu cầu nhiều công việc nhất khi đọc các tệp hình ảnh ra khỏi bộ nhớ, do bước tuần tự hóa. Hãy xem qua các chức năng này để đọc một hình ảnh cho từng định dạng trong số ba định dạng lưu trữ

Trước tiên, hãy đọc một hình ảnh và meta của nó từ tệp

$ pip install lmdb

$ pip install h5py

$ pip install Pillow

Đọc từ LMDB

Tiếp theo, đọc cùng một hình ảnh và meta từ LMDB bằng cách mở môi trường và bắt đầu giao dịch đọc

$ conda install -c conda-forge pillow

Dưới đây là một vài điểm không phải về đoạn mã trên

• Dòng 13. Cờ

  from pathlib import Path
  
  disk_dir = Path["data/disk/"]
  lmdb_dir = Path["data/lmdb/"]
  hdf5_dir = Path["data/hdf5/"]
  

  0 chỉ định rằng không được phép ghi trên tệp LMDB cho đến khi giao dịch kết thúc. Trong biệt ngữ cơ sở dữ liệu, nó tương đương với việc khóa đọc
• Dòng 20. Để truy xuất đối tượng CIFAR_Image, bạn cần đảo ngược các bước mà chúng tôi đã thực hiện để chọn nó khi viết nó. Đây là nơi mà

  from pathlib import Path
  
  disk_dir = Path["data/disk/"]
  lmdb_dir = Path["data/lmdb/"]
  hdf5_dir = Path["data/hdf5/"]
  

  1 của đối tượng hữu ích

Điều này kết thúc việc đọc lại hình ảnh từ LMDB. Cuối cùng, bạn sẽ muốn làm điều tương tự với HDF5

Đọc từ HDF5

Đọc từ HDF5 trông rất giống với quá trình viết. Đây là mã để mở và đọc tệp HDF5 và phân tích cú pháp cùng một hình ảnh và meta

$ conda install -c conda-forge pillow

Lưu ý rằng bạn truy cập các bộ dữ liệu khác nhau trong tệp bằng cách lập chỉ mục đối tượng

from pathlib import Path

disk_dir = Path["data/disk/"]
lmdb_dir = Path["data/lmdb/"]
hdf5_dir = Path["data/hdf5/"]

from pathlib import Path

disk_dir = Path["data/disk/"]
lmdb_dir = Path["data/lmdb/"]
hdf5_dir = Path["data/hdf5/"]

$ conda install -c conda-forge pillow

Với từ điển này đã được chuẩn bị, bạn đã sẵn sàng để chạy thử nghiệm

Thử nghiệm để đọc một hình ảnh

Bạn có thể mong đợi rằng thử nghiệm đọc một hình ảnh sẽ có kết quả hơi tầm thường, nhưng đây là mã thử nghiệm

$ conda install -c conda-forge pillow

Dưới đây là kết quả của thử nghiệm đọc một hình ảnh

MethodRead Single Image + MetaDisk1. 61970 msLMDB4. 52063 msHDF51. 98036 ms

Đọc các tệp

$ pip install lmdb

$ pip install h5py

Điều chỉnh mã cho nhiều hình ảnh

Mở rộng các hàm trên, bạn có thể tạo các hàm với

from pathlib import Path

disk_dir = Path["data/disk/"]
lmdb_dir = Path["data/lmdb/"]
hdf5_dir = Path["data/hdf5/"]

$ conda install -c conda-forge pillow

Với các chức năng đọc được lưu trữ trong từ điển cũng như các chức năng viết, bạn đã sẵn sàng cho thử nghiệm

Thử nghiệm để đọc nhiều hình ảnh

Bây giờ bạn có thể chạy thử nghiệm để đọc nhiều hình ảnh

$ conda install -c conda-forge pillow

Như chúng tôi đã làm trước đây, bạn có thể vẽ biểu đồ kết quả thử nghiệm đã đọc

Biểu đồ trên cùng hiển thị thời gian đọc bình thường, chưa được điều chỉnh, cho thấy sự khác biệt lớn giữa việc đọc từ tệp

$ pip install lmdb

Ngược lại, biểu đồ ở phía dưới hiển thị

$ conda install -c conda-forge h5py

Viết thời gian đọcHiển thị/Ẩn

Sử dụng chức năng vẽ đồ thị tương tự như đối với thời gian ghi, chúng tôi có những điều sau đây

$ conda install -c conda-forge pillow

Trong thực tế, thời gian viết thường ít quan trọng hơn thời gian đọc. Hãy tưởng tượng rằng bạn đang đào tạo một mạng lưới thần kinh sâu về hình ảnh và chỉ một nửa toàn bộ tập dữ liệu hình ảnh của bạn phù hợp với RAM cùng một lúc. Mỗi kỷ nguyên đào tạo mạng yêu cầu toàn bộ tập dữ liệu và mô hình cần vài trăm kỷ nguyên để hội tụ. Về cơ bản, bạn sẽ đọc một nửa tập dữ liệu vào bộ nhớ mỗi kỷ nguyên

Có một số thủ thuật mà mọi người thực hiện, chẳng hạn như đào tạo các kỷ nguyên giả để làm cho điều này tốt hơn một chút, nhưng bạn hiểu ý

Bây giờ, hãy nhìn lại vào biểu đồ đã đọc ở trên. Sự khác biệt đột ngột giữa thời gian đọc 40 giây và 4 giây là sự khác biệt giữa việc đợi sáu giờ để mô hình của bạn đào tạo hoặc bốn mươi phút

Nếu chúng ta xem thời gian đọc và ghi trên cùng một biểu đồ, thì chúng ta có kết quả như sau

Viết thời gian đọc và ghiHiển thị/Ẩn

Bạn có thể vẽ tất cả thời gian đọc và ghi trên một biểu đồ bằng cách sử dụng cùng chức năng vẽ đồ thị

$ conda install -c conda-forge pillow

Khi bạn đang lưu trữ hình ảnh dưới dạng tệp

$ pip install lmdb

Bây giờ bạn đã thấy những lợi ích về hiệu suất của LMDB và HDF5, hãy xem xét một chỉ số quan trọng khác. sử dụng đĩa

Truy cập song song

Một so sánh quan trọng mà chúng tôi đã không kiểm tra trong các thử nghiệm ở trên là đọc và ghi đồng thời. Thông thường, với các tập dữ liệu lớn như vậy, bạn có thể muốn tăng tốc hoạt động của mình thông qua song song hóa

Trong phần lớn các trường hợp, bạn sẽ không muốn đọc các phần của cùng một hình ảnh cùng một lúc mà bạn sẽ muốn đọc nhiều hình ảnh cùng một lúc. Với định nghĩa về đồng thời này, việc lưu trữ vào đĩa dưới dạng tệp

$ pip install lmdb

Còn LMDB thì sao? . Bạn có thể đọc thêm về điều đó tại trang web công nghệ LMDB

Nhiều ứng dụng có thể truy cập cùng một cơ sở dữ liệu LMDB cùng một lúc và nhiều luồng từ cùng một quy trình cũng có thể đồng thời truy cập LMDB để đọc. Điều này cho phép thời gian đọc nhanh hơn. nếu bạn chia tất cả CIFAR thành mười bộ, thì bạn có thể thiết lập mười quy trình để mỗi lần đọc trong một bộ và nó sẽ chia thời gian tải cho mười

HDF5 cũng cung cấp I/O song song, cho phép đọc và ghi đồng thời. Tuy nhiên, khi triển khai, khóa ghi được giữ và quyền truy cập là tuần tự, trừ khi bạn có hệ thống tệp song song

Có hai tùy chọn chính nếu bạn đang làm việc trên một hệ thống như vậy, sẽ được thảo luận sâu hơn trong bài viết này của Nhóm HDF về IO song song. Việc này có thể trở nên khá phức tạp và tùy chọn đơn giản nhất là chia tập dữ liệu của bạn thành nhiều tệp HDF5 một cách thông minh, sao cho mỗi quy trình có thể xử lý một tệp

disk_dir.mkdir[parents=True, exist_ok=True]
lmdb_dir.mkdir[parents=True, exist_ok=True]
hdf5_dir.mkdir[parents=True, exist_ok=True]

Tài liệu

Nếu bạn Google

disk_dir.mkdir[parents=True, exist_ok=True]
lmdb_dir.mkdir[parents=True, exist_ok=True]
hdf5_dir.mkdir[parents=True, exist_ok=True]

Trên thực tế, có một nguồn tài liệu chính cho ràng buộc Python của LMDB, được lưu trữ trên. Trong khi gói Python thậm chí còn chưa đạt phiên bản > 0. 94, nó được sử dụng khá rộng rãi và được coi là ổn định

Đối với bản thân công nghệ LMDB, có nhiều tài liệu chi tiết hơn tại trang web công nghệ LMDB, có thể giống như học phép tính ở lớp hai, trừ khi bạn bắt đầu từ trang Bắt đầu của họ

Đối với HDF5, có tài liệu rất rõ ràng tại trang tài liệu h5py, cũng như một bài đăng trên blog hữu ích của Christopher Lovell, đây là một tổng quan tuyệt vời về cách sử dụng gói

disk_dir.mkdir[parents=True, exist_ok=True]
lmdb_dir.mkdir[parents=True, exist_ok=True]
hdf5_dir.mkdir[parents=True, exist_ok=True]

Mặc dù không phải là tài liệu mà có lẽ người mới bắt đầu sẽ đánh giá cao, nhưng cả LMDB và HDF5 đều có cộng đồng người dùng lớn, do đó, tìm kiếm sâu hơn trên Google thường mang lại kết quả hữu ích

Một cái nhìn phê phán hơn về việc thực hiện

Không có điều không tưởng trong các hệ thống lưu trữ và cả LMDB và HDF5 đều có những cạm bẫy

Một điểm quan trọng cần hiểu về LMDB là dữ liệu mới được ghi mà không ghi đè hoặc di chuyển dữ liệu hiện có. Đây là một quyết định thiết kế cho phép đọc cực nhanh mà bạn đã chứng kiến ​​trong các thử nghiệm của chúng tôi, đồng thời đảm bảo tính toàn vẹn và độ tin cậy của dữ liệu mà không cần lưu giữ thêm nhật ký giao dịch

Tuy nhiên, hãy nhớ rằng bạn cần xác định tham số

$ pip install h5py

Sau đó, ở cuối dòng, bạn nhớ rằng bạn cần thêm dữ liệu mới. Ngay cả với bộ đệm bạn đã chỉ định trên

$ pip install h5py

disk_dir.mkdir[parents=True, exist_ok=True]
lmdb_dir.mkdir[parents=True, exist_ok=True]
hdf5_dir.mkdir[parents=True, exist_ok=True]

$ pip install h5py

Ngoài ra, một số hệ thống có các hạn chế về dung lượng bộ nhớ có thể được yêu cầu cùng một lúc. Theo kinh nghiệm của riêng tôi, khi làm việc với các hệ thống điện toán hiệu năng cao [HPC], điều này tỏ ra vô cùng khó chịu và thường khiến tôi thích HDF5 hơn LMDB

Với cả LMDB và HDF5, chỉ có mục được yêu cầu được đọc vào bộ nhớ cùng một lúc. Với LMDB, từng cặp khóa-đơn vị được đọc vào bộ nhớ, trong khi với HDF5, đối tượng

from PIL import Image
import csv

def store_single_disk[image, image_id, label]:
    """ Stores a single image as a .png file on disk.
        Parameters:
        ---------------
        image       image array, [32, 32, 3] to be stored
        image_id    integer unique ID for image
        label       image label
    """
    Image.fromarray[image].save[disk_dir / f"{image_id}.png"]

    with open[disk_dir / f"{image_id}.csv", "wt"] as csvfile:
        writer = csv.writer[
            csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
        ]
        writer.writerow[[label]]

from PIL import Image
import csv

def store_single_disk[image, image_id, label]:
    """ Stores a single image as a .png file on disk.
        Parameters:
        ---------------
        image       image array, [32, 32, 3] to be stored
        image_id    integer unique ID for image
        label       image label
    """
    Image.fromarray[image].save[disk_dir / f"{image_id}.png"]

    with open[disk_dir / f"{image_id}.csv", "wt"] as csvfile:
        writer = csv.writer[
            csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
        ]
        writer.writerow[[label]]

from PIL import Image
import csv

def store_single_disk[image, image_id, label]:
    """ Stores a single image as a .png file on disk.
        Parameters:
        ---------------
        image       image array, [32, 32, 3] to be stored
        image_id    integer unique ID for image
        label       image label
    """
    Image.fromarray[image].save[disk_dir / f"{image_id}.png"]

    with open[disk_dir / f"{image_id}.csv", "wt"] as csvfile:
        writer = csv.writer[
            csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
        ]
        writer.writerow[[label]]

from PIL import Image
import csv

def store_single_disk[image, image_id, label]:
    """ Stores a single image as a .png file on disk.
        Parameters:
        ---------------
        image       image array, [32, 32, 3] to be stored
        image_id    integer unique ID for image
        label       image label
    """
    Image.fromarray[image].save[disk_dir / f"{image_id}.png"]

    with open[disk_dir / f"{image_id}.csv", "wt"] as csvfile:
        writer = csv.writer[
            csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
        ]
        writer.writerow[[label]]

Do cách hệ thống được tối ưu hóa và tùy thuộc vào hệ điều hành của bạn, thứ tự bạn truy cập các mục có thể ảnh hưởng đến hiệu suất

Theo kinh nghiệm của tôi, nói chung đúng là đối với LMDB, bạn có thể có hiệu suất tốt hơn khi truy cập các mục tuần tự theo khóa [các cặp khóa-giá trị được lưu trong bộ nhớ được sắp xếp theo thứ tự chữ và số theo khóa] và đối với HDF5, truy cập phạm vi lớn sẽ hoạt động tốt hơn đọc

$ conda install -c conda-forge pillow

Nếu bạn đang cân nhắc lựa chọn định dạng lưu trữ tệp để viết phần mềm của mình, sẽ thật thiếu sót nếu không đề cập đến Di chuyển khỏi HDF5 của Cyrille Rossant về những cạm bẫy của HDF5 và phản hồi của Konrad Hinsen về HDF5 và tương lai của quản lý dữ liệu, trong đó . Lưu ý rằng tập dữ liệu tương đối nhỏ hơn vẫn có kích thước vài GB

Tích hợp với các thư viện khác

Nếu bạn đang xử lý các tập dữ liệu thực sự lớn, thì rất có khả năng bạn sẽ làm được điều gì đó quan trọng với chúng. Thật đáng để xem xét các thư viện học sâu và loại tích hợp nào với LMDB và HDF5

Trước hết, tất cả các thư viện đều hỗ trợ đọc hình ảnh từ đĩa dưới dạng tệp

$ pip install lmdb

Dưới đây là một số thư viện học sâu phổ biến nhất và sự tích hợp LMDB và HDF5 của chúng

• Caffe có tích hợp LMDB ổn định, được hỗ trợ tốt và nó xử lý bước đọc một cách rõ ràng. Lớp LMDB cũng có thể dễ dàng được thay thế bằng cơ sở dữ liệu HDF5

• Máy ảnh sử dụng định dạng HDF5 để lưu và khôi phục mô hình. Điều này ngụ ý rằng TensorFlow cũng có thể

• TensorFlow có lớp tích hợp sẵn

  from PIL import Image
  import csv
  
  def store_single_disk[image, image_id, label]:
      """ Stores a single image as a .png file on disk.
          Parameters:
          ---------------
          image       image array, [32, 32, 3] to be stored
          image_id    integer unique ID for image
          label       image label
      """
      Image.fromarray[image].save[disk_dir / f"{image_id}.png"]
  
      with open[disk_dir / f"{image_id}.csv", "wt"] as csvfile:
          writer = csv.writer[
              csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
          ]
          writer.writerow[[label]]
  

  5 cung cấp giao diện để đọc dữ liệu đầu vào từ tệp LMDB và có thể tạo các bộ vòng lặp và tenxơ theo lô. TensorFlow không có lớp dựng sẵn cho HDF5, nhưng có thể viết một lớp kế thừa từ lớp

  from PIL import Image
  import csv
  
  def store_single_disk[image, image_id, label]:
      """ Stores a single image as a .png file on disk.
          Parameters:
          ---------------
          image       image array, [32, 32, 3] to be stored
          image_id    integer unique ID for image
          label       image label
      """
      Image.fromarray[image].save[disk_dir / f"{image_id}.png"]
  
      with open[disk_dir / f"{image_id}.csv", "wt"] as csvfile:
          writer = csv.writer[
              csvfile, delimiter=" ", quotechar="|", quoting=csv.QUOTE_MINIMAL
          ]
          writer.writerow[[label]]
  

  6. Cá nhân tôi sử dụng hoàn toàn một lớp tùy chỉnh được thiết kế để truy cập đọc tối ưu dựa trên cách tôi cấu trúc các tệp HDF5 của mình

• Theano vốn không hỗ trợ bất kỳ định dạng tệp hoặc cơ sở dữ liệu cụ thể nào, nhưng như đã nêu trước đây, có thể sử dụng bất kỳ thứ gì miễn là nó được đọc dưới dạng mảng N chiều

Mặc dù còn lâu mới toàn diện, nhưng điều này hy vọng mang đến cho bạn cảm nhận về sự tích hợp LMDB/HDF5 của một số thư viện deep learning chính