Bảng html vào json nodejs

htmltablejson

cổ vũ

@restqa/restqadatarcdl-assetsroyalcanin-webdesignlanguage-assetsmyfrontdesk-testawpl-level-monitor@nieopierzony/corebrfinanceconfluence-i18n-importerconsulta-boavista-v2boavista-v2@restqa/restqdataebraft-extensionsfaq10get-data-pkghiobroker. solarlogmailnode-addu-sisyi-apipublic-transport@home_agency/rcdl--assets@jwrunge/datatable@koalarx/scrapping

Có thể chuyển mã đánh dấu cho một bảng dưới dạng chuỗi, một đoạn HTML hoặc toàn bộ trang hoặc chỉ một URL (với chức năng gọi lại tùy chọn; lời hứa cũng được hỗ trợ)

Phản hồi luôn là một mảng. Mỗi mục nhập mảng trong phản hồi đại diện cho một bảng được tìm thấy trên trang (theo cùng thứ tự chúng được tìm thấy trong HTML)

Kể từ phiên bản 2. 0 tabletojson được viết hoàn toàn bằng bản thảo

CHÚ Ý. Thay đổi API không tương thích trong phiên bản 2. 0. 0 kể từ khi yêu cầu. js không được dùng nữa. Thêm thông tin tại đây

Chuyển đổi từ phiên bản 1. + đến 2. x

• Yêu cầu phải được thay đổi từ

  // example-6.js
  'use strict';
  
  const {Tabletojson: tabletojson} = require('../dist');
  const fs = require('fs');
  const path = require('path');
  
  const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
  const converted = tabletojson.convert(html);
  
  console.log(converted);

  5 thành

  // example-6.js
  'use strict';
  
  const {Tabletojson: tabletojson} = require('../dist');
  const fs = require('fs');
  const path = require('path');
  
  const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
  const converted = tabletojson.convert(html);
  
  console.log(converted);

  6 hoặc

  // example-6.js
  'use strict';
  
  const {Tabletojson: tabletojson} = require('../dist');
  const fs = require('fs');
  const path = require('path');
  
  const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
  const converted = tabletojson.convert(html);
  
  console.log(converted);

  7
• Thay thế tùy chọn yêu cầu bằng tùy chọn có. Thêm thông tin tại đây

sử dụng cơ bản

Cài đặt qua npm

npm install tabletojson

Điều khiển từ xa (// example-6.js 'use strict'; const {Tabletojson: tabletojson} = require('../dist'); const fs = require('fs'); const path = require('path'); const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'}); const converted = tabletojson.convert(html); console.log(converted);8)

'use strict';

const tabletojson = require('tabletojson').Tabletojson;

tabletojson.convertUrl(
    'https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes',
    function(tablesAsJson) {
        console.log(tablesAsJson[1]);
    }
);

Địa phương (// example-6.js 'use strict'; const {Tabletojson: tabletojson} = require('../dist'); const fs = require('fs'); const path = require('path'); const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'}); const converted = tabletojson.convert(html); console.log(converted);9)

Có một cái nhìn trong các ví dụ

// example-6.js
'use strict';

const {Tabletojson: tabletojson} = require('../dist');
const fs = require('fs');
const path = require('path');

const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
const converted = tabletojson.convert(html);

console.log(converted);

Sao chép tiêu đề cột

Nếu có các tiêu đề cột trùng lặp, các tiêu đề tiếp theo sẽ được thêm vào một số đếm

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

Bảng có hàng

Có các bảng có rowspan, nội dung của ô được sinh ra phải có sẵn trong đối tượng tương ứng

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

Các bảng có hàng phức tạp

Có các bảng có các hàng phức tạp, nội dung của ô được sinh ra phải có sẵn trong đối tượng tương ứng

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

Các bảng có tiêu đề trong cột đầu tiên

Nếu một bảng chứa các tiêu đề trong cột đầu tiên, bạn có thể nhận được kết quả không mong muốn, nhưng bạn có thể chuyển đối số thứ hai với các tùy chọn bằng

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

Bảng có HTML

Các tùy chọn sau đây là đúng theo mặc định, sẽ chuyển đổi tất cả các giá trị thành văn bản thuần túy để cung cấp cho bạn một đối tượng dễ đọc hơn để làm việc với

• dảiHtmlFromHeadings
• dảiHtmlFromCells

Nếu bảng của bạn chứa HTML mà bạn muốn phân tích cú pháp (ví dụ: đối với các liên kết), bạn có thể đặt

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

Ghi chú. Điều này không hoạt động với các bảng lồng nhau mà nó vẫn sẽ cố phân tích cú pháp

Bạn có thể không cần đặt

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

Tùy chọn

CHÚ Ý. Vì yêu cầu không được hỗ trợ tích cực, chúng tôi cần chuyển sang thay thế yêu cầu đáng tin cậy và tôi đã quyết định sử dụng got

Đây là một thay đổi không tương thích trong phiên bản 2++, vì vậy hãy ghi nhớ điều này và làm theo Hướng dẫn di chuyển của Sindre

Đối với các tính năng đặc biệt như sử dụng proxy, bạn nên làm theo hướng dẫn này. proxy

có (chỉ // example-6.js 'use strict'; const {Tabletojson: tabletojson} = require('../dist'); const fs = require('fs'); const path = require('path'); const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'}); const converted = tabletojson.convert(html); console.log(converted);8)

Chúng tôi đang sử dụng got để tìm nạp các trang HTML từ xa. Vì vậy, nếu bạn cần lấy dữ liệu từ một máy chủ từ xa, bạn có thể gọi

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

// example-6.js
'use strict';

const {Tabletojson: tabletojson} = require('../dist');
const fs = require('fs');
const path = require('path');

const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
const converted = tabletojson.convert(html);

console.log(converted);

// example-6.js
'use strict';

const {Tabletojson: tabletojson} = require('../dist');
const fs = require('fs');
const path = require('path');

const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
const converted = tabletojson.convert(html);

console.log(converted);

dảiHtmlFromHeadings

Tách bất kỳ HTML nào khỏi các ô tiêu đề. Mặc định là đúng

// example-6.js
'use strict';

const {Tabletojson: tabletojson} = require('../dist');
const fs = require('fs');
const path = require('path');

const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
const converted = tabletojson.convert(html);

console.log(converted);

'use strict';

const tabletojson = require('tabletojson').Tabletojson;

tabletojson.convertUrl(
    'https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes',
    function(tablesAsJson) {
        console.log(tablesAsJson[1]);
    }
);

dảiHtmlFromCells

Tách bất kỳ HTML nào khỏi các ô của bảngBody. Mặc định là đúng

'use strict';

const tabletojson = require('tabletojson').Tabletojson;

tabletojson.convertUrl(
    'https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes',
    function(tablesAsJson) {
        console.log(tablesAsJson[1]);
    }
);

'use strict';

const tabletojson = require('tabletojson').Tabletojson;

tabletojson.convertUrl(
    'https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes',
    function(tablesAsJson) {
        console.log(tablesAsJson[1]);
    }
);

buộc IndexAsSố

Thay vì sử dụng văn bản cột (đôi khi sắp xếp lại dữ liệu), hãy buộc chỉ mục dưới dạng số (số chuỗi)

'use strict';

const tabletojson = require('tabletojson').Tabletojson;

tabletojson.convertUrl(
    'https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes',
    function(tablesAsJson) {
        console.log(tablesAsJson[1]);
    }
);

đếm trùng lặp tiêu đề

Mặc định là

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

'use strict';

const tabletojson = require('tabletojson').Tabletojson;

tabletojson.convertUrl(
    'https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes',
    function(tablesAsJson) {
        console.log(tablesAsJson[1]);
    }
);

bỏ qua các cột

Mảng các chỉ mục được bỏ qua, bắt đầu bằng 0. Mặc định là 'null/không xác định'

'use strict';

const tabletojson = require('tabletojson').Tabletojson;

tabletojson.convertUrl(
    'https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes',
    function(tablesAsJson) {
        console.log(tablesAsJson[1]);
    }
);

chỉCột

Mảng các chỉ mục được lấy, bắt đầu bằng 0. Mặc định là 'null/không xác định'. Nếu được cung cấp, tùy chọn này sẽ ghi đè các cột bỏ qua

'use strict';

const tabletojson = require('tabletojson').Tabletojson;

tabletojson.convertUrl(
    'https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes',
    function(tablesAsJson) {
        console.log(tablesAsJson[1]);
    }
);

bỏ quaHiddenRows

Cho biết nếu các hàng ẩn (hiển thị. không có) được bỏ qua. Mặc định là đúng

• Con mèo. 4. 4. W. 2*

'use strict';

const tabletojson = require('tabletojson').Tabletojson;

tabletojson.convertUrl(
    'https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes',
    function(tablesAsJson) {
        console.log(tablesAsJson[1]);
    }
);

tiêu đề

Mảng các chuỗi được sử dụng làm tiêu đề. Mặc định là

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

Nếu có nhiều tiêu đề hơn số cột tồn tại thì những tiêu đề vượt quá sẽ bị bỏ qua. Nếu ít tiêu đề được đưa ra hơn các giá trị hiện có, các giá trị đếm vượt sẽ bị bỏ qua

• Con mèo. 4. 4. W. 2*

'use strict';

const tabletojson = require('tabletojson').Tabletojson;

tabletojson.convertUrl(
    'https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes',
    function(tablesAsJson) {
        console.log(tablesAsJson[1]);
    }
);

đường giới hạn

Số hàng mà đối tượng kết quả sẽ được giới hạn ở. Mặc định là

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

Bảng khổng lồ (xem bài kiểm tra/bảng. html)

Đầu ra ví dụ với các giới hạn. 5

'use strict';

const tabletojson = require('tabletojson').Tabletojson;

tabletojson.convertUrl(
    'https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes',
    function(tablesAsJson) {
        console.log(tablesAsJson[1]);
    }
);

chứa các lớp

Mảng các lớp để tìm một bảng cụ thể bằng lớp này. Mặc định là

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

    

    


    
Data extracted from a JSON and converted to an HTML table.
    

Các vấn đề và hạn chế đã biết

Mô-đun này chỉ hỗ trợ phân tích cú pháp các bảng cơ bản với một bộ theo chiều ngang đơn giản gồm 118 tiêu đề và 119 ô tương ứng

Nó có thể đưa ra kết quả vô dụng hoặc kỳ lạ trên các bảng có cấu trúc phức tạp (chẳng hạn như bảng lồng nhau) hoặc nhiều tiêu đề (chẳng hạn như trên cả trục X và Y)

Bạn sẽ cần xử lý những việc như tìm ra bảng nào cần phân tích cú pháp và (trong hầu hết các trường hợp) dọn sạch dữ liệu. Bạn có thể muốn kết hợp nó với các mô-đun như json2csv hoặc CsvToMarkdownTable

Bạn có thể muốn sử dụng nó với một mô-đun như 'cheerio' nếu bạn muốn phân tích các bảng cụ thể được xác định bởi id hoặc lớp (i. e. chọn chúng bằng cheerio và chuyển HTML của chúng dưới dạng chuỗi)

Ví dụ sử dụng

// example-6.js
'use strict';

const {Tabletojson: tabletojson} = require('../dist');
const fs = require('fs');
const path = require('path');

const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
const converted = tabletojson.convert(html);

console.log(converted);

// example-6.js
'use strict';

const {Tabletojson: tabletojson} = require('../dist');
const fs = require('fs');
const path = require('path');

const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
const converted = tabletojson.convert(html);

console.log(converted);

// example-6.js
'use strict';

const {Tabletojson: tabletojson} = require('../dist');
const fs = require('fs');
const path = require('path');

const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
const converted = tabletojson.convert(html);

console.log(converted);

// example-6.js
'use strict';

const {Tabletojson: tabletojson} = require('../dist');
const fs = require('fs');
const path = require('path');

const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
const converted = tabletojson.convert(html);

console.log(converted);

Vấn đề

Ngay bây giờ, bảng cần được "định dạng tốt" để có thể chuyển đổi. Bảng trong bảng không được xử lý

// example-6.js
'use strict';

const {Tabletojson: tabletojson} = require('../dist');
const fs = require('fs');
const path = require('path');

const html = fs.readFileSync(path.resolve(__dirname, '../test/tables.html'), {encoding: 'UTF-8'});
const converted = tabletojson.convert(html);

console.log(converted);

Đóng góp

Các cải tiến, bản sửa lỗi và đề xuất cho các mô-đun được viết tốt hơn mà người khác đã tạo đều được chào đón, cũng như các báo cáo lỗi đối với các bảng cụ thể mà nó không thể xử lý

Bạn có thể tìm thấy các bài kiểm tra cơ bản trong thư mục kiểm tra. Tôi đã triển khai cách đơn giản nhất trong việc sử dụng thư viện. Tuy nhiên, có một số trường hợp Edge cần được kiểm tra và tôi muốn yêu cầu hỗ trợ tại đây. Thoải mái rẽ nhánh và tạo PR tại đây. Mọi sự giúp đỡ đều được đánh giá cao

Để hiểu rõ hơn, bạn có thể sử dụng các ví dụ của Iain nằm trong thư mục ví dụ đi kèm với dự án này cho thấy cách sử dụng và sẽ là một khởi đầu tốt

Nếu bạn gửi yêu cầu kéo, vui lòng thêm một ví dụ cho trường hợp sử dụng của bạn, để tôi có thể hiểu bạn muốn nó làm gì (vì tôi muốn viết bài kiểm tra cho điều này và muốn hiểu loại trường hợp sử dụng mà mọi người có)

Cảm ơn

Tháng 6 năm 2018 - Xin gửi lời cảm ơn đặc biệt tới người khởi xướng thư viện, Iain Collins (@iaincollins). Nếu không có sự điều tra của anh ấy trong việc nắm bắt và làm chủ trang web, lib này sẽ không có được như bây giờ. Ngoài ra, cá nhân tôi muốn nói "Cảm ơn" vì sự tin tưởng của bạn trong việc chuyển giao quyền sở hữu cho tôi. Marius (@maugenst)

Chúng tôi có thể chuyển đổi HTML sang JSON không?

Hàm nào chuyển đổi một hàng của bảng thành JSON?

Làm cách nào để thêm dữ liệu vào tệp JSON bằng nút JS?

Có gì trong tệp JSON?