So sánh bing và google

chính sau của công cụ tìm kiếm: Kích thước cơ sở dữ liệu, khả năng cập nhật cơ sở dữliệu, khả năng tìm kiếm, và kỹ thuật đưa ra kết quả của công cụ tìm kiếm. Những đặcđiểm trên là giá trị cốt lõi để đánh giá các công cụ tìm kiếm.4.2.1 Kích thước cơ sở dữ liệuTrong những năm qua số lượng các trang web tăng rất nhanh và chúng ta không tểtính toán chính xác được có bao nhiêu website tồn tại trên mạng Internet. Chúng tacũng không thể tính toán chính xác được số lượng chính xác của các trang web đượccông cụ tìm kiếm lập chỉ mục. Tuy nhiên, chúng ta có một số cách để ước tính kíchthước cơ sở dữ liệu của công cụ tìm kiếm giúp chúng ta có thể đưa ra các so sánh đểxếp hạng các công cụ tìm kiếm.Theo các số liệu của Lewandowski đưa ra trong năm 2005, Lewandowski chorằng cách duy nhất để tìm ra kích thước của trang web là đánh giá kích thước dựa trênkích thước của mẫu đại diện.Ông chỉ ra rằng Google đã lập chỉ mục khoảng 8 tỷ tàiliệu, trong khi dự toán số chỉ mục của Yahoo là 5-7 tỷ, và Bing [trước đây là MSN] là4-5 tỷ tài liệu.Cách để ước tính số lượng các trang web được lập chỉ mục là chúng ta thực hiệntìm kiếm cùng một từ trên các công cụ tìm kiếm mà chúng ta cần nghiên cứu và xemxét số lượng kết quả trả về. Để trách sai sót khi xác định kích thước thực tế của côngcụ tìm kiếm, chúng ta nên sử dụng từ khóa cực kỳ phổ biến và có thể xuất hiện trongbất kỳ tài liệu nào.Ví dụ từ "the" có thể được tìm thấy trong tất cả các trang tiếngAnh. Tính đến ngày 12 tháng 3 năm 2012, Google đã tìm thấy khoảng hơn 25 tỷtrang, trong khi Yahoo tìm thấy khoảng hơn 9 tỷ trang, và Bing có khoảng hơn 9 tỷtrang có chứa từ "the". Chúng ta cần lưu ý rằng những con số chỉ có một tỷ lệ phầntrăm nhất định của văn bản được lập chỉ mục, bởi vì kích thước thực tế của toàn bộcác chỉ số lớn hơn rất nhiều. Tuy nhiên dựa vào kết quả này chúng ta có thể sắp xếpthứ hạng về kích thước chỉ mục của các công cụ tìm kiếm.Ta có thể thấy kích thước của cơ sở dữ liệu không đánh giá hết chất lượng củamột công cụ tìm kiếm. Do trùng lặp thông tin và thông tin rác [spam], nên các công cụtìm kiếm không lập chỉ mục toàn bộ trang web. Ngoài ra còn có những trang web màcông cụ tìm kiếm chỉ thu thập được các trang web tĩnh như: Invisible Web [web“ẩn”], Deep Web, hoặc Hidden Web. Ngoài ra còn có một số thông tin trên các trang22web mà công cụ tìm kiếm không đánh chỉ mục vì lý do công nghệ bị giới hạn hoặc họcố tình không đánh chỉ mục.Theo báo cáo của Lewandowski năm 2005 thì Google, Yahoo, Bing đánh chỉ mụcđược các Deep Web. Đặc biệt, Google còn thu thập được các tài liệu quan trọng nhấtcủa Hidden Web được thực hiện dưới sự hỗ trợ của con người và Google cũng pháttriển một công nghệ cho phép tự động tiếp cận các nguồn tài nguyên. Yahoo thìngược lại, Yahoo có Chương trình thu nhận nội dung, các tài liệu của Deep Webthông qua quan hệ đối tác là nhà cung cấp nội dung.Hiện tại, không có thông tin rõ ràng về Bing, nhưng Bing cũng có khả năng khámphá ra các Invisible Web, và chúng ta cũng thấy có các nghiên cứu của Microsoft vềthử nghiệm khai thác thông tin của Deep Web đã được trình bày.4.2.2 Khả năng cập nhật dữ liệuNhư được mô tả trong phần 3.1, các cơ sở dữ liệu bao gồm các bản sao tài liệu màcác trình thu thập dữ liệu đã thu thập và bảng chỉ mục. Nhưng các trang web đượcthay đổi nội dung theo thời gian, do đó các nhện web [spiders] có thu thập lại các dữliệu để có được các phiên bản cập nhật và đảm bảo chất lượng của chỉ mục luôn cậpnhật hay không là một yếu tố quan trọng để so sánh các công cụ tìm kiếm. TheoLangville & Meyer, "Thu thập thông tin là một quá trình không bao giờ kết thúc".Làm thế nào để các công cụ tìm kiếm quản lý việc cập nhật cơ sở dữ liệu tốt nhất?Lewandowsky, Whalig và Meyer-Bautor đã thử nghiệm để tìm ra tần suất cậpnhật dữ liệu của Google, Yahoo và MSN được công bố năm 2005. Trong thời gian 42ngày, họ quan sát bốn nhóm khác nhau với 9 hoặc 10 trang web, các trang web đượccập nhật mỗi ngày, để tìm hiểu xem các công cụ tìm kiếm có thể cập nhật nội dung vàđánh chỉ mục hàng ngày hay không. Googlebot là công cụ thu thập dữ liệu củaGoogle cập nhật nhiều trang web hàng ngày và cho thấy các chỉ mục của họ có chấtlượng và nhanh nhất. Thời gian thu thập lại dữ liệu thường phụ thuộc vào sự phổ biếncủa liên kết và dựa trên tần suất thường xuyên thay đổi của trang web [TheoGoogleGuide, 2007]. MSN sử dụng MSNbot để cập nhật thường xuyên, trong khiYahoo dường như sử dụng trình thu thập thông tin Yahoo Slurp để cập nhật một cáchngẫu nhiên [Theo Lewandowski, 2005].234.2.3 Khả năng tìm kiếmCông cụ tìm kiếm cho phép tìm kiếm bằng cách nhập một số từ khóa đơn giản chomột truy vấn, nhưng nó cũng có chức năng thu hẹp tìm kiếm để nhận được kết quảchính xác hơn, chẳng hạn như chức năng tìm kiếm cơ bản và tìm kiếm nâng cao đượccung cấp bởi các công cụ tìm kiếm. Mặc dù chức năng thu hẹp tìm kiếm giúp chongười tìm kiếm thông tin dễ thành công hơn, Tuy nhiên phần lới người dụng lạikhông sử dụng vì họ không biết chức năng này hoặc họ không biết cách sử dụng.Tiếp theo chúng ta tìm hiểu về các toán tử quan trọng trong ngôn ngữ truy vấn củacông cụ tìm kiếm.Một trong số các tùy chọn cơ bản đó là toán tử luận lý như: AND, OR và NOT, nóđược sử dụng để phân loại trong truy tìm thông tin. Toán tử AND dùng để nối từ, toántừ này thường mặc định được thêm vào giữa các từ khi bạn gõ vào box tìm kiếm [vídụ: “Hello world” = “Hello AND world”]. Toán tử OR và NOT thì phải viết hoa vàthường sử dụng với các điều kiện tương đương hoặc có liên quan, hoặc loại trừ các từtrong kết quả trả về.Dấu trừ [-] và cộng [+] có thể được sử dụng để loại bỏ hoặc thêm vào các từ vàcụm từ.Dấu ngoặc kép [""] cho phép người dùng tìm kiếm cụm từ chính xác trong một tàiliệu. Chức năng này rất hữu ích nếu một người nào đó cần tìm một văn bản khi biếtchính xác một phần trong nội dung cần phải tìm kiếm. Với các từ phổ biến như "a"hoặc "the" được bỏ qua trừ khi chúng được đặt trong dấu ngoặc kép.Ký hiệu khoảng trống [*] [wildcard] có thể được sử dụng để thay thế cho nhữngtừ tại vị trí đó trong cụm từ cần tìm kiếm mà họ chưa xác định trước được.Stemming là một kỹ thuật giúp tìm kiếm một từ trên cơ sở từ gốc của nó, có nghĩalà các công cụ tìm kiếm có thể tìm thấy nhiều kết quả từ một từ. Ví dụ như từ "drive"sẽ có các biến thể là "driving", "driver", "drivers" ... xuất hiện trong kết quả tìm kiếm.Một số tùy chọn cho phép giới hạn kết quả tìm kiếm thông qua các từ khóa đặcbiệt gọi là Meta word. Nếu người dùng muốn tìm kiếm trong một trang web cụ thể cóthể sử dụng từ khóa [site:]. Ví dụ có thể chỉ tìm kiếm thông tin trên website của Đạihọc CNTT bằng cách gõ vào box tìm kiếm nội dung cần tìm và gõ thêm site:24uit.edu.vn. Meta word có thể được cung cấp bởi các công cụ tìm kiếm như tên máy[hostname: ], liên kết [link: ], hoặc URL [url: ] và intitle [intitle: ]. Các từ khóa là mộtphần của tiêu đề được lập chỉ mục.Google hỗ trợ các toán tử AND và OR, cũng như các chức năng loại bỏ và thêmvào các từ và cụm từ bằng dấu "-" và "+". Ngoài ra, nó cũng có tính năng tìm kiếmcụm từ với dấu ngoặc kép, cho phép sử dụng wildcards, tìm kiếm với các tính năngđặc biệt [special feature: như đổi tiền tệ, thời tiết, tính toán…], tính năng stemming vàcho phép sử dụng Meta word.Hình 8.Minh họa 1 special feature của GoogleYahoo cũng hỗ trợ các tính năng tìm kiếm tương tự Google ngoài ra có thể tiếtkiệm thời gian bằng cách sử dụng Yahoo! Shortcuts, với các ký hiệu và từ khóa đặcbiết, thì câu trả lời sẽ được hiển thị trực tiếp trên kết quả trả về. Ví dụ như nhập vàomột phép tính thì trả lời về kết quả của phép tính.25Hình 9.Minh họa tính năng Yahoo! ShortcutsBing cũng giống như hai công cụ tìm kiếm khác, các toán tử Boolean, Meta word,và stemming và dấu ngoặc kép có thể được sử dụng.Bing cũng có tính năng InstantAnswers tương tự như Yahoo Shortcuts, dùng để trả lời các câu hỏi đặc biệt một cáchnhanh chóng.Hình 10.Minh họa tính năng Instant Answers của Bing26Đa số người dùng thường không tận dụng hết các tùy chọn tìm kiếm, mặc dù cáctùy chọn này có thể rất hữu ích để có được kết quả tìm kiếm mà họ mong muốn.Google, Yahoo có phần tìm kiếm nâng cao, trong đó bao gồm các chức năng trướcđây đã thảo luận, cho phép hiển thị số lượng lớn trên các trang kết quả, cũng như chophép tìm kiếm các loại tập tin, chẳng hạn như các tập tin PDF hoặc Excel, và tìmkiếm an toàn để lọc nội dung dành cho người lớn. Ngoài ra còn có khả năng để xácđịnh ngôn ngữ của các trang web. Trong khi Google cung cấp 46 ngôn ngữ, thì Yahoocung cấp 32 ngôn ngữ kể từ tháng 9 năm 2010. Hiện tại Bing cũng cung cấp các tùychọn tìm kiếm nâng cao cũng như tìm kiếm trên một trang web xác định và Bing hỗtrợ 42 ngôn ngữ. Tuy nhiên Bing không chứa nhiều tùy chọn như Google và Yahoo.Tất cả ba công cụ tìm kiếm đều cung cấp các dịch vụ tìm kiếm khác, cụ thể nhưtìm kiếm hình ảnh, bản đồ, tin tức, audio và video.4.2.4 Công nghệLiên quan đến công nghệ của công cụ tìm kiếm, hai khía cạnh cần xem xét là : tốcđộ và phương pháp xếp hạng các kết quả.Các thử nghiệm cho thấy độ trể khi tìm kiếm thông tin trên các công cụ tìm kiếmcàng cao thì số lượng kết quả trả về càng thấp. Một công cụ tìm kiếm tốn cáng ít thờigian truy tìm thông tin của câu truy vấn thì được người dùng đánh giá cao hơn côngcụ tìm kiếm khác.Trong khi Google tuyên bố rằng một truy vấn bình thường tốn ít hơn 0,5 giây đểtrả về kết quả thì Yahoo và Bing không có thông tin chính xác về tốc độ xử lý truyvấn.Trong tháng 9 năm 2010, Google đã đưa ra với một công nghệ tìm kiếm mới, giúpđẩy nhanh quá trình tìm kiếm trên công cụ tìm kiếm của họ. Trước đây, Google,Yahoo và Bing đưa ra danh sách từ gợi ý trong hộp tìm kiếm và các kết quả dự đoángiúp cho quá trình tìm kiếm nhanh hơn [Yahoo gọi "Search Assist"]. Google là côngcụ tìm kiếm tiên phong triển khai công nghệ này vào đầu tháng 9 năm 2010, tính năngnày được gọi là "Google Instant”. Tính năng tăng cường này cho phép người dùng cócơ hội để tìm kiếm “trước” khi nhập nội dung [search-before-you-type]. Điều gì xảyra trong quá trình gõ các truy vấn, nó không chỉ hiển thị các gợi ý bên dưới hộp tìmkiếm, mà còn ngay lập tức hiển thị các kết quả trên SERP. Tính năng Google Instant27này giúp tiết kiệm cho người tìm kiếm từ 2 đến 5 giây khi thực hiện thao tác tìm kiếmtrên Google. Yahoo hiện tại cũng đang sử dụng công nghệ này cho công cụ Yahoo!Search.Về xếp hạng kết quả truy vấn, các công cụ tìm kiếm sử dụng phương pháp xếphạng các trang web từ một truy vấn của người dùng theo cách họ nghĩ là người dùngmong muốn nhận được, như được giải thích trong chương 3.1.Mục tiêu của bảng xếphạng là để tối đa hóa tính hữu dụng và đưa ra kết quả phù hợp. Sử dụng các trọng sốkhác nhau làm cho các kết quả tìm kiếm của các công cụ tìm kiếm có sự khác biệt.Thuật toán xếp hạng không được công bố và có thể thay đổi theo thời gian khi côngnghệ và kỹ thuật web mới được phát triển. Tuy nhiên, có một số giả định và thủ tục cơbản của các thuật toán xếp hạng kết quả thì chúng ta có thể biết được. Đặc biệt đối vớicác nhân viên quản trị web, họ đã nghiên cứu các yếu tố xếp hạng để tối ưu hóa trangweb của họ để trang web của họ được liệt kê ở thứ hạng cao trong trang kết quả tìmkiếm mà không phải trả tiền cho thứ hạng này.Google sử dụng phương pháp xếp hạng dựa trên các yếu tố độc lập với truy vấn[query-independent factor] là PageRank - rất nổi tiếng và được cấp bằng sáng chế,PageRank dùng để đánh giá mức độ phổ biến của liên kết. Thuật toán này, được đặttên sau khi Larry Page phân tích cấu trúc liên kết toàn bộ trang web và đánh giánhững trang nào là quan trọng nhất. Google giả định rằng phiếu bầu cho tầm quantrọng của một trang có thể được gán cho liên kết. Google tin rằng một trang có nhiềuphiếu bầu hơn tức là PageRank của nó cao hơn, thì trang đó sẽ được hiển thị ở mứccao hơn trên SERP. Các liên kết từ các trang có nội liên quan trỏ đến trang web nàycũng được xem xét để xếp hạng . Không chỉ số lượng các siêu liên kết trỏ vào mộttrang [gọi là inlinks] là một yếu tố xếp hạng, mà còn nội dung có liên quan và chấtlượng của các trang cũng là yếu tố được xem xét để xếp hạng kết quả. Phương phápxếp hạng dựa trên các yếu tố phụ thuộc vào truy vấn [query-dependent factor] cònđược gọi là phân tích so khớp siêu văn bản [Hypertext-matching analysis], Googleđánh giá đầy đủ nội dung của các trang web cũng như nội dung của các trang web lâncận để xác định xem chúng có liên quan đến các truy vấn đang thực hiện hay không.Đối với Yahoo! Search, thuật toán xếp hạng có một số điểm tương tự như thuậttoán của Google. Yahoo cũng dựa trên Pagerank để xếp hạng kết quả.Việc xếp hạngbao gồm việc phân tích các văn bản trên trang web, từ khoá trong tiêu đề, thông tin28mô tả, nguồn của trang web, và liên kết liên quan.Trong đó quan trọng nhất là tiêu đềphải chứa từ khóa chính. Ngoài ra nó cũng ưu tiên xếp hạng dựa trên các thông tin môtả và thể loại của tài liệu. Trong thuật toán của Yahoo còn tính đến click-popularity[tài liệu được nhấp chuột nhiều], tức là Yahoo sẽ đếm số lần người dùng click chuộtvào kết quả tìm kiếm và sẽ ưu tiên xếp hạng cao hơn đối với các tài liệu được ngườidùng click chuột nhiều hơn.Bảng xếp hạng Bing được thực hiện hoàn toàn tự động, một thuật toán phức tạpvà không có sự can thiệp của con người được Bing sử dụng. Mỗi lần Bing cập nhậtcác chỉ mục, nó thay đổi bảng xếp hạng liên quan. Bing phân tích chất lượng và sốlượng của nội dung trang web được lập chỉ mục, số lượng website liên kết đến cáctrang web, và sự liên quan của nội dung trang web với từ khóa. Trên cộng đồng Bingcó hướng dẫn SEO để cải thiện thứ hạng trang web trên Bing. Bing chủ yếu xếp hạngdựa vào các từ khóa, đặc biệt là trong các tên miền và trong URL. Ngoài ra nội dungcủa trang web nên tổ chức tốt đối với hình ảnh để giúp MSNbot đọc và thu thập dữliệu các trang web dễ dàng hơn. Để đạt được xếp hạng tối ưu cần có nhiều liên kết từcác trang web có thẩm quyền và có chất lượng cao. Nói chung, những inlinks đóngvai trò quan trọng trong việc lập bảng xếp hạng.Bảng so sánh các công cụ tìm kiếmGoogleYahooBingKích thước cơ sở dữ liệuKích thước chỉmụcSố 1[> 25 tỷ trang]Gồm Deep WebSố 2[>9 tỷ trang]Gồm Deep WebSố 3[>2 tỷ trang]Gồm Deep WebTên công cụthu thập thôngtin/Khả năngcập nhật dữliệuGooglebotNhanh, cập nhật hàngngàyYahoo SlurpKhông rõ ràng vềtần suất cập nhậtMSNbotThường xuyên cậpnhật• Toán tử Boolean• + để thêm vào• để loại bỏ• Hỗ trợ dấu móc• Toán tử Boolean• + để thêm vào• để loại bỏ• Hỗ trợ dấu mócKhả năng tìm kiếmCác thao táctìm kiếm nângcao• Toán tử Boolean• + để thêm vào• để loại bỏ• Hỗ trợ dấu móc29kép “” để tìmchính xác• Special features• Wildcards• Stemming• Meta word• Advanced SearchForm• 46 ngôn ngữkép “” để tìmchính xác• Yahoo Shortcuts• Wildcards• Stemming• Meta word• Advanced SearchForm• 32 ngôn ngữkép “” để tìmchính xác• Instant Answer•• Stemming• Meta word• Advanced SearchForm• 42 ngôn ngữTốc độHiển thị kết quả truyvấn nhanh chóng vớikỹ thuật “searchbefore-you-type”Không xác địnhchính xácKhông xác địnhchính xácXếp hạngPagerank, Hyperlinkmatching analysisKeywords, ClickpopularityAutomated,keywords, inlinksCông nghệBảng 2.So sánh các công cụ tìm kiếm4.3 Thách thức của công cụ tìm kiếmCông cụ tìm kiếm rất là hữu ích đối với người sử dụng Internet và nó luôn luôn cốgắng để cung cấp cho người sử dụng những gì họ cần. Tuy nhiên, có những tháchthức hoặc các vấn đề mà công cụ tìm kiếm cần được nghiên cứu cải tiến.Thách thức đâu tiền là hệ thống phải thường xuyên cập nhật dữ liệu và thu thậpnhiều dữ liệu có giá trí nhất có thể, bao gồm cả dữ liệu của các Invisible web. Sau đócác spider phải thường xuyên cập nhật các dữ liệu thay đổi để đánh chỉ mục. Với hàngtỷ website cần phải thu thập thông tin và đánh chỉ mục lại một cách thường xuyên dẫnđến thách thức về việc giảm khoảng thời gian cập nhật thông tin tìm kiếm đối với cácweb mới được tạo ra.Mặt khác, thu thập dữ liệu nói chung tiêu tốn rất nhiều chi phí.Việc thu thập dữliệu là phần tốn chi phí nhất của việc duy trì các công cụ tìm kiếm, vì lý do này, buộcphải thiết lập một giới hạn kích thước cơ sở dữ liệu cũng như tần suất thu thập lại dữliệu. Các công cụ tìm kiếm cho thấy các trang tiềm năng đã không được lập chỉ mụclà do các giới hạn của công cụ tìm kiếm chứ không phải là vì Deep Web, bởi vì cáctrang này có thể thu thập được, nhưng không được chọn để lập chỉ mục. Công cụ tìmkiếm cần phải lọc ra các dữ liệu trùng lặp và thông tin rác và không cung cấp thôngtin không liên quan đến người sử dụng cuối cùng.30Những thách thức trong khả năng của công cụ tìm kiếm cũng là một vấn đềlớn.Với các tùy chọn, tính năng mạnh mẽ và chức năng tìm kiếm nâng cao, các côngcụ tìm kiếm đang cố gắng để giúp người dùng tìm kiếm chính xác hơn, dễ dàng hơnđể có được những thông tin mong muốn.Vấn đề là, hầu hết mọi người không tận dụnglợi thế này của các công cụ tìm kiếm, họ thường chỉ gõ một vài từ khóa đơn giản chomột truy vấn.Vì vậy, công cụ tìm kiếm cần cải thiện các truy vấn cơ bản để họ có thểcung cấp cho người sử dụng kết quả mong muốn tương tự như khi người dùng sửdụng các chức năng nâng cao của công cụ tìm kiếm.Chất lượng và tốc độ đưa ra kết quả tìm kiếm có thể loại trừ nhau: Tốc độ có thểhạn chế tìm kiếm kỹ lưỡng các trang web và ngược lại. Vì vậy cần cải tiến công nghệcủa công cụ tìm kiếm, cũng như chất lượng trong việc xếp hạng cho tốt hơn là mộtthách thức của các công cụ tìm kiếm.Một vấn đề thách thức nữa là định nghĩa và đo lường của sự liên quan của một tàiliệu với nội dung mà người dùng mong muốn tìm kiếm. Một tài liệu được coi là liênquan đôi khi là phù hợp đối với người này nhưng lại không phải là phù hợp đối vớingười khác. Vì vậy, cần phân biệt giữa sự liên quan và sự phù hợp của một tài liệu.Trong khi sự liên quan cho phép các truy vấn và công cụ tìm kiếm đo lương được, thìsự phù hợp lại phụ thuộc vào khả năng sử dụng các kết quả của người dùng cuối. Nóicách khác, chỉ có người sử dụng có thể để xác định giá trị của sự phù hợp.Cuối cùng nhưng không kém phần quan trọng đó là các Invisble web thì rất khókhăn cho công cụ tìm kiếm, bởi vì kích thước của nó so với visible web thì lớn hơn từ20 đến 50 lần, và thường chứa các dữ liệu chất lượng cao. Tuy nhiên, rào cản kỹ thuậtlàm cho cho công cụ tìm kiếm gặp khó khẳn để tìm thấy chúng.4.4 Sáp nhập Kết quả tìm kiếm cho hiệu suất tốt nhất?Sau khi trình bày các công cụ tìm kiếm thông dụng ở trên. Ta có thể tự hỏi rằngliệu có công cụ nào được sử dụng để có thể cho kết quả tốt nhất và nhanh nhất ? Vấnđề ở đây là chúng ta có thể tìm thấy những gì chúng ta cần ở công cụ tìm kiếm này vàkhông tìm thấy thông tin chúng ta cần ở công cụ tìm kiếm khác. Vậy cách tốt nhất làchúng ta phải tìm kiếm trên nhiều công cụ khác nhau. Vậy làm sao để tiết kiệm thờigian cho việc tìm kiếm trên nhiều công cụ khác nhau ? Cách giải quyết là chúng ta cóthể sử dụng siêu công cụ tìm kiếm như đã đề cập đến ở chương 3.3. Siêu công cụ tìmkiếm sẽ hợp nhất kết quả tìm kiếm từ nhiều nguồn khác nhau và từ các thư mục web31