[11/15/2019 10:36] em đang tìm hiểu về LASSO regression. đến đoạn tại . . .       Facebook-Group

system             2019-11-15 03:36:12 UTC                 #1

Nguồn post: //www.facebook.com/257768141347267_815083798949029
em đang tìm hiểu về LASSO regression. đến đoạn tại sao LASSO lại giảm số chiều tính toán này em ko hiểu lắm ạ.

như trên hình thì loss function của Linear regression màu đỏ, hàm penalty của Lasso là màu xanh dương.

Em ko hiểu tại sao giao của 2 hàm này lại làm giảm số chiều được ạ [one of the features completely vanishes]** **?

system             2019-11-15 04:01:52 UTC                 #2

Hmmm bài viết này có vẻ mông lung

Mình khuyến khích bạn tìm đọc các tài liệu khác trực quan hơn. Còn về việc tại sao đặc trưng [feature] biến mất [vanishes] tại đỉnh hình thoi thì là do các đỉnh nằm trên các trục chính [trong 2d thì là trục tung và hoành], nên tại mỗi đỉnh chỉ sẽ có 1 giá trị đặc trưng bằng 0, tức là biến mất.

system             2019-11-15 04:11:59 UTC                 #3

Biến mất tức là B tương ứng với dimension đó bị ép xuống 0 đó b

system             2019-11-15 04:32:05 UTC                 #4

Penalty của ridge regression có hình tròn, bởi vì nó dùng hàm số mũ. của lasso có hình kim cương, vì nó ko dùng hàm số mũ mà dùng trị tuyệt đối. và đương nhiên hàm trị tuyệt đối có số chiều ít hơn hàm mũ. //www.youtube.com/watch?v=NGf0voTMlcs

system             2019-11-15 04:53:01 UTC                 #5

Do Lasso có miền ràng buộc hình gai mít, cực tiểu thường đạt khi hàm mục tiêu chạm vào gai mít. Tại các gai mít này chỉ có một số toạ độ khác 0, còn lại bằng 0 nên lời giải thu được là lời giải thưa.

system             2019-11-15 08:54:14 UTC                 #6

Lasso thêm vào loss function hàm trị tuyệt đối của các weight nên weight sẽ xu hướng nhỏ xuống Chứ nghĩ hình méo hình tròn làm gì cho đau đầu

system             2019-11-15 08:55:08 UTC                 #7

Theo mình biết thì LASSO sẽ giúp kéo giá trị tối ưu của hàm mất mát về trên một hoặc nhiều trục biểu diễn các model parameters, dó đó các model parameters này sẽ có giá trị gần như bằng 0 [tiêu biến]. Các features tương ứng với các parameters này được coi như là không đóng góp gì nhiều cho quá trình trainning. Kết quả là ta có thể giảm đc degree của model cần tìm

Trang chủ Chuyên mục FAQ/Hướng dẫn Điều khoản Dịch vụ Chính sách Riêng tư

Powered by Discourse, best viewed with JavaScript enabled