Hỏi đáp

Entanpi Và Entropi Là Gì ? Entropy Là Gì Và Cách Tính Toán Nó

Nhiều người vẫn sử dụng thuật toán cross-entropy trong machine learning mà thiếu hiểu biết nhiều biết nhiều được entropy là gì, nội dung nội dung bài viết sau phía trên sẽ hỗ trợ chúng ta hiểu hơn về nó.

Chúng ta đang xem: Entropi là gì

Entropy nghĩa là gì?

Ý tưởng về Entropy ban sơ khá khó hiểu, mang rất nhiều từ được sử dụng để mô tả nó: này là sự việc hỗn loạn, ko chắc chắc, độ bất định, độ bất thần, lượng thông tin hay những từ tương tự thế. Nếu cho tới giờ chúng ta vẫn ko rõ về nó, thì chúng ta tới đúng nơi rồi đó. Tôi sẽ hỗ trợ chúng ta làm rõ về Entropy.

Ai nghĩ ra Entropy và vì thế thế lý do gì ?

Năm 1948, Claude Shannon lần đầu nhắc tới quan điểm information entropy trong nội dung nội dung bài viết ““A Mathematical Theory of Communication” (information entropy: entropy thông tin, độ bất định thông tin – tuy nhiên mình nghĩ sử dụng từ gốc sẽ tốt hơn).

*

Q1mlq4p.png774×166 10.5 KB

Cách ở trên sở hữu tốt ko ? Giả sử toàn bộ thể chất gửi và nhận đều biết rằng nội dung message đều nói về thời tiết của Tokyo. Vậy họ sẽ không còn quan trọng phải gửi những từ như “Thời tiết”, “Tokyo”, “của” … Họ giản dị và giản dị chỉ việc nói “Fine”, “Not fine”, như vậy là đủ.

Xem thêm: Asmr Nghĩa Là Gì ? Những Lợi Ích Của Asmr Mang Tới Cho Con Người

*

QPJpoCh.png810×493 51.5 KB

Như vậy cách mã hóa này đã đảm bảo ko làm mất mát thông tin

*

Kết thích nghi với công thức tính kích tầm trung bình đã biết ở phần trước, ta được kích thước mã hóa trung bình nhỏ nhất – phía trên này là entropy:

*

Trong số đó P(i) là xác xuất của loại tin nhắn thứ i. Hãy ngồi và suy ngẫm về công thức này, chả sở hữu gì khó hiểu hay magic ở phía trên cả, công thức này giản dị và giản dị là việc phối phối kết hợp giữa tính kích cỡ mã hóa trung bình và kích cỡ mã hóa nhỏ nhất của từng loại tin. Thử 1 vài ví dụ:

vivspeb.png903×474 54.2 KB

Vậy, entropy là: (0.5 x 1 bit)+(0.25 x 2 bits)+(0.125 x 3 bits)+(0.125 x 3 bits)=1.75 bits

Tính chất của Entropy

Entropy cao đồng nghĩa với việc sở hữu rất nhiều loại thông tin với xác suất mỗi loại nhỏ. Mỗi 1 message mới xuất hiện, kinh nghiệm cao rằng message đó sở hữu nội dung khác với nội dung của message trước đó. Ta mà thậm chí gọi này là sự việc bất định. Lúc một loại thông tin với xác suất thấp tự nhiên xuất hiện, nó sẽ tạo thành bất thần hơn so với những loại thông tin sở hữu xác suất cao khác. VD: với việc chúng ta sắm liều một trong những 5 đáp án, xác suất xuất hiện là 80% sai, 20% đúng, việc chúng ta sắm đúng sẽ làm cho chúng ta bất thần hơn nhiều so với việc sắm sai. Hay nói những khác, thông tin sở hữu xác suất càng thấp càng mang nhiều thông tin giá trị.

Hoặc 1 ví dụ khác, nếu phân phối là 90% mưa, 10% nắng thì thông tin dự báo thời tiết về 1 trận mưa sẽ không thể hỗ trợ nhiều thông tin (vì thế thế ta xác định sẵn tinh thần là trời sẽ mưa). Trong khí đó nếu phân phối là 50% mưa, 50% nắng thì thông tin về việc trời ngày hôm đó mưa hay nắng lại rất giá trị (chứa nhiều thông tin hơn).

Túm lại ta mà thậm chí hiểu entropy với những ý nghĩa sau:

entropy là lượng bit trung bình tối thiểu để mã hóa thông tin lúc ta biết phân bố những loại thông tin trong đó.entropy biểu thị cho sự hỗn độn, độ bất định, độ phức tạp của thông tin.Thông tin càng phức tạp càng entropy càng tốt (hay sức lực lao lực mã hóa to).Entropy là nền tảng trong việc công thức cross-entropy giám sát và đo lường và tính toán sai khác trong số những phân bố xác suất.Entropy nhạy cảm với thay đổi xác suất nhỏ, lúc 2 phân bố càng giống nhau thì entropy càng giống nhau và ngược lạiEntropy thấp đồng nghĩa với việc hầu hết những lần nhận thông tin, ta mà thậm chí dự đoán dễ hơn, ít bất thần hơn, ít bất ổn hơn và ít thông tin hơn.

Xem thêm: Điện Thoại Tai Thỏ Là Gì ? Tại Sao Iphone Hay Sử dụng Màn Hình Tai Thỏ?

Nội dung nội dung bài viết được dịch và mình sở hữu bổ sung cập nhật update từ bài: Demystifying Entropy của tác giả: Naoki Shibuya

Cảm ơn mọi người đã đọc. Trong thời hạn tới mình sẽ nỗ lực dịch về Cross-entropy và Demystifying KL Divergence.

Phân mục: Tổng hợp

Về Viettingame.com

Viettingame.com - Chuyên trang web tổng hợp những thông tin hữu ích trên internet như thông tin về game, tin tổng hợp
Xem tất cả các bài viết của Viettingame.com →

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *