Giáo trình lý thuyết thông tin

Bài giảng môn học triết lý thông tin vì giảng viên biên soạn gồm bao gồm 15 bài học, cung cấp cho người học một số nội dung như: trình làng chung về tin tức và triết lý thông tin, một trong những khái niệm cơ bản, lượng tin, Entropy, mã hiệu, mã hóa tối ưu nguồn rời rạc ko nhớ,... Mời chúng ta cùng tham khảo.


Bạn đang xem: Giáo trình lý thuyết thông tin

*

Xem thêm: Hỏi Cách Làm Vỏ Bánh Gối Tại Nhà Giòn Lâu, Chuẩn Vỏ Bánh Gối Lương Văn Can

trường Đại học Bách khoa Khoa công nghệ Thông Tin BÀI GIẢNG MÔN HỌC LÝ THUYẾT THÔNG TIN Giảng Viên: hồ nước Văn Quân E-mail: hcquan
dit.hcmut.edu.vnWeb site: http://www.dit.hcmut.edu.vn/~hcquan/student.htm NỘI DUNG MÔN HỌC„ bài 1 Giới thiệu„ bài 2 một vài khái niệm cơ bản„ bài xích 3 sẵn sàng toán học„ bài bác 4 Lượng tin„ bài xích 5 Entropy„ bài xích 6 Mã hiệu„ bài 7 Mã hóa buổi tối ưu nguồn rời rạc không nhớ„ bài 8 Mã hóa nguồn phổ quát„ bài xích 9 Kênh tách rạc không nhớ, lượng tin tương trợ Trang 2 định hướng Thông tin - Khoa technology Thông Tin NỘI DUNG MÔN HỌC (tt)„ bài xích 10 Mã hóa kháng nhiễu, định lý kênh„ bài xích 11 Mã khối đường tính„ bài 12 đại lý toán học tập của mã hóa phòng nhiễu„ bài bác 13 Mã vòng„ bài bác 14 ra mắt về mật mã hóa„ bài bác 15 một số trong những vấn đề nâng cấp Trang 3 triết lý Thông tin - Khoa công nghệ Thông Tin TÀI LIỆU THAM KHẢO1. Information Theory - Robert B.Ash, bên xuất bạn dạng Dover, Inc, 1990.2. Introduction khổng lồ Information Theory - Masud Mansuripur, bên xuất phiên bản Prentice–Hall, Inc, 1987.3. A Mathematical Theory of Communication - C. E. Shannon, tạp chí Bell System Technical, số 27, trang 379–423 cùng 623– 656, mon 7 với tháng 10, 1948.4. Cơ sở kim chỉ nan truyền tin (tập một cùng hai) - Đặng Văn Chuyết, Nguyễn Tuấn Anh, nhà xuất phiên bản Giáo dục, 1998. Trang 4 định hướng Thông tin - Khoa technology Thông Tin HÌNH THỨC ĐÁNH GIÁ„ sẽ có được thông báo cụ thể cho từng khóa học. Tuy nhiên, thường là có vẻ ngoài như bên dưới.„ Thi trắc nghiệm „ giữa kỳ: 30 câu / 45 phút „ Cuối kỳ: 45 câu / 90 phút „ Được phép xem tài liệu trong 2 tờ giấy A4„ Làm bài tập khủng cộng điểm (không bắt buộc) „ Nộp bài tập khủng và report vào cuối học tập kỳ „ Cộng tối đa 2 trang điểm 5 định hướng Thông tin - Khoa công nghệ Thông Tin CÁC MÔN LIÊN QUAN„ lý thuyết xác suất„ kỹ thuật truyền số liệu„ Xử lý biểu thị số Trang 6 lý thuyết Thông tin - Khoa công nghệ Thông Tin bài bác 1 Giới thiệu1.1 tin tức là gì?1.2 mục đích của thông tin1.3 triết lý thông tin phân tích những gì?1.4 Những ứng dụng của lý thuyết thông tin1.5 triết lý thông tin – lịch sử hình thành và cách nhìn khoa học tân tiến Trang 7 lý thuyết Thông tin - Khoa công nghệ Thông Tin thông tin là gì?„ Một vài lấy ví dụ „ nhì người thủ thỉ với nhau. Loại mà thương lượng giữa họ hotline là thông tin. „ Một người đang coi tivi/nghe đài/đọc báo, fan đó đang nhận tin tức từ đài phát/báo. „ quy trình giảng dạy trong lớp. „ Các máy vi tính nối mạng với trao đổi dữ liệu với nhau. „ máy tính xách tay nạp chương trình, dữ liệu từ đĩa cứng vào RAM để thực thi. Trang 8 lý thuyết Thông tin - Khoa công nghệ Thông Tin tin tức là gì? (tt)„ dìm xét „ tin tức là cái được truyền từ đối tượng này đến đối tượng người dùng khác nhằm báo một “điều” gì đó. Thông tin chỉ có ý nghĩa sâu sắc khi “điều” đó mặt nhận không biết. „ Thông tin mở ra dưới các dạng âm thanh, hình ảnh, ... Rất nhiều dạng này chỉ là “vỏ bọc” đồ chất cất thông tin. “Vỏ bọc” là phần “xác”, thông tin là phần “hồn”. „ Ngữ nghĩa của thông tin chỉ rất có thể hiểu được khi mặt nhận đọc được cách màn trình diễn ngữ nghĩa của bên phát. „ trong số những phương nhân thể để miêu tả thông tin là ngôn ngữ. „ có hai trạng thái của thông tin: truyền với lưu trữ. Môi trường truyền/lưu trữ được gọi bình thường là môi trường xung quanh chứa tin giỏi kênh tin. Trang 9 định hướng Thông tin - Khoa công nghệ Thông Tin mục đích của thông tin„ Các đối tượng người tiêu dùng sống luôn luôn có nhu cầu hiểu về thế giới xung quanh, để đam mê nghi và tồn tại. Đây là một quá trình quan sát, tiếp nhận, dàn xếp và xử lý thông tin từ môi trường thiên nhiên xung quanh.„ thông tin trở thành một nhu yếu cơ bản, một điều kiện cần cho việc tồn tại và phát triển.„ khi KHKT, XH ngày càng phát triển, tin tức càng thể hiện được vai trò quan trọng đặc biệt của nó so với chúng ta.„ Ví dụ, hành vi xuất phạt từ suy nghĩ, nếu cân nhắc đúng, thì hành động mới đúng. Lưu ý đến lại chịu tác động từ các nguồn tin tức được tiếp nhận. Vì chưng vậy thông tin rất có thể chi phối đến lưu ý đến và kết quả là hành động của nhỏ người. Trang 10 triết lý Thông tin - Khoa technology Thông Tin LTTT nghiên cứu và phân tích những vụ việc gì? „ Ở khía cạnh khoa học tập kỹ thuật, LTTT phân tích nhằm tạo thành một “cơ sở hạ tầng” tốt cho việc truyền thông media tin chủ yếu xác, mau lẹ và an toàn; lưu trữ thông tin một biện pháp hiệu quả. „ Ở những góc độ phân tích khác LTTT nghiên cứu và phân tích các vấn đề về phong thái tổ chức, trình diễn và truyền đạt thông tin, và tổng thể là những vấn đề về xử lý thông tin.„ Ba lĩnh vực nghiên cứu vãn cơ bạn dạng của môn học tập „ Mã hoá phòng nhiễu „ Mã hoá tối ưu (hay nén dữ liệu) „ Mật mã cải dạng 11 lý thuyết Thông tin - Khoa technology Thông Tin Những áp dụng của LT thông tin„ Cuộc bí quyết mạng tin tức đang xảy ra, sự phạt triển khỏe mạnh của những phương tiện bắt đầu về truyền thông, giữ trữ tin tức làm biến hóa ngày càng thâm thúy xã hội chúng ta.„ LTTT đóng góp một vai trò ra quyết định trong sự cải tiến và phát triển này bằng phương pháp cung cấp cho cơ sở triết lý và một cái nhìn triết học tập sâu sắc so với những vấn đề mới và thử thách mà bọn họ chạm trán – từ bây giờ và mai sau.„ đông đảo ứng dụng phổ biến của LTTT là truyền thông media và xử lý thông tin bao gồm: truyền thông, nén, bảo mật, giữ trữ, ...„ Các ý tưởng phát minh của LTTT đã được vận dụng trong nhiều nghành như thiết bị lý, ngôn ngữ học, sinh đồ gia dụng học, công nghệ máy tính, tâm lý học, chất hóa học Trang 12 triết lý Thông tin - Khoa technology Thông Tin Những ứng dụng của LT thông tin (tt)„ quan hệ giữa LTTT với thống kê đã được tìm thấy, các cách thức mới về so sánh thống kê dựa vào LTTT đã có đề nghị.„ Ứng dụng vào thống trị kinh tế. Ví dụ, lý thuyết chi tiêu tối ưu xuất hiện đồng thời với định hướng mã hóa nguồn buổi tối ưu.„ Ứng dụng vào ngôn từ học.„ Ứng dụng đến tâm lý thực nghiệm và nhất là lĩnh vực dạy cùng học. Trang 13 định hướng Thông tin - Khoa công nghệ Thông Tin lịch sử hình thành„ Cuộc giải pháp mạng mập nhất về phong thái nhìn nhân loại khoa học tập là chuyển sang làn đường khác từ thuyết ra quyết định Laplacian mang đến bức tranh phần trăm của từ bỏ nhiên.„ gắng giới chúng ta đang sống trong số ấy chủ yếu là xác suất. Kiến thức của họ cũng là một trong những dạng xác suất.„ LTTT nổi lên sau khi cơ học tập thống kê và lượng tử đang phát triển, cùng nó chia té với đồ lý thống kê những khái niệm cơ bản về entropy.„ Theo kế hoạch sử, những khái niệm cơ phiên bản của LTTT như entropy, thông tin cứu giúp được hiện ra từ việc nghiên cứu và phân tích các khối hệ thống mật mã hơn là từ việc phân tích các kênh truyền thông.„ Về khía cạnh toán học, LTTT là 1 trong nhánh của kim chỉ nan xác suất và các quy trình ngẫu nhiên (stochastical process). Trang 14 triết lý Thông tin - Khoa technology Thông Tin lịch sử vẻ vang hình thành (tt)„ đặc trưng và có ý nghĩa sâu sắc nhất là quan liêu hệ links giữa LTTT cùng vật lý thống kê.„ vào một thời gian dài trước lúc LTTT được hình thành, L. Boltzman và kế tiếp là L.Szilard vẫn đánh đồng chân thành và ý nghĩa của tin tức với có mang nhiệt động học của entropy. Một phương diện khác, D. Gabor cho rằng “lý thuyết media phải được xem như một nhánh của thứ lý”.„ C. E. Shannon là phụ vương đẻ của LTTT. Trang 15 lý thuyết Thông tin - Khoa công nghệ Thông Tin bài xích 2 một số khái niệm cơ bản2.1 thông tin (Information)2.2 quy mô của các quá trình truyền tin2.3 những loại hệ thống truyền tin – liên tục và tránh rạc2.4 tách rạc trá hình 16 lý thuyết Thông tin - Khoa công nghệ Thông Tin Thông tin„ Thông tin là 1 trong khái niệm trừu tượng, phi vật chất và rất cực nhọc được định nghĩa thiết yếu xác. Hai định nghĩa về thông tin.„ Thông tin là sự cảm hiểu của con fan về trái đất xung quanh trải qua sự tiếp xúc với nó.„ thông tin là một hệ thống những tin báo và bổn phận giúp loại bỏ sự không chắc chắn rằng (uncertainty) trong tâm lý của vị trí nhận tin. Nói ngắn gọn, tin tức là cái mà thải trừ sự không vững chắc chắn.„ Định nghĩa đầu không nói lên được bản chất của thông tin. Định nghĩa trang bị hai nói rõ hơn về bản chất của thông tin và được dùng để làm định lượng thông tin trong kỹ thuật. Trang 17 định hướng Thông tin - Khoa technology Thông Tin thông tin (tt)„ Thông tin là 1 trong những hiện tượng trang bị lý, nó thường xuyên tồn tại với được truyền đi bên dưới một dạng vật hóa học nào đó.„ đông đảo dạng đồ dùng chất dùng để làm mang thông tin được call là tín hiệu.„ lý thuyết tín hiệu nghiên cứu các dạng tín hiệu và cách truyền thông tin ra đi với giá cả thấp, một ngành mà gồm quan hệ gần cận với LTTT.„ tin tức là một quá trình ngẫu nhiên.„ biểu thị mang tin tức cũng chính là tín hiệu đột nhiên và quy mô toán học của nó là các quá trình ngẫu nhiên thực tốt phức.„ cùng LTTT là kim chỉ nan ngẫu nhiên của tin tức, tức là nó xét cho tính bất thần của tin tức đối với nơi dấn tin. Trang 18 kim chỉ nan Thông tin - Khoa công nghệ Thông Tin quy mô của các quy trình truyền tin „ Khái niệm thông tin thường đi kèm với một khối hệ thống truyền tin. Nhiễu nguồn phát Kênh truyền nguồn nhận„ Sự truyền tin (transmission) „ Là sự dịch chuyển thông tin từ điểm này đến điểm không giống trong một môi trường xác định.„ nguồn tin (information source) „ là một trong tập hợp các tin mà hệ thống truyền tin dùng để lập các bảng tin hay thông báo (message) để truyền tin. „ Bảng tin chính là dãy tin được mặt phát truyền đi. „ Thông tin hoàn toàn có thể thuộc nhiều nhiều loại như (1) một hàng kí từ như trong năng lượng điện tín (telegraph) của các hệ thống gởi năng lượng điện tín (teletype system); Trang 19 triết lý Thông tin - Khoa công nghệ Thông Tin quy mô của các quy trình truyền tin (tt) (2) một hàm theo có một biến thời hạn f(t) như trong radio cùng điện thoại; (3) một hàm của thời gian và các biến khác ví như trong truyền ảnh trắng đen – tại chỗ này thông tin hoàn toàn có thể được nghĩ như là 1 hàm f(x, y, t) của toạ độ hai phía và thời hạn biểu diễn cường độ tia nắng tại điểm (x, y) trên screen và thời hạn t; (4) một vài ba hàm của một vài biến hóa như vào trường thích hợp tivi màu sắc – ở chỗ này thông tin bao hàm ba hàm f(x, y, t), g(x, y, t), h(x, y, t) màn trình diễn cường độ ánh sáng của các ba thành phần màu sắc cơ bạn dạng (xanh lá cây, đỏ, xanh dương) „ Thông tin trước khi được truyền đi, tuỳ theo yêu cầu rất có thể được mã hoá để nén, kháng nhiễu, bảo mật, ...„ Kênh tin (channel) „ Là chỗ hình thành và truyền (hoặc giữ trữ) tín hiệu mang tin đôi khi ở đấy xảy ra những tạp nhiễu (noise) phá hủy tin tức. „ vào LTTT kênh là 1 trong khái niệm trừu tượng đại biểu mang đến hỗn hợp biểu lộ và tạp nhiễu. Trang 20 định hướng Thông tin - Khoa technology Thông Tin