Zachowanie informacji. Historia idei (część 1)Czas czytania: 18 min

Od autora: Przez ostatnie dwa miesiące pisałem i poprawiałem artykuł zatytułowany The Law of Conservation of Information: Natural Processes Only Redistribute Existing Information [Prawo zachowania informacji. Procesy naturalne tylko redystrybuują istniejącą informację]. Pierwotną wersję artykułu złożyłem do czasopisma „BIO-Complexity”, ale wywołała ona reakcje dotyczące tego, czy termin „zachowanie informacji” jest odpowiedni w odniesieniu do analizowanego w artykule aspektu wyszukiwania. Historia terminu „zachowanie informacji” przekonała mnie jednak, że pod tym względem jest on właściwy. Niniejszy tekst to w istocie dodatek do artykułu złożonego do „BIO-Complexity”. Ponieważ opowiedziana w tym dodatku historia jest w dużej mierze niezależna od reszty artykułu przeznaczonego do „BIO-Complexity”, więc postanowiłem zamieścić treść wspomnianego dodatku również na blogu „Evolution News & Science Today”.

„Zachowanie informacji” to termin stosowany zarówno w literaturze z zakresu fizyki, jak i informatyki. W fizyce dotyczy on procesów fizycznych, które są w pewnym sensie odwracalne, dzięki czemu jeden stan fizyczny da się odzyskać z innego i odwrotnie. W takim przypadku informacja jest zachowana między stanami. W informatyce zachowanie informacji dotyczy procesów wyszukiwania, w których ilość informacji na wyjściu nie może być większa od ilości informacji na wejściu. Informacja ulega więc zachowaniu wtedy, gdy na wyjściu jest taka sama, jak na wejściu, nie zaś mniejsza.

Zakresy tych dwóch zastosowań terminu „zachowanie informacji” krzyżują się ze sobą, ponieważ procesy fizyczne mogą mieć udział w wyszukiwaniu. Niemniej w fizyce zachowanie informacji jest rozumiane inaczej niż w informatyce. Gdy w fizyce używane jest słowo „zachowanie”, silny nacisk kładzie się na to, że to, co ulega zachowaniu, pozostaje dokładnie takie samo – bez żadnego zysku i bez żadnej straty. Na przykład zachowanie energii w układzie zamkniętym oznacza, że całkowita energia tego układu pozostaje dokładnie taka sama, mimo iż zmianie ulegają formy, jakie energia przybiera w tym układzie (potencjalna, kinetyczna, chemiczna, elektryczna, jądrowa i tak dalej)¹. W odniesieniu do wyszukiwania słowo „zachowanie” oznacza natomiast idealną (górną) granicę, do której mogą dojść procesy wyszukiwania, ale – ogólnie rzecz biorąc – mogą też do niej nie dotrzeć.

Do zachowania informacji w fizyce dochodzi w różnych sytuacjach. Na przykład Stephen Hawking zasugerował, że informacja zawarta w materii może zostać bezpowrotnie utracona, gdy wessie ją czarna dziura, która później paruje wskutek procesu określanego mianem promieniowaniem Hawkinga. Hawking uznał, że w tych warunkach nie dochodzi do zachowania informacji. Natomiast Leonard Susskind zaproponował ideę holograficznych przesunięć informacji z przestrzeni o większej liczbie wymiarów do granic o mniejszej liczbie wymiarów oraz ideę komplementarności czarnych dziur. Zgodnie z jego teorią informację zakodowaną w horyzoncie zdarzeń da się więc odzyskać z promieniowania Hawkinga w mocno zaburzonej postaci, ale ulega ona zachowaniu, nie zaś zniszczeniu. W związku z tym Susskind uważa, że nawet czarne dziury podlegają zachowaniu informacji².

W klasycznej termodynamice zachowanie informacji jest powiązane z drugą zasadą termodynamiki i koncepcją entropii. Podczas gdy entropia ma naturalną tendencję do wzrostu, co wskazuje na utratę uporządkowania lub informacji w układach makroskopowych, zgodnie z mechaniką statystyczną mikrostany układu rozwijają się deterministycznie i w związku z tym pozostawiają informację w stanie nienaruszonym. Zachowanie informacji jest więc następstwem teorii ergodycznej, zgodnie z którą powtórzą się wszystkie stany układów dynamicznych mających odpowiednią strukturę. W mechanice statystycznej istotnym w tym zakresie rezultatem jest twierdzenie Liouville’a mówiące, że gęstość przestrzeni fazowej układu zamkniętego jest stała w czasie, z czego wynika, że informacja o warunkach początkowych ulega zachowaniu, nawet jeśli na poziomie makroskopowym wygląda na bezładną³.

Łatwo znaleźć również inne przykłady zachowania informacji w fizyce. W mechanice kwantowej unitarna ewolucja stanów kwantowych, zachodząca zgodnie z równaniem Schrödingera, zachowuje całkowitą informację zakodowaną w stanie kwantowym. Na zachowanie informacji kwantowej wskazuje również względnie niedawno dowiedziony zakaz ukrywania (no-hiding theorem)⁴. Fizyka klasyczna, która jest deterministyczna i której równania gwarantują odwracalność pewnych procesów fizycznych w czasie, wskazuje, że informacja o układzie w dowolnym punkcie czasu może – w zasadzie – zostać odtworzona w dowolnym innym punkcie czasu, a tym samym informacja ulega zachowaniu. Na przykład Pierre Simon de Laplace argumentował, że zachowanie informacji (aczkolwiek nie posługiwał się tą terminologią) obowiązuje w całym Wszechświecie. Ponad 200 lat temu w dziele Celestial Mechanics [Mechanika nieba] przekonywał on, że z fizyki Newtona wynika, iż na podstawie wiedzy o pozycjach i pędach wszystkich cząstek w danym momencie można przewidzieć wprzód i wstecz każdy aspekt rozwoju Wszechświata – i to w najdrobniejszych szczegółach⁵.

Nie tylko poważana idea

Podaję te przykłady zachowania informacji w fizyce nie tylko po to, aby pokazać, że zachowanie informacji jest poważaną ideą w fizyce, ale też po to, aby odróżnić jej rolę w fizyce od jej roli w wyszukiwaniu. W fizyce zachowanie informacji odnosi się do ścisłego zachowywania tej samej ilości informacji przy różnych fizycznych transformacjach, przy czym każdą informację da się odzyskać na podstawie innej. Kiedy jednak mówimy o wyszukiwaniu, to zachowanie informacji dotyczy tego, że ilość informacji na wyjściu nigdy nie jest większa od ilości informacji na wejściu. Zachowanie informacji w wyszukiwaniu polega na tym, że nie można otrzymać czegoś z niczego, aczkolwiek możliwe jest, że mając coś w punkcie wyjścia, ostatecznie można otrzymać mniej albo nawet nic.

Zachowanie informacji w informatyce ma charakter bardziej praktyczny niż zachowanie informacji w fizyce. Z punktu widzenia zachowania informacji w fizyce zniszczenie Biblioteki Aleksandryjskiej w pożarze nie doprowadziło do zniszczenia informacji zawartej w znajdujących się w niej woluminach – cała ta informacja wciąż istnieje i nawet dałoby się ją odzyskać, gdybyśmy mogli cofnąć czas w odniesieniu do procesów fizycznych, które zachodziły po zniszczeniu biblioteki. Jakiś superfizyk w zasadzie mógłby więc zrekonstruować całą Bibliotekę Aleksandryjską. Zachowanie informacji w informatyce uwzględnia jednak „siły tarcia” prowadzące do niewydajnego transferu informacji, a utratę informacji traktuje się w informatyce jako normę, podczas gdy pełne zachowanie informacji uznawane jest za rzadko osiągalny ideał. Z punktu widzenia zachowania informacji w wyszukiwaniu Biblioteka Aleksandryjska naprawdę przepadła raz na zawsze.

Termin „zachowanie informacji” pojawił się po raz pierwszy – i to nie tylko przelotnie – w niewielkiej objętościowo książce biologa i laureata Nagrody Nobla Petera Medawara zatytułowanej The Limits of Science [Granice nauki], która ukazała się w 1984 roku. Medawar wprowadził to pojęcie w podrozdziale zatytułowanym The Law of Conservation of Information⁶ [Prawo zachowania informacji] – taki właśnie tytuł nadałem obszerniejszemu artykułowi, z którego pochodzi niniejszy tekst. Sformułował on to prawo w sposób następujący: „Żaden proces rozumowania logicznego – żaden czysty akt myślenia albo programowalna operacja komputerowa – nie może zwiększyć zawartości informacji aksjomatów i przesłanek bądź sądów obserwacyjnych, które stanowią jego punkt wyjścia”⁷. Medawar nie uzasadnił tego prawa, lecz potraktował je jako oczywiste: „Nie zamierzam podejmować próby wykazania zasadności tego prawa, a jedynie rzucam wyzwanie, aby ktokolwiek znalazł od niego wyjątek, czyli operację logiczną, która zwiększa zawartość informacji jakiejkolwiek wypowiedzi”⁸.

„Najwyższy cel fizyka”

W przedmowie do książki The Limits of Science Medawar wyjaśnił, że inspirację dla tego prawa oraz dla terminu „zachowanie informacji” znalazł u fizyka Henry’ego Augustusa Rowlanda, który w 1899 roku przedstawił przed Amerykańskim Towarzystwem Fizycznym artykuł zatytułowany The Highest Aim of the Physicist [Najwyższy cel fizyka]. W tym artykule Rowland przedstawił „prawo zachowania wiedzy”, które sformułował w sposób następujący: „Badania matematyczne zawsze podlegają prawu zachowania wiedzy: nigdy nie otrzymujemy z wiedzy więcej niż mieliśmy na początku. Wiedza może zmieniać formę, stawać się jaśniejsza i precyzyjnej sformułowana, ale całkowita ilość będącej wynikiem dociekań wiedzy o przyrodzie jest taka sama, jak ilość, od której zaczęliśmy”⁹. Prawo Medawara i prawo Rowlanda całkowicie się ze sobą pokrywają.

„Prawo zachowania informacji” w dogodny sposób charakteryzuje stale dokonywane odkrycie, że w przypadku procesów wyszukiwania ilość informacji na wyjściu nigdy nie jest większa od ilości informacji na wejściu. Medawar i Rowland wyrazili tę ideę w kategoriach zachowania, ale mówili o niej również inni, nie posługując się jednak tą terminologią. W opublikowanej w 1962 roku książce poświęconej nauce i teorii informacji francuski fizyk Léon Brillouin poczynił dokładnie takie samo spostrzeżenie:

Często mówi się, że maszyny matematyczne wytwarzają nową informację. W rzeczywistości tak nie jest. Maszyny są jedynie w stanie przetwarzać informację: pobierają na ogół surowe dane wejściowe i podają wynik końcowy, ale całkowita ilość informacji nie wzrasta. W najbardziej idealnych okolicznościach informacja może pozostać stała podczas liczenia, lecz w normalnych warunkach występują straty i informacja wyjściowa będzie mniejsza od informacji wejściowej¹⁰.

Jakie są zaś idealne okoliczności, w których informacja w ogóle nie jest tracona? Według Brillouina:

Jeżeli maszyna [obliczająca ruchy pocisków artyleryjskich] pracuje doskonale, to musi zachodzić odwracalność: z żądanego punktu uderzenia może ona obliczyć z powrotem dane wejściowe i otrzymać warunki początkowe. W podobny sposób tłumacz może znów przetłumaczyć tekst angielski na język japoński i powinien otrzymać oryginalny artykuł lub jego równoważnik. Idealne warunki postępowania odpowiadają odwracalności i stąd zachowaniu informacji¹¹.

To przelotne wspomnienie o zachowaniu informacji jest najwcześniejsze, jakie byłem w stanie znaleźć w literaturze. Tak swoje rozważania podsumowuje Brillouin: „Maszyna [licząca] nie wytwarza żadnej nowej informacji, ale dokonuje ona bardzo cennych transformacji znanej już informacji”¹².

Maszyna analityczna Charlesa Babbage’a

Idea, że maszyny mogą tworzyć tylko to, co miały zadane na wejściu, pojawiła się już w pierwszej połowie XIX wieku, kiedy Charles Babbage pisał o maszynie analitycznej. Zważywszy na swój projekt, był to pierwszy w pełni rozwinięty komputer cyfrowy, ale w tamtym czasie Babbage nie dysponował odpowiednimi materiałami, które umożliwiałyby skonstruowanie w pełni funkcjonalnej maszyny. Maszyna analityczna Babbage’a była zaprojektowana jako mechaniczny komputer cyfrowy, nie zaś jako elektroniczny komputer cyfrowy, jak współczesne komputery, których funkcjonalność znamy z doświadczenia. Wprawdzie Babbage i jego współpracowniczka Ada Lovelace nie byli w stanie skonstruować w pełni funkcjonalnego modelu, ale rozumieli teoretyczne implikacje dotyczące swojej maszyny liczącej. Jak ujęła to Lovelace w uwagach tłumaczki do wydanych w 1843 roku wspomnień Luigiego Menabrei na temat maszyny analitycznej Babbage’a:

Maszyna analityczna nie ma niczego tworzyć. Będzie mogła zrobić wszystko, co będziemy w stanie jej zadać. Może przeprowadzić analizę, ale nie potrafi przewidywać żadnych analitycznych relacji ani prawd. Jej zadaniem jest wspomaganie nas w uzyskaniu dostępu do tego, co już wiemy¹³.

Lovelace posługuje się tutaj nieco inną terminologią, ale chodzi jej dokładnie o to samo, co Medawarowi i Brillouinowi.

Kilka lat wcześniej, w 1836 roku, Edgar Allan Poe również poczynił takie samo spostrzeżenie i także w odniesieniu do maszyny analitycznej Babbage’a. Poe, w eseju zatytułowanym Maelzel’s Chess Player [Szachista Mälzla], zastanawiał się nad twierdzeniem, że ta rzekoma maszyna do gry w szachy jest automatem, który potrafi grać w szachy bez interwencji człowieka. W jego przekonaniu szachista Mälzla nie był prawdziwym automatem: miało wyglądać na to, że maszyna gra w szachy samodzielnie, ale w istocie w szachy grał ukryty w niej człowiek. Johann Nepomuk Mälzl mógł w ramach pokazu pozwolić osobom z widowni, aby zajrzały do wnętrza jego szachisty, ale nigdy tego nie robił, a tym samym w tej tak zwanej maszynie mógł siedzieć jakiś mały człowiek. Jak wyraził się Poe:

Ukryty w środku człowiek może wykonywać ruchy. Siedzi on wewnątrz Turka [maszyna, która rzekomo grała w szachy, wyglądała jak Turek] na tyle wysoko, aby widzieć szachownicę. Prawdopodobnie siedzi on na małym kwadratowym klocu albo występie widocznym w rogu głównej przegrody, gdy otwarte są drzwiczki¹⁴.

Poe następnie skontrastował tę pseudomaszynę z maszyną analityczną Babbage’a, której warunki początkowe, gdy zostaną już określone, umożliwiają jej automatyczne działanie bez interwencji człowieka, dzięki czemu można uznać ją za prawdziwą maszynę:

Niezmienne i zdeterminowane

Obliczenia arytmetyczne albo algebraiczne są, z samej swojej natury, niezmienne i zdeterminowane. Wprowadzane są pewne dane, a na ich podstawie w sposób konieczny i nieuchronny otrzymywane są określone wyniki. Te wyniki nie są zależne od niczego innego – i nie wpływa na nie nic innego – niż pierwotnie wprowadzone dane. Problem wymagający rozwiązania zmierza – albo powinien zmierzać – do swojego finalnego wyniku poprzez sukcesję bezbłędnych kroków, które nie podlegają żadnej zmianie czy modyfikacji. Skoro tak, to bez trudności możemy wyobrazić sobie możliwość takiego ustawienia mechanizmu, że po uruchomieniu go w zgodzie z danymi dotyczącymi wymagającego rozwiązania problemu powinien on wykonywać swoje ruchy regularnie, progresywnie i bez odchyleń, prowadząc do wymaganego rozwiązania, ponieważ ruchy tego mechanizmu, nawet jeśli złożone, powinny być skończone i zdeterminowane. W przypadku szachisty Mälzla sytuacja wygląda jednak zgoła inaczej¹⁵.

Poe, podobnie jak Medawar, Brillouin i Lovelace, zauważa tutaj, że ilość informacji na wyjściu jakiegoś procesu mechanicznego nie może być większa od ilości informacji na wejściu lub w jakikolwiek inny sposób jej przekraczać.

Dokonałem przeglądu historii idei zachowania informacji w wyszukiwaniu – opisywanej tymi albo równoważnymi kategoriami – aby pokazać, jak głębokie ma ona zakorzenienie. Wczesne ujęcia zachowania informacji miały zastosowanie do wyszukiwań deterministycznych opartych na w pełni określonych danych („aksjomatach” bądź „przesłankach”) i wykonujących w pełni określone operacje („logiczne” albo „programowalne na komputerze”). W tych wczesnych ujęciach da się zauważyć brak odniesienia do elementów stochastycznych. W związku z tym wyniki tych deterministycznych wyszukiwań, o ile w ogóle przypisano by im prawdopodobieństwa, miałyby prawdopodobieństwo równe 0 albo 1. Celem tych wyszukiwań nie było więc rozwiązywanie problemów typu „szukanie igły w stogu siana”, lecz potwierdzenie, że pewne wyniki są w sposób konieczny uzyskiwane na podstawie określonych danych wejściowych, a w innych przypadkach są przez dane wejściowe całkowicie wykluczane. Teraz chciałbym przeskoczyć do lat dziewięćdziesiątych XX wieku, kiedy to koncepcję zachowania informacji uogólniono tak, aby obejmowała pełny zakres wyszukiwań.

W latach dziewięćdziesiątych najważniejszym ustaleniem w zakresie zachowania informacji w wyszukiwaniu były twierdzenia „nic za darmo” udowodnione przez informatyków Davida H. Wolperta i Williama G. Macready’ego. Ich pierwszym artykułem na ten temat był sporządzony dla Instytutu Santa Fe raport techniczny zatytułowany No Free Lunch Theorems for Search¹⁶ [Twierdzenia „nic za darmo” w wyszukiwaniu], a więc twierdzenia te dotyczyły wyszukiwania (nie zaś fizyki) i koncentrowały się na ogólnie pojętym wyszukiwaniu (zarówno deterministycznym, jak i stochastycznym). Ten artykuł powstał w 1996 roku jako maszynopis przeznaczony dla wąskiego grona specjalistów. Jego pełna formalna wersja ukazała się w 1997 roku na łamach czasopisma „IEEE Transactions on Evolutionary Computation”, gdzie artykułowi nadano inny tytuł: No Free Lunch Theorems for Optimization¹⁷ [Twierdzenia „nic za darmo” w optymalizacji]. Niemniej optymalizacja to po prostu wyszukiwanie czegoś optymalnego, w związku z czym przedmiotem zainteresowania tego drugiego artykułu wciąż pozostaje wyszukiwanie.

– Koniec części pierwszej –

William A. Dembski

Oryginał: Conservation of Information: The History of an Idea, „Evolution News & Science Today” 2025, January 20 [dostęp: 27 VIII 2025].

Przekład z języka angielskiego: Dariusz Sagan