Trochę specjalistycznej wiedzy
Sformułowanie i dowód twierdzeń „nic za darmo” wymaga trochę specjalistycznej wiedzy z dziedzin matematyki i informatyki, a tym samym szczegółowe ujęcie nie będzie łatwo zrozumiałe dla czytelników, którzy takiej wiedzy nie posiadają. Idea leżąca u podstaw twierdzeń „nic za darmo” jest jednak prosta i intuicyjnie przekonująca. Wraz z Robertem J. Marksem II podajemy przykład, który pomaga zilustrować ideę tych twierdzeń. Wyobraźmy sobie, że na stole losowo ułożono 52 karty ze standardowej talii, wszystkie zwrócone licem do dołu. Naszym zadaniem jest znalezienie asa pik (A♠). Prawdopodobieństwo odkrycia A♠ w co najwyżej pięciu próbach nie zależy od metody odkrywania kart. Na przykład odnotowanie, że poprzednio odwróconą kartą jest – dajmy na to – K♣, nie daje nam żadnej wskazówki, którą kartę mamy odkryć w dalszej kolejności, i nie zwiększa prawdopodobieństwa zlokalizowania A♠. Po pięciu próbach – bez względu na użytą metodę – prawdopodobieństwo znalezienia A♠ pozostaje takie samo, czyli 5/521.
Wprawdzie ten przykład ma dobry intuicyjny sens, ale zbytnio upraszcza twierdzenia „nic za darmo”. To, co nazywamy metodą znajdowania celu (w tym przykładzie celem jest A♠), w przypadku twierdzeń „nic za darmo” jest algorytmem wyszukiwania. W informatyce algorytmom wyszukiwania przypisuje się cztery główne elementy: (1) inicjalizację, określającą punkt wyjścia wyszukiwania, który często wybierany jest losowo; (2) mechanizm sprzężenia zwrotnego, który przy każdej próbie dostarcza informacji o stopniu optymalności (w dziedzinie obliczeń ewolucyjnych mechanizm ten przyjmuje postać funkcji przystosowania, a w dziedzinie sieci neuronowych – parametryzacji)2; (3) regułę aktualizacji, która wykorzystuje wspomniany przed chwilą mechanizm sprzężenia zwrotnego do określenia, gdzie w przestrzeni podjąć kolejną próbę wyszukiwania; oraz (4) kryterium zatrzymania, które wskazuje, kiedy przerwać wyszukiwanie (w idealnym przypadku wyszukiwanie zatrzymuje się, gdy zlokalizuje cel, ale może też zatrzymać się, gdy wyszukiwanie wykona ustaloną liczbę prób, albo nawet wtedy, gdy straci moc ze względu na wyczerpanie ograniczonych zasobów obliczeniowych lub innych). Zauważmy, że jeśli zainspirujemy się tą koncepcją wyszukiwania, to możemy powiedzieć, że z punktu widzenia ewolucji biologicznej punkty (2) i (3) odpowiadają zróżnicowanemu przetrwaniu i reprodukcji.
Twierdzenia „nic za darmo” obejmują specjalistyczne szczegóły, ale w kategoriach układu odniesienia dla algorytmów wyszukiwania, którego zarys przedstawiłem w poprzednim akapicie, istotę tych twierdzeń wyraża wzajemne oddziaływanie między tym, o czym jest mowa w punktach (2) i (3). Wyobraźmy sobie dwa algorytmy A i B, które przeszukują daną przestrzeń wyszukiwania. Twierdzenia „nic za darmo” zakładają, że informacje zwrotne z A i B są dostatecznie zróżnicowane i szczegółowe, aby możliwe było skuteczne przeszukanie całej przestrzeni przez każdy z tych algorytmów. Inaczej mówiąc, każdy cel jest możliwy do znalezienia w dowolnym miejscu przestrzeni wyszukiwania, ponieważ z założenia dostępna jest informacja zwrotna, która umożliwia znalezienie celu3. Zgodnie więc z twierdzeniami „nic za darmo”, gdy reguła aktualizacji wykorzystuje tę informację zwrotną, efektywność wyszukiwania między algorytmem A i algorytmem B, kiedy uśredni się ją po wszystkich przypadkach informacji zwrotnej dla każdego z tych algorytmów, jest stała i równoważna efektywności ślepego wyszukiwania. Oznacza to, że żaden algorytm wyszukiwania nie ma – ogólnie rzecz biorąc – przewagi nad żadnym innym algorytmem wyszukiwania, a tym samym – przy braku specyficznej informacji zwrotnej – żaden algorytm wyszukiwania nie ma lepszej efektywności niż ślepe wyszukiwanie, które z definicji stanowi najmniej efektywną formę wyszukiwania4.
Dobrze pamiętam, jak około roku 2000 rozmawiałem z pewną informatyczką z Massachusetts Institute of Technology o upodobaniu jej studentów do stosowania algorytmów ewolucyjnych do rozwiązywania każdego napotkanego problemu, tak jakby algorytmy ewolucyjne stanowiły uniwersalne rozwiązanie problemów, mające jakąś szczególną przewagę nad innymi typami algorytmów. Uznała ona, że jest to podejście naiwne, niezgodne z niedawno wówczas dowiedzionymi twierdzeniami „nic za darmo”. W jej przekonaniu w tych algorytmach nie ma niczego magicznego. Ich sukcesy nie są niczym niezwykłym, zależą bowiem od skutecznego zaprzęgnięcia ich do rozpatrywanych problemów przy wykorzystaniu mechanizmów informacji zwrotnej (w przypadku algorytmów ewolucyjnych sprzężenie zwrotne przyjmuje formę funkcji przystosowania).
Obecnie, za sprawą sukcesu dużych modeli językowych (LLM – large language models), algorytmem wyszukiwania wybieranym do rozwiązywania problemów są sieci neuronowe. To prawda, że sieci neuronowe są niezwykle uniwersalne. Okazują się jednak bezużyteczne, jeśli nie są sensownie aktualizowane za pomocą mechanizmów sprzężenia zwrotnego. O tym właśnie mówią twierdzenia „nic za darmo”: cała interesująca praca algorytmów wyszukiwania jest zawarta w ich mechanizmach sprzężenia zwrotnego, a zwłaszcza w konkretnej informacji zwrotnej, która jest dostarczana do algorytmu. Przy braku odpowiedniej informacji zwrotnej żaden algorytm nie ma przewagi nad ślepym wyszukiwaniem. A skoro ślepe wyszukiwanie przeprowadzić można zawsze, to stanowi ono punkt odniesienia dla wszystkich wyszukiwań.
Twierdzenia „nic za darmo” można równoważnie ująć w kategoriach biasowania. Skuteczne wyszukiwanie zawsze wymaga biasowania wyszukiwania w kierunku pożądanego wyniku, ale implikuje to, że biasowanie może również nakierowywać na niepożądane wyniki. A jeśli tak, to – gdy uśrednimy każde biasowanie – nie uzyskujemy żadnej przewagi pod względem możliwości znalezienia przedmiotu zainteresowania (przykładem może być poszukiwanie pisanek prowadzone we właściwych i w niewłaściwych kierunkach). Ponieważ zgodnie z twierdzeniami „nic za darmo” uśredniona efektywność pewnych klas algorytmów wyszukiwania pozostaje stała w odniesieniu do ślepego wyszukiwania, więc można uznać, że te twierdzenia mówią w pewnym sensie o zachowaniu informacji – w tym sensie, że zachowanie obowiązuje ściśle, a nie jedynie, że zachowanie to najlepsze, co można osiągnąć, przy czym możliwa jest również utrata zachowania.
Informatyk Thomas M. English, pisząc o twierdzeniach „nic za darmo” wkrótce po ukazaniu się przełomowej pracy Wolperta i Macready’ego, uznał nawet, że uzyskane przez nich wyniki dotyczą „zachowania informacji”:
Niedawno udowodnione przez Wolperta i Macready’ego twierdzenia „nic za darmo” wskazują na potrzebę zrewidowania empirycznych metod oceny ewolucyjnych i genetycznych optymalizatorów. Zgodnie z ich głównym twierdzeniem – w swobodnym sformułowaniu – uśredniona efektywność wszystkich optymalizatorów jest identyczna, jeśli uśredni się rozkład funkcji. Niniejszy artykuł [dotyczy] zachowania informacji, gdy optymalizator ocenia punkty. Wykazuję, że uzyskiwana przez optymalizator informacja o niezaobserwowanych wartościach jest ostatecznie zależna od uprzedniej informacji o rozkładach wartości. Jeśli informacja o jednym rozkładzie stanowi błędną informację o innym rozkładzie, to – ogólnie rzecz biorąc – nie ma żadnego lepszego optymalizatora funkcji w porównaniu z innymi. Badania empiryczne najlepiej jest postrzegać jako próby wywnioskowania, jaką uprzednią informację o rozkładach mają optymalizatory, czyli ustalenia, które narzędzia są dobre do których zadań5.
W świetle twierdzeń „nic za darmo” coś ewidentnie ulega zachowaniu w tym sensie, że efektywność różnych algorytmów wyszukiwania, uśredniona po całym zakresie informacji zwrotnej, jest stała i równoważna efektywności ślepego wyszukiwania. Rodzi się więc pytanie, co twierdzenia „nic za darmo” mają wspólnego ze stale powtarzanym w literaturze o zachowaniu informacji twierdzeniem, że ilość informacji na wyjściu nie jest większa od ilości informacji na wejściu? W gruncie rzeczy związek między nimi jest prosty. Jedynym powodem, dla którego uśredniamy efektywność algorytmów po informacji zwrotnej, jest ten, że nie dysponujemy specyficzną dla danej domeny informacją, która pomagałaby nam znaleźć pożądany cel.
Najniższy wspólny mianownik
Twierdzenia „nic za darmo” wskazują, że przy braku specyficznej dla danej domeny informacji nie dysponujemy żadną informacją wejściową, która mogłaby zwiększyć efektywność wyszukiwania, a w związku z tym nie mamy sposobu na uzyskanie informacji wyjściowej przekraczającej możliwości ślepego wyszukiwania. W zakresie wyszukiwania ślepe wyszukiwanie zawsze stanowi najniższy wspólny mianownik – każde rozważane wyszukiwanie zawsze musi mieć efektywność co najmniej taką, jak ślepe wyszukiwanie, ponieważ ślepe wyszukiwanie zawsze jest możliwe do przeprowadzenia. W świetle twierdzeń „nic za darmo” zarówno na wejściu, jak i na wyjściu mamy więc ślepe wyszukiwanie. Uśrednianie informacji zwrotnej traktowanej jako dana wejściowa pełni funkcję niwelatora, który zapewnia równość między informacją na wejściu a informacją na wyjściu. Twierdzenia „nic za darmo” wskazują na ścisłe zachowanie właśnie dlatego, że ustawiają poprzeczkę bardzo nisko – na poziomie ślepego wyszukiwania.
Zastanawiałem się nad twierdzeniami „nic za darmo” od końca lat dziewięćdziesiątych. Zawsze uważałem, że te twierdzenia są intrygujące, ale jednocześnie niezadowalające. To prawda, że algorytmy wyszukiwania uśrednione po pełnym zakresie różnych przypadków informacji zwrotnej nie mogą mieć większej efektywności niż ślepe wyszukiwanie. Faktem jest jednak, że tym, co sprawia, iż algorytmy wyszukiwania są interesujące, jest ich zdolność do osiągania większej efektywności niż ślepe wyszukiwanie. W zakresie efektywności wyszukiwania ślepe wyszukiwanie ustawia poprzeczkę nisko, ale celem jest jej przeskoczenie.
Klasyczna koncepcja zachowania informacji – w ujęciu Medawara, Brillouina i innych – wymagała, aby każdemu wzrostowi ilości informacji na wyjściu zawsze towarzyszył równie duży wzrost ilości informacji na wejściu. W ramach klasycznej koncepcji zachowania informacji nigdy jednak nie przypisywano precyzyjnych liczb stosunkowi między informacją na wejściu a informacją na wyjściu. W gruncie rzeczy nie było to konieczne, ponieważ – w myśl tej koncepcji – wyszukiwania zależały całkowicie od relacji logicznego następstwa (reguł wnioskowania logicznego albo logicznych kroków programowania), które mają charakter deterministyczny. Te wyszukiwania były nie tyle ślepe, ile wyczerpujące. W przypadku czysto deterministycznych wyszukiwań wyczerpujących wszystkie prawdopodobieństwa miały wartość 0 albo 1, a sukces musiał być pełny albo nie było go w ogóle. Klasyczna koncepcja zachowania informacji nie wymagała więc, aby pomiar ilości informacji uwzględniał subtelne gradacje.
Gdy tylko wyszukiwania zaczęły obejmować również elementy stochastyczne, a więc przestały być deterministyczne, każda adekwatna przyczynowo teoria wyszukiwania wymagała określenia precyzyjnych ilościowych stosunków między informacją na wejściu a informacją na wyjściu. Wyszukiwanie typu „szukanie igły w stogu siana”, w którym prawdopodobieństwo p znalezienia igły jest bliskie 0, wymaga dodatkowej informacji, o ile to prawdopodobieństwo znalezienia igły ma zostać zwiększone tak, aby uzyskano prawdopodobieństwo q, które jest bliskie 1. W świetle koncepcji zachowania informacji, opracowanej później przez Roberta J. Marksa II, Winstona Ewerta, George’a Montañeza i mnie, zwiększenie prawdopodobieństwa skutecznego wyszukiwania z p do q wymaga poniesienia kosztu probabilistycznego p/q, co stanowi precyzyjne liczbowe ujęcie faktu, że w wyszukiwaniu ilość informacji na wyjściu nie może być większa od ilości informacji na wejściu6.
Z niczego
Te wcześniejsze badania zachowania informacji pokazały, że próby ulepszenia wyszukiwań (na przykład przekształcenie wyszukiwania niemal niemożliwego w wykonalne) jedynie przenoszą, a nie eliminują, ciężar wyjaśnienia informacji. Te wcześniejsze badania polegały jednak na rozpatrywaniu konkretnych typów wyszukiwań przypadek po przypadku i dlatego nie miały w pełni ogólnej stosowalności. W obszerniejszym artykule, w którym niniejszy tekst stanowi dodatek historyczny, przedstawiłem zunifikowane ujęcie probabilistyczne uogólniające wszystkie wyniki wcześniejszych badań zachowania informacji. Tworząc z tych ustaleń jeden podstawowy stosunek w ramach rachunku prawdopodobieństwa, ten nowy artykuł dostarcza ostatecznego, w pełni dopracowanego, ogólnego sformułowania prawa zachowania informacji. To prawo pokazuje, że informacja ułatwiająca wyszukiwanie nie może magicznie się zmaterializować z niczego, lecz musi wywodzić się z uprzednio istniejących źródeł.
William A. Dembski
Oryginał: Conservation of Information: The History of an Idea, „Evolution News & Science Today” 2025, January 20 [dostęp: 29 VIII 2025].
Przekład z języka angielskiego: Dariusz Sagan
Przypisy
- Por. W.A. Dembski, R.J. Marks II, Bernoulli’s Principle of Insufficient Reason and Conservation of Information in Computer Search, „Proceedings of the 2009 IEEE International Conference on Systems, Man, and Cybernetics San Antonio, TX, USA”, 2009, October, s. 2648 [2647–2652], https://doi.org/10.1109/ICSMC.2009.5346119.
- Zarówno funkcja przystosowania w dziedzinie obliczeń ewolucyjnych, jak i parametryzacja w dziedzinie sieci neuronowych kierują optymalizacją, ale na różne sposoby. Funkcja przystosowania ocenia w algorytmach ewolucyjnych możliwe rozwiązania, określając ich optymalność. Algorytm ewolucyjny wybiera następnie najlepiej wypadające rozwiązania i poddaje je kolejnemu cyklowi oceny przystosowania. Natomiast parametryzacja w dziedzinie sieci neuronowych odnosi się do wag i biasów definiujących zachowanie modelu. Te parametry są iteracyjnie ulepszane za pomocą bazującej na gradientach optymalizacji, takiej jak propagacja wsteczna, ulegając stałemu dostosowaniu w odniesieniu do gradientów utraty funkcji. Podczas gdy obliczenia ewolucyjne polegają na nieciągłej selekcji kierowanej przez ewaluację przystosowania, sieci neuronowe optymalizują się poprzez ciągłe aktualizowanie parametrów. W obu podejściach chodzi o udoskonalanie efektywności wraz z kolejnymi iteracjami, ale funkcje przystosowania działają na całe rozwiązania, a parametryzacje usprawniają infrastrukturę sieci. W obliczeniach ewolucyjnych zwykle przeszukuje się nieciągłą bądź kombinatoryczną przestrzeń rozwiązań, zaś sieci neuronowe dostosowują przyjmujące ciągłe wartości wagi parametrów w przestrzeniach o wielu wymiarach.
- Ta zdolność do generowania w pełni zróżnicowanego zakresu informacji zwrotnej umożliwiającej algorytmowi wyszukiwania przeszukanie całej przestrzeni wyszukiwania jest niekiedy ujmowana w ten sposób, że algorytm jest zamknięty permutacyjnie. Oznacza to, że nie ma znaczenia, jak przemianujemy punkty przestrzeni wyszukiwania, ponieważ żadne takie przemianowanie nie wpływa na efektywność algorytmu wyszukiwania pod kątem znalezienia celu. Szczegóły na ten temat por. w: C. Igel, M. Toussaint, A No-Free-Lunch Theorem for Non-Uniform Distributions of Target Functions, „Journal of Mathematical Modelling and Algorithms” 2004, Vol. 3, s. 313–322, https://doi.org/10.1023/B:JMMA.0000049381.24625.f7.
- Ślepe wyszukiwania przeszukują przestrzeń wyszukiwania bez specyficznej dla danej domeny heurystyki lub innej informacji, która kieruje wyszukiwanie do celu. Powszechnymi typami ślepego wyszukiwania są między innymi jednorodne próby losowe (z zapamiętywaniem i bez zapamiętywania) oraz wyszukiwanie wyczerpujące (przeszukiwanie całej przestrzeni wyszukiwania – albo tak dużej jej części, jak to możliwe – w żadnym szczególnym porządku). Ślepe wyszukiwanie gwarantuje znalezienie rozwiązania, jeśli w przestrzeni wyszukiwania da się wypróbować dostatecznie dużo miejsc, ale nie jest to realne, jeżeli przestrzeń wyszukiwania jest zbyt duża. Ślepe wyszukiwania zwykle są nieefektywne, ponieważ mają tendencję do przeszukiwania dużych części przestrzeni wyszukiwania, które nie mają żadnego znaczenia dla wyszukiwanego celu. W odróżnieniu od wyszukiwania heurystycznego, w którym wykorzystuje się wiedzę czy informację specyficzną dla problemu do kierowania procesem wyszukiwania, ślepe wyszukiwania wszystkie możliwe sposoby przeszukiwania przestrzeni wyszukiwania traktują jako równoważne, a przez to w przypadku wielkoskalowych problemów wiążą się z dużymi kosztami obliczeniowymi. Chociaż często wykorzystuje się je jako punkt odniesienia dla porównań – dokonywanych w przypadku twierdzeń „nic za darmo” – to ślepe wyszukiwania są w praktyce efektywne tylko w przypadku przestrzeni wyszukiwania, które nie są zbyt duże i w których wyszukiwaniem może kierować wyłącznie mała ilość informacji albo nawet żadna informacja nie jest dostępna.
- T.M. English, Evaluation of Evolutionary and Genetic Optimizers: No Free Lunch, w: Evolutionary Programming V: Proceedings of the Fifth Annual Conference on Evolutionary Programming, eds. L.J. Fogel, P.J. Angeline, T. Bäck, MIT Press, Cambridge 1996, s. 163 [163–169]. Zwróćmy uwagę na datę – 1996 – która wskazuje, że English odnosi się do oryginalnego artykułu Wolperta i Macready’ego na temat twierdzeń „nic za darmo”, który przedstawili oni w Instytucie Santa Fe (1996), nie zaś do ich późniejszego, doszlifowanego artykułu opublikowanego na łamach czasopisma „IEEE Transactions on Evolutionary Computation” (1997). English omówił też mające podstawę w teorii informacji racje na rzecz stosowania języka zachowania informacji do opisywania twierdzeń „nic za darmo”. Por. T.M. English, No More Lunch: Analysis of Sequential Search, „Proceedings of the 2004 Congress on Evolutionary Computation” (IEEE Cat. No.04TH8753), s. 227–234, https://doi.org/10.1109/CEC.2004.1330861. Należy także wspomnieć o przełomowym artykule na temat zachowania informacji (w szerokim ujęciu) autorstwa Cullena Schaffera, który ukazał się w 1994 roku, czyli przed całą tą wrzawą wywołaną przez twierdzenia „nic za darmo” w 1996 roku. Por. C. Schaffer, A Conservation Law for Generalization Performance, w: Machine Learning: Proceedings of the Eleventh International Conference, eds. W.W. Cohen, H. Hirsh, Morgan Kaufmann, San Francisco 1994, s. 259–265. W tym artykule Schaffer dowodzi fundamentalnego rezultatu dotyczącego uczenia maszynowego, pokazującego, że efektywność generalizacji – jak dobrze model przewiduje niezaobserwowane dane – to z natury rzeczy gra o sumie zerowej: całkowita efektywność generalizacji osoby uczącej się, uśredniona po wszystkich sytuacjach uczenia się, ma wartość zero. W związku z tym w przypadku każdego modelu uczenia maszynowego zwiększenie efektywności w jednym podzbiorze problemów uczenia się jest dokładnie równoważone zmniejszeniem efektywności w innych podzbiorach. Sformułowane przez Schaffera prawo zachowania nakłada ścisłe ograniczenia na zdolność dowolnej osoby uczącej się do uzyskiwania efektywności w każdej sytuacji, podkreślając, że zyski w zakresie generalizacji są zawsze równoważone stratami w innym miejscu przestrzeni problemów. Schaffer analizuje implikacje tego ustalenia dla projektowania, ewaluacji i ulepszania modeli uczenia maszynowego. Mimo iż Schaffer nie mówi o wyszukiwaniu, lecz o uczeniu się, te dwa zagadnienia są sobie w istocie równoważne (uczenie się jest poszukiwaniem wiedzy). Można przypuszczać, że wszystkie kluczowe elementy sformułowanych przez Wolperta i Macready’ego twierdzeń „nic za darmo” mają swoją antycypację w zaproponowanym przez Schaffera prawie zachowania dla generalizacji.
- Por. publikacje udostępnione na stronie internetowej Evolutionary Informatics Lab.
Literatura:
1. Braunstein S.L., Pati A.K., Quantum Information Cannot Be Completely Hidden in Correlations: Implications for the Black-Hole Information Paradox, „Physical Review Letters” 2007, Vol. 98, No. 8, numer artykułu: 080502, https://doi.org/10.1103/PhysRevLett.98.080502.
2. Brillouin L., Nauka a teoria informacji, tłum. S. Mazurek, J. Szklanny, „Informacja i Sterowanie”, Państwowe Wydawnictwo Naukowe, Warszawa 1969.
3. Coelho R.L., On the Concept of Energy: How Understanding Its History Can Improve Physics Teaching, „Science & Education” 2007, Vol. 18, No. 8, s. 961–983, https://doi.org/10.1007/s11191-007-9128-0.
4. Dembski W.A., Marks II R.J., Bernoulli’s Principle of Insufficient Reason and Conservation of Information in Computer Search, „Proceedings of the 2009 IEEE International Conference on Systems, Man, and Cybernetics San Antonio, TX, USA”, 2009, October, s. 2647–2652, https://doi.org/10.1109/ICSMC.2009.5346119.
5. English T.M., Evaluation of Evolutionary and Genetic Optimizers: No Free Lunch, w: Evolutionary Programming V: Proceedings of the Fifth Annual Conference on Evolutionary Programming, eds. L.J. Fogel, P.J. Angeline, T. Bäck, MIT Press, Cambridge 1996, s. 163–169.
6. English T.M., No More Lunch: Analysis of Sequential Search, „Proceedings of the 2004 Congress on Evolutionary Computation” (IEEE Cat. No.04TH8753), s. 227–234, https://doi.org/10.1109/CEC.2004.1330861.
7. Fomin S.W., Kornfeld I.P., Sinaj J.G., Teoria ergodyczna, tłum. J. Jakubowski, Państwowe Wydawnictwo Naukowe, Warszawa 1987.
8. Igel C., Toussaint M., A No-Free-Lunch Theorem for Non-Uniform Distributions of Target Functions, „Journal of Mathematical Modelling and Algorithms” 2004, Vol. 3, s. 313–322, https://doi.org/10.1023/B:JMMA.0000049381.24625.f7.
9. Lovelace A., Translator’s Notes on Menabrea’s Memoir, w: Scientific Memoirs, Selected from the Transactions of Foreign Academies of Science and Learned Societies, and from Foreign Journals, Vol. 3, ed. Taylor, Richard and John E. Taylor, London 1843, s. 691–731.
10. Medawar P., The Limits of Science, Harper & Row, New York 1984.
11. Poe E.A., Maelzel’s Chess-Player, „Southern Literary Messenger” 1836, No. 2, s. 318–326 [dostęp: 27 I 2025].
12. Rowland H.A., The Highest Aim of the Physicist, Presidential Address to the American Physical Society, 1899, October 28, s. 4–16 [dostęp: 26 I 2025].
13. Schaffer C., A Conservation Law for Generalization Performance, w: Machine Learning: Proceedings of the Eleventh International Conference, eds. W.W. Cohen, H. Hirsh, Morgan Kaufmann, San Francisco 1994, s. 259–265.
14. Suppes P., Probabilistic Metaphysics, Basil Blackwell, Oxford 1984.
15. Susskind L., Lindesay J., An Introduction to Black Holes, Information, and the String Theory Revolution: The Holographic Universe, World Scientific, Singapore 2005.
16. Turing A.M., Computing Machinery and Intelligence, „Mind” 1950, Vol. 59, No. 236, s. 433–460, https://doi.org/10.1093/mind/LIX.236.433.
17. Wolpert D.H., Macready W.G., No Free Lunch Theorems for Optimization, „IEEE Transactions on Evolutionary Computation” 1997, Vol. 1, No. 1, s. 67–82, https://doi.org/10.1109/4235.585893.
18. Wolpert D.H., Macready W.G., No Free Lunch Theorems for Search, SFI-TR-95-02-010 (Santa Fe Institute), 1996, February 23.