AAA

Sztuczna inteligencja1

Bogdan Stefanowicz

Termin "sztuczna inteligencja" towarzyszy wykorzystaniu komputerów w zasadzie od początku rozwoju tej techniki, to znaczy od lat 50. ubiegłego wieku. Skłoniła do tego refleksja nad pytaniem o to, jakie narzędzie zyskał człowiek budując komputer. Interesujące studium na ten temat zawiera znakomita książka Edmunda Berkeley'a Rewolucja maszyn matematycznych z roku 19622 (przekład polski ukazał się w roku 1969 ). Autor ten w ślad za innymi wnikliwymi badaczami rozwijającej się nowej techniki - techniki komputerowej - podjął próbę znalezienia odpowiedzi na pytanie: jaką potęgę zyskał człowiek? (jest to tytuł jednego z rozdziałów tej książki).

Jego badania oraz badania szeregu innych specjalistów dowiodły, że komputer to nie tylko rozbudowany arytmometr, lecz urządzenie pozwalające realizować w sposób automatyczny szereg procesów, które poprzednio traktowano jako procesy możliwe do zrealizowania wyłącznie przez człowieka w procesach myślowych. W związku z tym zaczęto zastanawiać się: czy komputer myśli?

Jak łatwo się domyślić, pytanie to wywołało burzę w świecie nauki. Jedni twierdzili, że jest to herezja: jak można przypuszczać, że jakaś poplątana sieć kabli elektrycznych może myśleć?! Inni natomiast drążyli problem, zakładając, że nie należy niczego z góry odrzucać, dopóki tej kwestii nie zbada się dokładniej. Taką propozycję przedstawili Edward Feigenbaum i Julian Feldman w książce Maszyny matematyczne i myślenie (1963, przekład polski - rok 19723): Czy maszyny cyfrowe mogą myśleć? Nie - jeśli zdefiniuje się myślenie jako działalność specjalnie i wyłącznie ludzką. (...) Nie - jeśli zakłada się, że w samej istocie myślenia jest coś niezgłębionego, tajemniczego, mistycznego. Tak - jeśli przyjmuje się, że to zagadnienie należy rozstrzygnąć na drodze eksperymentu i obserwacji, porównując zachowanie się maszyny cyfrowej z zachowaniem się istot ludzkich, w stosunku do których termin "myślenie" ma powszechne zastosowanie4.

Dyskusje i prace nad tą kwestią zrodziły sztuczną inteligencję. Celem artykułu jest przedstawienie argumentów wskazujących, że ten kierunek badań i praktycznych zastosowań metod informatycznych jest oparty na mocnych podstawach, wynikających z obserwacji rozwoju Natury, a więc jest perspektywiczny.

Definicje i interpretacje

Warto zauważyć, że niektórzy w ogóle negują istnienie czegoś takiego, jak sztuczna inteligencja. Ale czy taka negacja jest zasadna? Czy można odrzucać cokolwiek bez jakiejkolwiek próby wyjaśnienia, co się odrzuca?

Dlatego na początku musimy uzgodnić znaczenie terminu "sztuczna inteligencja". Zadanie nie jest proste ze względu na różne poglądy na ten temat. Można nawet wyraźnie wyróżnić trzy podejścia:

  • posługiwanie się tym terminem bez próby wyjaśnienia jego znaczenia,
  • zdefiniowanie terminu,
  • opis znaczenia terminu przez wskazanie zagadnień, jakimi zajmuje się lub powinna zajmować dziedzina, która jest określana jako sztuczna inteligencja.
Nietrudno dostrzec krótkowzroczność podejścia pierwszego. Taka postawa rodzi bezproduktywne spory: dyskutanci mogą mieć na myśli różne pojęcia, chociaż będą posługiwać się tym samym terminem. Czasami też obserwuje się przywoływanie różnych terminów (synonimów) do określania jednego i tego samego pojęcia. A jeżeli ktoś w ogóle nie zabiera głosu, to tym gorzej dla niego: pewnie nie wie, co to jest sztuczna inteligencja.
  1. (...) Najpowszechniej przyjęta definicja sztucznej inteligencji - realizacja za pomocą komputera tego, co w wypadku realizacji przez człowieka byłoby nazywane działaniem inteligentnym. (...) Niektórzy uważają ją za teorię zachowania człowieka, podczas gdy inni (...) traktują ją jako zbiór inteligentnych technik programowania5.
  2. (...) Wszelkie badania dotyczące aspektów związanych (lub spójnych) z problemami inteligencji, prowadzone metodami realizacji technicznej lub teoretycznych rozwiązań wykorzystujących formalizm matematyczny (...) nazywa się ogólnie badaniami nad sztuczną inteligencją6.
  3. Sztuczna inteligencja jest tą częścią informatyki, która bada procesy rozumowania symbolicznego i niealgorytmicznego oraz zajmuje się reprezentacją symbolicznie ujętej wiedzy7.

Wnioski

  • Nie ma jednomyślności co do treści pojęcia określanego terminem "sztuczna inteligencja". Wynika to z kilku powodów:
    • z niejasności, co to jest inteligencja,
    • z faktu, że tą dziedziną zajmują się specjaliści o różnych zainteresowaniach: matematycy, którym nie zawsze jest potrzebny komputer, informatycy, którym nie zawsze jest potrzebna matematyka, psychologowie, którzy w centrum uwagi stawiają człowieka;
  • Sztuczna inteligencja ma ścisły związek z wiedzą o człowieku, z psychologią. Psychologia wniosła duży wkład w rozwój tej dziedziny. Świadczą o tym liczne publikacje zwłaszcza z pierwszego okresu rozwoju tej dziedziny;
  • Wyróżnia się dwa główne nurty badawcze sztucznej inteligencji:
    • budowa komputerowych modeli procesów myślowych człowieka w celu rozwijania badań w zakresie nauk psychologicznych,
    • poszukiwanie nietrywialnych metod rozwiązywania zadań w warunkach nieoczekiwanego ich pojawiania się przy braku wszystkich potrzebnych informacji - poszukiwanie inteligentnych metod programowania komputerów;
  • Pierwsze rozwiązania w zakresie sztucznej inteligencji zostały zaproponowane przez matematyków w okresie, kiedy wydajność komputerów daleko odbiegała od naszych współczesnych doświadczeń8. Okazało się wszak, że ważniejsza od wydajności komputerów jest wyobraźnia i odwaga badawcza w formułowaniu zupełnie nowych tez.
Zwróćmy uwagę, że konfrontacja przedstawionych wypowiedzi z szeregiem współcześnie proponowanych rozwiązań może zrodzić zasadną wątpliwość: czy termin "sztuczna inteligencja" dobrze charakteryzuje rozpatrywaną dziedzinę, skoro szeregu rozwiązań w żadnym wypadku nie można bez uzasadnionych wątpliwości interpretować jako inteligentne w tradycyjnym rozumieniu. Czy na przykład sieć neuronowa jako model mózgu jest modelem inteligencji lub czy algorytm ewolucyjny, opisujący rozwój ewolucyjny w przyrodzie, przejawia jakąś inteligencję? Nadal jednak tym terminem będziemy posługiwać się na określenie zbioru rozwiązań zapoczątkowanych pracami bezpośrednio opartymi na analizach zachowań ludzkich i zmierzającymi do budowania programów i systemów wyposażonych w elementy inteligencji.

Trzecie podejście do wyjaśnienia znaczenia terminu "sztuczna inteligencja" polega na opisie tej dziedziny przez wskazanie zadań, jakimi powinna się zajmować:

  • Głównymi zadaniami sztucznej inteligencji jest zwiększenie użyteczności komputerów i zrozumienie zasad, które czynią inteligencję możliwą9.
  • Według Earla B. Hunta10, do zadań sztucznej inteligencji zalicza się (kolejność tych zadań jest tu przypadkowa):
    • rozwiązywanie przez komputer trudnych, nietrywialnych zadań, wymagających znalezienia rozwiązania w warunkach niepełnej i niepewnej informacji - podobnie jak to czyni człowiek w codziennym życiu;
    • rozpoznawanie obrazów, czyli dokonywanie klasyfikacji obiektów według zaobserwowanych ich cech; dodajmy, że operacja klasyfikacji towarzyszy człowiekowi nieustannie w kontaktach z innymi ludźmi oraz w pokonywaniu codziennych większych i mniejszych kłopotów;
    • gry ekonomiczne, strategiczne itp. oraz podejmowanie decyzji;
    • rozumienie przez komputer języka naturalnego - tzw. maszynowe przetwarzanie języka, jak na przykład maszynowy przekład z jednego języka na inny lub prowadzenie dialogu człowiek - maszyna;
    • konstruowanie robotów.
  • Według Nilsa Nilssona11, sztuczna inteligencja powinna zajmować się:
    • wyszukiwaniem i analizą informacji w dużych zbiorach; teraz do tego zadania należy dodać analizę danych (data mining);
    • budowaniem i użytkowaniem systemów eksperckich;
    • automatycznym dowodzeniem twierdzeń matematycznych;
    • automatycznym programowaniem komputerów;
    • rozwiązywaniem zadań kombinatorycznych i układaniem harmonogramów;
    • rozwiązywaniem zadań z zakresu wzrokowego i dźwiękowego odbioru sygnałów.
  • Trzecie podejście ma tę zaletę, że nie usiłuje podać jednoznacznej definicji tego pojęcia, przyjmując założenie, że każda definicja może być krytykowana. Na podstawie przytoczonych przykładów każdy może samodzielnie ukształtować obraz tej dziedziny. Wadą zaś tej metody jest to, że nie sposób z góry sporządzić wyczerpującej listy zadań: rozwój badań w zakresie sztucznej inteligencji dostarcza wciąż nowych propozycji. Toteż opieranie się tylko na ograniczonych przykładach może zniekształcić właściwy obraz tej dziedziny.

Metody sztucznej inteligencji

Z przedstawionej charakterystyki sztucznej inteligencji wynika, że rozwinęła się ona przy wykorzystaniu metod istotnie różniących się od metod klasycznej informatyki.

Budowa systemów wykorzystujących metody sztucznej inteligencji wymaga oparcia się na wzorcach, jakimi są sukcesy człowieka w codziennym zmaganiu się z niezliczoną ilością czasami prostych, a czasami bardzo złożonych problemów życiowych. I to, że nie zawsze nam, ludziom, udaje się znaleźć natychmiast rozsądne wyjście z kłopotów, jest tylko wyjątkiem od reguły: potrafimy wszak na ogół jakoś radzić sobie z najrozmaitszymi trudnymi sytuacjami.

Niezależnie od różnych opinii krytycznych, wielu entuzjastów nowej techniki - techniki komputerowej - podjęło badania i eksperymenty nad budowaniem programów "myślących", wzorując się na procesach myślowych człowieka. Ich prace już we wczesnym okresie rozwoju informatyki doprowadziły do powstania szeregu ciekawych rozwiązań, które nie mieściły się w ramach rozwijającej się algorytmiki i algorytmicznego podejścia do budowy programów komputerowych. Jednym z takich spektakularnych rozwiązań był program gry w szachy, nad którym prace zapoczątkował Claude Shannon w roku 1949 (opis prac nad tym programem znajduje się we wspomnianej książce Feigenbauma i Feldmana). Pojawiły się też prace nad programami dowodzenia twierdzeń matematycznych, programami rozpoznawania obrazów, programami umożliwiającymi prowadzenie rozmów z komputerem (przetwarzanie języka naturalnego) i inne.

Wszystkie one miały wspólną cechę: były budowane jako modele procesów myślowych człowieka. Główną cechą tych procesów jest to, że człowiek nie liczy, lecz prowadzi wnioskowanie (nie zawsze zgodne z zasadami logiki: na złość mamie odmrożę sobie uszy!) w oparciu o heurystyki, czyli domysły, doświadczenia własne i innych osób, nowe pomysły itp.

Obecnie badania nad sztuczną inteligencją obejmują nie tylko zagadnienia modelowania w komputerze procesów myślowych człowieka, lecz także modelowanie ogólniejszych struktur i procesów występujących w naturze. W rezultacie pojawiają się coraz to nowsze propozycje: sieć neuronowa jako model mózgu, algorytm ewolucyjny jako model ewolucyjnego rozwoju w przyrodzie, model mrówkowy jako model zachowania społeczności mrówek i szereg innych. Modele te nie tylko opisują modelowane zjawiska i procesy, lecz także stanowią doskonałe narzędzie informatyczne wspierające rozmaite procesy gospodarcze, społeczne, decyzyjne.

Budowanie nowych rozwiązań w tej dziedzinie to rozwiązywanie zadań typu odkryć: odkryć, jakie jeszcze prawa i procesy występują w Naturze, które pozwalają jej trwać przez tyle milionów lat. Proces ten polega na realizacji kilku etapów, do których należą:

  1. wnikliwa obserwacja otoczenia i odkrywanie zasad, jakie regulują występujące tam procesy. Jak dotąd, obserwacje takie obejmowały procesy zachodzące w przyrodzie ożywionej: zachowania człowieka, mrówek, pszczół;
  2. opracowanie matematycznego modelu odkrytych prawidłowości (tu trzeba oddać głęboki ukłon przed tą przez wielu nielubianą i wręcz lekceważoną dziedziną!);
  3. opracowanie odpowiedniego programu komputerowego na podstawie modelu matematycznego.
Przy okazji warto zwrócić uwagę w tym procesie na konieczność odwoływania się do różnych specyficznych pojęć i terminów w tych obszarach, które stanowią podstawę do budowania nowego rozwiązania uzupełniającego zbiór metod sztucznej inteligencji. W szczególności zaistniała potrzeba odwołania się do terminów z zakresu psychologii, kiedy zostały podjęte próby zbudowania informatycznego modelu procesu myślowego człowieka, jak na przykład do terminu "myślenie".

Sprawia to, że metodom należącym do zbioru metod sztucznej inteligencji należy przypisać kilka istotnych cech:

  1. Ich rozwój sprzyja pogłębieniu rozumienia pojęć, na podstawie których metody takie są budowane. Odbywa się to na zasadzie operacjonalizacji tych pojęć, czyli ich redefinicji z wykorzystaniem pojęć i terminów informatycznych. Poszerza to ich rozumienie.
  2. W niektórych przypadkach ich budowa przyczynia się do odkrycia dodatkowych okoliczności, na które w "normalnych warunkach" człowiek nie zwraca uwagi. Przykładem jest problem niepewności w formułowaniu wniosków i podejmowaniu decyzji. To prawda, że każdy z nas zdaje sobie sprawę, że tylko w nielicznych przypadkach można jednoznacznie z góry przewidzieć wynik podejmowanych działań. Jednakże życie codzienne dostarcza takich sytuacji problemowych, których nie można rozwiązać z absolutną pewnością, że podejmowane decyzje nie zawiodą. Otóż metody sztucznej inteligencji wręcz wymuszają włączenie do budowanego rozwiązania modułu oceny stopnia pewności, z jakim proponowane przez program rozwiązanie można uznać za możliwe do przyjęcia.
  3. Siła metod sztucznej inteligencji kryje się w tym, że główną cechą tej dziedziny jest wnikliwa obserwacja Natury we wszystkich jej przejawach: zachodzących w niej procesów, istniejących struktur, sposobów radzenia z przeciwnościami. I tak:
    • systemy produkcji to rezultat wielowiekowych obserwacji zachowań człowieka i procesów podejmowania decyzji;
    • sieci neuronowe to próba odtworzenia struktury mózgu, który pozwala człowiekowi organizować sobie życie w społeczeństwie i nierzadko trudnym środowisku;
    • algorytm genetyczny to wynik obserwacji zachowań przyrody w procesie jej ewolucji i poszukiwania odpowiedzi na pytanie, na jakich zasadach przyroda ewoluuje i daje sobie radę z nieustannie zmieniającymi się warunkami.
Siła metod sztucznej inteligencji wynika więc z tego, że badacze pilnie i wnikliwie obserwują Naturę i na podstawie tych obserwacji podejmują próbę zbudowania sztucznych modeli odwzorowujących najistotniejsze cechy natury: procesy "życia" pozwalające jej przetrwać. Natura wykształciła te procesy i mechanizmy na drodze milionów lat ewolucji, odrzucając po drodze rozwiązania nieefektywne i przyjmując najskuteczniejsze.

W wyniku ewolucji na przykład mózg odrzucił algorytmiczne zasady rozwiązywania codziennych problemów i oparł się na heurystycznym podejściu. Algorytmika odgrywa w informatyce kluczową rolę, ale jest to sztuczne dla Natury. Dlatego w praktyce można więcej się spodziewać od rozwiązań opartych na heurystykach niż na genialnych algorytmach.

Perspektywy

Perspektywy sztucznej inteligencji wynikają z podejmowanych tematów. Wśród nich na uwagę zasługują:

  • Wiedza i jej komputerowa reprezentacja. Budowanie rozwiązań informatycznych na wzór zachowania człowieka nie może obejść się bez odwołania się do tego kluczowego pojęcia. Nie wystarczy przy tym odwołanie się do definicji i interpretacji proponowanych w kontekście aktywności człowieka: konieczna jest operacjonalizacja tego pojęcia w warunkach gromadzenia, przechowywania, przetwarzania i wykorzystywania wiedzy w systemach informatycznych. Warto podkreślić, że badania w tym zakresie wnoszą znaczący wkład w zarządzaniu, w szczególności w zarządzaniu wiedzą.
  • Uczenie się. Przejawem inteligencji naturalnej jest zdolność (a także chęć!) do uczenia się.
  • Rozwiązywanie zadań. Jest to kolejny przejaw inteligencji naturalnej, inteligencji człowieka. Współczesne poszukiwania w zakresie sztucznej inteligencji wykraczają poza modele procesów myślowych i odwołują się do innych zjawisk obserwowanych w Naturze. Doprowadziło to do zbudowania modeli procesów myślowych człowieka w postaci systemów produkcji, modeli mózgu (sieci neuronowe), modeli ewolucji w naturze (algorytmy genetyczne), modeli zachowań społeczności owadów (na przykład modele mrówkowe) i innych.
  • Podejmowanie decyzji w warunkach niepewności. To jeden fenomenów zachowania człowieka. Decyzje - w bardziej czy mniej poważnych sprawach - rzadko kiedy podejmujemy przy pełnej i wyczerpującej znajomości wszystkich okoliczności, nie tylko w odniesieniu do bieżącej chwili (z tym jeszcze jakoś można się uporać), lecz głównie w odniesieniu do momentu, kiedy decyzja zostanie wdrożona i pojawią się jej skutki.
Rozwój sztucznej inteligencji będzie postępował dalej, nawet jeżeli wielu specjalistów będzie się zżymać na dźwięk tego terminu. Trudno nawet nakreślić granice tego rozwoju. Zapewne będzie on trwać dopóty, dopóki człowiekowi nie uda się odkryć wszystkich tajemnic Natury. A ponieważ nie uda się jemu tego dokonać nigdy, to zwolennicy sztucznej inteligencji będą mieli przed sobą wciąż obszerne pole do popisu.

Odkrycia i propozycje sztucznej inteligencji zapewne wniosą wielki wkład w rozwój nauki, a w szczególności informatyki. Będą bowiem stawiać wciąż nowe pytania, na które nauka będzie musiała szukać odpowiedzi. Nie na wszystkie znajdzie. Ale już samo poszukiwanie przyczyni się do pogłębienia wiedzy o otaczającej rzeczywistości.

Trzeba jednak zwrócić uwagę i na potencjalne efekty niekorzystne. Do takich można zaliczyć na przykład budowanie inteligentnych robotów, które mogą wziąć udział w aktach terrorystycznych i różnych wojnach w celu unicestwienia wielu istnień ludzkich. Trzeba wszak liczyć się z faktem, że zawsze znajdzie się ktoś o charakterze dyktatora, terrorysty lub maniaka, zdolnego do wykorzystania wszystkiego, co pozwoli mu zrealizować swój zabójczy zamiar. Do arsenału takich narzędzi mogą należeć metody sztucznej inteligencji.

Nie należy z tego wnioskować, że dla ogólnego dobra lepiej zaniechać prac nad rozwojem sztucznej inteligencji. Wręcz przeciwnie: trzeba poszukiwać racjonalnych i korzystnych rozwiązań, bacząc jednocześnie na to, aby wszelkie zamysły destrukcyjne były jak najszybciej wykryte i zneutralizowane. Warto do tego wykorzystać metody sztucznej inteligencji.

To prawda, że trudno optymistycznie zakładać, iż metody sztucznej inteligencji są w stanie rozwiązać wszystkie problemy, z którymi styka się człowiek. Na dowód tego warto przytoczyć pewien fragment z książki Stanisława Lema Katar12. Otóż główny bohater prowadzi dyskusję ze znanym matematykiem, znawcą współczesnej techniki informatycznej, na temat możliwości wykorzystania komputera do wykrycia sprawców tragicznych śmierci szeregu osób w Neapolu. Bohater Lema sugeruje, że do rozwikłania tej tajemnicy może przydać się komputer. Na to ów matematyk: Dajmy na to, że w Neapolu działa nowy krąg handlarzy narkotykami i że hotel jest jedną z rozdzielni, że nabywcom dostarcza się towaru zastępując nim sól w określonej solniczce, czy od czasu do czasu nie mogłoby dojść do zamiany solniczek na stołach w jadalni? I czy nie byliby wtedy narażeni na zatrucie tylko ludzie lubiący jeść słono? I jakim sposobem, pytam pana, mógłby do tego dojść komputer, jeśli we wprowadzonym materiale nie będzie ani jednego bitu o tych solniczkach, o narkotykach i o gustach kulinarnych ofiar?

Warto wszakże zacytować też innego autora, Goriełova: Maszyny nigdy nie nauczą się kochać, nienawidzić, pogardzać; i doświadczenia w zakresie układania wierszy maszynowych, muzyki maszynowej i maszynowych przekładów są potrzebne zupełnie nie dlatego, żeby komputer pisał wiersze jak Andrej Wozniesienskij lub jak Dmitrij Szostakowicz, albo tłumaczył jak Arsienij Tarkowskij; raczej po to, aby kompozytorzy i poeci nie mieli prawa pisać jak komputery, a pozostali - aby się nauczyli odróżniać sztukę od podróbek rzemieślniczych13.

Bibliografia

  • I. Aleksander, Designing Intelligent Systems, Kogan Page Ltd., 1984.
  • E.C. Berkeley, Rewolucja maszyn matematycznych, PWN, Warszawa 1969.
  • A. Dziurnikowski, Nie ma jednolitej definicji, "Informatyka" 1979, nr 3.
  • A. Dziurnikowski, M. Gliński, A. Szewczyk, Na trzy głosy, "Informatyka" 1979, nr 3.
  • E. Feigenbaum, J. Feldman, Maszyny matematyczne i myślenie, PWN, Warszawa 1972.
  • R. Forsyth, Expert Systems - Principles and Case Studiem, Chapman and Hall, Univ. Press Cambridge 1984.
  • I.N. Goriełov, Razgovor s kompiutierom, Wydawnictwo Nauka, Moskwa 1987.
  • E.B. Hunt, Artificial Intelligence, Academic Press of the University of Washington Seattle, New York, Nowy Jork 1975.
  • S. Lem, Katar, Wydawnictwo Literackie, Kraków 1976.
  • N.J. Nilsson, Principles of Artificial Intelligence. Togia Publ. Co., Palo Alto 1980.
  • P.H. Winston, Artificial Intelligence. Addison Wesley Publ. Comp. Reading, Massachusetts 1997

INFORMACJE O AUTORZE

BOGDAN STEFANOWICZ
Autor jest profesorem, pracownikiem naukowo-dydaktycznym SGH od 1977 roku. Od około dziesięciu lat prowadzi wykłady z przedmiotu sztuczna inteligencja na studiach dziennych i zaocznych. Opublikował z tego zakresu skrypt Sztuczna inteligencja i systemy eksperckie - Przewodnik, SGH, Warszawa 2002.

 

Przypisy

1 Artykuł powstał na podstawie materiałów publikowanych przez autora w ramach wykładów nt. sztucznej inteligencji zamieszczonych na platformie e-learningowej SGH.

2 E.C. Berkeley, Rewolucja maszyn matematycznych, tłum. L. Szczerba, PWN, Warszawa 1969.

3 E. Feigenbaum, J. Feldman (red.), Maszyny matematyczne i myślenie, PWN, Warszawa 1972.

4 Tamże, s. 16-17.

5 I. Aleksander, Designing Intelligent Systems, Kogan Page Ltd., 1984, s.17.

6 A. Dziurnikowski, Nie ma jednolitej definicji, "Informatyka" 1979, nr 3, s. 19.

7 R. Forsyth, Expert Systems - Principles and Case Studies, Chapman and Hall, Univ. Press Cambridge, 1984, s. 15.

8 W latach 60. autor pracował na komputerze, który miał 1024 słowa pamięci wewnętrznej, w której trzeba było zmieścić cały program oraz czasami duże porcje danych: na przykład całe tabele.

9 P.H. Winston, Artificial Intelligence, Addison Wesley Publ. Comp. Reading, Massachusetts 1977, s. 1.

10 E.B. Hunt, Artificial Intelligence, Academic Press of the University of Washington Seattle, Nowy Jork 1975.

11 N.J. Nilsson, Principles of Artificial Intelligence, Togia Publ. Co., Palo Alto 1980.

12 S. Lem, Katar, Wydawnictwo Literackie, Kraków 1976, s. 90-91.

13 I.N. Goriełov, Razgovor s kompiutierom, Wydawnictwo Nauka, Moskwa 1987, s. 228.