Κατάταξη Επιληψιών & Επιληπτικών συνδρόμων σε παιδιά
με την βοήθεια ηλεκτρονικών υπολογιστών
Κ. ΒΑΣΙΛΑΚΗΣ¹, Σ. ΜΙΧΕΛΟΓΙΑΝΝΗΣ^2
1Πανεπιστήμιο Κρήτης / ΤΕΙ Ηρακλείου, Διεύθυνση: ΤΕΙ Ηρακλείου, Σταυρωμένος, Ηράκλειο Κρήτης.
²Πανεπιστήμιο Κρήτης, Ιατρική Σχολή.

Περίληψη
Στην Ιατρική σε διάφορες νοσολογικές οντότητες όπου υπάρχουν διαφοροδιαγνωστικά προβλήματα, έχουν συχνά χρησιμοποιηθεί διάφορες τεχνολογίες της πληροφορικής με στόχο να βοηθήσουν στην διαγνωστική διαδικασία. Τα «έμπειρα συστήματα» είναι μία πολύ γνωστή μεθοδολογία της «τεχνικής νοημοσύνης» που βρίσκει εφαρμογές στην ιατρική διάγνωση. Με τα έμπειρα συστήματα επιτυγχάνεται η τυποποίηση της ιατρικής γνώσης και της διαγνωστικής διαδικασίας σε ορισμένες γνωστικές περιοχές της ιατρικής και η αποθήκευση αυτών σε υπολογιστικά συστήματα. Στην πράξη, όταν χρησιμοποιούμε τα έμπειρα συστήματα, αυτά εκμεταλλεύονται τις πολλές αποθηκευμένες πληροφορίες (βάση γνώσεων) και κατά κάποιο τρόπο μιμούνται τον τρόπο σκέψης του γιατρού, έχοντας την δυνατότητα να βοηθήσουν σε διαδικασίες εξαγωγής συμπερασμάτων.
Στην παρούσα έρευνα χρησιμοποιήσαμε την τεχνολογία των έμπειρων συστημάτων για την ανάπτυξη ενός διαγνωστικού συστήματος για περιπτώσεις επιληψίας που παρουσιάζονται στην παιδική ηλικία, όπου ειδικά επιληπτικά σύνδρομα δυσκολεύουν την διάγνωση και οι εργαστηριακές εξετάσεις συχνά δεν είναι ιδιαίτερα βοηθητικές. Η ανάπτυξη του συγκεκριμένου έμπειρου συστήματος βασίστηκε στην «διεθνή ταξινόμηση για επιληπτικά σύνδρομα και επιληψίες", όπως αυτή προτείνεται από την «διεθνή ένωση κατά της επιληψίας».
'Εχει γίνει ο έλεγχος της αποτελεσματικότητας του διαγνωστικού συστήματος, εξετάζοντας πολλές περιπτώσεις παιδιών που έχουν παρουσιάσει επιληπτικές κρίσεις. Τα συμπεράσματα που προέρχονται από την εφαρμογή του έμπειρου συστήματος έχουν συγκριθεί με τις διαγνώσεις, οι οποίες προτείνονται από έμπειρο γιατρό. Τα αποτελέσματα της σύγκρισης δείχνουν ότι το έμπειρο αυτό σύστημα είναι σε θέση να βοηθήσει ουσιαστικά έναν γιατρό στην διάγνωση της επιληψίας.

1. Εισαγωγή

Ορισμένες εφαρμογές της πληροφορικής στην ιατρική, όπως για παράδειγμα η καταγραφή ιστορικών, η ψηφιοποίηση γραφημάτων και εικόνων κλπ, αφού πέρασαν το απαιτούμενο ερευνητικό στάδιο και τις απαραίτητες διαδικασίες ελέγχου, έχουν ήδη αναπτυχθεί και λειτουργούν με επιτυχία στην πράξη. Οι τεχνικές που χρησιμοποιούνται για την ανάπτυξη τέτοιων πληροφοριακών συστημάτων, έχουν ήδη εφαρμοστεί με επιτυχία και σε άλλους τομείς, τυγχάνουν γενικώτερης αποδοχής και εξελίσσονται συνεχώς^9,25,42.

'Αλλες εφαρμογές βρίσκονται ακόμα στον στάδιο της έρευνας και μελετώνται θεωρητικά ή έχουν αναπτυχθεί πιλοτικά μοντέλα εφαρμογής, τα οποία εξακολουθούν να ελέγχονται ποιοτικά και να εξετάζεται η δυνατότητα πρακτικής λειτουργίας τους^32,33,54. Αυτό συμβαίνει διότι οι μεθοδολογίες και οι τεχνικές της πληροφορικής που χρησιμοποιούνται σε αυτές τις περιπτώσεις δεν είναι ευρέως διαδεδομένες, η αποτελεσματικότητα τους δεν θεωρείται δεδομένη και η απόδοση τους δεν δικαιολογεί απόλυτα την εγκατάσταση και την μόνιμη λειτουργία τους σε πραγματικό περιβάλλον εργασίας σε ευρεία κλίμακα^8,50.

'Ενα μεγάλο μέρος των εφαρμογών που στηρίζονται σε μεθοδολογίες οι οποίες προτείνονται από την «τεχνική νοημοσύνη», κατατάσσονται στην δεύτερη κατηγορία. Μέθοδοι της τεχνητής νοημοσύνης παρέχουν μία άριστη ευκαιρία για την απόκτηση έμπειρης ιατρικής γνώσης, για την παροχή ικανοποιητικής ερμηνείας των ιατρικών δεδομένων και εντέλει για να βοηθήσουν τους ιατρούς στην ιατρική διάγνωση^25,27.

Τα τελευταία χρόνια υπάρχει ένα εκρηκτικό ενδιαφέρον για εφαρμογή "έξυπνων" μεθόδων και ιδιαίτερα των έμπειρων συστημάτων^13,33,41,51. Ο τομέας της ιατρικής αναδείχθηκε για γόνιμη περιοχή για την εφαρμογή αυτών των τεχνικών, επειδή σε πολλές περιπτώσεις απαιτείται εμπειρία και τεχνογνωσία, που δεν είναι πάντοτε άμεσα διαθέσιμες και πολύ συχνά οι διαδικασίες αναγνώρισης καταστάσεων και δρομολόγησης διαδικασιών είναι αρκετά πολύπλοκες¹². Στον παρελθόν έχουν αναπτυχθεί σε ερευνητικές εργασίες έμπειρα συστήματα, που αφορούν την διάγνωση διαφόρων νόσων του κεντρικού νευρικού συστήματος^3,32,44,46 αλλά και της επιλψίας ειδικότερα^30,31.

Στην παρούσα εργασία αναπτύξαμε ένα έμπειρο σύστημα για βοήθεια στην διάγνωση της επιληψίας, βασιζόμενοι στην διεθνή ταξινόμηση γιά επιληπτικά σύνδρομα και επιληψίες, όπως αυτή προτείνέται από την διεθνή ένωση κατά της επιληψίας^15,16,17 και η οποία αναφέρεται στην ταξινόμηση τόσο των επιληπτικών κρίσεων, όσο και των επιληψιών. Οι σημερινές γνώσεις για τις επιληπτικές κρίσεις και τις επιληψίες^7,20,21 και οι διάφορες ταξινομήσεις αυτών που έχουν κατά καιρούς επεξεργαστεί από την διεθνή ταξινόμηση, μας δίνουν την ευκαιρία να οργανώσουμε τα στοιχεία και τους παράγοντες που επηρεάζουν την διάγνωση μιάς επιληψίας, να τα καταχωρήσουμε σε σύγχρονα υπολογιστικά συστήματα και να τα χρησιμοποιήσουμε κατάλληλα για να βγούν χρήσιμα συμπεράσματα, τα οποία είναι δυνατόν να οδηγήσουν σε διαγνώσεις.

Στόχος του διαγνωστικού αυτού συστήματος είναι να βοηθήσει τον γιατρό στην διάγνωση (και έμμεσα στην διαφορική διάγνωση) επιληψιών, ιδίως κατά την διάρκεια της παιδικής ηλικίας, όπου και υπάρχουν τα περισσότερα προβλήματα της διάγνωσης και της διαφορικής διάγνωσης. Αφού αναπαρασταθεί η βάση γνώσεων σε υπολογιστικό σύστημα, o χρήστης εισάγοντας διάφορα στοιχεία, από κλινικά και εργαστηριακά δεδομένα, θα παίρνει στην οθόνη του υπολογιστή κάποια προτεινόμενη από το σύστημα διάγνωση. Η εισαγωγή των στοιχείων γίνεται αρχικά με την συμπλήρωση συγκεκριμένων δεδομένων σε μορφή καταλόγου και στην συνέχεια κατόπιν προτροπής του έμπειρου συστήματος, κατά την διάρκεια της διαγνωστικής διαδικασίας. Η διάγνωση, που προτείνεται, υπολογίζεται να είναι στις περισσότερες περιπτώσεις ορθή και ως εκ τούτου μία σημαντική βοήθεια για τον ιατρό.

2. Υλικό-Μέθοδος

Για την κατασκευή του συγκεκριμένου διαγνωστικού συστήματος για την επιληψία, οργανώθηκαν διάφορα στάδια ανάπτυξης, λαμβάνοντας υπόψη τα δεδομένα που προκύπτουν από τις απαιτούμενες κλινικές και εργαστηριακές εξετάσεις και από τα ευρήματα των ηλεκτροεγκεφαλογραφημάτων (ΗΕΓ). Για αυτή την ανάπτυξη ήταν βοηθητική η υπάρχουσα εμπειρία από χρήστες της διεθνούς ταξινόμησης για επιληπτικά σύνδρομα και επιληψίες. Μελέτες έχουν δείξει ότι η διεθνής ταξινόμηση έχει πρακτική εφαρμογή με ικανοποιητικά αποτελέσματα^5,7,37,48.

Η ανάπτυξη του έμπειρου συστήματος για την διάγνωση της επιληψίας υλοποιήθηκε σε τρία βασικά στάδια:

Εντοπισμού των σημαντικών δεδομένων
Δημιουργίας βάσης γνώσης
Κατασκευής του έμπειρου συστήματος στον υπολογιστή

Εντοπισμός σημαντικών δεδομένων

'Εγινε καταγραφή όλων των παραγόντων και των δεδομένων που είναι δυνατόν να επηρεάζουν την διάγνωση της επιληψίας, σύμφωνα με τον έμπειρο ειδικό γιατρό και την σχετική βιβλιογραφία. Από αυτή την καταγραφή και έχοντας σαν βάση τα επιληπτικά σύνδρομα και τις διαγνωστικές κατηγορίες που προτείνονται από την διεθνή ταξινόμηση για επιληπτικά σύνδρομα και επιληψίες, επιλέχθηκαν τα δεδομένα που παίζουν βασικό ρόλο στην διάγνωση κάθε επιληψίας. Συγκεκριμένα για την διάγνωση της παιδικής επιληψίας τα δεδομένα τα οποία είναι καθοριστικής σημασίας, έχουν ενταχθεί σε τρείς (3) βασικές κατηγορίες τις οποίες ακολουθούμε:

Α) Κλινικά στοιχεία
Β) Εργαστηριακά ευρήματα και
Γ) Ευρήματα στο ΗΕΓ

Κλινικά Στοιχεία

Ο τύπος της επιληπτικής κρίσης που είναι η, βασική ένδειξη για την διάγνωση της επιληψίας εκτιμάται σύμφωνα με τις περιγραφές της διεθνούς ταξινόμησης η οποία προτείνει 19 διαφορετικές κατηγορίες επιληπτικών κρίσεων. Σχετικά με την επιληπτική κρίση διαβαθμισμένα στοιχεία που αφορούν την σοβαρότητα, την εστία (μετωπιαία, κροταφικά, βρεγματικά, ινιακά, πολλαπλών εστιών), και τον εστιακό ή διάχυτο χαρακτήρα της κρίσης λαμβάνονται υπόψη.

Πλέον της επιληπτικής κρίσης επίσης διαβαθμισμένα δεδομένα που αφορούν την εγκυμοσύνη, τον τοκετό, την κληρονομικότητα, τη συμπεριφορά, τη νευρολογική εκτίμηση και την απόδοση στο σχολείο καταχωρούνται, καθώς είναι στοιχεία που βοηθούν στην ενίσχυση της διάγνωσης (ή αντίστοιχα προβληματίζουν). Οι διαβαθμίσεις που έχουν τεθεί είναι από 1 έως 5 (1: φυσιολογική κατάσταση, 2: υποψίες για παθολογική κατάσταση, 3: ελαφρά παθολογική, 4: παθολογική, 5: σοβαρά παθολογική). Η διαβάθμιση μηδέν (0) αντιστοιχεί στην περίπτωση που δεν έχουμε σχετικές πληροφορίες (άγνωση κατάσταση).

Εργαστηριακά ευρήματα

Διαβαθμισμένα στοιχεία (από 1 έως 5 επίσης) που προκύπτουν από εργαστηριακές εξετάσεις (αξονική και μαγνητική τομογραφία εγκεφάλου) λαμβάνονται υπόψη εδώ, καθώς και ο εντοπισμός αυτών (εστιακά, διάχυτα, αμφότερα και μη ανιχνεύσιμα).

Ευρήματα ΗΕΓ

Τα δεδομένα των ΗΕΓ χωρίστηκαν σε 4 βασικές κατηγορίες. Κάθε κατηγορία αναλύεται σε υποκατηγορίες, οι οποίες περιέχουν συγκεκριμένες περιγραφές τύπων ΗΕΓ που είναι συναφή με την εμφάνιση της επιληψίας και είναι δυνατόν να οδηγήσουν ή να βοηθήσουν στην διάγνωση:

• ΗΕΓ με μη ειδικές ανωμαλίες όπως διάχυτη ή εστιακή βραδεία αλλοίωση του βασικού ρυθμού και όμοια (3 υποκατηγορίες).
  
• ΗΕΓ με ειδικές παροξυσμικές ανωμαλίες επιληπτικού τύπου όπως εστιακές αιχμές και εντοπισμός αυτών, συμπλέγματα αιχμής- κύματος, πολυαιχμές κλπ (12 υποκατηγορίες),
  
• Ειδικοί τύποι ΗΕΓ όπως υψαρρυθμία, ρολάνδειες αιχμές, τυπικά ΗΕΓ νεογνών κ.α (26 υποκατηγορίες συνολικά) και
  
• Επιληπτικά τύπου ευρήματα σε ειδικές καταγραφές π.χ ΗΕΓ ύπνου, μακροχρόνια καταγραφή, video recording (9 υποκατηγορίες).

Ακολουθώντας πιστά τις διαγνωστικές κατηγορίες των επιληψιών όπως αναφέρονται στην διεθνή ταξινόμηση έγινε ανάλυση αυτών και καταγραφή του τρόπου σκέψης (διαγνωστική διαδικασία) και των συνθηκών που οδηγούν σε κάθε τύπο επιληψίας. Με αυτή την διαδικασία προέκυψαν κατ' αρχήν οι κανόνες που διέπουν το έμπειρο σύστημα (βάση γνώσεων), οι οποίοι εξετάζουν τα χαρακτηριστικά των σημαντικών δεδομένων που εντοπίστηκαν στην προηγούμενη φάση. Την καταγραφή των κανόνων ακολούθησε ο έλεγχος ορθότητας και η θεωρητική εφαρμογή κάθε κανόνα που οδηγεί σε διάγνωση.

Στην συνέχεια έγινε μία ιεραρχική τυποποίηση και ανάπτυξη όλων των κανόνων ταυτόχρονα, ώστε να υπάρχει η δυνατότητα καθοδήγησης του μηχανισμού εξαγωγής συμπερασμάτων του συστήματος. Απώτερος στόχος είναι να ελαχιστοποιηθεί ο χρόνος αναζήτησης των κατάλληλων κανόνων που θα μας οδηγήσουν σε ορθή διάγνωση^39,52. Για παράδειγμα αν η ηλικία του ασθενούς είναι μικρότερη των 40 ημερών (νεογνά), το σύστημα αναζητεί στοιχεία που οδηγούν σε συγκεκριμένες διαγνώσεις επιληψίας, ο. οποίες παρουσιάζονται στα νεογνά εξετάζοντες την εφαρμογή των αντίστοιχων κανόνων, χωρίς να ασχολείται με δεδομένα που δεν οδηγούν σε διαγνώσεις επιληψιών για νεογνά. Ο τύπος της επιληπτικής κρίσης συνιστά το δεύτερο επίπεδο αναζήτησης. H ανάπτυξη του συστήματος έγινε με τέτοιο τρόπο, ώστε κάθε τύπος επιληπτικής κρίσης να οδηγεί σε ένα σύνολο συγκεκριμένων διαγνώσεων επιληψιών. Για κάθε τύπο επιληπτικής κρίσης έχει δημιουργηθεί ένα σύνολο διαγνώσεων στο οποίο είναι δυνατόν να καταλήξει ο γιατρός, αν υπάρχει σαν σύμπτωμα o συγκεκριμένος τύπος επιληπτικής κρίσης. Με αυτό τον τρόπο ελλατώνεται περαιτέρω ο χρόνος αναζήτησης του διαγνωστικού συστήματος.

Το έμπειρο σύστημα

Σε αυτό το στάδιο η τυποποιημένη γνώση κωδικοποιήθηκε σε κάποιο εργαλείο ανάπτυξης λογισμικού και δημιουργήθηκε ένα αρχικό έμπειρο σύστημα. Για την κατασκευή αντίστοιχων συστημάτων είναι δυνατόν να χρησιμοποιηθούν διάφορα εργαλεία από απλές γλώσσες προγραμματισμού έως γλώσσες πέμπτης γενιάς όπως η PROLOG⁴³. Τα τελευταία χρόνια ευρέως είναι διαδεδομένα διάφορα περιβάλλοντα ανάπτυξης έμπειρων συστημάτων, τα οποία έχουν ενσωματωμένους μηχανισμούς τυποποίησης και κωδικογράφησης της γνώσης και εξαγωγής συμπερασμάτων^1,2,18.

Για την ανάπτυξη του συγκεκριμένου έμπειρου συστήματος, χρησιμοποιήθηκε η γλώσσα προγραμματισμού «KnowledgePrο»²⁸ η οποία είναι μία αντικειμενοστραφής γλώσσα προγραμματισμού σε περιβάλλον MS-Windows. Το συγκεκριμένο εργαλείο μας δίνει την δυνατότητα να εφαρμόσουμε εύκολα κάποιο μηχανισμό επαγωγής συμπερασμάτων αντίστοιχο με αυτό της PROLOG (backwards shaining). Στην επιλογή του εργαλείου σημαντικά συνέτεινε το γεγονός ότι η εφαρμογή υλοποιείται στο σύγχρονο (και πιό δημοφιλές) περιβάλλον εργασίας των MSWindows. Ο χρήστης μέσα από οικείο σε αυτόν παραθυρικό περιβάλλον εργασίας, μπορεί να ξεκινήσει την εκτέλεση του έμπειρου συστήματος και εκμεταλλευόμενος τις δυνατότητες που του προσφέρουν τα MS-Windows, εισάγει τα απαιτούμενα από το σύστημα στοιχεία, απαντά στις ερωτήσεις καθώς αξιολογούνται οι κανόνες που υπάρχουν στην βάση των γνώσεων και παίρνει τα συμπεράσματα, ενώ τα δεδομένα που έχουν δοθεί εμφανίζονται στην οθόνη για να διαπιστώσει την αιτιολόγηση των αποτελεσμάτων που έχουν προκύψει.

Στα συμπεράσματα που προκύπτουν από το έμπειρο σύστημα υπάρχουν τρία επίπεδα διαβάθμισης βεβαιότητας (με απόλυτη βεβαιότητα, με μεγάλη πιθανότητα και πιθανότατα) όταν καταλήξουμε σε συγκεκριμένη διάγνωση. Σε περιπτώσεις όπου έχουμε παλαιότερη εμφάνιση επιληψίας ή όταν ο ασθενής ευρίσκεται υπό την επήρεια θεραπευτικής αγωγής, το σύστημα συνιστά στον χρήστη να μη λάβει υπ' όψη το προτεινόμενο αποτέλεσμα, ενώ σε ορισμένες περιπτώσεις προτείνει παραπάνω από μία διαγνώσεις. Για παράδειγμα συχνά στην παιδική ηλικία σε ήπιες εστιακές κρίσεις, δεν είναι δυνατόν να εντοπιστούν κλινικά ευρήματα και η νευρολογική εκτίμηση είναι ασαφής, με αποτέλεσμα να γίνεται δύσκολη η κατάταξη της διάγνωσης σε κάποια από τις εστιακές επιληψίες που προτείνει η διεθνής ταξινόμηση (ιδιοπαθής ή συμπτωματική), ακόμα και όταν έχουμε διακριτά αποτελέσματα στο ΗΕΓ. Σε αυτές τις περιπτώσεις το έμπειρο σύστημα προτείνει εναλλακτικές διαγνώσεις.

Περιπτώσεις ασθενών

Στην παρούσα φάση το έμπειρο σύστημα που έχει υλοποιηθεί, υπόκειται σε έλεγχο και εξετάζοντάι περιπτώσεις ασθενών, ώστε με την εισαγωγή πολλών περιπτώσεων να εκτιμηθεί η διαγνωστική αξία του συστήματος και ενδεχόμενα να γίνουν περαιτέρω βελτιώσεις. 'Εχει αναπαρασταθεί η βάση γνώσεων στον υπολογιστή και ο χρήστης εισάγει κατ' αρχάς τον τύπο των επιληπτικών κρίσεων, τα κλινικά και εργαστηριακά δεδομένα και τα απαραίτητα χαρακτηριστικά του ηλεκτροεγκεφαλογραφήματος. Στην συνέχεια το έμπειρο σύστημα με κατάλληλες ερωτήσεις ζητά από τον χρήστη κατά περίπτωση και άλλα δεδομένα (π.χ. την ηλικία, την διάχυση, και την ένταση της κρίσης, στοιχεία για τις συνθήκες εμφάνισης των κρίσεων κ.α.), που θεωρεί ότι κατά την κρίση του θα το οδηγήσουν σε διαρκή διάγνωση. Το αποτέλεσμα της διάγνωσης που προτείνεται είναι πάντα σύμφωνο με τις κατηγορίες επιληψιών που περιγράφονται στην διεθνή ταξινόμηση.

Το υλικό που έχει συλλεχθεί αποτελείται από 71 περιπτώσεις επιληψίας σε παιδιά έως 15 ετών. Από αυτές τις περιπτώσεις 34 αφορούσαν σε κορίτσια και 37 σε αγόρια. Η συλλογή του υλικού έγινε από παιδιά που ερχόταν στο περιφερειακό πανεπιστημιακό γενικό νοσοκομείο Ηρακλείου Κρήτης, κατόπιν αδείας της ιατρικής σχολής του πανεπιστημίου Κρήτης, με διατήρηση της ανωνυμίας των ασθενών.

Στην διεθνή ταξινόμηση για επιληπτικά σύνδρομα και επιληψίες, οι προτεινόμενες διαφορετικές διαγνώσεις εντάσσονται 4 βασικές κατηγορίες:

• Εστιακές
  
• Γενικευμένες
  
• Επιληψίες και Σύνδρομα, ακαθόριστα αν είναι εστιακές ή γενικευμένες
  
• Ειδικά Σύνδρομα, με κρίσεις συσχετιζόμενες με ιδιαίτερες καταστάσεις

• Εστιακές, Ιδιοπαθείς
  
• Εστιακές, Συμπτωματικές, με απλές μερικές κρίσεις
  
• Εστιακές, Συμπτωματικές, με σύνθετες μερικές κρίσεις
  
• Εστιακές, Συμπτωματικές, με δευτερογενή γενίκευση κρίσεων
  
• Γενικευμένες, Ιδιοπαθείς
  
• Γενικευμένες, Κρυπτογενείς και/ή Συμπτωματικές
  
• Γενικευμένες, Συμπτωματικές
  
• Επιληψίες και Σύνδρομα, ακαθόριστα αν είναι εστιακές ή γενικευμένες
  
• Ειδικά Σύνδρομα, με κρίσεις συσχετιζόμενες με ιδιαίτερες καταστάσεις

3. Αποτελέσματα

'Οταν χρησιμοποιήσαμε το έμπειρο σύστημα που κατασκευάσαμε για να κάνουμε διαγνώσεις στις 71 περιπτώσεις ασθενών του υλικού που συλλέξαμε και συγκρίνοντας τα συμπεράσματα που προέκυψαν με αυτά του έμπειρου ιατρού, είχαμε τα εξής αποτελέσματα:

• Σε 61 περιπτώσεις είχαμε ίδιες ακριβώς διαγνώσεις με αυτές του έμπειρου ιατρού. Δηλαδή ένα ποσοστό επιτυχίας 86%.
  
• σε 5 περιπτώσεις είχαμε διαφορετικές διαγνώσεις από αυτές του έμπειρου ιατρού (ποσοστό λάθους 7%) και
  
• σε 5 επιπλέον περιπτώσεις είχαμε παρεμφερείς
  διαγνώσεις (ποσοστό 7% ).

Τα αποτελέσματα που είχαμε τροφοδοτώντας το έμπειρο σύστημα, που κατασκευάσαμε, με το δείγμα των περιπτώσεων για να διαπιστώσουμε την διαγνωστική του ικανότητα, είναι ενθαρρυντικά. Το διαγνωστικό σύστημα στις 61 περιπτώσεις είχε τα ίδια ακριβώς συμπεράσματα με τον έμπειρο ιατρό (ποσοστό 86%). Αν μάλιστα λάβουμε υπόψη μας ότι σε 5 περιπτώσεις είχαμε συναφή αποδεκτά αποτελέσματα, τότε τα ποσοστά ευστοχίας του προγράμματος φτάνουν στο 93%.

Από τα 5 λανθασμένα αποτελέσματα, σε μία περίπτωση είχαμε ασθενή που είχε υποβληθεί σε θεραπεία και είχε αλλάξει μορφή το ηλεκτροεγκεφαλογράφημα, δηλαδή δεν είχαμε την ακριβή εικόνα έναρξης της νόσου, που ενδεχόμενα θα οδηγούσε το λογισμικό σε ασφαλή διάγνωση. Σε τρείς περιπτώσεις οι προτεινόμενες διαγνώσεις από την διεθνή ταξινόμηση, αλλά και το λογισμικό ήταν διαφορετικές από αυτήν του έμπειρου ιατρού, λόγω ασυμφωνιών στα ευρήματα των εξετάσεων. Τέλος σε μία περίπτωση ασθενούς το έμπειρο σύστημα δεν μπόρεσε να καταλήξει σε διάγνωση, λόγω αβεβαιότητας στην κλινική εικόνα των κρίσεων και επίδρασης φαρμάκων. Σε γενικές γραμμές το έμπειρο σύστημα που κατασκευάσαμε οδηγούσε σε σωστή διάγνωση στην πλειοψηφία των περιπτώσεων και ως εκ τούτου μπορεί να γίνει ένα σημαντικό βοηθητικό διαγνωστικό εργαλείο.

Η ανάπτυξη λογισμικού για την κατασκευή ενός έμπειρου διαγνωστικού συστήματος διαφέρει αρκετά από τον αλγοριθμικό τρόπο ανάπτυξης ενός κοινού λογισμικού και δεν ακολουθείται ο ίδιος τρόπος υλοποίησης. Ακόμα και όταν έχει επιτευχθεί η υλοποίηση του έμπειρου συστήματος, η φάση της συντήρησης αυτού διαφέρει σημαντικά, καθώς η ανανέωση των γνώσεων είναι θέμα του χρήστη και όχι του προγραμματιστή που κατασκεύασε το λογισμικό. Αυτό συμβαίνει διότι οι γνώσεις και οι εμπειρίες συνεχώς ανανεώνονται και αναπροσαρμόζονται και το έμπειρο σύστημα θα πρέπει να παρέχει αυτή την δυνατότητα της συνεχούς ενημέρωσης, επεκτείνοντας την βάση γνώσεων αυτού^26,39,52.

Αρχικά καθώς το πρόβλημα δεν ήταν "καλώς ορισμένο" και δεν υπήρχαν ούτε συγκεκριμένος τρόπος αντιμετώπισης, ούτε στοιχεία για την εφαρμογή στατιστικών μεθόδων, με την συνεργασία έμπειρου γιατρού και προγραμματιστού έγινε "αναγνώριση" του προβλήματος και κατανόηση του αντικειμένου και από τα δύο μέρη. Αυτή η αναγνωριστική διαδικασία θεωρείται απαραίτητη^{8,14,26,39,52} για τα δύο συνεργαζόμενα μέρη. Αφ' ενός ο γιατρός θα πρέπει να κατανοήσει τον τρόπο λειτουργίας του έμπειρου συστήματος και πως θα εξάγονται τα συμπεράσματα και αφ' ετέρου ο κατασκευαστής του λογισμικού θα έχει την ευκαιρία να αναλύσει το πρόβλημα και να εκτιμήσει την γνώση και εμπειρία που απαιτείται και πώς θα πρέπει να χρησιμοποιηθεί αυτή για την λύση του προβλήματος. Η προσπάθεια που πρέπει να γίνει από τον κατασκευαστή λογισμικού για την εκμαίευση γνώσης (knowledge elicitation) από τον εμπειρογνώμονα, που βέβαια στην περίπτωσή μας είναι ο έμπειρος σε θέματα επιληψίας ιατρός, θεωρείται από τις δυσκολότερες και πιο χρονοβόρες διαδικασίες στην ανάπτυξη ενός έμπειρου συστήματος^19,29. Η ιατρική γνώση που ενσωματώθηκε στο συγκεκριμένο έμπειρο σύστημα, προέκυψε από την στενή συνεργασία του κατασκευαστού του προγράμματος και εξειδικευμένου στην επιληψία ιατρού και με συνεχείς αναφορές στην βιβλιογραφία. Σημαντική βοήθεια σε αυτή την διαδικασία προσέφερε η τυποποίηση που προτείνεται από την διεθνή ταξινόμηση γιά επιληπτικά σύνδρομα και επιληψίες. Για την εκμαίευση της ιατρικής γνώσης είναι δυνατόν να χρησιμοποιηθούν και άλλες τεχνικές όπως στατιστικές μέθοδοι, νευρωνικά δίκτυα^6,38,47, μεθοδολογίες της μηχανικής μάθησης^35,36,40 ή και συνδυασμός αυτών, που όμως χρειάζονται πληθώρα παραδειγμάτων και είναι αμφίβολη ή επιτυχία τους σε τόσο πολύπλοκα προβλήματα.

Σημαντικά προβλήματα αντιμετωπίζει ο τομέας της τεχνητής νοημοσύνης στην αναπαράσταση της ιατρικής γνώσης, η οποία σε αρκετές περιπτώσεις είναι εξαιρετικά περίπλοκη. Επίσης η διάκριση των ιατρικών δεδομένων, τα οποία δεν κατατάσσονται εύκολα σε κατηγορίες για να αξιολογηθούν αποτελεσματικά, αποτελεί σημαντικό πρόβλημα για τον κατασκευαστή του λογισμικού^{14,19,29 29}. Η κατάλληλα δομημένη αναπαράσταση, της ιατρικής γνώσης και n ακριβής ανάλυση των εργαστηριακών και κλινικών δεδομένων, θα μας επιτρέψει να ερμηνεύσουμε ορθά τα εργαστηριακά και κλινικά δεδομένα και να οδηγηθούμε, ακολουθώντας κάποιες διαδικασίες, σε σαφείς διαγνώσεις^12,42.

Αν και υπάρχει σημαντική έρευνα προς αυτήν την κατεύθυνση δεν βρίσκε. κανείς εύκολα ολοκληρωμένα προϊόντα στην αγορά της πληροφορικής, τα όποία είναι σε θέση να προσφέρουν αποτελεσματική διάγνωση σε τομείς της ιατρικής^45,54. Αυτό βέβαια πηγάζει από το γεγονός της πολυπλοκότητας των προβλημάτων που έχουν σχέση με την ιατρική διάγνωση, καθώς στις περισσότερες περιπτώσεις είναι πολλοί οι παράγοντες που πρέπει να ληφθούν υπόψη, οι οποίοι με την σειρά τους είναι πολύ δύσκολο να εκτιμηθούν ταυτόχρονα^{8,10,25,42,50}. 'Εχουν κατά καιρούς παρουσιαστεί αρκετές εφαρμογές των έμπειρων συστημάτων στην ιατρική σε διάφορες γνωστικές περιοχές και κάποια από αυτά έχουν αποτελέσει την βάση για την ανάπτυξη της απαραίτητης θεωρητικής υποδομής όπως το MYCIN και το INTERNIST^12,53. Νεώτερα έμπειρα συστήματα χρησιμοποιούν αυτή την θεωρητική υποδομή καθώς και εργαλεία που έχουν αναπτυχθεί^13,53 για την ανάπτυξη διαγνωστικών μηχανισμών στην ιατρική. Στην πλειοψηφία τους όμως αυτά τα διαγνωστικά συστήματα είναι κυρίως αποτελέσματα ερευνητικών εργασιών διαφόρων ομάδων και τα περισσότερα βρίσκονται στην φάση της επαλήθευσης^4,33,41,51.

Η ιατρική διάγνωση αφορά πολλαπλές, συχνά σχετιζόμενες περιπτώσεις ασθένειας, οι οποίες είναι δυνατόν να έχουν τα ίδια συμπτώματα και παρόμοια κλινικά δεδομένα, δηλαδή δεδομένα που δεν είναι εύκολα διακριτά. Επιπλέον ορισμένες διαγνώσεις ασθενειών δεν συνοδεύονται πάντοτε με τα ίδια συμπτώματα, ούτε με τα ίδια κλινικά και ιστορικά δεδομένα. Αρκετά συχνά το πρόβλημα της διάγνωσης είναι πολύ δύσκολο να επιλυθεί, αφού οι παράγοντες που επηρεάζουν την ποιότητα των δεδομένων είναι δύσκολο να ελεγχθούν, καθιστώντας τα ασαφή και πολλές φορές ανεπαρκή για να μας οδηγήσουν σε μιά αποτελεσματική διάγνωση. 'Εχουν προταθεί διάφορες μέθόδοι ανάλυσης δεδομένων με στόχο την βελτίωση της διαγνωστικής ακρίβειας^27,42,50, καμιά όμως δεν φαίνεται να υπερτερεί της ανθρώπινης πείρας.

'Ενα άλλο σημαντικό πρόβλημα που παρουσιάζεται στον έλεγχο για την διαγνωστική ικανότητα του έμπειρου συστήματος, είναι η έλλειψη σπάνιων περιστατικών. Υπάρχουν περιπτώσεις σπάνιων ασθενειών που είναι δυνατόν να μη εξεταστούν πειραματικά κατά την διάρκεια ελέγχου του συστήματος και να γίνει μόνο θεωρητική εφαρμογή αυτών στον έμπειρο σύστημα. Για παράδειγμα η επιληψία με τον τίτλο "Localization Related Reading Epilepsy" όπως προτείνεται από την διεθνή ταξινόμηση, είναι δύσκολο να εμφανιστεί στο υπό δοκιμή υλικό μας, ακόμα και σε μακροχρόνιο έλεγχο του συστήματος. Είναι πολύ πιθανόν, όταν αυτές οι σπάνιες περιπτώσεις εμφανιστούν κατά την διάρκεια της λειτουργίας του έμπειρου συστήματος σ' ένα πραγματικό περιβάλλον εργασίας, να προκαλέσουν προβλήματα στην λειτουργία του συστήματος και να έχουμε σαν αποτέλεσμα άσκοπες ερωτήσεις από το σύστημα ή ακόμα και λάθος διαγνώσεις. Αυτό βέβαια είναι ένα γενικώτερο φαινόμενο που αντιμετωπίζουν οι κατασκευαστές λογισμικού, οι οποίοι συνήθως χρησιμοποιούν τυποποιημένες μεθόδους ελέγχου (κυρίως στην εισαγωγή των δεδομένων) για να μειώσουν τον κίνδυνο εμφάνισης δυσλειτουργιών σε σπάνιες περιπτώσεις.

Η διεθνής ταξινόμηση για επιληψίες και επιληπτικά σύνδρομα είναι ένα απαραίτητο εργαλείο για κάθε γιατρό που ασχολείται με την επιληψία. Οι παρατηρήσεις και οι διαγνωστικές διαδικασίες που προσφέρει στους γιατρούς διευκολύνουν σημαντικά το έργο τους και όπως επισημαίνεται από την παρούσα μελέτη, μπορεί να παίζει σπουδαίο ρόλο στην τυποποίηση της ιατρικής γνώσης, που είναι τόσο απαραίτητη για ανάπτυξη αντίστοιχων συστημάτων αυτοματοποιημένης διάγνωσης. Ωστόσο η διεθνής ταξινόμηση, όπως επισημαίνουν αρκετοί οι ερευνητές που έχουν προσπαθήσει να κάνουν κατάταξη επιληπτικών περιπτώσεων σύμφωνα με αυτήν, παρουσιάζει ορισμένες αδυναμίες και περιορισμούς^5,7,22,37,48. Αυτό έχει αποδοθεί σε παράγοντες όπως η ποιότητα των κλινικών πληροφοριών για τις κρίσεις των ασθενών, αλλά και σε ενδογενείς αδυναμίες της διεθνούς ταξινόμησης, όπως η μη σαφής διάκριση μεταξύ διαγνωστικών κατηγοριών. Σαν παράδειγμα, εκτός των προαναφερθέντων μελετών, οι Manford et αΙ³⁴ δεν μπόρεσαν να κατατάξουν 190 από 814 ασθενείς με νεοδιαγνωσθείσα επιληψία. Για τους λόγους αυτούς έχει προταθεί πρόσφατα η αναθεώρηση της συγκεκριμένης ταξινόμησης^11,22.

Φυσικά όσο και αν φαίνεται ακριβής και ορθολογική η διαγνωστική ικανότητα του έμπειρου συστήματος, δεν παύει αυτή να είναι αποτέλεσμα πεπερασμένων αναλύσεων των δεδομένων και ο θεράπων ιατρός θα πρέπει να έχει το τελευταίο λόγο. Σίγουρα όμως μπορεί να αναφέρεται σε αυτό για επιβεβαίωση της διάγνωσης και τα συμπεράσματα του λογισμικού να έχουν συμβουλευτικό χαρακτήρα. 'Ενα ρόλο που με βεβαιότητα θα παίξει αποτελεσματικά το έμπειρο σύστημα, είναι να χρησιμοποιηθεί σαν εκπαιδευτικό εργαλείο³⁹ για τους φοιτητές ιατρικής και ειδικευόμενους γιατρούς, καθώς η ανάπτυξη του έχει στηριχθεί στην διεθνή ταξινόμηση γιά επιληπτικά σύνδρομα και επιληψίες.

Οι συνεχείς εξελίξεις της πληροφορικής, ιδιαίτερα στις περιοχές των βάσεων δεδομένων, των πολυμέσων και των δικτύων, μας δίνουν την δυνατότητα να βελτιώσουμε περαιτέρω το διαγνωστικό αυτό σύστημα, τόσο σε επίπεδο πληροφόρησης όσο και σε επίπεδο λειτουργίας, καθώς το κόστος των συστημάτων πληροφορικής μειώνεται καθημερινά και οι υπηρεσίες που μας προσφέρουν διαρκώς αυξάνονται και βελτιώνονται.

Για παράδειγμα η παράλληλη λειτουργία μίας βάσης δεδομένων, όπου θα αποθηκεύονται πληροφορίες για κάθε ασθενή (αρχειοθέτηση - ιατρικός φάκελλος) και από την οποία θα τροφοδοτείται το έμπειρο σύστημα, θα μειώσει σημαντικά τις ερωταποκρίσεις μεταξύ χρήση και συστήματος²⁴. Σε μία τέτοια προοπτική, το σύστημα θα ρωτάει τον χρήστη μόνο για πληροφορίες που δεν θα υπάρχουν στην βάση δεδομένων, μειώνοντας σημαντικά το χρόνο που χρειάζεται για την εισαγωγή των στοιχείων καθώς και τα λάθη που είναι δυνατόν να προκύψουν κατά την διάρκεια αυτής της διαδικασίας. Επιπλέον αυτή η βάση δεδομένων είναι δυνατόν να χρησιμοποιηθεί σαν αναφορά σε ανάλογες (ή και ίδιες) περιπτώσεις ασθενών και για άλλους σκοπούς (π.χ. στατιστικές αναλύσεις).

Επίσης με την χρήση της τεχνολογίας των πολυμέσων, γραφήματα ενδεικτικών εγκεφαλογραφημάτων, αναφορές στην βιβλιογραφία, εικόνες και καταγραφές video, εύκολα πλέον μπορούν να πλαισιώσουν ένα σύστημα και να αποτελέσουν ένα ολοκληρωμένο εργαλείο πραγματικά χρήσιμο στην διαγνωστική διαδικασία.

Τέλος καθώς η ανάπτυξη των δικτύων ηλεκτρονικών υπολογιστών χαρακτηρίζει την δεκαετία που διανύουμε, η μεταφορά των ιατρικών δεδομένων σε διάφορες μορφές, αλλά και η μακρυνή εκτέλεση ενός διαγνωστικού συστήματος (τηλεδιάγνωση), έχει αρχίσει να ξεφεύγει από τα καθαρά ερευνητικά-πιλοτικά πλαίσια και η υλοποίηση τους είναι θέμα χρόνου.

'Οσον αφορά το έμπειρο σύστημα που κατασκευάσαμε, με τα θετικά αποτελέσματα της χρήσης που είχαμε, είναι δυνατόν να το πλαισιώσουμε με τις δυνατότητες των νέων τεχνολογιών που αναφέραμε προηγουμένως και να προκύψει ένα χρήσιμο εργαλείο εκπαίδευσης και διαγνωστικής βοήθειας.

ΒΙΒΛΙΟΓΡΑΦΙΑ

1. 1st CLASS: Uset Guide 1987.
   
2. ACQUIRE: User Guide, 1996.
   
3. Andressen S, Falck B, Olesen K, Diagnostic function of the Microhuman prototype of the expert system - MUNIN", Electroencephalography and clinical Neurophysiology, 143-157 85 (1992).
4. Auramo Y, Juhola M₆ Pyykko I. An expert system for the computer-aided diagnosis of dizzines and vertigo", Medical Informatics Vol 18, No. 4 293-305, 1993.
5. Avanzini G & others, "ILAE Clasification of Epilepsies: A Applicability and Practical Value of Different Diagnostic Categories", Epilepsia 37(11) 1051-1059, 1996.
   
6. Baxt WG Use of an Artificial Neural Network for Data Analysis in Clinical Decision-Making: The Diagnosis of Acute Coronary Occlusion", Neural Computing. 2. 480-4E9, 1990.
   
7. Βενβαδισ ΓΣΡ & Luders HO, Epileptic Syndromes: An Underutilized Concept", Epilepsia 37(11) 1029-1034, 1996.
   
8. Blum BI, Artificial Inteligence and Medical Informatics", Medical Informatics, vol 11. 1986
   
9. Blum BI. 'Medical Informatics", Encyclopedia of Computer Science and Technology, vol 22, pp 205-224, 1990.
   
10. Blum BI, Semel RD, Medical Informatics, Knowledge and Expert Systems , John Hopkins University, Applied Physiscs Labs, 1991.
    
11. Blume WT. Berkovic SF et al Epilepsy a comprehensive textbook". 779-89. 1997.
    
12. Buchanan BG, Shortliffe EH "Rule-Based Expert Systems. The MYCIN" (Addison-Wesley), 1984.
    
13. Chang PL, Li YC, WU CJ & Huang M.H. "Using ILIAD System Shell to create an Expert Systems for Differential Diagnosis of Renal Masses" Jurnal of Medical Systems, Vo117, No. 5, 1993.
    
14. Chytil MK, Engelbrecht R., "Medical Expert Systems" (Sigma Press), 1987.
    
15. Commision on Classification and Terminology of the ILAE, Propose) for revised clinical and electroencephalographic classification of epileptic seizures". Epilepsia 22, 489-501, 1981.
    
16. Commision on Classification and Terminology of the ILAE, Proposal for classification of epilepsies and epileptic syndromes . Epilepsia 26. 268-27E. 1985.
    
17. Commision on Classification and Terminology of the ILAE. Proposal for classification of epilepsies and epileptic syndromes". Epilepsia, 66, 389-399. 1989.
    
18. CRYSTAL: User Guide, 1987.
    
19. De Dombal FT How do surgeons assimilate information?", Theoritical Surgery 1:47-54. 1986.
    
20. Dreifus FE Classification of Epileptic Siezures and the Epilepsies , Pediatric Clinics of North America, vol 36, No 2, April 1989.
    
21. Dulac O, Epileptic Syndromes in Infancy and Childhood: Recent Advances", Epilepsia, "' (Suppl. 1 ). S51-S57. 1995.
    
22. Eriksson KJ, Kolvikko MJ "Prevalence, Classification and Severity of Epilepsy and Epileptic Syndromes in Children", Epilepsia 38(12). 1275-1282, 1997.
    
23. Everitt AD, Sander JWAS. Classification of the Epilepsies: Time for a Change?" European Neurology, 42: 1-10, 1999.
    
24. Goodyear OM and others "Integrating a medical database and advisory system", Med. Inform. Vol 16, No. 3, 315-321, 1991.
    
25. Gorry GA, "Computer Assisted Clinical Decision Making", Methods on Information in Medicine, vol 12, pp 45-51, 1973.
    
26. Harmon P, Maus R, Morrissey W. "Expert Systems. Tools & Applications" (John Willey & Sons) 1988.
    
27. Juhola M, Auramo Y, Kentala E, "An essay on power of expert systems versus human expertise", Medical Informatics, Vol 20. No 2, 133-138. 1995.
    
28. Knowledge Pro Gold: User Guide, 1996.
    
29. Kolodner JL, Kolodner RM, "Using Experience in Clinical Problem Solving: Introduction and Framework", IEEE Transcactions on Systems. Man and Cybernetics, Vol SMC-17, No 13 May/June 1987.
    
30. Korpinen L, "Computer-aided decision-making for epilepsy and sleep diagnostics, Acta Neurologia Scandinavica, Suppl. No. 144, Vol. 87, 1993.
    
31. Korpinen L, Pietila T and others, "Evaluation of Epilepsy Expert adecision support system". Computer Methods and Programs in Biomedicine 45 (1994) pp 223-231.
    
32. Lipsanen M, Andreassen S. Falck B. Halonen P, A Prototype Decision Support System for Diagnosing Polyneuropathies", Artifial Inteligence in Medicine, 99-109, 1993.
    
33. Lucas PJF, Janssen AR, "Development and Validation of HEPAR, an expert system for diagnosis of disorders of liver and biliary tract", Medical Informatics, Vol. 16, No. 3. 259-270, 1991.
    
34. Manford M, Hart YM, Sander JWAS, Shorvon SD, "The National General Practice Study of Epilepsy: The syndromic classification of International League Against Epilepsy applied to epilepsy in a general population" Arc Neurol, 49: 801-802, 1992.
35. MOBAL: User Guide, 1994.
    
36. Morik K, Wrobel S, Keitz JU & Emde W. "Knowledge Acquisition and Machine Learning", (Academic Press), 1994.
    
37. Nordii DR and others, Recognition and Classification of Seizures in Infants" Epilepsia 38(51, 553-560, 1997.
    
38. Papadourakis GM, Micheloyannis J, EEG Signal Classification Using Artifical Neural Networks", Neural Networks Word 3-4, 1992, 297-312
    
39. Parsaye K & Chignell M, Expert Systems for Experts" (John Willey & Sons), 1988.
    
40. Poramias G, Moustakis V, Blazadonakis M, Vassilakis P. Gaga E. Case Study: Therapeutic treatment of Maldescensus Testsis using Machine Learning", Technical Note FORTH/p 2154/cs1/1), Machine Learning Toolbox, ESPRIT project, September 1992.
    
41. Rabelo A et al. An Expert System for diagnosis of acute myocardic infraction with ECG analysis", Artificial Inteligence in Medicine. 10, 75-92. 1997.
    
42. Reggia JA and Tuhrim S, "Computer Assisted Medical Decision Making", Computers in Medical Series, vol 2, 1985.
    
43. Rich KM, Robinson PR "Using Turbo PROLOG", McGraw-Hill, 1989
    
44. Rom G, Schartz G, Grims R, Rumpl E, Plurtscheller C "BRAINDEX: An Interactive Knowledgee-Based System Supporting Brain Death Diagnosis", Methods of Information in Medicine, vol 29, pp 193-195, 1990.
    
45. Ross-Mori A, Pisanelli DM & Ricci FL "Evaluation stages and desing steps for knowledge-based systems in Medicine", MED. INFORM. vol 15. pp 191-204, 1990.
    
46. Saatchi MR & Jervis BW PC-based Integrated System development to diagnose specific brain dissorders", Computing & Control Engineering Journal, March 1991.
    
47. Schizas CN, Pattichis CS, Bonsett CA, "Medical Diagnostic System: A Case for Neural Networks", Technology and Health Care 2. 1-18. 1994.
    
48. Shah KN and others, Experience with International League Against Epilepsy Classifications of Epileptic Seizures (1981) and Epilepsies and Epileptic Syndrome (1989) in epileptic children in a developing country", Epilepsia 33(6). 1072-1077. 1992.
    
49. Starrta A, Majidi U. Giordano A. Battagia M, Cioni R, "NEUREX: a tutorial expert system for the diagnosis of neurogenic diseases of lower limbs" Artificial Intelligence In Medicine" Vol 7. 25-36. 1995.
    
50. Szolovits P, Patil RS and Schwartz WB, "Artificial inteligence in medical diagnosis", Ann. Intern. Med., vol 108, pp 80-87, 1988.
    
51. Theodopopoulos G and others, "An Expert Parasite Identification (EPAION) system with multimedia support", Med. Inform. Vol. 22. No 3 263-273. 1997
    
52. Walters JR, Nielsen NR, "Crafting Knowledge-Based Systems" (John Willey & Sons), 1988.
    
53. Wolfram DA, "An Appraisal of INTERNIST-I", Artificial Inteligense in Medicine, vol 7, 93-116, 1995.
    
54. Wyatt J, Spiegelhalter D, "Evaluating Medical Expert Systems: What to test and how", MED. INFORM. vol 15, No 3, pp 205217. 1990.