Influence of Membership Functions on Classification of Multi-Dimensional Data

Abstract

Influence of Membership Functions on Classification of Multi-Dimensional Data The aim of this study is to explore whether the number of intervals for each attribute influences the classification result and whether a larger number of intervals provide better classification accuracy using the Fuzzy PRISM algorithm. The feature selection has been carried out using Fast correlation-based filter solution, and then the decreased data sets have been applied in experiments with preferences used in the previous experiment series. The article also provides conclusions about the obtained classification results and analyzes criteria of certain experiments and their impact on the final result. Also a series of experiments was carried out to assess how and whether the classification result is influenced by categorization of continuous data, which is one of the membership function construction steps; Fuzzy unordered rule induction algorithm was used. The experiments have been carried out using four real data sets - Golub leukemia, Singh prostate, as well as Gastric cancer and leukemia donor data sets of the Latvian Biomedical Research and Study Center. Piederības funkciju ietekme daudzatribūtu datu klasifikācijā Šajā rakstā pētīts tas, vai katra atribūta intervālu skaits ietekmē klasifikācijas rezultātu, kā arī tas, vai lielāks intervālu skaits nodrošina arī labāku klasifikācijas rezultātu. Eksperimentu veikšanai izmantots FuzzyPRISM algoritms. Eksperimentos izmantotas četras reālas datu kopas - Golub leukemia, Singh prostate, Leukemia II un Latvijas biomedicīnas pētījumu un studiju centra kuņga vēža pacientu un veselo pacientu datu kopas. Visām datu kopām ir ļoti liels atribūtu skaits (līdz pat 10 000 atribūtu) un salīdzinoši neliels ierakstu skaits. Pirmajā sērijā, kurā bija divpadsmit eksperimenti, netika veikta atribūtu atlase. Nākamajā sērijā veikta atribūtu atlase, izmantojot Fast Correlation Based Filter risinājumu, un atkārtoti eksperimenti ar iepriekšējā eksperimentu sērijā izmantotajiem uzstādījumiem. Var secināt, ka vairāk likumu iegūts atribūtu atlases eksperimentos. Papildus trim eksperimentiem apmācības kopā veikta atribūtu atlase, izmantojot Fast Correlation Based Filter ar desmitkārtīgo šķērsvalidāciju, lai pārliecinātos, par to kā šķērsvalidācija ietekmē gala rezultātu. Izdarīti secinājumi par iegūtajiem klasifikācijas rezultātiem, kā arī analizēti atsevišķi eksperimentu parametri un to ietekme uz gala rezultātu. Izmantojot algoritmu FURIA, veikta arī eksperimentu sērija, lai noskaidrotu kā un vai klasifikācijas rezultātu ietekmē skaitlisku datu pārveidošana par kategoriskiem, kas ir viens no piederības funkciju konstruēšanas soļiem. Salīdzinot klasifikācijas rezultātus, tika secināts, ka visaugstākos rezultātus uzrāda eksperimenti ar originālo datu kopu ar nepārtrauktām atribūtu vērtībām, tomēr iegūtie klasifikācijas rezultāti, sākot ar dalījumu 10 intervālos, tuvojas pilno datu kopu rezultātiem. Tāpēc izvēloties, cik intervālos dalīt atribūta vērtību, jābūt skaidrībai, kas ir galvenais - klasifikācijas precizitāte, interpretējamība vai skaitļošanas ilgums. Влияние функций принадлежности на классификацию данных со многими атрибутами Статья посвящена исследованию следующих вопросов: влияет ли число интервалов определения каждого атрибута на результат классификации, обеспечивает ли увеличение числа интервалов улучшение результата классификации. Для проведения экспериментов использован алгоритм FuzzyPRISM. В экспериментах использованы четыре реальных множества данных Golub leukemia, Singh prostate, Leukemia II и множество данных о здоровых и больных раком желудка пациентах Латвийского центра биомедицины. Для всех множеств данных характерно очень большое число атрибутов (до 10 000) и сравнительно небольшое число записей. В первой серии из двенадцати экспериментов отбор атрибутов не проводился. В следующей серии отбор атрибутов проводился с использованием алгоритма Fast Correlation Based Filter, и далее повторялись эксперименты с установками, используемыми в экспериментах предыдущей серии. Можно заключить, что больше правил получено в экспериментах, основанных на отборе атрибутов. Дополнительно в трех экспериментах на обучающем множестве производился отбор атрибутов по алгоритму Fast Correlation Based Filter, а также использовалась 10кратная кроссвалидация (для проверки ее влияния на конечный результат). Сделаны выводы о полученных результатах классификации, проанализированы параметры отдельных экспериментов и их влияние на конечный результат. С использованием алгоритма Fuzzy Unordered Rule Induction Algorithm проведена также серия экспериментов, позволяющая выяснить влияние преобразования численных данных в категорические (что является одним из этапов конструирования функций принадлежности) на результат классификации. Сравнивая результаты классификации, можно заключить, что наилучшие результаты получены в экспериментах с полным оригинальным множеством данных, которое характеризуется непрерывными оценками атрибутов; однако, начиная с деления оценок атрибутов на 10 интервалов, полученные результаты классификации приближаются к результатам на полном множестве данных. Поэтому при выборе числа интервалов, на которые нужно делить оценки атрибутов, целесообразно выяснить, что важнее точность классификации, интерпретация результатов или продолжительность расчетов.