Possibilistic Processes for 
Complex Systems Modeling

Cliff Joslyn

A PhD dissertation completed in the Systems Science Department of SUNY-Binghamton under the direction of Prof. George Klir. Completed and revised May 1994. Appears in Dissertation Abstract Index, Volume 55-08B, February 15, 1995.

Brief Abstract

Possibility theory is an alternative information theory to that based on probability. Although possibility theory is logically independent of probability theory, they are related: both arise in Dempster-Shafer evidence theory as fuzzy measures defined on random sets; and their distributions are both fuzzy sets. Furthermore, possibility theory directly generalizes both nondeterministic process theory and interval analysis. So possibility theory is a component of a broader Generalized Information Theory (GIT), which includes all of these fields. The fundamentals of possibilistic modeling are developed in four directions:

Extended Abstract

Possibility theory is being developed as an alternative to traditional information theory. While possibility theory is logically independent of probability theory, they are related: both arise in Dempster-Shafer evidence theory as fuzzy measures defined on random sets; and their distributions are both fuzzy sets. Together these fields comprise the new field of Generalized Information Theory (GIT).

Traditionally mathematical possibilistic semantics has been based strictly on fuzzy sets and their interpretation in the context of psychological uncertainty and subjective evaluations. The purpose of this dissertation is to extend interpretations and applications of possibility theory beyond those of fuzzy sets; in particular, to develop a natural semantics of possibility for the purposes of qualitative modeling of complex physical systems. The dissertation addresses the following:

Possibility Theory in GIT:
The relations between possibility theory and the other formalisms of GIT are explicated; random set distributions and their distribution operators and structural and numerical aggregation functions are introduced to relate probability with possibility in the context of GIT; possibility arises from consistent random sets; and methods for possibilistic normalization and possibilistic approximation of inconsistent random sets are developed. It is argued that there is no special relationship between possibility theory and fuzzy systems theory.
Semantics of Possibility:
Drawing from semiotics and general models, criteria for the natural semantics of possibility are explored; the basis for a graduated, de re possibility is related to modal, natural language, and probabilistic views; a strong compatibility requirement for possibility and probability is advanced; possibilistic concepts are developed from mathematical, statistical and physical interpretations; and the traditional semantics of possibility from subjective evaluations, converted probabilities, and likelihoods are critiqued.
Possibilistic Measurement:
Measurement methods for possibility values based on subset observations, and which are consistent with possibilistic semantics, are developed; possibilistic histograms which are fuzzy intervals, and their continuous approximations, are defined; set statistics are derived from indirect measurement of system components, ensembles of differently calibrated instruments, interval-based time series data from order statistics, and local extrema of time series data.
Possibilistic Processes:
General processes are defined as semirings operating on state vectors and transition matrices, and the special case of possibilistic processes using max/t-norm semirings and possibilistically normal conditional transition matrices, are introduced, and their properties developed; possibilistic Markov processes and a possibilistic Monte Carlo method are defined.
Software Architecture:
An architecture for a C++ implementation of possibilistic and GIT methods is proposed in the context of the Computer-Aided Systems Theory (CAST) research program.
Qualitative Model-Based Diagnosis and Trend Analysis:Th
e use of possibility theory as a new method for qualitative modeling is explored. The potential for the application of possibilistic methods in systems for the qualitative model-based diagnosis and trend analysis of complex systems like spacecraft is described.

Contents

0.1  Abstract  : : : : : : : : : : : : : : : : : : : : : : : :  iv
0.2  Acknowledgments : : : : : : : : : : : : : : : : : : : : :  vi
0.3  Preface   : : : : : : : : : : : : : : : : : : : : : : :  viii

1  Science and Information                                       1
1.1  Informational Properties and Concepts : : : : : : : : : :   1
     1.1.1  Fundamental Characterizations  : : : : : : : : : :   2
     1.1.2  Related Concepts and the Rejection of "Infor-
            mation"  : : : : : : : : : : : : : : : : : : : : :   3
1.2  Natural Science and Information Theory  : : : : : : : : :   4
     1.2.1  Probability  : : : : : : : : : : : : : : : : : : :   4
     1.2.2  Thermodynamic Information  : : : : : : : : : : : :   5
     1.2.3  Information Theory   : : : : : : : : : : : : : : :   6
     1.2.4  Quantum Information  : : : : : : : : : : : : : : :   7
     1.2.5  Algorithmic Information  : : : : : : : : : : : : :   7
     1.2.6  Chaotic Information  : : : : : : : : : : : : : : :   7
     1.2.7  Computational Physics  : : : : : : : : : : : : : :   8
     1.2.8  Modeling and Simulation Technology : : : : : : : :   8
1.3  Information Science as Meta-Science : : : : : : : : : : :   9
1.4  Generalized Information Theory  : : : : : : : : : : : : :  10
     1.4.1  git and Science  : : : : : : : : : : : : : : : : :  10
     1.4.2  Applications in "Informational Engineering"  : : :  11
     1.4.3  Applications in Psychology   : : : : : : : : : : :  11
     1.4.4  Lack of Objective Semantics  : : : : : : : : : : :  12
1.5  Towards an Objective Possibility Theory : : : : : : : : :  13

2  Possibility Theory in git                                    15
2.1  Algebraic Preliminaries   : : : : : : : : : : : : : : : :  16
     2.1.1  Complements  : : : : : : : : : : : : : : : : : : :  16
     2.1.2  Norms and Conorms  : : : : : : : : : : : : : : : :  17
2.2  Possibility Theory  : : : : : : : : : : : : : : : : : : :  18
     2.2.1  Generalized Possibility  : : : : : : : : : : : : :  19
     2.2.2  Specializations    : : : : : : : : : : : : : : : :  21
2.3  Fuzzy Measures  : : : : : : : : : : : : : : : : : : : : :  22
2.4  Fuzzy Sets  : : : : : : : : : : : : : : : : : : : : : : :  23
     2.4.1  The Fuzzy Power Set  : : : : : : : : : : : : : : :  24
     2.4.2  Fuzzy Set Concepts   : : : : : : : : : : : : : : :  25
     2.4.3  Fuzzy Arithmetic   : : : : : : : : : : : : : : : :  26
     2.4.4  Fuzzy Sets vs. Fuzzy Measures  : : : : : : : : : :  27
2.5  Evidence Theory and Random Set Theory : : : : : : : : : :  28
     2.5.1  Random Sets  : : : : : : : : : : : : : : : : : : :  30
     2.5.2  Distributions of Random Sets : : : : : : : : : : :  32
     2.5.3  Some Special Cases : : : : : : : : : : : : : : : :  34
2.6  Uncertainty Measures and Principles : : : : : : : : : : :  39
     2.6.1  Axiomatization   : : : : : : : : : : : : : : : : :  40
     2.6.2  Uncertainty Measures on Random Sets  : : : : : : :  40
     2.6.3  Uncertainty Measures on Distributions  : : : : : :  41
     2.6.4  Uncertainty Principles   : : : : : : : : : : : : :  44
2.7  Possibility Distributions and Random Sets : : : : : : : :  46
     2.7.1  Probability Distributions and Random Sets  : : : :  47
     2.7.2  Consonance, Consistency, and Possibility Dis-
            tributions   : : : : : : : : : : : : : : : : : : :  48
     2.7.3  The Consonant Approximation  : : : : : : : : : : :  49
2.8  Possibilistic Normalization : : : : : : : : : : : : : : :  51
     2.8.1  Consistent Transformations   : : : : : : : : : : :  52
     2.8.2  Dimensional Extension  : : : : : : : : : : : : : :  58
     2.8.3  Maximum Entropy Approaches : : : : : : : : : : : :  61
2.9  Possibility, Probability, and Fuzzy Sets  : : : : : : : :  61
     2.9.1  Zadeh's Possibility from Fuzzy Sets  : : : : : : :  62
     2.9.2  Fuzzy Sets and Normalization : : : : : : : : : : :  63
     2.9.3  Possibilistic Normalization  : : : : : : : : : : :  64
     2.9.4  Fuzzy Sets and Distributions in git  : : : : : : :  65
     2.9.5  Fuzzy-Possibility Linkage  : : : : : : : : : : : :  67
     2.10   Probability and Possibility  : : : : : : : : : : :  72

3  Semantics of Possibility Theory                              75
3.1  Possibility in the Semiotics of Modeling  : : : : : : : :  76
     3.1.1  Symbol and Meaning : : : : : : : : : : : : : : : :  76
     3.1.2  The Semantics of Modeling Relations  : : : : : : :  77
     3.1.3  Freedom and Constraint in Semiotic Systems : : : :  79
     3.1.4  Meta-State Representations of Uncertainty  : : : :  80
     3.1.5  Models with Uncertainty  : : : : : : : : : : : : :  81
3.2  Criteria for a Possibilistic Semantics  : : : : : : : : :  82
     3.2.1  Graduated Possibility  : : : : : : : : : : : : : :  82
     3.2.2  Physical Possibility   : : : : : : : : : : : : : :  84
     3.2.3  Modal Possibility  : : : : : : : : : : : : : : : :  85
     3.2.4  Natural Language Possibility : : : : : : : : : : :  86
     3.2.5  Probabilistic Criteria : : : : : : : : : : : : : :  87
3.3  Possibilistic Concepts    : : : : : : : : : : : : : : : :  94
     3.3.1  Possibilistic Mathematics  : : : : : : : : : : : :  94
     3.3.2  Possibilistic Processes  : : : : : : : : : : : : :  97
     3.3.3  Statistical Interpretations  : : : : : : : : : : :  99
     3.3.4  Possibilistic Locality, Extensibility, and Muta-
            bility  : : : : : : : : : : :  : : : : : : : : : : 100
     3.3.5  Possibilistic Independence from the Universe   : : 101
     3.3.6  Possibility, Complexity, and Emergence   : : : : : 102
     3.3.7  Capacity vs. Frequency Concepts  : : : : : : : : : 104
     3.3.8  Physical Interpretations of Possibility  : : : : : 105
3.4  Traditional Semantics of Possibility  : : : : : : : : : : 108
     3.4.1  Subjective Semantics of Possibility  : : : : : : : 108
     3.4.2  Converted Probabilities  : : : : : : : : : : : : : 118
     3.4.3  Possibilities as Likelihoods : : : : : : : : : : : 124
     3.4.4  Objective Measurement of Fuzziness : : : : : : : : 128

4  Possibilistic Measurement                                   131
4.1  Measuring Devices   : : : : : : : : : : : : : : : : : : : 132
     4.1.1  Physical Measuring Devices : : : : : : : : : : : : 132
     4.1.2  General Measuring Devices  : : : : : : : : : : : : 132
     4.1.3  Empirical Random Sets  : : : : : : : : : : : : : : 133
     4.1.4  Disjoint Measuring Devices : : : : : : : : : : : : 134
     4.1.5  Incomplete Observations  : : : : : : : : : : : : : 135
     4.1.6  Continuous and Discrete Spaces : : : : : : : : : : 137
4.2  Possibilistic Histograms  : : : : : : : : : : : : : : : : 137
     4.2.1  The Form of Possibilistic Histograms : : : : : : : 137
     4.2.2  An Example   : : : : : : : : : : : : : : : : : : : 140
     4.2.3  Possibilistic Histograms as Fuzzy Numbers  : : : : 142
4.3  Continuous Approximations   : : : : : : : : : : : : : : : 143
     4.3.1  Candidate Points   : : : : : : : : : : : : : : : : 144
     4.3.2  An Example   : : : : : : : : : : : : : : : : : : : 145
     4.3.3  Piecewise Linear Approximations  : : : : : : : : : 146
4.4  Compatibility of Possibilistic Histograms : : : : : : : : 147
     4.4.1  Possibilistic Histograms and the Possibility of
            Occurrence   : : : : : : : : : : : : : : : : : : : 147
     4.4.2  GK-Compatible Probability Distributions  : : : : : 147
     4.4.3  Frequency Distributions from Empirical Ran-
            dom Sets   : : : : : : : : : : : : : : : : : : : : 148
4.5  Sources of Set Statistics : : : : : : : : : : : : : : : : 151
     4.5.1  Instrument Ensembles   : : : : : : : : : : : : : : 151
     4.5.2  Point Data from Specific Instruments   : : : : : : 155
     4.5.3  Order Statistical Methods    : : : : : : : : : : : 155
     4.5.4  Local Extrema  : : : : : : : : : : : : : : : : : : 164

5  Possibilistic Processes                                     167
5.1  Mathematical Preliminaries  : : : : : : : : : : : : : : : 167
     5.1.1  Semirings  : : : : : : : : : : : : : : : : : : : : 167
     5.1.2  Fuzzy Relation Composition : : : : : : : : : : : : 169
5.2  General Processes : : : : : : : : : : : : : : : : : : : : 170
5.3  Classes of Processes  : : : : : : : : : : : : : : : : : : 172
     5.3.1  Specialization Conditions  : : : : : : : : : : : : 173
     5.3.2  Combinations of Specializations  : : : : : : : : : 175
     5.3.3  Relations Among the Classes  : : : : : : : : : : : 180
5.4  Properties of Possibilistic Processes : : : : : : : : : : 181
5.5  Discussion  : : : : : : : : : : : : : : : : : : : : : : : 184
     5.5.1  Examples   : : : : : : : : : : : : : : : : : : : : 184
     5.5.2  Relation to Other Classes of Processes   : : : : : 187
     5.5.3  Conditional Possibility  : : : : : : : : : : : : : 192
     5.5.4  Other Approaches   : : : : : : : : : : : : : : : : 196
5.6  Possibilistic Systems   : : : : : : : : : : : : : : : : : 197
     5.6.1  Automata   : : : : : : : : : : : : : : : : : : : : 197
     5.6.2  Possibilistic Monte Carlo Methods  : : : : : : : : 198
     5.6.3  Possibilistic Markov Processes : : : : : : : : : : 200
     5.6.4  Other Forms    : : : : : : : : : : : : : : : : : : 200

6  Implementation of Possibilistic Models                      202
6.1  Computer-Aided Systems Theory (CAST)  : : : : : : : : : : 204
6.2  Object-Oriented Environments  : : : : : : : : : : : : : : 205
6.3  Fundamental Classes   : : : : : : : : : : : : : : : : : : 206
     6.3.1  Random Sets  : : : : : : : : : : : : : : : : : : : 207
     6.3.2  General Distributions  : : : : : : : : : : : : : : 210
     6.3.3  Possibilistic Processes  : : : : : : : : : : : : : 211
6.4  Extensions to the Basic Architecture  : : : : : : : : : : 212
     6.4.1  Engineering Efficiencies and Algorithms  : : : : : 212
     6.4.2  Supplementary Methods  : : : : : : : : : : : : : : 214
     6.4.3  Other Extensions   : : : : : : : : : : : : : : : : 215
6.5  Empirical Investigations  : : : : : : : : : : : : : : : : 217

7  Application to Model-Based Diagnosis                        219
7.1  Qualitative Modeling  : : : : : : : : : : : : : : : : : : 220
7.2  Model-Based Diagnosis (MBD) : : : : : : : : : : : : : : : 221
7.3  Possibility theory for Qualitative Modeling   : : : : : : 223
7.4  A Possibilistic Approach to mbd   : : : : : : : : : : : : 225
     7.4.1  Possibilistic Symptom and Error Detection  : : : : 225
     7.4.2  Sensor Modeling  : : : : : : : : : : : : : : : : : 226
     7.4.3  Possibilistic Models Proper  : : : : : : : : : : : 229

A  Original Contributions                                      231

B  Further Work                                                236

C  Related Publications                                        239

D  Summary of Possibility Theory                               242

E  Mathematical Notation                                       244

Ordering

May be purchased in printed form from UMI Dissertation Services.

Abstract:

Dissertation Abstract Index
Volume 55-08B
February 15, 1995

Ordering:

University of Michigan Dissertation Services
Publication # 9434056
300 N. Zeeb Rd.
Ann Arbor MI 48106 USA
+1-800-521-0600, +1-313-761-4700
Hardback Softcover
          US Academic Customers $46.50 $39.00
          All Others $72.50 $60.50

All prices include postage. Subtract $3 for reduced size format (6" x 9").