Неточные данные в СУБД
- Проблема неточных данных
- Научная информация в целом
- Неточные измерения
- Ошибки измерения
- Неучтенные эффекты в моделях
- Отсутствующие или маловероятные замеры
- Пропущенные или неудачные наблюдения, аппаратурные сбои
- Исторические даты как пример
- Неточно заданные
- В 1562 году, в 13 веке, ...
- Заданные интервалами
- Во время Реформации, в Средние Века, ...
- Заданные неравенствами
- После первого крестового похода, до нашей эры, ...
- Заданные массивами/наборами интервалов
- Как-то осенью в начале 20 века
- В понедельник в январе
- Астрономические примеры
- Кривые блеска переменных звезд
- Пропущенные точки - неравномерные временные ряды
- Неточные точки - неуверенное отождествление (объект/не объект)
- Формализация
- Два типа неопределенности
- tuple uncertainty - запись присутствует с какой-то вероятностью
- attribute uncertainty - значение записи распределено с какой-то функцией распределения
- Интервалы - равномерное распределение на отрезке
- Алленовская алгебра - сравнение положений крайних точек
- Функции распределения
- Произвольные распределения
- Квантили и совместные вероятности
- “Перенос ошибок” - гауссовское приближение, среднее + сигма, пересчет при преобразованиях
- Честный расчет функций распределения после преобразований
- Possible Worlds Semantics - разложить ситуацию на отдельные реализации - “события”, посчитать результат для всех возможных реализаций и свести с соответствующими весами
- Символический вид распределений
- Точно, но сложно - распределение 1/Гаусс уже непонятно какое
- Аппроксимация гистограммами
- Неточно, не очень быстро и эффективно, но универсально
- Реализации
- Исторические даты - hdate
- собственный тип данных
- контриб, тесты
- Orion
- расширение к Постгресу
- (В теории - на самом деле все запихнуто внутрь, кое-где патчится код ядра для вызова хуков)
- модель - собственный тип данных, произвольные функции распределения, поддержка “возможно-отсутствующих” записей (через ненормированные на единицу функции распределения. интеграл = вероятность существования записи)
- ввод - символьный (равномерное, гаусс)
- внутреннее представление - гистограммы и символьный вид для простых случаев
- основной упор на пороговые запросы - “вернуть все записи, для которых с заданной вероятностью выполняется условие”
