Просто об автоматизированных системах сбора и обработки данных: причины использования, алгоритм и примеры применения
Повышение эффективности предприятия и оптимизация бизнес-процессов невозможна без предварительного анализа информации обо всех сторонах деятельности компании. Более того, совсем неважно, что из себя представляет бизнес: завод, магазин или городское хозяйство.
Для того, чтобы в полной мере проанализировать компанию, нужно потратить достаточно много времени, ведь объем информации, который должен быть собран, зачастую является большой проблемой.
Причина? Дело в том, что ручной сбор большого количества первичных данных может привести к ошибкам и неточностям. Ошибочные данные, принимаемые в расчет при выработке решения, могут негативно сказаться на последующей работе компании. Объем первичных данных также в значительной степени влияет на полноту и правильность последующей стратегии управления.
Например, руководителю на производстве необходимо самостоятельно контролировать используемое оборудование и его эффективность. Понятное дело, что это трудозатратная и долговременная задача. В данном случае, наиболее простым и приемлемым выходом из ситуации был бы промышленный контроллер, на который, в свою очередь, отправляются и обрабатываются данные.
И здесь нам помогают те самые системы автоматизированного сбора и обработки данных, так как они справляются с этой задачей быстрее и успешнее как с точки зрения меньшей трудоемкости, так и с точки зрения точности полученного результата.
Перечень предварительно заданных источников информации, использующихся при автоматизированном сборе и обработке данных:
1. Датчики, регистрирующие затраты сырья, выпуск продукции и простои оборудования.
2. Различные измерительные потоковые устройства, например, топливомеры на автоматических АЗС.
3. Современные электронные весы, которые используют оптовые поставщики и отделы расфасовки товаров в крупных продовольственных сетях.
4. Автоматизированные системы учета рабочего времени, основанные на смарт-картах.
5. Счетчики банкнот и электронные кассы.
6. Видеокамеры, установленные в городах – помимо функций безопасности они могут быть задействованы также в сборе данных для дальнейшего анализа транспортных потоков.
7. Первичные данные с бумажных носителей (документы, таблицы, графики) заносятся в системы автоматизированного сбора и обработки данных непосредственно из персональных компьютеров, либо с помощью сканнеров.
Информация с этих и многих других источников информации поступает непосредственно в систему автоматизированного сбора и обработки данных. Полученные данные обрабатываются, в том числе расшифровываются в случае необходимости и конвертируются в вид, удобный для принятия управленческих решений.
Как работают системы автоматизированного сбора и обработки данных?
На вход поступают аналоговые сигналы с датчиков физических величин, установленных на различных физических объектах, в том числе природных. Разнообразные устройства, входящие в состав комплекса, усиливают сигнал, убирают посторонние шумы, фильтруют его и преобразуют в цифровой. Затем, уже в цифровом виде, информация поступает в контроллер для первоначальной обработки.
Различные дополнительные устройства также участвуют в сборе данных:
Сканеры собирают печатную информацию или графические изображения. На производствах это могут быть сканеры штрих-кодов, автоматические датчики давления, температуры, влажности.
Аудио и видеоинформацию собирают диктофоны и видеокамеры, специальные устройства для записи сигналов радио и телевидения.
Комплексы сбора и обработки данных применяются довольно широко, практически во всех сферах промышленности и сельского хозяйства, а также в научных исследованиях.
Геологоразведка в труднодоступных местах и сбор информации с искусственных спутников земли, предупреждения о природных катаклизмах и расчет нагрузки на электросети при их проектировании, управление крупным заводом и контроль потребления ресурсов в ЖКХ – все это было бы невозможным без комплексов сбора и обработки информации.
Где применяются?
Книги с бухгалтерскими проводками, списки поставщиков и перечней продукции – все это осталось в прошлом веке вместе с забытыми счетами и ведомостями по зарплате. Большинство современного поколения менеджеров и владельцев бизнесов даже не знают, как выглядят эти, бывшие когда-то необходимыми, вещи.
Автоматизация бизнеса началась как раз с бухгалтерского учета. И если еще пару десятилетий назад автоматически учитывались бухгалтерские проводки, что облегчало составление баланса, то современные платформы для автоматизации бизнеса помогают вести, в том числе, учет поставщиков, покупателей, групп товаров и отдельных наименований, получать отчеты в любых сочетаниях данных.
Автоматическое формирование деклараций, отчетов для государственных органов, зарплатных ведомостей значительно облегчило труд бухгалтеров, сократило технические ошибки, сэкономило немалые суммы за счет оптимизации количества персонала, сокращения штрафов.
Современные платформы для автоматизации бизнеса внедряются и для управленческого учета. Многие из них предоставляют возможности управления бизнес-процессами компании, постановки задач и контроля их исполнения.
Работа менеджеров по закупкам, которые оперируют с данными сотен поставщиков и десятками тысяч наименований товаров также невозможна вручную. Платформы для автоматизации бизнеса предлагают не только автоматизировать процесс заказа товара в определенные сроки у определенных поставщиков, они также могут отслеживать снижение цен и предлагать замену поставщика того или иного наименования товара к выгоде компании.
Работа крупных медицинских центров, в том числе частных, в настоящее время значительно облегчена внедрением платформ для автоматизации бизнеса – медицинскими информационными системами. В этих системах хранится вся информация о пациентах, назначениях, препаратах, операциях. Врачи не тратят время на заполнение вручную большого количества отчетов, поиск информации о пациенте и проведенном лечении.
В заключении, в настоящее время есть возможность автоматизировать процессы даже для микробизнеса и самозанятых – многие банки наряду с ведением счетов предоставляют необходимые услуги по онлайн-бухгалтерии, автоматическим отчислениям налогов.
Источник
Автоматизированные системы сбора, хранения и анализа информации
Автоматизированные информационные системы (АИС) относятся к классу сложных систем, как правило, не столько в связи с большой физической размерностью, сколько в связи с многозначностью структурных отношений между их компонентами. В рамках системного анализа сложные системы изучаются посредством разбиения на элементы: предполагается, что сложная система есть целое, состоящее из взаимосвязанных частей, которые не могут быть определены априорно, а строятся или выбираются в процессе декомпозиции (физической или концептуальной) исходной системы. Поэтому, прежде чем непосредственно перейти к изучению АИС, рассмотрим основные понятия и подходы к классификацииинформационных систем (ИС) вообще.
В настоящее время нет единого определения ИС и нет единой их классификации в связи с динамично протекающими процессами накопления знаний в области информационных технологий, поэтому приведем для сравнения наиболее существенные.
Информационная система — совокупность информационных, экономико-математических методов и моделей, технических, программных, технологических средств и специалистов, предназначенная для сбора, хранения, обработки и выдачи информации и принятия управленческих решений.
Информационная системаесть распространенное обозначение человеческого коллектива и процедур, а также разработанного, построенного, используемого и обслуживаемого оборудования для сбора, обработки, сохранения, извлечения и отображения информации.
Актуальной задачей в информационном плане на сегодняшний день для предприятий и корпораций всех организационных форм и видов собственности и в любой предметной области является обеспечение надежного управления всем объемом разнородных данных, которые порождаются, хранятся и используются в различных ИС, существующих на предприятии и связанных с информационной поддержкой продукции (услуг) в течение ее жизненного цикла..
ИС можно классифицироватьпо различным признакам. В основу нижеприведенной классификации положен ряд существенных признаков, определяющих функциональные возможности и особенности построения современных систем; также принимались во внимание объем решаемых задач, используемых технических средств, организации функционирования и т.д.
По типу хранимых данных ИСделятся на фактографические и документальные.Фактографические системы предназначены для хранения и обработки структурированных данных в виде чисел и текстов. Над такими данными можно выполнять различные операции.
Основываясь на степени автоматизации информационных процессовв системе управления фирмой (организацией), ИС делятся на ручные, автоматические и автоматизированные.
Автоматизированная система (АС) — это система, состоящая из персонала и комплекса средств автоматизации его деятельности, реализующая информационную технологию установленных функций.
Комплекс средств автоматизации (КСА) — совокупность всех компонентов АС, за исключением персонала.
Пользователь АС — лицо, участвующее в функционировании АС или использующее результаты ее функционирования.
В зависимости от характера обработки данныхАИС 1 делятся на информационно-поисковые и информационно-решающие.
В зависимости от сферы примененияразличают следующие классы АИС.
Системы организационного управления предназначены для автоматизации функций управленческого персонала как промышленных предприятий, так и непромышленных объектов (гостиниц, банков, магазинов и пр). Основными функциями подобных систем являются: оперативный контроль и регулирование, оперативный учет и анализ, перспективное и оперативное планирование, бухгалтерский учет, управление сбытом, снабжением и другие экономические и организационные задачи.
Системы управления технологическими процессами (ТП) служат для автоматизации функций производственного персонала по контролю и управлению производственными операциями. В таких системах обычно предусматривается наличие развитых средств измерения параметров технологических процессов (температуры, давления, химического состава и т.п.), процедур контроля допустимости значений параметров и регулирования технологических процессов.
Системы автоматизированного проектирования (САПР) предназначены для автоматизации функций инженеров-проектировщиков, конструкторов, архитекторов, дизайнеров при создании новой техники, сооружений или технологий. Основными функциями подобных систем являются: инженерные расчеты, создание графической документации (чертежей, схем, планов), создание проектной документации, моделирование проектируемых объектов.
Интегрированные (корпоративные) АИС используются для автоматизации всех функций фирмы (корпорации) и охватывают весь цикл работ — от планирования деятельности до сбыта продукции. Они включают в себя ряд модулей (подсистем), работающих в едином информационном пространстве и выполняющих функции поддержки соответствующих направлений деятельности.
Рассмотренная классификация АИС с указанными выше классификационными признаками не является единственной. Приведем пример классификации, где в качестве основного классификационного признака рассматриваются особенности автоматизируемой профессиональной деятельности — процесса переработки входной информации для получения требуемой выходной.
В соответствии с названиями приведенных на рис.1 систем (аббревиатуры общеприняты среди специалистов по информационным технологиям и системам) нетрудно определить назначение и особенности каждой из них.
Рис.1. Классификация АИС с учетом особенностей автоматизируемой профессиональной деятельности:
АСУ — автоматизированные системы управления (П — персоналом, ТС — техническими средствами); СППР — системы поддержки принятия решения (Р — руководителя, О — должностного лица органа управления, Д — оперативного дежурного, Оп — оператора); АИВС — автоматизированные информационно-вычислительные системы; ИРС — информационно-расчетная система; САПР — система автоматизированного проектирования; МЦ — моделирующий центр; ПОИС — проблемно-ориентированная имитационная система; АИИС — автоматизированные информационно-справочные системы; АА — автоматизированные архивы; АСД — автоматизированные системы делопроизводства; АС — автоматизированные справочники и АК — автоматизированные картотеки; АСВЭК — автоматизированные системы ведения электронных карт; АСО — автоматизированные системы обучения; АСОДИ — автоматизированные системы обеспечения деловых игр; Т и ТК — тренажеры и тренажерные комплексы
Информационное обеспечение —совокупность форм документов, классификаторов, нормативной базы и реализованных решений по объемам, размещению и формам существования информации, применяемой в АИС при ее функционировании.
Для организации поиска информации, для ведения тезаурусов (словарей) эффективно используется дескрипторная (описательная) система классификации, язык которой приближается к естественному языку описания информационных объектов. Особенно широко она используется в библиотечной системе поиска.
Системы классификации принципиально отличаются от систем кодирования в соответствии с определением.
Схемы информационных потоков отражают маршруты движения информации, ее объемы, места возникновения и использования. Анализ таких схем позволяет выработать меры по совершенствованию всей системы управления.
Лингвистическое обеспечение —совокупность средств и правил для формализации естественного языка, используемых при общении пользователей и эксплуатационного персонала АИС с комплексом средств автоматизации при функционировании АИС.
Языковые средства лингвистического обеспечения делятся на две группы: традиционные языки (естественные, математические, алгоритмические, моделирования) и языки, предназначенные для диалога с ЭВМ.
Математическое обеспечение —совокупность математических методов, моделей и алгоритмов, применяемых в АИС.
В состав математического обеспечения входят:
• средства математического обеспечения (средства моделирования типовых задач управления, методы многокритериальной оптимизации, математической статистики, теории массового обслуживания и др.);
• техническая документация (описание задач, алгоритмы решения задач, экономико-математические модели);
• методы выбора математического обеспечения (методы определения типов задач, методы оценки вычислительной сложности алгоритмов, методы оценки достоверности результатов).
Методическое обеспечение —совокупность документов, описывающих технологию функционирования АИС, методы выбора и применения пользователями технологических приемов для получения конкретных результатов при функционировании АИС.
Организационное обеспечение —совокупность документов, устанавливающих организационную структуру, права и обязанности пользователей и эксплуатационного персонала АИС в условиях функционирования, проверки и обеспечения работоспособности АИС.
Правовое обеспечение —совокупность правовых норм, регламентирующих правовые отношения при функционировании АИС и юридический статус результатов ее функционирования. Примечание: правовое обеспечение реализуется в организационном обеспечении АИС.
Программное обеспечение —совокупность программ на носителях данных и программных документов, предназначенная для отладки, функционирования и проверки работоспособности АИС.
Техническая документация на разработку программных средств должна содержать описание задач, задание на алгоритмизацию, экономико-математическую модель задачи, контрольные примеры.
Техническое обеспечение —совокупность всех технических средств, используемых при функционировании АИС.
Выбор технических средств, организация их эксплуатации, технологический процесс обработки данных, технологическое оснащение документально оформляются.
Документацию технического обеспечения можно условно разделить на группы:
Эргономическое обеспечение —совокупность реализованных решений в АИС по согласованию психологических, психофизиологических, антропометрических, физиологических характеристик и возможностей пользователей АИС с техническими характеристиками комплекса средств автоматизации АИС и параметрами рабочей среды на рабочих местах персонала АИС.
Охрана здоровья трудящихся, обеспечение безопасности условий труда, ликвидация профессиональных заболеваний и производственного травматизма составляют одну из главных забот человеческого общества. Обращается внимание на необходимость широкого применения прогрессивных форм научной организации труда, сведения к минимуму ручного, малоквалифицированного труда, на создание обстановки, исключающей профессиональные заболевания и производственный травматизм.
Архитектура АИС. Термин «архитектура» применительно к вычислительным системам появился задолго до создания первых АИС, тем не менее он является одним из основополагающих и в сфере информационных технологий. Существуют различные подходы к определению архитектуры АИС, различные точки зрения и различная степень детализации рассмотрения; приведем некоторые из них.
Согласно архитектура —это организационная структура автоматизированной системы. Известно и другое определение: архитектура —это концептуальное описание структуры системы, включающее описание элементов системы, их взаимодействия и внешних свойств. Выделяют два уровня архитектуры АИС:
• уровень информационных технологий (технический уровень).
Жизненный цикл АИС.Одним из базовых понятий методологии проектирования АИС является понятие жизненного цикла ее программного обеспечения (ЖЦ ПО). ЖЦ ПО — это непрерывный процесс, который начинается с момента принятия решения о необходимости его создания и заканчивается в момент его полного изъятия из эксплуатации.
По аналогии правомерно будет утверждать, что жизненный цикл АИС есть непрерывный процесс с момента принятия решения о необходимости ее создания до полного завершения ее эксплуатации. Продолжительность жизненного цикла современных АИС составляет около 10 лет, что значительно превышает сроки морального и физического старения технических и системных программных средств, используемых при реализации АИС. Поэтому, как правило, в течение ЖЦ системы проводится ее модернизация, после чего все функции системы должны выполняться с не меньшей эффективностью.
Профессиональное, грамотное сопровождение — необходимое условие решения задач, выполняемых АИС. Службы технической поддержки играют весьма заметную роль в жизни любой АИС. Ошибки на этом этапе могут привести к явным или скрытым финансовым потерям, сопоставимым со стоимостью самой системы.
Среди вспомогательных процессоводним из главных является управление конфигурацией,которое поддерживает основные процессы жизненного цикла АИС, прежде всего процессы разработки и сопровождения.
Разработка сложных АИС предполагает независимую разработку компонентов системы, что приводит к появлению многих вариантов и версий реализации как отдельных компонентов, так и системы в целом. Таким образом, возникает проблема обеспечения сохранения единой структуры в ходе разработки и модернизации АИС. Управление конфигурацией позволяет организовывать, систематически учитывать и контролировать внесение изменений в различные компоненты АИС на всех стадиях ее ЖЦ.
Организационные процессыимеют очень большое значение, так как современные АИС — это большие комплексы, в создании и обслуживании которых занято много людей разных специальностей.
Управление проектом связано с вопросами планирования и организации работ, создания коллективов разработчиков, контроля сроков и качества выполнения работ. Техническое и организационное обеспечение проекта включает:
• выбор методов и инструментальных средств реализации проекта;
• определение методов описания состояния процесса разработки;
• разработку методов и средств испытаний созданного программного обеспечения;
Обеспечение качества проекта связано с проблемами верификации, проверки и тестирования компонентов АИС.
Верификация — процесс определения соответствия текущего состояния разработки, достигнутого на данном этапе, требованиям этого этапа.
Проверка — процесс определения соответствия параметров разработки исходным требованиям. Проверка отчасти совпадает с тестированием, которое проводится для определения различий между действительными и ожидаемыми результатами, а также для оценки соответствия характеристик АИС исходным требованиям.
Модели жизненного цикла АИС. Рассмотренные выше процессы характеризуются определенными задачами и методами их решения, исходными данными, полученными на предыдущем этапе, результатами. Результатами анализа, в частности, являются функциональные модели, информационные модели и соответствующие им диаграммы. При этом ЖЦ ПО носит итерационный характер: результаты очередного этапа часто вызывают изменения в проектных решениях, выработанных на более ранних этапах. Известные модели ЖЦ ПО (каскадная, итерационная, спиральная) определяют порядок исполнения этапов в ходе разработки, а также критерии перехода от этапа к этапу.
По аналогии с известным определением модели ЖЦ ПО и в соответствии с устоявшейся среди специалистов терминологией, приведем определение модели ЖЦ АИС.
Модель жизненного цикла АИС —это структура, описывающая процессы, действия и задачи, которые осуществляются в ходе разработки, функционирования и сопровождения в течение всего жизненного цикла системы.
Каскадная модельописывает классический подход к разработке систем в любых предметных областях; широко использовалась в 1970-80-х гг. Организация работ по каскадной схеме официально рекомендовалась и широко применялась в различных отраслях в связи с наличием теоретического обоснования, промышленных методик и стандартов, а также успешного использования модели в течение десятилетий.
Каскадная модель предусматривает последовательную организацию работ, причем основной особенностью модели является разбиение всей работы на этапы. Переход от предыдущего этапа к последующему происходит только после полного завершения всех работ предыдущего. Каждый этап завершается выпуском полного комплекта документации для того, чтобы иметь возможность при необходимости всегда продолжить разработку.
Каскадная модель получила широкое распространение не только среди специалистов, так как обладает достоинствами, проявляющимися при выполнении различных разработок. Ниже приведены основные:
1) на каждом этапе формируется законченный набор проектной документации, отвечающий критериям полноты и согласованности. На заключительных этапах разрабатывается пользовательская документация, охватывающая все предусмотренные стандартами виды обеспечения АИС (организационное, информационное, программное, техническое и т.д.);
2) последовательное выполнение этапов работ позволяет планировать сроки завершения и соответствующие затраты.
Каскадная модель изначально разрабатывалась для решения различного рода инженерных задач и не потеряла своего значения для прикладной области до настоящего времени. Кроме того, каскадный подход идеально подходит для разработки АИС, так как уже в самом начале разработки можно достаточно точно и полно сформулировать все требования с тем, чтобы предоставить разработчикам свободу технической реализации. К таким АИС, в частности, относятся сложные расчетные системы и системы реального времени.
Спиральная модель,в отличие от каскадной, но аналогично предыдущей предполагает итерационный процесс разработки АИС. При этом возрастает значение начальных этапов, таких как анализ и проектирование, на которых проверяется и обосновывается реализуемость технических решений путем создания прототипов.
Каждая итерация представляет собой законченный цикл разработки, приводящий к выпуску внутренней или внешней версии изделия (или подмножества конечного продукта), которое совершенствуется от итерации к итерации, чтобы стать законченной системой.
Основная проблема спирального цикла — трудность определения момента перехода на следующий этап. Для ее решения необходимо ввести временные ограничения на каждый из этапов жизненного цикла. Иначе процесс разработки может превратиться в бесконечное совершенствование уже сделанного.
При итерационном подходе полезно следовать принципу «лучшее — враг хорошего». Поэтому завершение итерации должно производиться строго в соответствии с планом, даже если не вся запланированная работа закончена. Планирование работ обычно проводится на основе статистических данных, полученных в предыдущих проектах, и личного опыта разработчиков.
Источник
Автоматизированной информационной системы сбора анализа
В настоящее время в нашем динамично развивающемся информационном мире особую значимость приобретает способность принимать своевременные и правильные решения, которые невозможны без сбора, обработки, хранения, анализа большого объема информации и предоставления результатов их обработки пользователю.
Одной из таких задач является оперативное выявление сайтов в сети Интернет, содержащих информацию, распространение которой в Российской Федерации запрещено. Перечень данной информации представлен в ч. 2 ст. 15.1 Федерального закона от 27.07.2006 № 149-ФЗ «Об информации, информационных технологиях и о защите информации». Зачастую такая информация представлена на сайтах в сети Интернет, которые могут существенно различаться как по использующимся в них технологиям, так и по их функциональности. В свою очередь информация не структурирована и может быть представлена в различных форматах: текст, содержащий фрагменты из нескольких документов; аудио- и видеозаписи; изображения (фотографии и рисунки).
На рынке существует ряд информационных систем, осуществляющих подобную обработку данных и применяемых в других сферах, но информация об их структуре и применяемых методах обработки данных не раскрывается. Зачастую они предоставляются по технологии SaaS (англ. software as a service), что неприемлемо с учетом специфики обрабатываемых данных.
Цель данной работы – предложить структуру информационной системы, обеспечивающей возможность оперативного получения неструктурированной информации с большого количества различных сайтов в сети Интернет и ее хранения для последующей обработки, при этом должна предусматриваться возможность увеличения объема обрабатываемых данных за счет увеличения количества применяемого оборудования (горизонтальное масштабирование) и использование невысокопроизводительного серверного оборудования.
Разработка автоматизированной информационной системы поиска и анализа информации в сети Интернет (далее АИС Поиск) осуществлялась в Югорском научно-исследовательском институте информационных технологий и предназначена: для взаимодействия с сайтами в сети Интернет; хранения и анализа собранной информации; предоставления результатов обработки информации в виде отчетов пользователю.
Взаимодействие с сайтами в сети Интернет направлено на сбор с них исходной информации, предусматривает работу в режиме запрос – ответ по следующим направлениям: поиск требуемой информации на сайте сети Интернет; загрузка найденной информации в АИС Поиск; актуализация информации, хранящейся в АИС Поиск, за счет сравнения с версией [3], расположенной на сайте сети Интернет (выполняется через определенный интервал времени, определяемый с учетом обновления информации).
Контекстная диаграмма потоков данных АИС Поиск
Хранение собранной информации с сайтов в сети Интернет предусматривает множество точек входа для сбора и обработки информации, при этом каждая из них может собирать и обрабатывать данные по своим уникальным правилам.
На этапе проектирования были разработаны диаграммы потоков данных, описывающие основные процессы АИС Поиск и потоки данных, циркулирующих в системе. На рисунке представлена контекстная диаграмма потоков данных АИС Поиск.
Рассмотрим процессы контекстной диаграммы подробнее.
1. Формирование критериев поиска документов (ключевые слова, тематические фразы, поисковые запросы, образцы изображений, фрагменты аудио- и видеозаписей) – определяются требования к содержанию документов, которые должны быть найдены на информационных ресурсах, расположенных в сети Интернет, и загружены в базу данных. Первоначальное наполнение осуществляется оператором, в последующем уточняется по результатам анализа документов.
2. Формирование задач поиска документов – определяется режим поиска документов на информационных ресурсах с учетом имеющихся возможностей, периодичности обновления информации и приоритетов пользователя. Формируется в виде задачи, для которой определяется: время запуска, информационные ресурсы, критерии поиска документов.
3. Поиск документов – обеспечивает выполнение задач по поиску документов: периодическая проверка наличия требующих запуска задач поиска документов, выполнение задачи поиска документов в рамках которой по количеству установленных критериев поиска документов и информационных ресурсов выполняется набор действий:
а) формирование запроса на получение данных к информационному ресурсу на основе определенных критериев поиска документов и его синтаксиса;
б) направление запроса на получение данных в информационный ресурс и ожидание ответа;
в) обработка ответа информационного ресурса (запись ссылок на найденные документы в базу данных).
4. Загрузка документов – обеспечивает загрузку документа по найденной ссылке: проверка доступности документа по найденной ссылке; сравнение загруженного документа с предыдущей версией, при ее наличии (проверка на наличие изменений) в базе данных; запись загруженного документа в базу данных.
5. Анализ документов – обеспечивает автоматическую обработку загруженных документов: извлечение объектов из документа (структурированные данные: ФИО, должности, название территорий и веществ, контактная информация, события и т.д.); определение характера связи для выявленных объектов: объект – субъект, негатив – позитив и т.д.; расчет вероятности отнесения документа к различным группам документов, ранее определенных пользователем (классификация документа); выявление похожих документов (с использованием методов классификации объектов по группам за счет выявления наперед неизвестных общих признаков (введен в 1939 году Robert Tryon) [1]); уточнение критериев поиска документов на основе ранее классифицированных и кластеризованных документов.
6. Формирование отчетов – подготовка данных для отображения пользователю (выполнение операций, которые не могут быть выполнены за время ожидания пользователем отклика АИС Поиск).
7. Представление отчетов – представление данных в виде отчетов на основе определенных шаблонов с учетом предпочтений пользователя, при этом ему предоставляется возможность установки фильтра для отбора данных в него включаемых.
8. Верификация данных – подтверждаются пользователем результаты анализа документов: классификация, извлеченные объекты, установленные связи.
По результатам изучения опыта построения подобных систем, в том числе представленных в [2, 4], была выбрана модульная архитектура системы. Использование модульного подхода в качестве основы для такого инструментария позволяет не только просто строить сложные приложения, собирая их из «кирпичиков», но и обеспечивать их взаимозаменяемость для доработки программного обеспечения и расширения возможностей информационных систем. Основные преимущества модульной архитектуры этим не ограничиваются. Также к ключевым особенностям выбранного подхода к построению АИС Поиск можно отнести возможность выборочной ее компоновки, многократное использование однажды написанного кода и разработанных классов [5].
В общем виде структура АИС Поиск состоит из следующих модулей:
– База данных (совокупность средств для обеспечения хранения и доступа к найденным данным).
– Интерфейс пользователя (предоставляет инструменты пользователю для просмотра имеющихся данных и результатов их обработки, а также по управлению работой каждого из модулей).
– Подсистема анализа (осуществляет обработку (классификация, определение объектов и связей) найденных данных).
– Подсистема сбора данных (реализует заданный пользователем алгоритм работы Модулей взаимодействия (запуск, формирование параметров) и обеспечивает загрузку получаемых от них данных в Базу данных).
– Модуль взаимодействия (обеспечивает получение данных с определенного информационного ресурса в соответствии с установленными параметрами).
Все эти собранные неструктурированные данные требуется быстро анализировать, что в свою очередь невозможно без соответствующей организации хранения этих данных. Тенденции последних лет показывают, что для хранения неструктурированных данных используются современные СУБД, сочетающие в себе гибкость модели хранилища документов и строгость и простоту реляционной модели.
Например, в СУБД PostreSQL 9.2 появилась поддержка типа данных JSON (JavaScript Object Notation), а в 9.3 добавились функции обработки значений в нём. Этот же тип данных теперь поддерживается и в MySQL начиная с версии 5.7.8. Аналогичный функционал есть и в СУБД Oracle, MSSQL.
Существует несколько подходов к хранению неструктурированных данных в информационных системах:
– непосредственно в базе данных, при этом большинство современных СУБД предусматривают для этого специализированный тип данных: JSONB в PostgreSQL, CLOB в Oracle и т.д.;
– вне базы данных (в виде файлов в соответствующих хранилищах), при этом в базе данных хранятся только ссылки на них. Основными недостатками данного варианта являются сложности с администрированием, обеспечением доступности и целостности данных. В свою очередь преимуществом данного подхода является возможность использования стандартных приложений по их обработке (просмотр), сокращение общего объема базы данных (не требуется выделять большой объем дискового пространства в одном месте), данные могут храниться на большом количестве различных серверов с небольшим объемом дискового пространства. На сегодняшний день данное направление активно поддерживается разработчиками СУБД и ведутся работы по устранению указанных недостатков, в частности в MS SQL Server 2012 появились таблицы FileTable для работы с файлами, а в Oracle – параметр SecureFiles для типа данных LOB.
Принимая во внимание, что наибольшую часть (объем) будут занимать неструктурированные данные, доступ к которым нужен будет эпизодически (на этапе загрузки для извлечения метаданных и несколько раз для демонстрации результатов пользователю), была предложена следующая структура: Файловый сервер – Драйвер доступа – СУБД.
В качестве файловых серверов было принято решение использовать сервера под управлением свободно распространяемой операционной системы Linux (Debian, или Astra Linux), а в качестве СУБД Postgres, так как она: свободно распространяемая, имеет развитые инструменты для полнотекстового поиска и может быть сертифицирована по требованиям безопасности информации например в составе операционной системы Astra Linux.
В соответствии с предложенным подходом нами в Югорском НИИ информационных технологий была осуществлена реализация АИС Поиск, которая используется компетентными ведомствами Ханты-Мансийского автономного округа – Югры для поиска доменных имен, указателей страниц сайтов в информационно-телекоммуникационной сети Интернет и сетевых адресов, позволяющих идентифицировать сайты в информационно-телекоммуникационной сети Интернет, содержащие информацию, распространение которой в Российской Федерации запрещено.
В настоящее время было обработано более 75 тыс. ссылок, загружено в базу данных более 21 тыс. уникальных документов. Для 922 документов было определено с высокой долей вероятности, что они содержат информацию, распространение которой в Российской Федерации запрещено, более 75 % из них были включены в соответствующий реестр, который ведется Роскомнадзором в соответствии с ч. 3 ст. 15.1 Федерального закона от 27.07.2006 № 149-ФЗ «Об информации, информационных технологиях и о защите информации».
В ходе опытной эксплуатации АИС Поиск получены положительные оценки от конечных пользователей, также ими отмечается предсказуемость появления документов в базе данных в зависимости от сформированных критериев поиска документов (результаты аналогичны полученным при ручном поиске) и снижение трудоемкости. По результатам также было рекомендовано ввести АИС Поиск в промышленную эксплуатацию.
В дальнейшем планируется проведение работ по повышению эффективности работы пользователей с АИС Поиск, в частности за счет внесения изменений в интерфейс пользователя, сокращению время отклика системы на действия пользователя за счет предварительной подготовки данных и повышению скорости работы алгоритмов обработки данных. Планируется также проведение работ по сравнению результатов классификации документов с использованием различных алгоритмов и методов.
Источник
Тема 5. Автоматизированные аналитико — статистические информационные системы, системы учета и управления
Автоматизированные аналитико-статистические информационные системы предназначены для сбора и обработки большого объема первичной информации; результаты обработки представляются в виде таблиц и графиков. Накопленная информация может выдаваться по запросам, т.е. система может выполнять справочные функции. В настоящее время существует несколько аналитико-статистических информационных систем, из которых можно отметить следующие.
Справочная информационно-аналитическая система Государственной инспекции по безопасности дорожного движения (ГИБДД).
Система предназначена для сбора, накопления, анализа информации и подготовки отчетов по авариям на транспорте. Основными задачами системы являются ведение и корректировка статистики дорожно-транспортных происшествий (ДТП) по регионам и годам, оценка показателей аварийности, прогнозирование статистики ДТП, сравнительный анализ ДТП по разным регионам, ранжирование регионов по уровню ДТП. Система предназначена для пользователей, плохо владеющих табличными процессорами (например, Excel). С помощью системы можно:
· вводить новые статистические показатели;
· корректировать введенные показатели;
· получать информацию из баз данных;
· представлять выборки по годам и регионам в виде таблиц;
· прогнозировать аварийность с помощью экстраполяционных моделей;
· выявлять регионы с меньшей аварийностью.
2. Автоматизированная информационная система «Кадры»
Система предназначена для управления кадрами и может в интерактивном режиме:
· накапливать информацию о кадрах;
· анализировать кадровый состав;
· рассчитывать выслугу лет (для присвоения очередных званий работникам органов, вычисления пенсий);
· автоматически готовить кадровые документы и справки по кадрам;
· осуществлять контроль за кадрами;
· управлять доступом к данным по кадрам;
· выдавать кадровые документы в различной форме;
· производить поиск документов по заданным критериям;
· выводить на печать кадровые документы в требуемой форме;
· готовить статистические данные по кадрам.
3.Автоматизированная информационная система «ГРОВД»
Система «ГРОВД», разработанная Академией МВД, функционирует на базе сети персональных компьютеров и предназначена для информационного обеспечения оперативно-розыскной и управленческой деятельности городских и районных органов внутренних дел. Система помогает решению следующих классов оперативно-розыскных задач:
· «учет заявлений и преступлений»;
Работа системы строится на основе первичных документов (карточек). Функциями системы являются:
· защита информации от несанкционированного доступа с помощью паролей и других средств;
· накопление, коррекция и поиск сведений по указанным выше классам задач;
· вывод сведений в требуемой форме;
· сортировка записей по заданным критериям (по алфавиту, по датам и т.п.);
· уточнение запросов на выдачу данных в ходе поиска;
· проверка других массивов данных на наличие записей, релевантных запросу (например, связь лица с преступлением, оружием, транспортными средствами);
· изменение первичных документов без потери информации.
АИС «ГРОВД» — открытая система и поэтому допускает пополнение средствами решения новых задач. Имеется несколько версий этой довольно широко используемой АИС.
4. АИС сбора и обработки данных «Охрана».
АИС «Охрана» предназначена для службы охраны МВД и позволяет вводить, хранить, корректировать сведения:
· об объектах охраны;
· о средствах охраны;
· о численности охраны;
· о лицах, причастных к хищениям;
· о работе и дисциплине персонала охраны.
Можно также вводить и корректировать сведения из подразделений службы охраны МВД о кражах, хищениях, объектах охраны, ложных тревогах. По всем имеющимся в системе данным можно готовить и выдавать статистические отчеты за год, квартал, месяц; отчеты по отдельным подразделениям МВД и др.
5. Справочная информационно-аналитическая система ГУ Охраны РФ.
Система предназначена для руководящего персонала, мало знакомого с табличными процессорами, и служит для сбора, накопления, анализа, подготовки отчетов по основным показателям службы охраны. Основные задачи системы — накопление, статистическая оценка, корректировка важнейших показателей службы охраны в регионах по годам; получение и прогнозирование абсолютных и относительных статистических оценок деятельности службы. Система позволяет в диалоговом режиме:
· вводить новые статистические показатели;
· корректировать старые показатели;
· определять состояние базы данных по регионам и годам по разным показателям;
· получать выборки абсолютных и относительных показателей по годам и регионам в виде готовых для отчетов таблиц;
· улучшать таблицы (например, сортировать строки-регионы);
· осуществлять прогнозирование путем экстраполирования;
· выводить найденный прогноз в виде таблиц или диаграмм.
6. Автоматизированная система управления «РОВД».
АСУ «РОВД» предназначена для информационно-аналитических подразделений районных отделений органов внутренних дел. Информационно-поисковая система «Слежение», представляющая собой подсистему АСУ «РОВД», служит для ввода, хранения, корректировки, выдачи данных для информационно-аналитических отделов РОВД. В ИПС «Слежение» имеются следующие виды учета:
· КУП» — заявления и сообщения о преступлениях и происшествиях, сведения об их расследовании, об уголовных делах для поиска похищенного, об оперативной работе (задержанные лица), об угнанном транспорте;
· «Форма 1» — статистическая карточка на преступление, составленная на основе «КУП»;
· «Форма 1.1» — статистическая карточка о результатах расследования, раскрытии преступления, деятельности следователей;
· «Форма 2» — статистическая карточка на преступника;
· «Форма 3» — статистическая карточка о прохождении дела и решении;
· «Форма 6» — статистическая карточка о результатах суда.
В АСУ «РОВД» имеется ряд программ для ввода информации о событиях, лицах, объектах, представляющих оперативный интерес; для хранения и корректировки данных, для управления данными; для выявления связей между различными видами информации по конкретному событию, лицу, объекту; для ввода, хранения, корректировки кодов предметов, преступников, происшествия, места происшествия, способа совершения преступления; для интерактивных запросов, для подготовки необходимой отчетности.
7. Автоматизированная система паспортного отделения («АСПО»).
Система АСПО предназначена для автоматизации работы паспортных столов в районных отделениях внутренних дел и содержит информацию о данных на конкретное лицо и на его родственников; о паспортах, прописке и выписке; об утраченных и похищенных паспортах, о судимости некоторых категорий лиц (должники, неплательщики алиментов), о паспортных правонарушениях, об административном надзоре за лицами, о выездах за рубеж. По запросам на экран дисплея может выдаваться полное досье на лицо; досье может пополняться. Система обеспечивает достаточно гибкую работу, даже с переводом на другие языки. Возможно ограничение доступа с использованием паролей, кодов и других средств. Для сохранения информации можно автоматически создавать ее дубли. Обычно «АСПО» входит в локальную вычислительную сеть районного ОВД.
Источник
Автоматизированной информационной системы сбора анализа
тел.: +7 (495) 969-26-17 доб. 1204
тел.: +7 (495) 969-26-17 доб. 1614
По вопросам регистрации, изменения сведений об организации и пользователе:
тел.: +7 (495) 969-26-17 доб. 1621
тел.: +7 (495) 969-26-17 доб. 1604
пн-пт: 9:00-18:00 (время московское)
Предпочтительный способ обращения — электронная почта
ВНИМАНИЮ РУКОВОДИТЕЛЕЙ И ОТВЕТСТВЕННЫХ ПРЕДСТАВИТЕЛЕЙ ОРГАНИЗАЦИЙ:
2. Сбор статистических данных по формам №1-ПК и №ПО за 2018 отчетный год на данном сайте производиться не будет.
3. Информация о сроках и месте сбора статистических данных будет доведена до организаций уполномоченными федеральными и региональными органами управления образованием в установленном порядке.
4. Возможность внесения в систему статистических данных по формам №1-ПК и №ПО, изменение информации об организациях и ответственных представителях и иные модифицирующие операции на сайте заблокированы.
Цель создания и развития системы — повышение оперативности, эффективности и качества сбора, анализа и представления статистической информации о реализации дополнительных профессиональных программ и основных программ профессионального обучения в Российской Федерации на базе организаций, осуществляющих образовательную деятельность, для выработки решений по управлению сферой дополнительного профессионального образования (ДПО) и профобучения в соответствии с требованиями современного рынка труда, а также по сохранению и развитию кадрового потенциала страны.
Источник