ПЛАТФОРМА АНАЛИЗА ТЕКСТА AUDITMAP.AI

Перенос оценок в современную эпоху

1. Аннотация: Почему ИИ для внутреннего аудита и управления рисками?

2. Введение

Содержание
1. Аннотация: Почему ИИ для внутреннего аудита и управления рисками?
2. Введение
3. Современные вызовы внутреннего аудита
4. AuditMap.ai: платформа для улучшения аудита
5. Ограничения и дальнейшие действия
6. Ссылки

3. Современные проблемы внутреннего аудита

Задачи внутреннего аудита в крупных организациях замедляются из-за объема документации. Медленное время отклика на аудит, планирование аудита на основе выборки и использование поиска по ключевым словам - все это индикаторы того, что автоматизация необходима для ускорения задач внутреннего аудита. Качество аудита также страдает, когда заинтересованным сторонам своевременно не сообщаются соответствующие пробелы или риски. В этой работе описывается решение для автоматизации рабочего процесса под названием AuditMap.ai. Решение содержит несколько моделей искусственного интеллекта, которые читают тысячи аудиторских отчетов на разных языках, чтобы постоянно идентифицировать и систематизировать соответствующий текст внутри. Вместо того, чтобы заменять аудитора, AuditMap.ai помогает в ориентированном на человека процессе планирования и проведения аудита.

4. AuditMap.ai: платформа для улучшения аудита

Служба внутреннего аудита организации вынуждена обеспечивать результаты, которые соответствуют требованиям заинтересованных сторон и защищают организацию от возникающих угроз. Сложно представить общую картину в перспективе, учитывая объем отчетов, существующих в организации. Эта работа описывает решение, которое читает тысячи аудиторских отчетов для классификации и организации соответствующего текста в отчетах.

Внутренние аудиторы обеспечивают защиту от предотвратимых ошибок и упущений, которые могут снизить качество, запятнать репутацию и надежность фирмы, упустить возможности или привести к прямым финансовым потерям. Основная роль внутреннего аудита - выявление неэффективности, несоответствий и предотвращение убытков. Эти действия осуществляются посредством оценки на основе рисков и общения с комитетами совета директоров, тогда как финансовый аудит сосредоточен на обнаружении потенциально существенных проблем в записях транзакций, а иногда и на исправлениях. Другими словами, убытки, обнаруженные в ходе финансового аудита, уже произошли, а результаты работы внутреннего аудита выявили пробелы в соблюдении требований, качестве и других областях. Чтобы выявить эти пробелы, внутренний аудит требует отслеживания результатов в каждой области риска, которой подвержены программы организации. Это отслеживание требует контекстуализации и быстрых результатов, а не ежегодного сводного отчета для комитета по аудиту.

Внутренний аудит занимает уникальное положение, обеспечивающее уверенность в корпоративной структуре. Он имеет исторические корни в финансовом аудите и с тех пор превратился в предоставление гораздо более широкого спектра гарантий. Внутренний аудит на практике сильно отличается от финансового аудита. Принимая во внимание, что современный финансовый аудит оценивает транзакции и их записи для подтверждения точности финансовой отчетности (иногда с использованием программного обеспечения для бухгалтерского учета с двойной записью); оценки, основанные на эффективности внутреннего аудита, служат цели отчетности комитету по аудиту и высшему руководству о состоянии корпоративного управления, процессах, процедурах, рисках, средствах контроля, отчетах о случаях и многом другом в их организации. Кроме того, в государственных корпорациях и в определенных секторах, таких как здравоохранение и финансы, внутренний аудит и раскрытие информации о рисках требуется по закону [1] [2].

5. Ограничения и путь вперед

Внутренняя отчетность перешла в эпоху больших данных, и это приводит к информационной перегрузке в корпоративной среде. В результате большого объема данных отчета ситуация недостаточной информации богатой информации распространяется по среде аудита [3]. Эта ситуация характеризуется тем, что организация отслеживает многие индикаторы в предположении, что они обеспечивают качество, но упускает из виду возникающие риски, поскольку имеющаяся информация не измерялась ни одним из отслеживаемых индикаторов. Ответом должна быть лучшая технология для преобразования данных в полезную информацию. Технологии - важнейший фактор эффективности и производительности службы внутреннего аудита [4]. Цитата из Международных стандартов профессиональной практики внутреннего аудита 2017 г .: Внутренние аудиторы должны обладать достаточными знаниями о ключевых рисках и средствах контроля информационных технологий, а также о доступных технологиях аудита для выполнения порученной им работы [5]. Как указано в отчете Brydon [6] за 2019 год, ситуация в области аудита также смещается в сторону усиления разделения между аудиторами и их клиентами, что побуждает компании увеличивать ротацию поставщиков гарантий. Кроме того, в отчете указывается, что , по-видимому, существует широко распространенное мнение о том, что автоматизация существующих задач аудита, связанных с данными, находится в процессе и ее расширение неизбежно.

Обширные частные текстовые наборы данных внутренних отчетов сокрушили традиционную роль аудиторов. Например. организация с 100000 сотрудников в высоко регулируемой сфере (например, авиастроение), может генерировать миллионы документов в течение 10 лет. Формирование этого тщательно записанные данные отчета в теории и планы оценки отнимает много времени, и все же Результаты этих оценок может быть чрезвычайно чувствительным ко времени . Существует острая необходимость в управлении, чтобы знать, где риски на вторник, но функция аудита имеет тенденцию производить отчеты ежеквартально и ежегодно [7]. Кроме того, управление рисками под все большее давление, чтобы смотреть наружу для возникающих рисков. В дополнение к давлению, чтобы доставить быстро, оценки, обсуждаемые в рамках отчетов обычно на основе выборки, в результате отсутствия полного охвата . Обычно для выбора отчетов для выборки с помощью ключевых слов, которые могут привести к пропуску важных документов, что государственные аналогичные концепции, не используя указанные ключевые слова. Кроме того, часто пропустить связь между сообщениями через время, например, повторные риски, все большее число управлений и другие явлений, основанные на время.

Помимо необходимости автоматизации при оценке больших наборов данных, человеческий фактор также требует дополнительной автоматизации процессов аудита. Людей-аудиторов заставляют преуменьшать материальные недостатки [8]. Интеграция алгоритмов в процесс анализа может до некоторой степени оградить аудиторов-людей от этого давления. Кроме того, люди ограничены в своей способности агрегировать и анализировать большие наборы данных. К сожалению, работа с электронными таблицами и программами обработки текстов как с движущими силами командного рабочего продукта ограничена человеческими способностями разбираться в огромных наборах данных. Текстовые рабочие продукты и отчеты затрудняют создание показателей управления и выполнение действий по планированию. Планирование современного внутреннего аудита - это, по сути, управление информационной перегрузкой. Анализ сред управления на крупных предприятиях требует больших затрат времени и средств. Несмотря на то, что отчеты в основном оцифрованы, любая человеческая команда по-прежнему не может полностью прочитать и понять эту задачу. Охват программы имеет тенденцию к сокращению в областях аудита, которые менее тесно связаны с предполагаемым финансовым риском. Кроме того, можно не обращать внимания на неочевидные связи между темами, поскольку области с низким уровнем риска получают меньше ресурсов для аудита. Службы внутреннего аудита и управления рисками переоценивают одни области деятельности и упускают из виду другие, редко проверяемые. В ответ на эти вызовы в последние годы крупные аудиторские организации предприняли важные инициативы по внедрению искусственного интеллекта и аналитики данных [9] [10] [11]. Цель получить количественный обзор основных программ корпоративного управления остается недостижимой для большинства предприятий, поскольку технологии искусственного интеллекта еще не получили широкого распространения в аудиторских компаниях. В литературе предлагается несколько приложений искусственного интеллекта в процессах аудита, но некоторые из них применяются крупными аудиторскими фирмами [12] [13].

Прогностические модели, такие как [14], были предложены в научной литературе по финансовому аудиту, и эта работа естественным образом ведет к аналогичным прогнозным и автоматизированным инновациям в рабочих процессах аудита. Искусственный интеллект входит в функции внутреннего аудита и управления рисками и откроет новые возможности для трансформации корпоративного управления.

Публичное раскрытие - это область, в которой правильное и своевременное выявление рисков имеет решающее значение и часто требуется по закону. В условиях кризиса связей с общественностью определение соответствующей информации в отчетах для последующего публичного раскрытия важно и требует сроков. Часто эта информация не отслеживается в реестре рисков или системе менеджмента качества, поскольку рассматриваемый риск может быть новым или неожиданным. Раскрытие регуляторной информации о рисках также может быть критичным по времени, поскольку даты подачи документов иногда могут быть негибкими. Раскрытие информации о рисках в корпоративных документах увеличивает восприятие риска инвесторами [15], и поэтому, что неудивительно, полезное раскрытие информации о рисках в корпоративных документах является редкостью. Юридические требования о раскрытии рисков являются субъективными, и поэтому их несложно обойти с помощью общих утверждений [15] [16] [17]. Тем не менее, исследование показывает взаимосвязь между ежегодными отчетами и комментариями SEC [18], в соответствии с которыми корпорации с большей вероятностью раскроют риски, если (1) они считают, что неразглашение информации может привести к заключению SEC, или (2) после того, как Комиссия по ценным бумагам и биржам предоставила корпорации информацию о заключении. Учитывая важность раскрытия информации о рисках в квартальных и годовых отчетах, очевидно, что существует острая потребность в решении, которое может своевременно обнаруживать риски, чтобы облегчить процесс раскрытия информации, особенно в критических по времени ситуации. В более общем плане оценка силы менеджмента качества - важная способность для внутренних аудиторов иметь [19] [20].

Качество аудита, скорость и конкуренция за эффективность - вот движущие силы внедрения искусственного интеллекта. Например, необходимость своевременного выявления пробелов или рисков и их раскрытия заинтересованным сторонам тесно связана с результатами деятельности компании. Принятие будет также включать обучение аудиторов и режимы научных испытаний для мониторинга эффективности искусственного интеллекта. Используя публично раскрываемые корпоративные отчеты, в будущей работе следует разработать контрольные показатели для этой оценки эффективности на нескольких языках. Воспроизведение, точность и систематическая ошибка каждой модели должны быть проверены с помощью этих тестов.

В индустрии страхования и академической литературе нет широкого согласия относительно характера грядущих изменений. По некоторым оценкам, аудиторов заменят инновации в области искусственного интеллекта «[10]». Вероятно, это неверно. Вместо этого, скорее всего, в будущем аудиторы будут работать с искусственным интеллектом так же, как они использовали электронные таблицы и текстовые редакторы, чтобы улучшить свои рабочие процессы с помощью цифровой автоматизации. Эта работа исходит из того, что постепенное улучшение за счет применения многих специализированных моделей обеспечит первоначальный импульс автоматизации для аудиторских групп. В долгосрочной перспективе широкая замена аудита технологиями маловероятна.

Аудиторы, вероятно, сохранят свои существующие процессы, работая над их выполнением чаще и с более высоким охватом в результате решений искусственного интеллекта. Будущее больше подсказывает, чем предписывает. С этой точки зрения искусственный интеллект не заменяет аудиторские интервью, принимающие решения, суждения или оценочные собеседования. Вместо этого инновации ускоряют планирование и выполнение корректирующих и предупреждающих действий. Основными результатами должны стать повышение качества и скорости аудита в направлении непрерывного аудита.

AuditMap.ai - это решение для аудиторских групп, которое может помочь им разобраться в больших объемах документации. Его также могут использовать менеджеры по рискам для выявления возникающих рисков. Решение позволяет аудиторским группам быстро извлекать текст и выполнять действия в загруженных документах. Действия, выполняемые с помощью AuditMap.ai, являются частью стратегического и тактического планирования службы внутреннего аудита. Решение автоматически выполняет действия в поддержку информационно-емких задач внутренних аудиторов. На рисунке 1 ниже представлен процесс, с помощью которого аудиторы используют решение.

6. Ссылки

Команда аудита начинает использовать платформу с определения бизнес-целей. Затем они переходят к определению предпочтительных тем для аудита. Команда также загружает свои аудиторские отчеты и другие документы на платформу с помощью ручной загрузки или задачи извлечения, преобразования и загрузки (ETL) (рис. 1 (a)). Платформа включает концепцию набора данных для управления наборами документов между клиентами. Во время приема модель машинного обучения на платформе классифицирует загруженные документы по определенным темам аудита. Архитектура моделей основана на современных моделях машинного обучения «[30]» «[31]» «[32]», обученных на проприетарных наборах обучающих данных. Дополнительные модели машинного обучения выполняют автоматическое извлечение лингвистических сущностей, извлекают взаимосвязи сущностей, кросс-документальный анализ схожести утверждений и классификацию ключевых утверждений - тех, которые указывают на корпоративный риск, меры по их снижению, и те, которые указывают на ключевые идеи. Дальнейшая обработка выполняется для оценки соответствия сегментов документа общепринятым системам управления рисками предприятия (рис. 1 (b)). Результаты, полученные в результате приема документов и автоматизированного анализа, становятся доступными через пользовательский портал системы, веб-приложение, позволяющее аудиторам выполнять проверку содержимого с помощью технологий с контролем доступа на основе ролей. Изучая результаты процессов машинного обучения, аудиторы могут наблюдать тенденции во времени в программах или темах и могут отмечать конкретные риски или средства контроля для более глубокого анализа и контекста на уровне абзаца или документа или для перемаркировки (рис. 1 (c)). Наконец, решение включает интерактивную рабочую среду для быстрого создания и экспорта рабочих документов.

Платформа предоставляет аудиторам и риск-менеджерам упрощенную и самостоятельную возможность вручную включать информацию, обнаруженную в ходе исследования, за счет сокращения шагов между идентификацией информации в наборе данных документов и ее добавлением в рабочие артефакты (рис. 1 (d)). . Доставка рабочих элементов заинтересованным сторонам осуществляется посредством экспорта (рис. 1 (е)).

На рисунке 2 показаны некоторые компоненты пользовательского интерфейса, используемые аудиторами. Платформа позволяет сузить фокус. Например, в выбранном наборе данных с 17 571 предложением из 35 отчетов только 418 предложений были выделены как указывающие на риск. Некоторые из них не были «настоящими» предложениями, поскольку они могут быть фрагментами предложения, такими как записи оглавления или данные таблицы. Имея это в виду, AuditMap смогла сократить количество анализируемых данных на 97,6%. Выявлено 9800 организаций. Вот некоторые примеры интересных предложений, обозначенных в общедоступных отчетах как указывающие на риск (числа в круглых скобках указывают на достоверность классификации):

Внедрение искусственного интеллекта AuditMap.ai в отрасль аудита и управления рисками может изменить результаты. Это может изменить сам характер заверения. Однако внедрение искусственного интеллекта в рамках аудита должно сопровождаться количественной оценкой ограничений технологии и обучением персонала, которое подчеркивает ограничения технологии. Слепое внедрение может привести к репутационному риску в случае сбоев искусственного интеллекта. Поэтому разумно знать о функциональных ограничениях машинного обучения в отношении гарантий и оценивать приемлемость этих ограничений.

• (99,3%) На основании проведенных интервью было обнаружено, что [Department1] в прошлом использовал резервные копии для выборочного устранения проблем в отношении трех прикладных систем; однако ему не нужно было выполнять полное восстановление базы данных . [35]
• (86,1%) В досье сообщается о дополнительных установках и административном утверждении, не имеющем отношения к утвержденным документам, имеющим единую трассу аудита [36]
• (73,7%) Die EFK vermisst in den Abläufen und bei den Kontrollhandlungen im Prozess die angemessene Nachvollziehbarkeit und Transparenz [37]
• До выпуска AuditMap.ai машинное обучение применялось к документам по раскрытию рисков для различных приложений, таких как анализ годового отчета для оценки сходства [21], внутренний финансовый контроль [22] и ИТ-безопасность [23] [24] . Эти и аналогичные приложения машинного обучения в сфере аудита представляют собой инициативы, продвигающиеся к более широкой цели цифровой трансформации и прогнозного аудита. Отставание во внедрении обработки естественного языка и машинного обучения во внутреннем аудите по сравнению с другими областями, такими как право и бухгалтерский учет, можно объяснить институциональной инерцией, отсутствием наборов данных для обучения, моделью компенсации для консультантов, требованием понимают документы на нескольких языках и разные стандарты отчетности. Эти различные факторы, сдерживающие поле деятельности, теперь меняются, что открывает большие возможности для автоматизации аудита с помощью машинного обучения [11]. При более детальной оценке этих факторов можно увидеть, что почасовая структура оплаты фирм, оказывающих профессиональные услуги, может препятствовать инновациям, сокращающим количество оплачиваемых часов. Кроме того, данные, необходимые для моделирования процессов аудита, также являются строго охраняемой корпоративной тайной, поэтому маркированные данные отчета должны тщательно собираться и маркироваться экспертами в данной области. Тип текстовых данных в отчетах сильно различается в зависимости от команды внутри организации. Такие оценки, как страновой риск, могут быть полностью сосредоточены на внешней документации, в то время как внутренний контроль может полностью сосредоточиться на внутренней документации. Еще одним фактором, сдерживающим внедрение искусственного интеллекта в аудит, является отсутствие данных на нескольких языках, таких как английский, французский, немецкий и арабский. Кроме того, функции аудиторских отчетов необычны по сравнению со стандартными текстовыми корпусами, такими как новостные отчеты и книги. В частности, аудиторские отчеты выражают более высокий языковой уровень, чем типичные документы, из-за того, что они требуют абстрагирования сложных шаблонов проблем. Кроме того, существует ряд стандартов внутреннего аудита и систем управления рисками, и их применение зависит от географического положения. Например, ISO 31000 [25] более распространен в Европе, тогда как COSO [26] более распространен в Соединенных Штатах. Другие важные структуры включают COBIT [27], TSC [28] и NIST [29]. Внутренние аудиторы используют эти основы для обеспечения передового опыта, и эти основы являются ключом к воспроизводимости высококачественных аудитов.
• [1] Государственное право США: Регулирование системы качества. 21 CFR, часть 820 (1996)
  [2] Государственное право США: краткое изложение проспекта эмиссии, факторы риска и соотношение доходов к фиксированным платежам (элемент 503). 17 Свода федеральных правил, часть 229.503 (2011)
  [3] Гудвин, С .: Синдром избыточной информации и нехватки информации (капельный): есть ли лечение? Radiology management 18 (3) (1996) 45–49
  [4] Eulerich, M., Masli, A .: Использование технологий аудита в функции внутреннего аудита - это есть повышение эффективности и результативности? Доступно по SSRN 3444119 (2019)
  [5] Институт внутренних аудиторов: Международные стандарты профессиональной практики внутреннего аудита. Институт внутренних аудиторов (2017)
  [6] Сэр Дональд Брайдон, CBE: Оценивайте, подтверждайте и информируйте: повышение качества и эффективности аудита; Отчет независимой проверки качества и эффективности аудита. The Crown (2019), по состоянию на 2 января 2020 г. https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment%5Fdata/file/852960/brydon-review-final-report. pdf .
  [7] Чан, Д.Ю., Васархелий, М.А.: Инновации и практика непрерывного аудита. Международный журнал бухгалтерских информационных систем 12 (2) (2011) 152–160
  [8] Коул, Э., Роу, С.П .: Не выставляйте меня плохо: как проводится аудит рынок наказывает аудиторов за выполнение своей работы. (Сентябрь 2019 г.) Доступно на SSRN: https://ssrn.com/abstract=3228321.
  [9] Кокина, Дж., Давенпорт, TH: Появление искусственного интеллекта : Как автоматизация меняет аудит. Journal of Emerging Technologies in Accounting 14 (1) (2017) 115–122
  [10] Алина, К.М., Серасела, С.Е., Габриэла, Г. и др .: Роль внутреннего аудита в искусственном интеллекте. Анналы Университета Овидия, серия экономических наук 18 (1) (2018) 441–445
  [11] Т.А. Сан, М.А. Васархей и др.: Использование аналитики текстовых данных в аудите с глубоким обучением. (2018) Universidad de Huelva.
  [12] Т., Сан Васархейи, M.A .: Глубокое обучение и будущее аудита: как развивающаяся технология может преобразовать анализ и улучшить суждения. CPA Journal 87 (6) (2017)
  [13] Аппельбаум, Д.А., Коган, А., Васархей, М.А.: Аналитические процедуры во внешнем аудите: всесторонний обзор литературы и рамки для внешнего аудита. аудит аналитика. Journal of Accounting Literature 40 (2018) 83–101
  [14] Куенкайкаев С., Васархей М.А. Основы прогнозного аудита. Международный журнал исследований цифрового бухгалтерского учета 13 (19) (2013) 37–71
  [15] Кравет, Т., Муслу, В.: Текстовое раскрытие информации о рисках и восприятие риска инвесторами. Обзор исследований в области бухгалтерского учета 18 (4) (2013) 1088–1122
  [16] Шранд, К.М., Эллиотт, Дж. А.: Риск и финансовая отчетность: краткое изложение обсуждения на aaa 1997 г. / fasb конференция. Горизонты бухгалтерского учета 12 (3) (1998) 271
  [17] Йоргенсен, Б.Н., Киршенхайтер, М.Т .: Раскрытие информации о дискреционных рисках. The Accounting Review 78 (2) (2003) 449–469
  [18] Браун, С.В., Тиан, X., Ву Такер, Дж. качественное раскрытие корпоративной информации: свидетельства раскрытия факторов риска. Contemporary Accounting Research 35 (2) (2018) 622–656
  [19] Бхаттачарья, У., Рахут, А., Де, С .: Модель зрелости аудита. Компьютерные науки Информационные технологии 4 (12, 2013 г.)
  [20] Табит, Т .: Определение эффективности внутреннего контроля в управлении рисками предприятия на основе рекомендаций COSO. В: Международная конференция по бухгалтерскому учету, экономике и политике предприятия. (2019)
  [21] Фан, Дж., Коэн, К., Шехтман, Л. М., Лю, С., Мэн, Дж., Лузун, Ю., Хэвлин, С. : Комбинированный подход к сети и машинному обучению для прогнозирования товарного рынка. Препринт arXiv arXiv: 1811.10273 (2018)
  [22] Боскоу, Г., Киркос, Э., Спатис, Ч .: Оценка внутреннего аудита с помощью интеллектуального анализа текста. Journal of Information & Knowledge Management 17 (02) (2018) 1850020
  [23] Боквала, А.А., Ким, Дж., Грилло, Дж. М., Оно-Мачадо, Л .: Использование статистических данных. и машинное обучение, чтобы помочь учреждениям обнаруживать подозрительный доступ к электронным медицинским картам. Журнал Американской ассоциации медицинской информатики 18 (4) (2011) 498–505
  [24] Эндлер Д. Обнаружение вторжений. применение машинного обучения к данным аудита Solaris. В: Материалы 14-й ежегодной конференции по приложениям компьютерной безопасности (кат. №98EX217), IEEE (1998) 268–279
  [25] Международная организация по стандартизации: Управление рисками - Рекомендации. Стандарт ISO 31000: 2018, Женева, Швейцария (февраль 2018 г.)
  [26] Комитет спонсорских организаций Комиссии Тредуэя и других: Внутренний контроль - интегрированная структура. (2013)
  [27] Ассоциация аудита и контроля информационных систем: Cobit 5: Внедрение. ISACA (2012)
  [28] Американский институт сертифицированных бухгалтеров: критерии доверительных услуг. AICPA (2017), по состоянию на 15 января 2020 г. https:// www.aicpa.org/content/dam/aicpa/interestareas/frc/assuranceadvisoryservices/downloadabledocuments/trust-services-criteria.pdf.
  [29] Боуэн, П., Хэш, Дж., Уилсон, М .: Справочник по информационной безопасности: руководство для менеджеров. В: Специальная публикация NIST 800–100, Национальный институт стандартов и технологий. (2007)
  [30] Девлин, Дж., Чанг, М., Ли, К., Тутанова, К .: BERT: предварительная подготовка глубоких двунаправленных преобразователей для понимания языка. CoRR abs / 1810.04805 (2018)
  [31] Янг, З., Дай, З., Янг, Ю., Карбонелл, Дж., Салахутдинов, Р., Ле, QV: Xlnet: Обобщенное предварительное обучение авторегрессии для понимания языка. Препринт arXiv arXiv: 1906.08237 (2019)
  [32] Ким Й .: Сверточные нейронные сети для классификации предложений. Препринт arXiv arXiv: 1408.5882 (2014)
  [33] Управление внутреннего аудита и оценки программ: Аудит гигиены и безопасности труда, март 2019 г. Технический отчет, Канадское агентство пограничной службы, Оттава, Калифорния (Март 2019 г.)
  [34] Сектор служб внутреннего аудита: аудит управления и выполнения программы номеров социального страхования, декабрь 2015 г. Технический отчет, Служба занятости и социального развития Канады, Оттава, CA (декабрь 2015 г.)
  [35] Сектор служб внутреннего аудита: аудит информационной системы и контроля технологий департамента - этап 1 - контроль приложений, 2014 г. Технический отчет, Служба занятости и социального развития Канады , Оттава, Калифорния (ноябрь 2014 г.)
  [36] Audit interne: Achats et marchés, Novembre 2018 Rapport d'audit interne. Технический отчет, Bureau du Surintendant Des Financieres, Оттава, Калифорния (ноябрь 2018 г.)
  [37] Швейцарское федеральное аудиторское управление: Prüfung der IT-Plattform NOVA für den öffentlichen Verkehr - Schweizerische Bundesbahnen. Технический отчет, Швейцария, Берн, Швейцария (июль 2019 г.)

(98,4%) «Мы отметили, что не было задокументировано никаких действий по приоритизации, чтобы определить, какие JHA должны быть проведены в первую очередь, и мы не увидели доказательств того, что приоритет был отдан разработке JHA на основе недавних событий, инцидентов или эксплуатационных риски ». «[33]»

Два типа машинного обучения, применяемые в AuditMap.ai, - это обучение с учителем для классификации и обучение без учителя для контекстного представления и оценки сходства. Модели контролируемого обучения, применяемые к конфиденциальным данным клиентов, вряд ли будут иметь идеальную память и точность. Это означает, что некоторые риски и средства контроля будут упущены алгоритмом, а некоторые утверждения будут неправильно классифицированы. Для аудитора-человека критически важно понимать эти ограничения и иметь легкий доступ к корректирующим функциям в рамках рабочего процесса, которые могут менять метки на заявлениях на лету. AuditMap.ai имеет такую ​​возможность.

Контролируемое обучение также подвержено систематической ошибке обучения на основе данных, если оно обучается на произвольных клиентских данных, поэтому модели AuditMap.ai обучаются на собственном первичном наборе данных для решения этой проблемы. , перед развертыванием в среде аудитора. Хотя предвзятость может быть устранена при первоначальном развертывании, это проблема, которую необходимо измерить и оценить, особенно когда имеет место переобучение модели.

Обучение без учителя аналогично ограничено контекстами, в которых оно участвовало. Технология подвержена ошибкам при столкновении с радикально новым контекстом. В некоторых случаях контролируемая модель полагается на представление, созданное с использованием неконтролируемого обучения, и изменение распределения, на котором обучалась неконтролируемая модель, может разрушить предсказательную способность контролируемой модели. Например, модели в AuditMap.ai обучены классифицировать текст из отчетов аудита и никогда не отображались в сообщениях электронной почты или текстовых сообщениях. Подача таких данных в модели приводит к плохому пониманию сходства, потому что их стиль письма и словарный запас радикально отличаются от данных обучения. Поэтому важно перед развертыванием рассмотреть объем данных, которые включаются в внедрение технологии.

Отсутствие информации - еще одна важная проблема, которую следует учитывать. Часто существует информация, выходящая за рамки набора данных аудиторских отчетов и рабочих документов, которую можно получить, только выйдя в реальный мир и собрав данные в процессе внутреннего аудита. Предположение о том, что информация, извлеченная из набора данных внутреннего аудита (например, графы отношений, риски, меры по снижению рисков, аналитические данные), полностью покрывает состояние организации, безусловно, неверно. Аудиторам необходимо сохранять любопытство и задавать сложные вопросы об упущенных рисках, пропущенных процедурах и в целом понимать, где внутренний аудит имеет недостаточный охват с точки зрения внутренних оценок. AuditMap.ai помогает группе аудита определить, где информация, вероятно, отсутствует. Однако инициатива по заполнению пробелов по-прежнему остается за командой внутреннего аудита. Наличие доступа к общей картине позволяет аудиторской группе подумать о том, какая информация может отсутствовать по теме или во времени.

Аудиторы должны спросить, ли использование этой несовершенной и приблизительной технологии лучше, чем статус-кво, и улучшает ли она качество и скорость аудита. Аудиторы должны оценивать внедрение AuditMap.ai количественно и беспристрастно, когда они рассматривают возможность внедрения технологии. Мы проводим серию веб-семинаров для взаимодействия с профессионалами в области аудита и управления рисками, демонстрации платформы и составления пилотных проектов.

На сайте «скоро появится ссылка» на предстоящий вебинар. Если вам понравилась эта статья, ознакомьтесь с некоторыми из моих прошлых статей в AI для внутреннего аудита, «Как AuditMap.ai улучшает внутренний аудит» и «Улучшение внутреннего аудита с помощью искусственного интеллекта». Я также хочу поблагодарить профессора «Миодраг Болич» из Оттавского университета за его отзыв об этой работе. Вы заметили, что у «AuditMap.ai» появился новый сайт? И, привет, присоединяйтесь к рассылке новостей через сайт!

До скорого!

-Даниэль

Искусственный интеллект для внутреннего аудита и управления рисками

(52,8%) «Учитывая, что аналогичные результаты были выявлены в ходе прошлых аудитов, мы предлагаем, чтобы [Организация] потребовала, чтобы все региональные SCC использовали коды принтеров для получения напечатанных писем [Идентификационные данные] с общих сетевых принтеров. . » «[34]»

Перенос оценок в современную эпоху