Публикации по теме 'log-analysis'
Универсальный (автоматический) разбор журнала — Анализ журнала с помощью PacketAI (часть 2)
TL;DR
Журналы — это ценная информация, описывающая события времени выполнения. Однако из-за огромного количества журналов, генерируемых крупными онлайн-сервисами, невозможно получить от них какую-либо информацию в режиме реального времени, используя традиционные инструменты наблюдения. Вот почему в PacketAI мы создали механизм анализа логов в реальном времени , основанный на алгоритмах интеллектуального анализа текста и машинного обучения.
Поскольку журналы в основном представляют..
Вопросы по теме 'log-analysis'
журнал piwik импортирует недопустимые строки журнала
Я новичок в piwik и пытаюсь импортировать кучу логов. Мне нужна помощь с log-format-regex. Пример строки из журнала:
"1.1.1.1" 2.2.2.2 - myuser [09/Dec/2012:04:03:29 -0500] "GET /signon.html HTTP/1.1" 304 "http://www.example.com/example" "...
2139 просмотров
schedule
31.08.2022
Как собрать информацию об IP и пользовательском агенте из веб-журнала с помощью AWK?
У меня есть файл журнала, содержащий текст, например:
66.249.74.18 - - [21/Apr/2013:05:55:33 +0000] 200 "GET /1.jpg HTTP/1.1" 7691 "-" "Googlebot-Image/1.0" "-"
220.181.108.96 - - [21/Apr/2013:05:55:33 +0000] 200 "GET /1.html HTTP/1.1" 17722 "-"...
5312 просмотров
schedule
13.09.2023
Событие прерывается в потоке
По умолчанию флюм считает одну строку одним событием, но я хочу сделать разбивку по каким-то другим критериям, как этого можно добиться в флюме?
**10 Sep 2013 19:43:33,561 [WebContainer : 9] ERROR - An Error has occured for...
99 просмотров
schedule
01.04.2024
Импорт логов apache в piwik
Я нахожусь в процессе переключения аналитики своего сайта с GA на Piwik и хотел бы включить все исторические данные, какие только могу. Я уже объединил полный след файлов журнала Apache, которые у меня есть. Однако, что делать дальше, мне совершенно...
2857 просмотров
schedule
21.01.2023
Flume/Elasticsearch создает новый индекс и игнорирует явно созданный индекс
Мы создали индекс в Elasticsearch следующим образом: имя индекса — apachelog с динамическим сопоставлением, установленным на «строгий», мы устанавливаем поле httpresponse для типа integer:
curl -X PUT 'http://localhost:9200/**apachelog**' -d \
'{...
407 просмотров
schedule
15.02.2023
Как включить, работать и анализировать журнал медленных запросов в MySQL?
Будут даны ответы на следующие вопросы.
Как включить журнал медленных запросов в MySQL
Как установить медленное время запроса
Как читать журналы, созданные MySQL
Анализ логов с каждым днем становится угрозой. Большинство...
913 просмотров
schedule
30.07.2023
может кто-нибудь предложить лучший способ анализа журнала с использованием потоковой передачи искры
Я совершенно новичок в больших данных, последние несколько недель я пытаюсь создать приложение для анализа журналов.
Я прочитал много статей и обнаружил, что потоковая передача Kafka + spark — самая надежная конфигурация.
Теперь я могу...
286 просмотров
schedule
24.01.2024
Как отобразить журнал веб-сервера службы приложений Azure в Azure Log Analytics?
У меня есть приложение api, размещенное в службах приложений Azure. Для журнала веб-сервера (журналов iis) я включил ведение журнала веб-сервера с портала Azure. Посмотрите на скриншот ниже.
Для хранения журнала веб-сервера
Журналы...
7013 просмотров
schedule
09.06.2022
формат журнала для анализа журнала goaccess
Установил goaccess и попытался разобрать/проанализировать один лог-файл. Обнаружение проблем в формате журнала. Любой знает формат, который нам нужно использовать - для журнала ниже: [обновлен образец журнала]
::1 - - [24/Jun/2013:17:10:39...
200 просмотров
schedule
13.06.2022
Как анализировать файлы журнала с настраиваемой конфигурацией шаблона журнала
Я хотел бы проанализировать набор файлов журналов (обратите внимание на ошибки и создайте отчет)
Эти файлы журналов содержат записи в пользовательском шаблоне журнала.
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">...
639 просмотров
schedule
02.02.2023
Визуализация журналов Fluentd
В нашей фирме есть стек технологий с открытым исходным кодом. Мы используем fluentd в качестве сборщика логов. Как я могу визуализировать свои журналы Fluented? Это хорошие инструменты с открытым исходным кодом для анализа и визуализации журналов....
1018 просмотров
schedule
05.02.2023