Форум программистов, компьютерный форум, киберфорум
Go (Golang)
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
1 / 1 / 0
Регистрация: 31.08.2018
Сообщений: 16

Парсер и валидатор данных

18.08.2019, 18:22. Показов 1749. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет!

Не могу сообразить, как на Go создать такое:

1. Присылается строка (stdin), скажем:

Кликните здесь для просмотра всего текста

JavaScript
1
"Jul 10 13:05:23 hls_log nginx: 10/Jul/2019:13:05:23 +0300|1562753123.552|00.00.162.61|-|-|GET /V13a**fts:1562753050:vts:1562753122:evtp:0:vcid:3:advid:3a84ad1c-97dd-497e-baa3-9c9fbc33c9f6:reg:false:tz:3:player:exo_player:quality:2:region:0:net:2:host:CHEB-1:app:com.name_here** HTTP/1.1|{\x22sdk\x22:25,\x22version_name\x22:\x223.4.0\x22,\x22version_code\x22:267,\x22platform\x22:\x22android\x22,\x22device_id\x22:\x22sss111222gggsss\x22,\x22name\x22:\x22Xiaomi+Redmi+4X\x22,\x22app\x22:\x22com.app_name_here\x22}|-"


2. Она может содержать различных, но фиксированный набор данных, полный перечень:

Кликните здесь для просмотра всего текста

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
type GeneralData struct {
  vcid int `json:vcid`
  tz int
  player string
 
  region int
  net int
  host string
  app string `json:app`
  version_name string `json:version_name`
  version_code int `json:version_code`
  platform string `json:platform`
  device_id string `json:device_id`
 
  created_at int
 
  ip string
  name string `json:name`
  sdk int `json:sdk`
  guid string `json:guid default:"NULL"`
  quality string
 
  fts string
  vts string
  evtp int
  advid string
  reg int
  mowtime int
  swipeV string
  swipeB string
  swipeC string
 
  adsst string
  adstp string
  adstm string
  adsid string
 
  launch string
  window string
  seek string
  time string
  action string
  idfa string
  start string
 
  month_begin int
  day_begin int
}


3. Нужно достать все, что есть, провалидировать и привести к правильному типу либо "NULL" или 666666 для string и int соответственно.

4. Данных которых нет, просто присвоить "NULL" и 666666

Вот что попробовал накидать, он правильно парсит данные из строки, но я что-то никак не соображу как объединить результаты двух map и провести к ним пункты 3 и 4...

И, думается, можно было бы обойтись парочкой struct без map

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
func get_items (str string) map[string][]interface{} {
    
    // сначала делим строку по секциям
    log_items := strings.Split(str, "|")
    query_body_string, user_agent_string, ip := log_items[5], log_items[6], log_items[2]
    
    // получаем все элементы между звездочками, их там вроде 3
    beetwen_starts_string := strings.Split(query_body_string, "**");
 
    // нам интересен 2 элемент, из нее парсим еще элементы
    query_body_array := strings.Split(beetwen_starts_string[1], ":")
 
    // тут я уже начинаю тупить
    query_body_map := make(map[string]interface{})
    user_agent_map := map[string]interface{}{}
 
    for i := 0; i <= len(query_body_array); i++ {
        if (i == len(query_body_array)) {
            break;
        }
 
        // т.к. между звездочками спарсились значения key:value - они идут списком создаем current = next
        query_body_map[query_body_array[i]] = query_body_array[i + 1]
        i += 1
    }
    
    // дописываем ip
    query_body_map["ip"] = ip
 
    //var jsonData JsonData
 
    if err := json.Unmarshal([]byte(user_agent_string), &user_agent_map); err != nil {
        panic(err)
    }
 
    return merge(user_agent_map, query_body_map)
}
 
func merge(ms ...map[string]interface{}) map[string][]interface{} {
    res := map[string][]interface{}{}
    for _, m := range ms {
        for k, v := range m {
            res[k] = append(res[k], v)
        }
    }
    return res
}
Добавлено через 9 минут
собственно вызов, забыл

C
1
2
3
4
5
6
7
8
9
10
11
func main() {
 
    // string from STD_IN
    str:= "Jul 10 13:05:23 hls_log nginx: 10/Jul/2019:13:05:23 +0300|1562753123.552|00.00.162.61|-|-|GET /V13a**fts:1562753050:vts:1562753122:evtp:0:vcid:3:advid:3a84ad1c-97dd-497e-baa3-9c9fbc33c9f6:reg:false:tz:3:player:exo_player:quality:2:region:0:net:2:host:CHEB-1:app:com.name_here** HTTP/1.1|{\x22sdk\x22:25,\x22version_name\x22:\x223.4.0\x22,\x22version_code\x22:267,\x22platform\x22:\x22android\x22,\x22device_id\x22:\x22sss111222gggsss\x22,\x22name\x22:\x22Xiaomi+Redmi+4X\x22,\x22app\x22:\x22com.app_name_here\x22}|-"
 
    items:= get_items(str)
 
    for k := range items {
        fmt.Printf("key[%s] value[%s]\n", k, items[k])
    }
}
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
18.08.2019, 18:22
Ответы с готовыми решениями:

Парсер данных
Здравствуйте, столкнулся с проблемой парсинга даты со страницы. В данном случае нужно спарсить дату &quot;12.04.2016&quot;, однако не...

Парсер данных
Есть страница -...

Парсер из базы данных
Всем привет, может есть у кого нибудь примеры парсера, который будет брать информацию из базы данных, из нужной таблицы, из колонки.

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
18.08.2019, 18:22
Помогаю со студенческими работами здесь

Парсер данных из таблиц
Только начинаю изучать питон. Хочу после некоторого времени попробовать писать реальные программы, и начну со скрипта для игры. Есть...

Парсер данных с сайта
require 'nokogiri' require 'open-uri' url = &quot;https://www.instagram.com/explore/locations/c2490299/new-york-united-states/?page=2&quot; ...

Парсер данных с сайта
шалом, помогите написать простой парсер данных с сайта oddsportal.com мне надо собрать базу коэффициентов предстоящих матчей топ...

Парсер данных сайта
Привет всем!!! Нужно написать парсер работоспособности Способов вывода из сайта платежей. Чтобы программа обновляла данные каждые...

Парсер данных с сайта
Нужна помощь в реализации задачи. Задача такая: Есть сайт, назовем его: site.com 1. Методом post/get пройти авторизацию на странице...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru