Ежедневный радиожурнал со звуком. Иногда с юмором. Всегда с картинками

SAT/SPACE MONITOR ВЫ можете участвовать в формировании новостей

20.11.2016

Почему я конвертирую логи

Один из приятелей задал такой вопрос. Ответ в принципе понятен, но не очевиден. Ноги растут от известной проблемы: одни любят контесты (кстати только что оторвался в LZ DX Contest : -) и в логе важны контрольные номера. Другие больше по DXам. И там главное когда отправил карточку желаемому корреспонденту. Третьим вообще индифферентно, но долг вежливости обязывает на полученную карточку ответить.... важно быстро найти (и не дай бог отправить карточку во второй раз. Одним слово логгеры в соответствии с пожеланиями своих владельцев формируют приоритеты сохраняемых данных. Ну и соответственно их хранят.  Несмотря на то, что есть расписанный формат ADIF файлов, они по прежнему разные. Ниже пара строк из разных логгеров в ADIF формате. Так как там есть непечатаемые символы то вид в Norton Commander
В одном логе есть такое экзотическое поле как префер отправка директ, бюро, е-qsl, в других зоны, в третьих префикс, в четвёртых IOTA, в пятых DISTANCE, в шестом КОНТИНЕНТ и во всех разный порядок расположения полей и их размер.  Хранение всего этого на дисках занимает место. Лог примерно на 25-30 тысяч связей весит около 30 мгб. Если всё это разместить на сервере, например в поисковом механизме, то это будет также сильно нагружать сам сервер (процессор).
  Моя мысль заключается в том, что по прошествии какого-то времени, важными полями останутся данные о связи дата время диапазон мода (можно даже без RST, его из вежливости не дают ниже чем 539, а если ниже, связь всё равно не засчитывается), и сведения о том отправлена ли карточка и получен ли ответ.  Остальное становится балластом. Я это всё при конвертации убираю. Вот так хранятся логи в моей OQRS (рабочая машина на EA6SK)
IT9CCB 20131115 0112 40m PSK31 599 Y
KA1PPV 20131015 2150 20m PSK31 599 Y  Y
EA5IDQ 20131015 1928 20m SSB 59 Y
EA5IDQ 20131015 1928 20m PSK31 599 Y
WW4MSK 20131011 1031 20m PSK31 599 Y  Y
N2XY 20131010 2225 20m PSK31 599 Y
AD5IT 20130926 0003 20m PSK31 599 N
EA3HBO 20130925 2226 20m PSK31 599 N
  Нет никаких лишних пробелов, ненужных полей и разделительных знаков.  Размер такого вида файлов в десятки раз меньше и они обрабатываются процессорами в сотни раз быстрее.
Лог UY2RA на 32000 QSO в ADIF N1MM занимает 35 мгб, а в конвертированном виде 5,3 мгб. Скорость поиска можете проверить сами на указаном выше сайте OQRS/E-MAILREQUEST EA6SK Так что все эти танцы с бубном вокруг логов не от хорошей жизни.
       Давайте дружить. Добавьте этот сайт в избранное                                         
© Copyright 2011-2016 UY2RA.   All rights reserved.    Все права защищены.    Пожалуйста уважайте их.
Использование материалов c этого сайта разрешается только с указанием АКТИВНОЙ ссылки на этот сайт.

FREE & OPEN UKRAINIAN HAM  RADIO  BANNERS NET