Hidesense skrivbordsapplikation

Hidesense-UI är ett program som används för att köra regelfiler mot loggfiler lokalt. Loggfilerna skickas inte ut på Internet eftersom hela beräkningen görs på maskinen som kör Hidesense-UI. Hidesense-UI går också bra att köra i luftgapade system, som inte har kontakt med Internet.

Köra Hidesense UI

Hur du går tillväga.

I Windows, dubbeklicka på hidesense.jar. Det går också att starta från en kommanorad, vilket ger lite fler utskrifter. I så fall, starta ett kommandofönster. Skriv ”java -jar hidesense.jar”.

Klicka på ”Välj originalfil” och markera den fil som ska tvättas. Filen kommer inte att ändras.

I de allra flesta fall kommer rätt fil-kodning att väljas automatiskt, men om du vet att kodningen är en annan kan du välja kodning i drop-down-listan. I OSX och Linux är UTF-8 default-encoding.

Klicka på ”Välj konfiguration” och peka ut en konfigurationsfil som säger vad som ska tvättas och hur. En konfigurationsfil kan du få genom att köra hidesense-web. Se hidesense-web.

Klicka på ”Välj mapp för utdata” och välj en mapp där resultatet kommer att sparas. Två filer kommer att genereras: en med resultatet och en med de översättningar som faktiskt gjordes. Med översättningsfilen går det att gå tillbaka till ursprungsfilen så i de fall som PuL ska uppfyllas måste den tas bort (glöm inte att tömma papperskorgen).

När inställningarna är gjorda går det att klicka på ”Tvätta fil”. Om filen som ska tvättas var stor (GB) kan det ta ganska lång tid att tvätta. Tiden beror mer på längden av varje rad i det som ska tvättas än något annat. Om raderna är mycket långa (längre än något hundratal tecken) och det går att dela upp raderna på ett logiskt sätt så gör gärna det innan tvättning. Se uppdelning av långa rader i ett textdokument sist på denna sida.

kodning UI över Hidesense UI Skrivbordsapp.

Då hidesense-ui startas från kommandoraden kommer en mer detaljrik summering att skrivas ut var 30:e sekund, med bland annat en uppskattning av körtiden.

På de flesta operativsystem kommer en ”Öppna mappen” knapp att visas då körningen är avslutad. Den öppnar en fil-utforskare och navigerar till mappen där den filtrerade filen och översättningsfilen finns.

ÅTGÄRDA LÅNGA RADER

Hur du handskas med filerna.

I Linux kan kommandot sed användas för att lägga till nyradstecken i en fil. Till exempel en fil ska tvättas men den innehåller rader på 1 MB med följande innehåll (fast många gånger längre)

(499624,'1956-06-03','Zejun','Pelc','M','1985-12-17'),(499625,'1963-07-02','Nechama','Denny','F','1996-08-30'),(499626,'1955-01-27','Masaki','Angelopoulos','F','1994-04-17'),(499627,'1955-12-17','Susanne','Swick','F','1989-03-12')...

I det här fallet (SQL Insert-satser) kan insert-satserna delas upp. Exempelvis kan ),( ersättas med ),nyrad( Om filen vi ska tvätta heter employees.dump kan vi både i OSX och Linux göra så här: (för endast Linux finns det enklare sätt)

cat load_employees.dump | sed "s/),/),\\`echo -e '\n\r'`/g" | sed $'s/\r//' > load_employees.dump.lines

I empoyees.dump.lines kommer ovandstående text att visas som:

(499624,'1956-06-03','Zejun','Pelc','M','1985-12-17'),
(499625,'1963-07-02','Nechama','Denny','F','1996-08-30'),
(499626,'1955-01-27','Masaki','Angelopoulos','F','1994-04-17'),
(499627,'1955-12-17','Susanne','Swick','F','1989-03-12'),