Problem kursdata :

[Rikard Autostock]

Ok, men det låter som fler omstarter än vanligt. Jag brukar hålla koll på VPSen som kör Kundservice och det går flera veckor mellan omstarter normalt, och den kör ca 2800 instrument i insamlingen, dock ej inga script kopplade. Så nästa koll att göra är hur tungt surveillance-tråden går. Ett sätt att göra det är att skapa en ordermodell som skickar en order hela tiden, och mäta hur ofta den skickas. Du kan använda triggerscriptet sl: Alltid sant.



☎️

[petpee]

re

Har nyss epostat en gigantisk deblog.zip. Säger den något om detta?

[petpee]

Ok, men det låter som fler omstarter än vanligt. Jag brukar hålla koll på VPSen som kör Kundservice och det går flera veckor mellan omstarter normalt, och den kör ca 2800 instrument i insamlingen, dock ej inga script kopplade. Så nästa koll att göra är hur tungt surveillance-tråden går. Ett sätt att göra det är att skapa en ordermodell som skickar en order hela tiden, och mäta hur ofta den skickas. Du kan använda triggerscriptet sl: Alltid sant.



☎️

Kan du vara mer explicit och exakt i din instruktion, tack?

[Kristoffer]

Jag skulle påstå att det fungerar bra med tanke på hur många som kör nu. Precis som Henric säger så verkar korrupt databas bara drabba några få användare, och det vi sett är att det kan hända i samband med många omstarter till följd av kommunikationsutrustning. Det känns också logiskt om man har många nätstörningar att man även kan få in skräp i databaserna. Jag har tex aldrig sett en korrupt databas på en vps, och det beror inte på att vpsen är speciellt kraftfull, tvärtom är de klent dimensionerade för att hålla kostnaden låg. Men nätförbindelsen är mycket stabil, och då undviks många databasproblem, det är inte hastigheten som är viktig, utan bitfelshalten. Det vi däremot kan göra och har plan på är ett underhållsjobb som kör igenom databasen med jämna mellanrum, ungefär som diskdefragmenteringen i Windows. Det skulle hjälpa till att rensa ut ev fel som blivit. Plus lite annat, tex städa loggar osv så att de inte växer okontrollerat med tiden.

Bra att veta även om det inte riktigt var det svar jag hoppats på. Jag skulle tro att det i mitt fall inte handlar om nätstörningar, maskinen i sig är på dygnet runt, kopplad till UPS, primära linan är en stabil fiberanslutning och skulle den mot förmodan gå ner finns en backup anslutning som automatiskt tar över. Detta i kombination med att felet lika gärna kan uppstå utanför börsens öppetttider när jag arbetar med programmet manuellt. Man är ju tyvärr ganska begränsad vad man kan felsöka, har ingen insyn i hur databasen är strukturerad så är väldigt svårt att komma fram till vad felet är. Jag har heller ingen vetskap om hur många som faktiskt använder autotrader så jag får lita på ditt ord där att felet är mycket sällsynt, uppenbarligen är det nåt i min setup/installation som skiljer sig från mängden.

I vilket fall det jag skulle komma till var att jag oftast kan få fram problemet på nytt på ett eller annat vis. Bidrar antagligen inte till mycket men i brist på annat spelade jag in en filmsnutt idag där jag tömmar min data mapp och tar hem kursdata på nytt men inte får alla dagar. Denna gången hände det som sagt att en helt fräsch nerladdning från AT servern inte gav komplett data, vilket den mycket väl kan göra ibland men då uppstår kanske strulet lite senare. Det jag främst ville visa är vad som händer därefter. Jag har ett diagram som inte visar nån data för senaste perioder (nu råka det bli ett helt år men många gånger är det kortare luckor) och att reparera dessa luckor enligt de metoder som rekommenderas leder oftast ingenvart. Du kan se i klippet att jag försöker ta hem data på nytt både online och från lokal data som jag vet innehöll OMX30 data för senaste 300 dagar men inget syns i diagrammet.

Vill ni se några halvdryga minuter där jag laddar hem kursdata finns det alltså på länken nedan
http://youtu.be/EixJ_zOitms

[petpee]

Ladda och ersätt?

Även om det är fel i databaserna, så vore det intressant att veta varför det uppenbarligen inte fungerar att ladda ned nya data för en given problemaktie. Alternativet ersätt gammal data ersätter uppenbarligen inget av intradagsdata i detta fall. Men, jag kanske bara har oturen att alltid ha "anslutningsprobem", helt oavsett tid på dygnet eller datum?...

Detta kan inte anses som något annat än en större och kritisk bugg i mjukvaran, som bara måste få högsta prioritet. Fungerar inte data, så kan man lägga ned precis allt annat med mjukvaran.

[Rikard Autostock]

Om det är fel i databasstrukturen hamnar även nytt data fel. Det är en differentialdatabas så blir det fel på ett ställe fortsätter det felet framåt för instrumentet.

[Rikard Autostock]

Bra att veta även om det inte riktigt var det svar jag hoppats på. Jag skulle tro att det i mitt fall inte handlar om nätstörningar, maskinen i sig är på dygnet runt, kopplad till UPS, primära linan är en stabil fiberanslutning och skulle den mot förmodan gå ner finns en backup anslutning som automatiskt tar över. Detta i kombination med att felet lika gärna kan uppstå utanför börsens öppetttider när jag arbetar med programmet manuellt. Man är ju tyvärr ganska begränsad vad man kan felsöka, har ingen insyn i hur databasen är strukturerad så är väldigt svårt att komma fram till vad felet är. Jag har heller ingen vetskap om hur många som faktiskt använder autotrader så jag får lita på ditt ord där att felet är mycket sällsynt, uppenbarligen är det nåt i min setup/installation som skiljer sig från mängden.

I vilket fall det jag skulle komma till var att jag oftast kan få fram problemet på nytt på ett eller annat vis. Bidrar antagligen inte till mycket men i brist på annat spelade jag in en filmsnutt idag där jag tömmar min data mapp och tar hem kursdata på nytt men inte får alla dagar. Denna gången hände det som sagt att en helt fräsch nerladdning från AT servern inte gav komplett data, vilket den mycket väl kan göra ibland men då uppstår kanske strulet lite senare. Det jag främst ville visa är vad som händer därefter. Jag har ett diagram som inte visar nån data för senaste perioder (nu råka det bli ett helt år men många gånger är det kortare luckor) och att reparera dessa luckor enligt de metoder som rekommenderas leder oftast ingenvart. Du kan se i klippet att jag försöker ta hem data på nytt både online och från lokal data som jag vet innehöll OMX30 data för senaste 300 dagar men inget syns i diagrammet.

Vill ni se några halvdryga minuter där jag laddar hem kursdata finns det alltså på länken nedan
http://youtu.be/EixJ_zOitms

Det såg ut som att programmet dök när du försökte tanka? Det kan finnas loggat i en fil som heter applogg.txt vad som orsakade det. Men du har tveklöst fått en skada så att kryssa i Komprimera databaser på disk och köra igen rensar ut trasiga segment, så bör det gå att ladda nytt data igen. Annars tittar jag gärna på de på torsdag när jag är tillbaka igen.

[petpee]

re

Jag har försökt använda alternativet komprimera databasen åtskiliga gånger. Den gör kort sagt inte sitt jobb i detta fall.

Jag vet uppenbarligen inte tillräckligt om databaser, men det jag vet är att nuvarande lösning MÅSTE förbättras avseende felhantering. En enkel störning kan inte tillåtas slå ut hela databasen och den historik man har, det fungerar inte att ha det så. Oavsett om det gär databasen effektiv i andra avseende (?), så är det inte det minsta praktiskt att ha det som nu.

[Rikard Autostock]

Kom på en sak som kan ha orsakat tidigare problem i din installation, du nämnde att du samlar in data för ett antal USA-instrument, och här fick vi problem när Nordnet bytte kursdataleverantör och det plötsligt började strömma in uppåt 40-50 tick per sekund för flera instrument. Vi tog fram ett högfrekvensfilter som ackumulerar data och sparar ned 1 gång per sekund, och den konfiggen var inte klar förrän med version .19, så om du körde en tidigare version kan problemen startat då. Det bör vara betydligt stabilare nu om du kör USA-data.

[Kristoffer]

Det såg ut som att programmet dök när du försökte tanka? Det kan finnas loggat i en fil som heter applogg.txt vad som orsakade det. Men du har tveklöst fått en skada så att kryssa i Komprimera databaser på disk och köra igen rensar ut trasiga segment, så bör det gå att ladda nytt data igen. Annars tittar jag gärna på de på torsdag när jag är tillbaka igen.

Nej det tror jag inte. AppLogg innehåller bara några gamla null exceptions så inget intressant där tyvärr.

Tyvärr gör inte komprimeringen någon skillnad, jag kör det ett par gånger i slutet av filmen innan jag försöker tanka hem data på nytt. Eller ja möjligheten finns ju att den faktiskt reparerar skadan men att den uppstår på nytt när data adderas på nytt. Kanske kan försöka ta och jämföra databasfilerna och se om nåt faktiskt förändras.

[Rikard Autostock]

Det som är viktigt när man kör komprimeringen är att de aktuella listorna är förbockade.

Om det ändå inte hjälper kan man radera databasen så skapas en ny. Det är katalogen C:/programdata/autotraderbas/data

Ta bort den och starta om programmet så skapas en ny tom struktur för intradaydata. Prova att ladda ner igen. Annars skulle jag gärna ta en titt på torsdag när jag är tillbaka.

[Kristoffer]

Det som är viktigt när man kör komprimeringen är att de aktuella listorna är förbockade.

Om det ändå inte hjälper kan man radera databasen så skapas en ny. Det är katalogen C:/programdata/autotraderbas/data

Ta bort den och starta om programmet så skapas en ny tom struktur för intradaydata. Prova att ladda ner igen. Annars skulle jag gärna ta en titt på torsdag när jag är tillbaka.

Komprimeringen är fortsatt effektlös. Jag brukar bara kryssa i det instrument jag har problem med, främst handlar det om OMXS30 (eller kanske det bara är det jag märker av mest). Att rensa data mappen och börja om från början har jag testat vid ett par tillfällen, och efter ett par försök tenderar det att ge en fin kurva igen men lyckan har varit kortvarig då problem så småningom uppstår igen. Det har hänt att kursinsamlingen stannat upp i nån vecka, dvs. ingen nya data kommer in i diagrammet sen börjar det plötsligt fylla på igen och jag har ett stort gap som inte går att reparera.

Har du några idéer vi kan testa på torsdag så gärna det, men jag tror vi på nåt sätt måste hitta roten till problemet. Att tömma data och börja om verkar på sin höjd hjälpa för stunden.

[Wheelie]

Komprimeringen är fortsatt effektlös. Jag brukar bara kryssa i det instrument jag har problem med, främst handlar det om OMXS30 (eller kanske det bara är det jag märker av mest). Att rensa data mappen och börja om från början har jag testat vid ett par tillfällen, och efter ett par försök tenderar det att ge en fin kurva igen men lyckan har varit kortvarig då problem så småningom uppstår igen. Det har hänt att kursinsamlingen stannat upp i nån vecka, dvs. ingen nya data kommer in i diagrammet sen börjar det plötsligt fylla på igen och jag har ett stort gap som inte går att reparera.

Har du några idéer vi kan testa på torsdag så gärna det, men jag tror vi på nåt sätt måste hitta roten till problemet. Att tömma data och börja om verkar på sin höjd hjälpa för stunden.

Jag har samma problem med intraday-data.

För att vara på den säkra sidan så att intraday-data skall samlas in kör jag "komprimera databaserna på disk" varje dag inför börsöppningen.

[Rikard Autostock]

Om det blir problem så ofta måste vi undersöka nättrafiken, radera Deblog.txt och kör någon dag, maila filen så kan vi se om något tenderar att gå snett ofta.

Kolla så att c:/programdata/autotraderbas

är undantagen i ev virusprogram för realtidsscan, och filen autostocktrader.exe som måste ha fritt tillträde till nätet i båda riktningarna.

[trexen]

Vad har du för dator, cpu, minne, disk(sata/ssd), Operativsystem, antivirus, andra program som scannar eller något med datorn. Internetleverantör, Router, switch, kör du trådlöst(wlan) till din dator. har du strömsparläge påslagen så den går ner i viloläge efter en stund.

är det problem med intrnet så kan du tex testa det med att öppna command prompt (cmd) och skriva ping -t ftp.sunet.se > c:\temp\ping.txt då loggar den allt till en txt fil så kan du se om det droppas någon trafik.

Som Rikard skriver, har du antivirus och realtidsscanning mm så testa o stäng av tillfälligt eller ge autostocktrader.exe fritt spelrum.

Kolla även "task managern" för att se CPU o minnesanvändningen samt vilka processer som ligger och kör.

om du vill dyka djupare så kan du gå vidare med Wireshark och verkligen dyka på djupet för o se vad som händer.

Nästa alternativ är att ev installera "vmware workstation" eller någon annan vm motor och installera valfritt windows operativ och installera nytt o testa.

//M