Správičky 2 822 Blogy 948 Fórum 18 759

Searching in huge amount of data

photo
funa
15.10.2018 13:16:30
Body: 2400
Najaktívnejší č.: 15

Searching in huge amount of data

Caute kamosi, chcem sa spytat na vas nazor/riesenie/napad pre nasledujuci scenar:

 

**beriem z DB obrovske mnozstvo dat (+ 10milionov), ktore potrebujem na urovni C# kodu potom kontrolovat voci dalsiemu obrovskemu mnozstvu dat (tiez v milionoch)**

 

Priklad: v DB mam tabulku ktora obsahuje 10 milionov riadkov, na druhej strane v inom ulozisku U1 mam dalsie data ktorych je tiez okolo 10 milionov. Chcem kazdy jeden item z U1 skontrolovat ci sa nachadza v datach z DB (podla GUID), cize nieco taketo: IF DB(data).Contains(U1[indexN])

 

potrebujem to co najrychlejsie

[Reakcia]

photo
.
15.10.2018 23:01:41
Body: 2775
Najaktívnejší č.: 14

RE: Searching in huge amount of data

Urcite potrebujes vyuzivat C# iba na overenie ci existuje obdobny zaznam v inej DB? Co tak linked server + vhodne nastavene indexy + T-SQL (cursor)? Resp. inak, co ma byt vystupom? Zoznam nezhod (jedinecne zaznamy v oboch databazach)? Porovnavas iba podla guid?

[Reakcia]

photo
funa
16.10.2018 10:31:58
Body: 2400
Najaktívnejší č.: 15

RE: Searching in huge amount of data

@. ---- cau, LinkedServer sa pouziva primarne, ale zaznamenali sme viac pripadov kedy tato metoda zlyhala (vacsinou permissions), takze toto riesenie je akoby fallback.

Je to podobna funkcionalita ako GB v .NET, v ulozisku U1 nastavim vsetky items ako 'dead' a nasledne pomocou DB uloziska hladam stale zijuce items, takze kazdy item z U1 potrebujem pomozou living zaznamou v DB ulozisku skontrolovat ci je nazive, ak ano odznaci sa 'dead' flag.

 

... z takeho prveho testovania zatial najrychlejsie je hodit obe uloziska do DataTable a pracovat tym padom SQLoffline, pouzit klasicky foreach a prejst cely zoznam.

 

... porovnanie pomocou GUID je postacujuce

[Reakcia]



Najaktívnejší užívatelia
1. 37810 b. photo vlko
2. 21520 b. photo T
3. 15965 b. photo spigi
4. 15450 b. photo Anonymous
5. 11120 b. photo dudok
6. 9765 b. photo Liero
7. 6920 b. photo siro
8. 6245 b. photo slavof
9. 5395 b. photo duracellko
10. 4685 b. photo xxxmatko