Správičky 2 813 Blogy 948 Fórum 18 712

Pomaly BulkInsert nad RavenDB 4.0?

photo
majco333
14. 2. 2018 11:36:17
Body: 595
Najaktívnejší č.: 39

Pomaly BulkInsert nad RavenDB 4.0?

Ahojte,

skusame na jednom projekte RavenDB 4.0. Skusame jeho BulkInsert a sme boli prekvapeni, ze zapis 10 tis jednoduchych objektov trvalo cca 5 sekun (100 tis objektov 25 sekund) na beznej vyvojovej masine. Co je tiez divne, ze ked to debugujeme, tak to realne zapisuje po jednom zazname, nie davkovo.

Nemate si s tym niekto skusenost, ci nerobime nieco blbo?

Inak ked sme to skusali zapisovat bez Bulku, tak zapis trval rovnako dlho (pomalsie to bolo iba o nasypanie zaznamov do Session pred ulozenim).

Postupujeme podla ich dokumentacie:

using (BulkInsertOperation bulkInsert = store.BulkInsert())
{
    for (int i = 0; i < 1000 * 1000; i++)
    {
        bulkInsert.Store(new Employee
        {
            FirstName = "FirstName #" + i,
            LastName = "LastName #" + i
        });
    }
}

Vdaka

[Reakcia]

photo
T
14. 2. 2018 17:33:28
Body: 21430
Najaktívnejší č.: 2

RE: Pomaly BulkInsert nad RavenDB 4.0?

Aka edicia ravendb to je, free?

skus toto este

await bulkInsert.StoreAsync(employee);

skompiluj do release

mal by si dosiahnut na beznej dev masine (co to je btw? SSD?) 10000+

Tomáš Zeman, MCSD.NET, MCPD

[Reakcia]

photo
majco333
20. 2. 2018 12:19:10
Body: 595
Najaktívnejší č.: 39

RE: Pomaly BulkInsert nad RavenDB 4.0?

Ano, je to Community Free licencia. Async nepomohol, release tiez nie.

Moja dev maxina je (4 CPU, 8 GB RAM, SSD).

Tych 10.000+ myslis za sekundu?

[Reakcia]

photo
Liero
20. 2. 2018 12:46:34
Body: 9610
Najaktívnejší č.: 6

RE: Pomaly BulkInsert nad RavenDB 4.0?

len taka blba pripomienka - v kode ktory si postol vkladas milion zaznamov, nie 10 ani 100 tisic

[Reakcia]

photo
majco333
20. 2. 2018 14:03:27
Body: 595
Najaktívnejší č.: 39

RE: Pomaly BulkInsert nad RavenDB 4.0?

ano viem, to som okopiroval z ich dokumentacie, realne pouzivam drobne upraveny kod...

[Reakcia]

photo
T
28. 2. 2018 1:39:17
Body: 21430
Najaktívnejší č.: 2

RE: Pomaly BulkInsert nad RavenDB 4.0?

ano, za sekundu....

realne prosim skus drobne neupraveny kod :-) 

pre istotu si requestni developersku ediciu (ale fakt nevidim limitaciu community edicie, ktora by mohla ovlyvnit zasadne vysledok)

Sleduj napr. v task manageri, co mas ako vytazene, pripadne si sleduj perf. countre...samozrejme, nemozem vylucit, ze problem moze byt aj u Teba a uzke hrdlo robi nejaky skvely AV alebo ina bezpecnostna potvora....

Ak nna nic neprides, napis Ayendemu....idealne ak mu posles tie performance countre...(tie ma obzvlast rad)...odporucam byt velmi, ba az prehnane slusny, neskusat v ziadnom pripade humor a uz vobec nie ironiu ... a pripadne napis, ako si dopadol...

 

Tomáš Zeman, MCSD.NET, MCPD

[Reakcia]

photo
T
28. 2. 2018 1:49:28
Body: 21430
Najaktívnejší č.: 2

RE: Pomaly BulkInsert nad RavenDB 4.0?

Pripadne este skuska spravnosti....skus SqlExpress na lokale, kolko z neho dostanes ...bulk insert napr. z CSV....inserty po batchoch napr. 512ks (INSERT Into Select * From ...) ...malo by to byt radovo podobne ako pri ravene....ak to bude vyraznejsie viac, Raven ma problem...ak nie...skus "cisty" NTB.

Tomáš Zeman, MCSD.NET, MCPD

[Reakcia]

photo
vlko
14. 3. 2018 17:58:34
Body: 37770
Najaktívnejší č.: 1

RE: Pomaly BulkInsert nad RavenDB 4.0?

Chyba bude niekde v tvojom kode, my sice reportujeme furt nejake drobne bugy nad 4.0 ale s tymto sme sa este nestretli, mozno tvoja nejaka skryta logika vola SaveChanges, alebo problemy robil tiez zapnuty fiddler.

[Reakcia]



Najaktívnejší užívatelia
1. 37770 b. photo vlko
2. 21430 b. photo T
3. 15955 b. photo spigi
4. 15450 b. photo Anonymous
5. 11120 b. photo dudok
6. 9610 b. photo Liero
7. 6910 b. photo siro
8. 6245 b. photo slavof
9. 5395 b. photo duracellko
10. 4620 b. photo xxxmatko