Az Azure AI Search teljesítménymutatói
Fontos
Ezek a teljesítménymutatók a 2024. április 3. előtt létrehozott keresési szolgáltatásokra vonatkoznak, és csak a nem virtuális számítási feladatokra vonatkoznak. Frissítések az új korlátokhoz tartozó szolgáltatások és számítási feladatok függőben vannak.
A teljesítménymutatók hasznosak a lehetséges teljesítmény hasonló konfigurációk szerinti becsléséhez. A tényleges teljesítmény számos tényezőtől függ, például a keresési szolgáltatás méretétől és a küldendő lekérdezések típusától.
A számítási feladathoz szükséges keresési szolgáltatás méretének becsléséhez számos teljesítménytesztet futtattunk a különböző keresési szolgáltatások és konfigurációk teljesítményének dokumentálásához.
A különböző használati esetek széles körének lefedése érdekében két fő forgatókönyv esetében futtattunk teljesítményteszteket:
- E-kereskedelmi keresés – Ez a referencia egy valódi e-kereskedelmi forgatókönyvet emulál, és a CDON északi e-kereskedelmi vállalaton alapul.
- Dokumentumkeresés – Ez a forgatókönyv a szemantikai tudós teljes szöveges dokumentumain történő kulcsszókeresésből áll. Ez egy tipikus dokumentumkeresési megoldást emulál.
Bár ezek a forgatókönyvek különböző használati eseteket tükröznek, minden forgatókönyv eltérő, ezért mindig javasoljuk az egyéni számítási feladatok teljesítményteszteltségét. Közzétettünk egy teljesítménytesztelési megoldást JMeter használatával, hogy hasonló teszteket futtathass a saját szolgáltatásán.
Tesztelési módszertan
Az Azure AI Search teljesítményének összehasonlításához két különböző forgatókönyvet futtattunk különböző szinteken és replika-/partíciókombinációkban.
A referenciamutatók létrehozásához a következő módszertant használták:
- A teszt másodpercenkénti lekérdezésekkel
X(QPS) kezdődik 180 másodpercig. Ez általában 5 vagy 10 QPS volt. - A QPS ezután tovább nőtt
X, és további 180 másodpercig futott - A teszt 180 másodpercenként nőtt a QPS-sel
X, amíg az átlagos késés 1000 ms fölé vagy a lekérdezések 99%-ánál kisebbre nem nőtt.
Az alábbi gráf vizuális példát ad a teszt lekérdezési terhelésének megjelenésére:
Minden forgatókönyv legalább 10 000 egyedi lekérdezést használt, hogy elkerülje a gyorsítótárazás által túlzottan eltúlzott teszteket.
Fontos
Ezek a tesztek csak lekérdezési számítási feladatokat tartalmaznak. Ha nagy mennyiségű indexelési műveletre számít, mindenképpen vegye figyelembe ezt a becslésben és a teljesítménytesztelésben. Az indexelés szimulálására szolgáló mintakód ebben az oktatóanyagban található.
Definíciók
Maximális QPS – a maximális QPS-számok egy olyan tesztben elért legmagasabb QPS-n alapulnak, ahol a lekérdezések 99%-a sikeresen befejeződött szabályozás nélkül, és az átlagos késés 1000 ms alatt maradt.
A maximális QPS százalékos aránya – Az adott vizsgálathoz elért maximális QPS százalékos aránya. Ha például egy adott teszt elérte a 100 QPS-t, a maximális QPS 20%-a 20 QPS lenne.
Késés – A kiszolgáló késése egy lekérdezéshez; ezek a számok nem tartalmazzák az oda-vissza utazás késleltetését (RTT). Az értékek ezredmásodpercben (ms) vannak.
Tesztelési jogi nyilatkozat
A teljesítménytesztek futtatásához használt kód az azure-search-performance-testing adattárban érhető el. Érdemes megjegyezni, hogy a JMeter teljesítménytesztelési megoldással valamivel alacsonyabb QPS-szinteket figyeltünk meg, mint a teljesítménytesztekben. A különbségek a tesztek stílusbeli különbségeinek tulajdoníthatók. Ez azt jelzi, hogy a teljesítménytesztek a lehető legnagyobb mértékben hasonlítanak az éles számítási feladatokhoz.
Fontos
Ezek a teljesítménymutatók semmilyen módon nem garantálják a szolgáltatás bizonyos szintű teljesítményét, de képet adnak a forgatókönyv alapján várható teljesítményről.
Ha bármilyen kérdése vagy aggálya van, forduljon hozzánk a azuresearch_contact@microsoft.com.
1. teljesítményteszt: E-kereskedelmi keresés
Ezt a teljesítménytesztet az e-kereskedelmi vállalattal, a CDON-nal, a nordic régió legnagyobb online piacterével, svédországi, finnországi, norvégiai és dániai műveletekkel együtt hozták létre. 1500 kereskedője révén a CDON széles választékot kínál, amely több mint 8 millió terméket tartalmaz. 2020-ban a CDON-nak több mint 120 millió látogatója és 2 millió aktív ügyfele volt. Ebben a cikkben többet is megtudhat az Azure AI Search CDON általi használatáról.
Ezeknek a teszteknek a futtatásához pillanatképet használtunk a CDON éles keresési indexéről és több ezer egyedi lekérdezésről a webhelyükről.
Forgatókönyv részletei
- Dokumentumszám: 6 000 000
- Indexméret: 20 GB
- Indexséma: széles index összesen 250 mezővel, 25 kereshető mezővel és 200 facetable/filterable mezővel
- Lekérdezéstípusok: teljes szöveges keresési lekérdezések, beleértve az aspektusokat, szűrőket, rendezési és pontozási profilokat
S1 teljesítmény
Lekérdezések másodpercenként
Az alábbi diagram azt mutatja, hogy a szolgáltatás mennyi lekérdezési terhelést képes hosszabb ideig kezelni a másodpercenkénti lekérdezések (QPS) szempontjából.
Lekérdezés késése
A lekérdezés késése a szolgáltatás terhelésétől függően változik, és a szolgáltatások nagyobb terhelés esetén nagyobb átlagos lekérdezési késéssel rendelkeznek. Az alábbi táblázat a lekérdezési késés 25., 50., 75., 90., 95. és 99. percentiliseit mutatja három különböző használati szint esetében.
| A maximális QPS százalékos aránya | Átlagos késés | 25% | 75% | 90% | 95% | 99% |
|---|---|---|---|---|---|---|
| 20% | 104 ms | 35 ms | 115 ms | 177 ms | 257 ms | 738 ms |
| 50% | 140 ms | 47 ms | 144 ms | 241 ms | 400 ms | 1175 ms |
| 80% | 239 ms | 77 ms | 248 ms | 466 ms | 763 ms | 1752 ms |
S2 teljesítmény
Lekérdezések másodpercenként
Az alábbi diagram azt mutatja, hogy a szolgáltatás mennyi lekérdezési terhelést képes hosszabb ideig kezelni a másodpercenkénti lekérdezések (QPS) szempontjából.
Lekérdezés késése
A lekérdezés késése a szolgáltatás terhelésétől függően változik, és a szolgáltatások nagyobb terhelés esetén nagyobb átlagos lekérdezési késéssel rendelkeznek. Az alábbi táblázat a lekérdezési késés 25., 50., 75., 90., 95. és 99. percentiliseit mutatja három különböző használati szint esetében.
| A maximális QPS százalékos aránya | Átlagos késés | 25% | 75% | 90% | 95% | 99% |
|---|---|---|---|---|---|---|
| 20% | 56 ms | 21 ms | 68 ms | 106 ms | 132 ms | 210 ms |
| 50% | 71 ms | 26 ms | 83 ms | 132 ms | 177 ms | 329 ms |
| 80% | 140 ms | 47 ms | 153 ms | 293 ms | 452 ms | 924 ms |
S3 teljesítmény
Lekérdezések másodpercenként
Az alábbi diagram azt mutatja, hogy a szolgáltatás mennyi lekérdezési terhelést képes hosszabb ideig kezelni a másodpercenkénti lekérdezések (QPS) szempontjából.
Ebben az esetben azt látjuk, hogy a második partíció hozzáadása jelentősen növeli a maximális QPS-t, de egy harmadik partíció hozzáadása csökkenti a marginális megtérülést. A kisebb javulás valószínűleg azért van, mert az összes adat már be van húzva az S3 aktív memóriájába mindössze két partícióval.
Lekérdezés késése
A lekérdezés késése a szolgáltatás terhelésétől függően változik, és a szolgáltatások nagyobb terhelés esetén nagyobb átlagos lekérdezési késéssel rendelkeznek. Az alábbi táblázat a lekérdezési késés 25., 50., 75., 90., 95. és 99. percentiliseit mutatja három különböző használati szint esetében.
| A maximális QPS százalékos aránya | Átlagos késés | 25% | 75% | 90% | 95% | 99% |
|---|---|---|---|---|---|---|
| 20% | 50 ms | 20 ms | 64 ms | 83 ms | 98 ms | 160 ms |
| 50% | 62 ms | 24 ms | 80 ms | 107 ms | 130 ms | 253 ms |
| 80% | 115 ms | 38 ms | 121 ms | 218 ms | 352 ms | 828 ms |
2. teljesítményteszt: Dokumentumkeresés
Forgatókönyv részletei
- Dokumentumszám: 7,5 millió
- Indexméret: 22 GB
- Indexséma: 23 mező; 8 kereshető, 10 szűrhető/facetable
- Lekérdezéstípusok: kulcsszavas keresések aspektusokkal és találatkiemeléssel
S1 teljesítmény
Lekérdezések másodpercenként
Az alábbi diagram azt mutatja, hogy a szolgáltatás mennyi lekérdezési terhelést képes hosszabb ideig kezelni a másodpercenkénti lekérdezések (QPS) szempontjából.
Lekérdezés késése
A lekérdezés késése a szolgáltatás terhelésétől függően változik, és a szolgáltatások nagyobb terhelés esetén nagyobb átlagos lekérdezési késéssel rendelkeznek. Az alábbi táblázat a lekérdezési késés 25., 50., 75., 90., 95. és 99. percentiliseit mutatja három különböző használati szint esetében.
| A maximális QPS százalékos aránya | Átlagos késés | 25% | 75% | 90% | 95% | 99% |
|---|---|---|---|---|---|---|
| 20% | 67 ms | 44 ms | 77 ms | 103 ms | 126 ms | 216 ms |
| 50% | 93 ms | 59 ms | 110 ms | 150 ms | 184 ms | 304 ms |
| 80% | 150 ms | 96 ms | 184 ms | 248 ms | 297 ms | 424 ms |
S2 teljesítmény
Lekérdezések másodpercenként
Az alábbi diagram azt mutatja, hogy a szolgáltatás mennyi lekérdezési terhelést képes hosszabb ideig kezelni a másodpercenkénti lekérdezések (QPS) szempontjából.
Lekérdezés késése
A lekérdezés késése a szolgáltatás terhelésétől függően változik, és a szolgáltatások nagyobb terhelés esetén nagyobb átlagos lekérdezési késéssel rendelkeznek. Az alábbi táblázat a lekérdezési késés 25., 50., 75., 90., 95. és 99. percentiliseit mutatja három különböző használati szint esetében.
| A maximális QPS százalékos aránya | Átlagos késés | 25% | 75% | 90% | 95% | 99% |
|---|---|---|---|---|---|---|
| 20% | 45 ms | 31 ms | 55 ms | 73 ms | 84 ms | 109 ms |
| 50% | 63 ms | 39 ms | 81 ms | 106 ms | 123 ms | 163 ms |
| 80% | 115 ms | 73 ms | 145 ms | 191 ms | 224 ms | 291 ms |
S3 teljesítmény
Lekérdezések másodpercenként
Az alábbi diagram azt mutatja, hogy a szolgáltatás mennyi lekérdezési terhelést képes hosszabb ideig kezelni a másodpercenkénti lekérdezések (QPS) szempontjából.
Lekérdezés késése
A lekérdezés késése a szolgáltatás terhelésétől függően változik, és a szolgáltatások nagyobb terhelés esetén nagyobb átlagos lekérdezési késéssel rendelkeznek. Az alábbi táblázat a lekérdezési késés 25., 50., 75., 90., 95. és 99. percentiliseit mutatja három különböző használati szint esetében.
| A maximális QPS százalékos aránya | Átlagos késés | 25% | 75% | 90% | 95% | 99% |
|---|---|---|---|---|---|---|
| 20% | 43 ms | 29 ms | 53 ms | 74 ms | 86 ms | 111 ms |
| 50% | 65 ms | 37 ms | 85 ms | 111 ms | 128 ms | 164 ms |
| 80% | 126 ms | 83 ms | 162 ms | 205 ms | 233 ms | 281 ms |
Legfontosabb ismeretek
Ezeken a teljesítménymutatókon keresztül képet kaphat az Azure AI Search teljesítményajánlatairól. A különböző szinteken lévő szolgáltatások közötti különbségeket is láthatja.
A referenciamutatók néhány fő módszere a következők:
- Az S2 általában a lekérdezési kötet legalább négyszeresét képes S1-ként kezelni
- Az S2 általában kisebb késéssel rendelkezik, mint az S1 hasonló lekérdezési köteteken
- Replikák hozzáadásakor a szolgáltatás által kezelt QPS általában lineárisan kezeli a skálázásokat (például ha egy replika 10 QPS-t képes kezelni, akkor öt replika általában 50 QPS-t képes kezelni)
- Minél nagyobb a szolgáltatás terhelése, annál nagyobb az átlagos késés
Azt is láthatja, hogy a teljesítmény jelentősen változhat a forgatókönyvek között. Ha nem a várt teljesítményt kapja, tekintse meg a jobb teljesítményre vonatkozó tippeket.
Következő lépések
Most, hogy megismerte a teljesítménymutatókat, többet is megtudhat arról, hogyan elemezheti az Azure AI Search teljesítményét és a teljesítményt befolyásoló főbb tényezőket.