माइक्रोबैंचमार्क लिखें

अपने ऐप्लिकेशन कोड में बदलाव करके, माइक्रोबेंचमार्क लाइब्रेरी का इस्तेमाल करने का तरीका जानने के लिए, क्विकस्टार्ट सेक्शन देखें. अपने कोडबेस में ज़्यादा मुश्किल बदलावों के साथ, पूरा सेटअप पूरा करने का तरीका जानने के लिए, पूरे प्रोजेक्ट का सेटअप सेक्शन देखें.

क्विकस्टार्ट

इस सेक्शन में, कोड को मॉड्यूल में ले जाने के बिना, एक बार में मेज़रमेंट चलाने और बेंचमार्किंग आज़माने का तरीका बताया गया है. परफ़ॉर्मेंस के सटीक नतीजे पाने के लिए, इन चरणों में आपके ऐप्लिकेशन में डीबगिंग की सुविधा बंद करना शामिल है. इसलिए, अपने सोर्स कंट्रोल सिस्टम में बदलावों को कमिट किए बिना, इसे लोकल वर्किंग कॉपी में रखें.

एक बार के लिए बेंचमार्किंग करने के लिए, यह तरीका अपनाएं:

  1. लाइब्रेरी को अपने मॉड्यूल की build.gradle या build.gradle.kts फ़ाइल में जोड़ें:

    Kotlin

    dependencies {
    implementation("androidx.benchmark:benchmark-junit4:1.2.4")
}

    Groovy

    dependencies {
    implementation 'androidx.benchmark:benchmark-junit4:1.2.4'
}

    androidTestImplementation डिपेंडेंसी के बजाय, implementation डिपेंडेंसी का इस्तेमाल करें. androidTestImplementation का इस्तेमाल करने पर, बेंचमार्क नहीं चलते, क्योंकि लाइब्रेरी मेनिफ़ेस्ट को ऐप्लिकेशन मेनिफ़ेस्ट में मर्ज नहीं किया गया है.

  2. debug बिल्ड टाइप को अपडेट करें, ताकि उसे डीबग न किया जा सके:

    Kotlin

    android {
    ...
    buildTypes {
        debug {
            isDebuggable = false
        }
    }
}

    Groovy

    android {
    ...
    buildTypes {
        debug {
            debuggable false
        }
    }
}

  3. testInstrumentationRunner को AndroidBenchmarkRunner में बदलें:

    Kotlin

    android {
    ...
    defaultConfig {
        testInstrumentationRunner = "androidx.benchmark.junit4.AndroidBenchmarkRunner"
    }
}

    Groovy

    android {
    ...
    defaultConfig {
        testInstrumentationRunner "androidx.benchmark.junit4.AndroidBenchmarkRunner"
    }
}

  4. अपना मानदंड जोड़ने के लिए, androidTest डायरेक्ट्री में मौजूद किसी टेस्ट फ़ाइल में BenchmarkRule का एक इंस्टेंस जोड़ें. बेंचमार्क लिखने के बारे में ज़्यादा जानकारी के लिए, माइक्रोबेंचमार्क क्लास बनाना लेख पढ़ें.

    यहां दिए गए कोड स्निपेट में, इंस्ट्रूमेंट किए गए टेस्ट में बेंचमार्क जोड़ने का तरीका बताया गया है:

    Kotlin

    @RunWith(AndroidJUnit4::class)
class SampleBenchmark {
    @get:Rule
    val benchmarkRule = BenchmarkRule()

    @Test
    fun benchmarkSomeWork() {
        benchmarkRule.measureRepeated {
            doSomeWork()
        }
    }
}
    SampleBenchmark.kt

    Java

    @RunWith(AndroidJUnit4.class)
class SampleBenchmark {
    @Rule
    public BenchmarkRule benchmarkRule = new BenchmarkRule();

    @Test
    public void benchmarkSomeWork() {
            BenchmarkRuleKt.measureRepeated(
                (Function1<BenchmarkRule.Scope, Unit>) scope -> doSomeWork()
            );
       }
    }
}

बेंचमार्क लिखने का तरीका जानने के लिए, माइक्रोबेंचमार्क क्लास बनाना पर जाएं.

प्रोजेक्ट का पूरा सेटअप

एक बार की जाने वाली बेंचमार्किंग के बजाय, नियमित बेंचमार्किंग सेट अप करने के लिए, बेंचमार्क को उनके मॉड्यूल में अलग करें. इससे यह पक्का करने में मदद मिलती है कि उनका कॉन्फ़िगरेशन, debuggable को false पर सेट करने जैसे सामान्य टेस्ट से अलग हो.

Microbenchmark आपके कोड को सीधे चलाता है. इसलिए, जिस कोड का आकलन करना है उसे अलग Gradle मॉड्यूल में डालें और उस मॉड्यूल पर डिपेंडेंसी सेट करें, जैसा कि पहले चित्र में दिखाया गया है.

ऐप्लिकेशन का स्ट्रक्चर
पहली इमेज. :app, :microbenchmark, और :benchmarkable Gradle मॉड्यूल वाला ऐप्लिकेशन स्ट्रक्चर, जो :benchmarkable मॉड्यूल में माइक्रोबेंचमार्क को कोड को बेंचमार्क करने की अनुमति देता है.

नया Gradle मॉड्यूल जोड़ने के लिए, Android Studio में मॉड्यूल विज़र्ड का इस्तेमाल किया जा सकता है. विजर्ड, एक ऐसा मॉड्यूल बनाता है जिसे पहले से ही बेंचमार्किंग के लिए कॉन्फ़िगर किया गया है. इसमें, बेंचमार्क डायरेक्ट्री जोड़ी गई है और debuggable को false पर सेट किया गया है.

  1. Android Studio में प्रोजेक्ट पैनल में, अपने प्रोजेक्ट या मॉड्यूल पर दायां क्लिक करें. इसके बाद, नया > मॉड्यूल पर क्लिक करें.

  2. टेंप्लेट पैनल में, बेंचमार्क चुनें.

  3. बेंचमार्क मॉड्यूल के टाइप के तौर पर, माइक्रोबेंचमार्क चुनें.

  4. मॉड्यूल के नाम के लिए, "microbenchmark" टाइप करें.

  5. पूरा करें पर क्लिक करें.

नया लाइब्रेरी मॉड्यूल कॉन्फ़िगर करना
दूसरी इमेज. Android Studio में नया Gradle मॉड्यूल जोड़ें Bumblebee.

मॉड्यूल बन जाने के बाद, उसकी build.gradle या build.gradle.kts फ़ाइल बदलें और उस मॉड्यूल में androidTestImplementation जोड़ें जिसमें कोड है, ताकि उसे बेंचमार्क किया जा सके:

Kotlin

dependencies {
    // The module name might be different.
    androidTestImplementation(project(":benchmarkable"))
}

Groovy

dependencies {
    // The module name might be different.
    androidTestImplementation project(':benchmarkable')
}

माइक्रोबेंचमार्क क्लास बनाना

बेंचमार्क, इंस्ट्रुमेंटेशन टेस्ट के स्टैंडर्ड होते हैं. बेंचमार्क बनाने के लिए, लाइब्रेरी में मौजूद BenchmarkRule क्लास का इस्तेमाल करें. गतिविधियों की तुलना करने के लिए, ActivityScenario या ActivityScenarioRule का इस्तेमाल करें. यूज़र इंटरफ़ेस (यूआई) कोड को बेंचमार्क करने के लिए, @UiThreadTest का इस्तेमाल करें.

यहां दिया गया कोड, बेंचमार्क का सैंपल दिखाता है:

Kotlin

@RunWith(AndroidJUnit4::class)
class SampleBenchmark {
    @get:Rule
    val benchmarkRule = BenchmarkRule()

    @Test
    fun benchmarkSomeWork() {
        benchmarkRule.measureRepeated {
            doSomeWork()
        }
    }
}
SampleBenchmark.kt

Java

@RunWith(AndroidJUnit4.class)
class SampleBenchmark {
    @Rule
    public BenchmarkRule benchmarkRule = new BenchmarkRule();

    @Test
    public void benchmarkSomeWork() {
        final BenchmarkState state = benchmarkRule.getState();
        while (state.keepRunning()) {
            doSomeWork();
        }
    }
}

सेटअप के लिए समय तय करने की सुविधा बंद करना

runWithTimingDisabled{} ब्लॉक की मदद से, कोड के उन सेक्शन के लिए टाइमिंग की सुविधा बंद की जा सकती है जिन्हें आपको मेज़र नहीं करना है. आम तौर पर, ये सेक्शन कुछ कोड दिखाते हैं. आपको बेंचमार्क के हर बार दोहराए जाने पर, इन कोड को चलाना होगा.

Kotlin

// using random with the same seed, so that it generates the same data every run
private val random = Random(0)

// create the array once and just copy it in benchmarks
private val unsorted = IntArray(10_000) { random.nextInt() }

@Test
fun benchmark_quickSort() {
    // ...
    benchmarkRule.measureRepeated {
        // copy the array with timing disabled to measure only the algorithm itself
        listToSort = runWithTimingDisabled { unsorted.copyOf() }

        // sort the array in place and measure how long it takes
        SortingAlgorithms.quickSort(listToSort)
    }

    // assert only once not to add overhead to the benchmarks
    assertTrue(listToSort.isSorted)
}
SortingBenchmarks.kt

Java

private final int[] unsorted = new int[10000];

public SampleBenchmark() {
    // Use random with the same seed, so that it generates the same data every
    // run.
    Random random = new Random(0);

    // Create the array once and copy it in benchmarks.
    Arrays.setAll(unsorted, (index) -> random.nextInt());
}

@Test
public void benchmark_quickSort() {
    final BenchmarkState state = benchmarkRule.getState();

    int[] listToSort = new int[0];

    while (state.keepRunning()) {
        
        // Copy the array with timing disabled to measure only the algorithm
        // itself.
        state.pauseTiming();
        listToSort = Arrays.copyOf(unsorted, 10000);
        state.resumeTiming();
        
        // Sort the array in place and measure how long it takes.
        SortingAlgorithms.quickSort(listToSort);
    }

    // Assert only once, not to add overhead to the benchmarks.
    assertTrue(SortingAlgorithmsKt.isSorted(listToSort));
}

measureRepeated ब्लॉक और runWithTimingDisabled के अंदर किए जाने वाले काम को कम से कम करने की कोशिश करें. measureRepeated ब्लॉक को कई बार चलाया जाता है. इससे, बेंचमार्क को चलाने में लगने वाले कुल समय पर असर पड़ सकता है. अगर आपको किसी मानदंड के कुछ नतीजों की पुष्टि करनी है, तो हर बार मानदंड के नतीजों की पुष्टि करने के बजाय, आखिरी नतीजे की पुष्टि की जा सकती है.

बेंचमार्क चलाना

Android Studio में, अपने बेंचमार्क को ठीक वैसे ही चलाएं जैसे किसी भी @Test के साथ किया जाता है. इसके लिए, अपनी टेस्ट क्लास या तरीके के बगल में मौजूद गटर ऐक्शन का इस्तेमाल करें, जैसा कि तीसरे चित्र में दिखाया गया है.

माइक्रोबेंचमार्क चलाना
तीसरी इमेज. टेस्ट क्लास के बगल में मौजूद गटर ऐक्शन का इस्तेमाल करके, माइक्रोबेंचमार्क टेस्ट चलाएं.

इसके अलावा, चुने गए Gradle मॉड्यूल के सभी टेस्ट चलाने के लिए, कमांड लाइन से connectedCheck चलाएं:

./gradlew benchmark:connectedCheck

या एक टेस्ट:

./gradlew benchmark:connectedCheck -P android.testInstrumentationRunnerArguments.class=com.example.benchmark.SampleBenchmark#benchmarkSomeWork

बेंचमार्क के नतीजे

माइक्रो-बेंचमार्क पूरा होने के बाद, मेट्रिक सीधे Android Studio में दिखती हैं. साथ ही, अतिरिक्त मेट्रिक और डिवाइस की जानकारी के साथ पूरी बेंचमार्क रिपोर्ट, JSON फ़ॉर्मैट में उपलब्ध होती है.

माइक्रो-बेंचमार्क के नतीजे
चौथी इमेज. माइक्रो-बेंचमार्क के नतीजे.

JSON रिपोर्ट और प्रोफ़ाइलिंग के किसी भी ट्रेस को डिवाइस से होस्ट पर भी अपने-आप कॉपी कर दिया जाता है. ये होस्ट मशीन पर यहां लिखे होते हैं:

project_root/module/build/outputs/connected_android_test_additional_output/debugAndroidTest/connected/device_id/

डिफ़ॉल्ट रूप से, JSON रिपोर्ट को डिवाइस पर डिस्क में, जांच वाले APK के बाहरी शेयर किए गए मीडिया फ़ोल्डर में लिखा जाता है. आम तौर पर, यह फ़ोल्डर /storage/emulated/0/Android/media/**app_id**/**app_id**-benchmarkData.json में होता है.

कॉन्फ़िगरेशन से जुड़ी गड़बड़ियां

लाइब्रेरी इन शर्तों का पता लगाती है, ताकि यह पक्का किया जा सके कि आपका प्रोजेक्ट और एनवायरमेंट, रिलीज़ के हिसाब से परफ़ॉर्म करने के लिए सेट अप किया गया है:

  • डीबग किया जा सकता है को false पर सेट किया गया है.
  • किसी फ़िज़िकल डिवाइस का इस्तेमाल किया जा रहा है—एम्युलेटर काम नहीं करते.
  • डिवाइस रूट होने पर, घड़ियां लॉक हो जाती हैं.
  • डिवाइस में कम से कम 25% बैटरी बची हो.

अगर ऊपर दी गई कोई भी जांच पूरी नहीं होती है, तो बेंचमार्क गड़बड़ी की जानकारी देता है, ताकि गलत मेज़रमेंट को रोका जा सके.

गड़बड़ी के कुछ खास टाइप को चेतावनियों के तौर पर दिखाने और उन्हें बेंचमार्क को रोकने से रोकने के लिए, गड़बड़ी के टाइप को कॉमा से अलग की गई सूची में, इंस्ट्रुमेंटेशन आर्ग्युमेंट androidx.benchmark.suppressErrors में पास करें.

इसे अपनी Gradle स्क्रिप्ट से सेट किया जा सकता है, जैसा कि नीचे दिए गए उदाहरण में दिखाया गया है:

Kotlin

android {
    defaultConfig {
       …
      testInstrumentationRunnerArguments["androidx.benchmark.suppressErrors"] = "DEBUGGABLE,LOW-BATTERY"
    }
}

Groovy

android {
    defaultConfig {
       …
      testInstrumentationRunnerArguments["androidx.benchmark.suppressErrors"] = "DEBUGGABLE,LOW-BATTERY"
    }
}

कमांड लाइन से भी गड़बड़ियों को छिपाया जा सकता है:

$ ./gradlew :benchmark:connectedCheck -P andoidtestInstrumentationRunnerArguments.androidx.benchmark.supperssErrors=DEBUGGABLE,LOW-BATTERY

गड़बड़ियों को दबाने से, बेंचमार्क को गलत तरीके से कॉन्फ़िगर की गई स्थिति में चलाया जा सकता है. साथ ही, गड़बड़ी के साथ जांच के नाम जोड़कर, बेंचमार्क के आउटपुट का नाम बदल दिया जाता है. उदाहरण के लिए, ऊपर दिए गए स्निपेट में, डेबग किए जा सकने वाले मानदंड को दबाने के साथ चलाने पर, जांच के नामों के आगे DEBUGGABLE_ जोड़ दिया जाता है.

पीछे जाएं
माइक्रोबेंचमार्क के बारे में जानकारी
आगे बढ़ें
मानदंड की पहचान करना