Microbenchmark e Hilt

Muchas apps usan Hilt para insertar diferentes comportamientos en diferentes variantes de compilación. Esto puede ser particularmente útil cuando realizas pruebas comparativas de tu app, ya que te permite cambiar un componente que puede sesgar los resultados. Por ejemplo, el siguiente fragmento de código muestra un repositorio que recupera y ordena una lista de nombres:

Kotlin

class PeopleRepository @Inject constructor(
    @Kotlin private val dataSource: NetworkDataSource,
    @Dispatcher(DispatcherEnum.IO) private val dispatcher: CoroutineDispatcher
) {
    private val _peopleLiveData = MutableLiveData<List<Person>>()

    val peopleLiveData: LiveData<List<Person>>
        get() = _peopleLiveData

    suspend fun update() {
        withContext(dispatcher) {
            _peopleLiveData.postValue(
                dataSource.getPeople()
                    .sortedWith(compareBy({ it.lastName }, { it.firstName }))
            )
        }
    }
}}

Java

public class PeopleRepository {

    private final MutableLiveData<List<Person>> peopleLiveData = new MutableLiveData<>();

    private final NetworkDataSource dataSource;

    public LiveData<List<Person>> getPeopleLiveData() {
        return peopleLiveData;
    }

    @Inject
    public PeopleRepository(NetworkDataSource dataSource) {
        this.dataSource = dataSource;
    }

    private final Comparator<Person> comparator = Comparator.comparing(Person::getLastName)
            .thenComparing(Person::getFirstName);

    public void update() {
        Runnable task = new Runnable() {

            @Override
            public void run() {
                peopleLiveData.postValue(
                        dataSource.getPeople()
                                .stream()
                                .sorted(comparator)
                                .collect(Collectors.toList())
                );
            }
        };
        new Thread(task).start();
    }
}

Si incluyes una llamada de red cuando realizas la comparativa, implementa una llamada de red falsa para obtener un resultado más preciso.

Incluir una llamada de red real cuando se comparan los resultados de las pruebas dificulta la interpretación de estos. Las llamadas de red pueden verse afectadas por muchos factores externos, y su duración puede variar entre las iteraciones de la ejecución de la comparativa. La duración de las llamadas de red puede ser mayor que la del ordenamiento.

Implementa una llamada de red falsa con Hilt

La llamada a dataSource.getPeople(), como se muestra en el ejemplo anterior, contiene una llamada de red. Sin embargo, Hilt inyecta la instancia de NetworkDataSource, y puedes reemplazarla por la siguiente implementación falsa para la comparativa:

Kotlin

class FakeNetworkDataSource @Inject constructor(
    private val people: List<Person>
) : NetworkDataSource {
    override fun getPeople(): List<Person> = people
}

Java

public class FakeNetworkDataSource implements NetworkDataSource{

    private List<Person> people;

    @Inject
    public FakeNetworkDataSource(List<Person> people) {
        this.people = people;
    }

    @Override
    public List<Person> getPeople() {
        return people;
    }
}

Esta llamada a la red falsa está diseñada para ejecutarse lo más rápido posible cuando llamas al método getPeople(). Para que Hilt pueda inyectar esto, se usa el siguiente proveedor:

Kotlin

@Module
@InstallIn(SingletonComponent::class)
object FakekNetworkModule {

    @Provides
    @Kotlin
    fun provideNetworkDataSource(@ApplicationContext context: Context): NetworkDataSource {
        val data = context.assets.open("fakedata.json").use { inputStream ->
            val bytes = ByteArray(inputStream.available())
            inputStream.read(bytes)

            val gson = Gson()
            val type: Type = object : TypeToken<List<Person>>() {}.type
            gson.fromJson<List<Person>>(String(bytes), type)
        }
        return FakeNetworkDataSource(data)
    }
}

Java

@Module
@InstallIn(SingletonComponent.class)
public class FakeNetworkModule {

    @Provides
    @Java
    NetworkDataSource provideNetworkDataSource(
            @ApplicationContext Context context
    ) {
        List<Person> data = new ArrayList<>();
        try (InputStream inputStream = context.getAssets().open("fakedata.json")) {
            int size = inputStream.available();
            byte[] bytes = new byte[size];
            if (inputStream.read(bytes) == size) {
                Gson gson = new Gson();
                Type type = new TypeToken<ArrayList<Person>>() {
                }.getType();
                data = gson.fromJson(new String(bytes), type);

            }
        } catch (IOException e) {
            // Do something
        }
        return new FakeNetworkDataSource(data);
    }
}

Los datos se cargan desde los recursos con una llamada de E/S de longitud potencialmente variable. Sin embargo, esto se realiza durante la inicialización y no causará ninguna irregularidad cuando se llame a getPeople() durante la evaluación comparativa.

Algunas apps ya usan objetos simulados en compilaciones de depuración para quitar cualquier dependencia de backend. Sin embargo, debes realizar la comparativa en una compilación lo más parecida posible a la de lanzamiento. El resto de este documento usa una estructura de múltiples módulos y múltiples variantes, como se describe en Configuración completa del proyecto.

Existen tres módulos:

  • benchmarkable: Contiene el código para la comparativa.
  • benchmark: Contiene el código de la comparativa.
  • app: Contiene el resto del código de la app.

Cada uno de los módulos anteriores tiene una variante de compilación llamada benchmark junto con las variantes habituales debug y release.

Configura el módulo de comparativas

El código de la llamada de red simulada se encuentra en el conjunto de fuentes debug del módulo benchmarkable, y la implementación de red completa se encuentra en el conjunto de fuentes release del mismo módulo. El archivo de recursos que contiene los datos que devuelve la implementación falsa se encuentra en el conjunto de fuentes debug para evitar cualquier hinchazón del APK en la compilación release. La variante benchmark debe basarse en release y usar el conjunto de fuentes debug. La configuración de compilación para la variante benchmark del módulo benchmarkable que contiene la implementación falsa es la siguiente:

Kotlin

android {
    ...
    buildTypes {
        release {
            isMinifyEnabled = false
            proguardFiles(
                getDefaultProguardFile("proguard-android-optimize.txt"),
                "proguard-rules.pro"
            )
        }
        create("benchmark") {
            initWith(getByName("release"))
        }
    }
    ...
    sourceSets {
        getByName("benchmark") {
            java.setSrcDirs(listOf("src/debug/java"))
            assets.setSrcDirs(listOf("src/debug/assets"))
        }
    }
}

Groovy

android {
    ...
    buildTypes {
        release {
            minifyEnabled false
            proguardFiles getDefaultProguardFile('proguard-android-optimize.txt'),
                'proguard-rules.pro'
            )
        }
        benchmark {
            initWith release
        }
    }
    ...
    sourceSets {
        benchmark {
            java.setSrcDirs ['src/debug/java']
            assets.setSrcDirs(listOf ['src/debug/assets']
        }
    }
}

En el módulo benchmark, agrega un ejecutor de pruebas personalizado que cree un Application para que se ejecuten las pruebas que admiten Hilt de la siguiente manera:

Kotlin

class HiltBenchmarkRunner : AndroidBenchmarkRunner() {

    override fun newApplication(
        cl: ClassLoader?,
        className: String?,
        context: Context?
    ): Application {
        return super.newApplication(cl, HiltTestApplication::class.java.name, context)
    }
}

Java

public class JavaHiltBenchmarkRunner extends AndroidBenchmarkRunner {

    @Override
    public Application newApplication(
            ClassLoader cl,
            String className,
            Context context
    ) throws InstantiationException, IllegalAccessException, ClassNotFoundException {
        return super.newApplication(cl, HiltTestApplication.class.getName(), context);
    }
}

Esto hace que el objeto Application en el que se ejecutan las pruebas extienda la clase HiltTestApplication. Realiza los siguientes cambios en la configuración de compilación:

Kotlin

plugins {
    alias(libs.plugins.android.library)
    alias(libs.plugins.benchmark)
    alias(libs.plugins.jetbrains.kotlin.android)
    alias(libs.plugins.kapt)
    alias(libs.plugins.hilt)
}

android {
    namespace = "com.example.hiltmicrobenchmark.benchmark"
    compileSdk = 34

    defaultConfig {
        minSdk = 24

        testInstrumentationRunner = "com.example.hiltbenchmark.HiltBenchmarkRunner"
    }

    testBuildType = "benchmark"
    buildTypes {
        debug {
            // Since isDebuggable can't be modified by Gradle for library modules,
            // it must be done in a manifest. See src/androidTest/AndroidManifest.xml.
            isMinifyEnabled = true
            proguardFiles(
                getDefaultProguardFile("proguard-android-optimize.txt"),
                "benchmark-proguard-rules.pro"
            )
        }
        create("benchmark") {
            initWith(getByName("debug"))
        }
    }
}

dependencies {
    androidTestImplementation(libs.bundles.hilt)
    androidTestImplementation(project(":benchmarkable"))
    implementation(libs.androidx.runner)
    androidTestImplementation(libs.androidx.junit)
    androidTestImplementation(libs.junit)
    implementation(libs.androidx.benchmark)
    implementation(libs.google.dagger.hiltTesting)
    kaptAndroidTest(libs.google.dagger.hiltCompiler)
    androidTestAnnotationProcessor(libs.google.dagger.hiltCompiler)
}

Groovy

plugins {
    alias libs.plugins.android.library
    alias libs.plugins.benchmark
    alias libs.plugins.jetbrains.kotlin.android
    alias libs.plugins.kapt
    alias libs.plugins.hilt
}

android {
    namespace = 'com.example.hiltmicrobenchmark.benchmark'
    compileSdk = 34

    defaultConfig {
        minSdk = 24

        testInstrumentationRunner 'com.example.hiltbenchmark.HiltBenchmarkRunner'
    }

    testBuildType "benchmark"
    buildTypes {
        debug {
            // Since isDebuggable can't be modified by Gradle for library modules,
            // it must be done in a manifest. See src/androidTest/AndroidManifest.xml.
            minifyEnabled true
            proguardFiles(
                getDefaultProguardFile('proguard-android-optimize.txt'),
                'benchmark-proguard-rules.pro'
            )
        }
        benchmark {
            initWith debug"
        }
    }
}

dependencies {
    androidTestImplementation libs.bundles.hilt
    androidTestImplementation project(':benchmarkable')
    implementation libs.androidx.runner
    androidTestImplementation libs.androidx.junit
    androidTestImplementation libs.junit
    implementation libs.androidx.benchmark
    implementation libs.google.dagger.hiltTesting
    kaptAndroidTest libs.google.dagger.hiltCompiler
    androidTestAnnotationProcessor libs.google.dagger.hiltCompiler
}

En el ejemplo anterior, se hace lo siguiente:

  • Aplica los complementos de Gradle necesarios a la compilación.
  • Especifica que el ejecutor de pruebas personalizado se usa para ejecutar las pruebas.
  • Especifica que la variante benchmark es el tipo de prueba para este módulo.
  • Agrega la variante benchmark.
  • Agrega las dependencias requeridas.

Debes cambiar testBuildType para asegurarte de que Gradle cree la tarea connectedBenchmarkAndroidTest, que realiza la comparativa.

Crea la microcomparativa

La comparativa se implementa de la siguiente manera:

Kotlin

@RunWith(AndroidJUnit4::class)
@HiltAndroidTest
class PeopleRepositoryBenchmark {

    @get:Rule
    val benchmarkRule = BenchmarkRule()

    @get:Rule
    val hiltRule = HiltAndroidRule(this)

    private val latch = CountdownLatch(1)

    @Inject
    lateinit var peopleRepository: PeopleRepository

    @Before
    fun setup() {
        hiltRule.inject()
    }

    @Test
    fun benchmarkSort() {
        benchmarkRule.measureRepeated {
            runBlocking {
                benchmarkRule.getStart().pauseTiming()
                withContext(Dispatchers.Main.immediate) {
                    peopleRepository.peopleLiveData.observeForever(observer)
                }
                benchmarkRule.getStart().resumeTiming()
                peopleRepository.update()
                latch.await()
                assert(peopleRepository.peopleLiveData.value?.isNotEmpty() ?: false)
           }
        }
    }

    private val observer: Observer<List<Person>> = object : Observer<List<Person>> {
        override fun onChanged(people: List<Person>?) {
            peopleRepository.peopleLiveData.removeObserver(this)
            latch.countDown()
        }
    }
}

Java

@RunWith(AndroidJUnit4.class)
@HiltAndroidTest
public class PeopleRepositoryBenchmark {
    @Rule
    public BenchmarkRule benchmarkRule = new BenchmarkRule();

    @Rule
    public HiltAndroidRule hiltRule = new HiltAndroidRule(this);

    private CountdownLatch latch = new CountdownLatch(1);

    @Inject
    JavaPeopleRepository peopleRepository;

    @Before
    public void setup() {
        hiltRule.inject();
    }

    @Test
    public void benchmarkSort() {
        BenchmarkRuleKt.measureRepeated(benchmarkRule, (Function1<BenchmarkRule.Scope, Unit>) scope -> {
            benchmarkRule.getState().pauseTiming();
            new Handler(Looper.getMainLooper()).post(() -> {
                awaitValue(peopleRepository.getPeopleLiveData());
            });
            benchmarkRule.getState().resumeTiming();
            peopleRepository.update();
            try {
                latch.await();
            } catch (InterruptedException e) {
                throw new RuntimeException(e);
            }
            assert (!peopleRepository.getPeopleLiveData().getValue().isEmpty());
            return Unit.INSTANCE;
        });
    }

    private <T> void awaitValue(LiveData<T> liveData) {
        Observer<T> observer = new Observer<T>() {
            @Override
            public void onChanged(T t) {
                liveData.removeObserver(this);
                latch.countDown();
            }
        };
        liveData.observeForever(observer);
        return;
    }
}

En el ejemplo anterior, se crean reglas para la comparativa y para Hilt. benchmarkRule realiza la medición de tiempo de la comparativa. hiltRule realiza la inserción de dependencias en la clase de prueba comparativa. Debes invocar el método inject() de la regla de Hilt en una función @Before para realizar la inyección antes de ejecutar cualquier prueba individual.

La propia comparativa detiene la medición del tiempo mientras se registra el observador LiveData. Luego, usa un seguro para esperar hasta que se actualice LiveData antes de finalizar. Como la clasificación se ejecuta en el tiempo que transcurre entre la llamada a peopleRepository.update() y la recepción de una actualización de LiveData, la duración de la clasificación se incluye en la medición comparativa.

Cómo ejecutar la microcomparativa

Ejecuta la comparativa con ./gradlew :benchmark:connectedBenchmarkAndroidTest para realizarla en muchas iteraciones y para imprimir los datos de tiempo en Logcat:

PeopleRepositoryBenchmark.log[Metric (timeNs) results: median 613408.3952380952, min 451949.30476190476, max 1412143.5142857144, standardDeviation: 273221.2328680522...

En el ejemplo anterior, se muestra el resultado de la comparativa entre 0.6 ms y 1.4 ms para ejecutar el algoritmo de clasificación en una lista de 1,000 elementos. Sin embargo, si incluyes la llamada de red en la comparativa, la varianza entre las iteraciones es mayor que el tiempo que tarda en ejecutarse la ordenación, por lo que es necesario aislar la ordenación de la llamada de red.

Siempre puedes refactorizar el código para que sea más fácil ejecutar la clasificación de forma aislada, pero si ya usas Hilt, puedes usarlo para insertar objetos simulados para la comparativa.

Anterior
Argumentos de instrumentación de Microbenchmark
Siguiente
Cómo compilar sin Gradle