Change xdist lib to parallel (!402) · Merge requests · hive / hivemind

Dariusz Kędzierski requested to merge dk-use-parallel-instead-xdist into develop Nov 25, 2020

Using xdist lib and -n auto option can introduce delay in tests execution time leading to false positives in benchmarking. Consider following example:

dariusz-work@asgard:/mnt/storage-hdd-2/Sources/hivemind/tests/tests_api/hivemind/tavern((0f0fd1a) [])$ PYTHONPATH=$PYTHONPATH:$(pwd) pytest -n auto --durations=0 database_api_negative/find_comments/too_many_requested.tavern.yaml 
/home/dariusz-work/.local/lib/python3.6/site-packages/pytest_benchmark/logger.py:44: PytestBenchmarkWarning: Benchmarks are automatically disabled because xdist plugin is active.Benchmarks cannot be performed reliably in a parallelized environment.
  warner(PytestBenchmarkWarning(text))
============================================================================================================================= test session starts =============================================================================================================================
platform linux -- Python 3.6.9, pytest-6.0.1, py-1.9.0, pluggy-0.13.1
benchmark: 3.2.3 (defaults: timer=time.perf_counter disable_gc=False min_rounds=5 min_time=0.000005 max_time=1.0 calibration_precision=10 warmup=False warmup_iterations=100000)
rootdir: /mnt/storage-hdd-2/Sources/hivemind/tests/tests_api/hivemind/tavern, configfile: pytest.ini
plugins: yaml-1.2.1, parallel-0.1.0, asyncio-0.10.0, benchmark-3.2.3, console-scripts-0.2.0, tavern-1.4.0, pylint-0.15.1, forked-1.3.0, xdist-2.0.0, xvfb-2.0.0, helpers-namespace-2019.1.8
gw0 [1] / gw1 [1] / gw2 [1] / gw3 [1] / gw4 [1] / gw5 [1]
.                                                                                                                                                                                                                                                                       [100%]
============================================================================================================================== slowest durations ==============================================================================================================================
3.19s call     database_api_negative/find_comments/too_many_requested.tavern.yaml::Hivemind database_api.find_comments too many comments

(2 durations < 0.005s hidden.  Use -vv to show these durations.)
============================================================================================================================== 1 passed in 4.71s ==============================================================================================================================
dariusz-work@asgard:/mnt/storage-hdd-2/Sources/hivemind/tests/tests_api/hivemind/tavern(master [+])$

The same test with xdist disabled:

dariusz-work@asgard:/mnt/storage-hdd-2/Sources/hivemind/tests/tests_api/hivemind/tavern(master [+])$ PYTHONPATH=$PYTHONPATH:$(pwd) pytest --durations=0 database_api_negative/find_comments/too_many_requested.tavern.yaml 
============================================================================================================================= test session starts =============================================================================================================================
platform linux -- Python 3.6.9, pytest-6.0.1, py-1.9.0, pluggy-0.13.1
benchmark: 3.2.3 (defaults: timer=time.perf_counter disable_gc=False min_rounds=5 min_time=0.000005 max_time=1.0 calibration_precision=10 warmup=False warmup_iterations=100000)
rootdir: /mnt/storage-hdd-2/Sources/hivemind/tests/tests_api/hivemind/tavern, configfile: pytest.ini
plugins: yaml-1.2.1, parallel-0.1.0, asyncio-0.10.0, benchmark-3.2.3, console-scripts-0.2.0, tavern-1.4.0, pylint-0.15.1, forked-1.3.0, xdist-2.0.0, xvfb-2.0.0, helpers-namespace-2019.1.8
collected 1 item                                                                                                                                                                                                                                                              

database_api_negative/find_comments/too_many_requested.tavern.yaml .                                                                                                                                                                                                    [100%]

============================================================================================================================== slowest durations ==============================================================================================================================
1.06s call     database_api_negative/find_comments/too_many_requested.tavern.yaml::Hivemind database_api.find_comments too many comments

(2 durations < 0.005s hidden.  Use -vv to show these durations.)
============================================================================================================================== 1 passed in 1.17s ==============================================================================================================================
dariusz-work@asgard:/mnt/storage-hdd-2/Sources/hivemind/tests/tests_api/hivemind/tavern(master [+])$

Pure curl call:

dariusz-work@asgard:/mnt/storage-hdd-2/Sources/hivemind/tests/tests_api/hivemind/tavern(master [+])$ time curl --data '{"jsonrpc": "2.0", "id": "1", "method": "database_api.find_comments", "params": {"comments": [["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["a", "p"], ["too", "many"]]}}' hive-2.pl.syncad.com:8080
{"jsonrpc": "2.0", "error": {"code": -32602, "message": "Invalid parameters", "data": "Parameters count is greather than max allowed (1000)"}, "id": "1"}
real    0m1,004s
user    0m0,009s
sys     0m0,000s
dariusz-work@asgard:/mnt/storage-hdd-2/Sources/hivemind/tests/tests_api/hivemind/tavern(master [+])$

Using pytest-parallel library:

dariusz-work@asgard:/mnt/storage-hdd-2/Sources/hivemind/tests/tests_api/hivemind/tavern(master [+])$ PYTHONPATH=$PYTHONPATH:$(pwd) pytest --workers auto --durations=0 database_api_negative/find_comments/too_many_requested.tavern.yaml 
============================================================================================================================= test session starts =============================================================================================================================
platform linux -- Python 3.6.9, pytest-6.0.1, py-1.9.0, pluggy-0.13.1
benchmark: 3.2.3 (defaults: timer=time.perf_counter disable_gc=False min_rounds=5 min_time=0.000005 max_time=1.0 calibration_precision=10 warmup=False warmup_iterations=100000)
rootdir: /mnt/storage-hdd-2/Sources/hivemind/tests/tests_api/hivemind/tavern, configfile: pytest.ini
plugins: yaml-1.2.1, parallel-0.1.0, asyncio-0.10.0, benchmark-3.2.3, console-scripts-0.2.0, tavern-1.4.0, pylint-0.15.1, forked-1.3.0, xdist-2.0.0, xvfb-2.0.0, helpers-namespace-2019.1.8
collected 1 item                                                                                                                                                                                                                                                              
pytest-parallel: 6 workers (processes), 1 test per worker (thread)
..
============================================================================================================================== slowest durations ==============================================================================================================================
1.07s call     database_api_negative/find_comments/too_many_requested.tavern.yaml::Hivemind database_api.find_comments too many comments

(2 durations < 0.005s hidden.  Use -vv to show these durations.)
============================================================================================================================== 1 passed in 1.19s ==============================================================================================================================
dariusz-work@asgard:/mnt/storage-hdd-2/Sources/hivemind/tests/tests_api/hivemind/tavern(master [+])$

Edited Nov 30, 2020 by Dariusz Kędzierski

Change xdist lib to parallel

Merge request reports