板端推理怎样评测吞吐、P50/P99 时延、功耗与热节流？

如何评估板端推理的吞吐与时延是否达标？P50/P99、预热、功耗和热节流分别怎么测？

主要问模型多大、推理多久一帧、内存占多少、怎么压下来的。