ExecuTorch Overview.

<aside> ✨

ExecuTorch = Executing Pytorch on the Edge

Pytorch 모델을 온디바이스(on-device)로 추론(inference) 가능하게 만드는 배포 솔루션

</aside>

Focus on..

• Portability → 넓은 범주의 디바이스에서 실행 가능한가?
• Productivity → 개발자가 빠르게 deploy 가능한가?
• Performance → 좋은 user experience를 제공할 수 있는가?

Why ExecuTorch?

1. 기존 pyTorch → Edge 복잡한 파이프라인을 단일화된 export → transform → execute 파이프라인으로 해결

   구분	기존 방식 (PyTorch Mobile)	ExecuTorch
   Export 구조	PyTorch에서 export → TorchScript Graph → HW별로 수동 변환	단일화된 ExportedProgram (EXIR) → EdgeProgramManager가 각 delegate로 자동 분할 및 변환
   컴파일 방식	TorchScript (JIT-based)	PyTorch 2 Export (AOT-based)
   런타임	Interpreter	Native runtime
   그래프 생성	torch.jit.trace / torch.jit.script	torch.export()
   메모리 Allocation	JIT-based memory allocation	AOT-based memory planning
   Overhead Runtime	1.5MB	40KB

2. PyTorch Ecosystem의 활용

   • 내부적으로 HW별 delegation 후, 단일하고 일관된 엔트리포인트를 통해 실행할 수 있도록 제공
     • Entry points for backend interface
   • SDK → BundledProgram, Profiling, Delegate Integration, Debugging
     • SDK description
   • Kernel delegation을 위한 progressive lowering

Core Functionalities.

source: https://www.youtube.com/watch?v=9U9MNbNcu-w

1. Export

<aside> ✨

PyTorch Program → {Export} → ExecuTorch Graph

</aside>

• torch.export()를 이용해서 모델을 고정된 연산 그래프로 추출 → EXIR (EXport Intermediate Representation)
• Pytorch의 실행 흐름을 Ops(연산자)들의 그래프로 변환 (Standardized Core ATen Operators)
  • Pytorch 2.x capture mechanism 사용
  • 이후 Python Interpreter 없이 실행 가능
• Concise한 wide range of dynamism을 캡쳐

2. AOT Compilation

<aside> ✨

ExecuTorch Graph → {Compile} → ExecuTorch Program

</aside>