It is time 가정법. It's time you went처럼 아직 안 한 일을 과거형으로 쓰는 이유와 to부정사 구문과의 차이를 정리합니다.