Стартер конечно снимать нужно. Сам врят ли разберёшься. Проще трёшку отдай и пускай тебе его переберут.
По симптомам, это именно щётки. Пускай и щётки и втулки поменяют, а запустишь ,придётся и якорь менять, тогда уж проще будет стартер новый поставить.
но, для начала проверь, может провод на стартере плохо закреплён. Из-за этого тоже может быть.