대구 출신으로 대구상고와 경북대를 졸업했다. 이후 공군 등 실업 야구 팀에서 선수 생활을 하였지만, 선수 시절에는 크게 주목받지 못했다. 주 포지션은 내야수였다. 모교 대구상고의 감독을 맡았다가 일본에 야구 연수를 다녀왔고, 1967년부터 경북고등학교 야구부 감독을 맡아 명성을 쌓았다. 1971년에는 전국 고교 대회를 모두 석권하는 위력을 보여 주며 고교 야구계에서는 "우승 제조기"로 불렸다.<ref>한국 야구 100주년 ⑬ 우승 제조기 서영무 - 세계일보</ref> 이후 한양대학교, 서울고등학교, 중앙대학교 야구부 감독으로 일하다가 1982년 KBO 리그가 출범하자 연고 팀 삼성 라이온즈의 초대 감독에 임명되었다.
당시에는 전·후기 리그로 연간 리그가 분리되어 있었는데, 전기리그는 OB 베어스가, 후기리그는 삼성 라이온즈가 각각 우승하였다. 1982년 한국시리즈에서 맞붙은 두 팀은 첫 경기에서 무승부를 기록하고 2번째 경기에서 삼성 라이온즈가 이겼으나 이후 내리 게임을 내주면서 4승 1무 1패로 OB 베어스에 밀려 준우승에 머물렀다. 1983년에는 조감독으로 영입된 재일 한국인 출신 이충남과의 지휘권을 둘러싼 갈등으로 건강상의 이유를 들어 생일을 일 주일 지난 그 해 5월 25일에 감독직에서 전격 사임하고 팀을 떠났다.
삼성의 감독에서 물러난 이후에는 대구에 1급 차량 정비공장을 차려 운영하였다. 1984년 OB 베어스의 초대 감독이었던 김영덕을 삼성 라이온즈에서 나은 조건으로 스카웃하여 차기 감독으로 영입하게 되자, OB 베어스는 이에 맞서 그 해 4월 13일 서영무를 자문역 역할인 관리 이사로 영입하여 삼성 라이온즈의 전력 분석을 맡기기도 하였다.
그러나 OB의 이사로 임명된 지 한 달도 안 돼 1984년 5월 11일 OB와 삼성의 대구 경기를 앞두고 원정 숙소였던 수성관광호텔에서 선수들의 방을 정하던 도중 갑자기 뇌졸중으로 쓰러져 경북대학교병원에 입원했다. 이후 식물인간이 되었고, 긴 투병 끝에 1987년 5월 26일 오전 7시 5분, 서울특별시 성동구 사근동 자택에서 사망하였다.
경북고 출신의 명 선수인 이선희, 황규봉, 배대웅, 조창수, 임신근, 강문길 등이 그의 제자였기 때문에 대구 야구의 대부라고 불리며, 엄격한 훈련과 함께 선수들의 책임과 품위를 철저히 강조한 감독이었다.<ref>with 라이온즈 열정의 30년 ⑩‘대부’의 쓸쓸한 퇴장, 원년 감독 서영무 - 매일신문</ref>