1898年長崎県対馬生まれ。
1926年、東京美術学校 図案科第二部（建築科）卒業後、横河工務所に入所。写真撮影を始める。1928年山脇道子と結婚。
1930年、道子とともにバウハウスに留学、ミース・ファン・デル・ローエ、カンデンスキーらに学ぶ。建築やフォトモンタージュなどを修得。ナチズムの台頭によりバウハウスの閉鎖が決定したため、1932年帰国。バウハウスで学んだフォトコラージュ作品「バウハウスへの打撃」を日本で発表。川喜田煉七郎の新建築工芸学院に在籍。自由学園工芸研究所講師。建築設計監理事務所開設。1939年のニューヨーク万国博覧会国際館日本部を手掛けるなど国際的な展示設計の場で活躍した。
1940年、帝国美術学校（武蔵野美術大学）校長・造型美術学園学園長を経て、1942年、国民生活科学文化協会常任理事。
1947年、日本大学教授。日本大学芸術学部デザイン学科の基礎を築く。1977年から同大名誉教授。
1947年、小杉二郎らと設計事務所「生産工芸研究所」設立。1951年、ハノーファーの世界建築博覧会で日本の展示設計を手がけた。
建築作品に、古材利用に努めたケヤキハウス（1954年に住宅、1960年に離れ）、バウハウスの国際様式をとりいれた三岸好太郎アトリエ（三岸好太郎と。1934年）、自邸「山脇邸」（1935年）などの住宅作品をはじめ、旧俳優座劇場（1953年）、日本大学芸術学部講堂（1966年）、桐朋学園大学校舎・音楽部校舎（1961年・1964年）など。著書も多数。
1968年、勲五等双光旭日章受章。1987年逝去。