这个涉及“相邻权”的问题，最好请当地村委会出出面调解，达成可行协议。如果你建房对他造成妨碍（法律保护的相邻权），他的阻扰是合法的。不管怎么样，对方都不构成寻衅滋事（除非无理取闹）。
这是耍无赖，以其人之道还治其人之身
