Правительство, администрация, министерство пишутся с прописной буквы в официальных названиях руководящего органа исполнительной власти государства (а также республик – субъектов Федерации), например: Правительство Российской Федерации, Правительство Республики Дагестан, Правительство Удмуртской Республики, Администрация Президента РФ, Министерство иностранных дел РФ. Но: правительство Москвы, правительство Иркутской области, федеральное правительство, администрация Иркутской области.

Название должности министр пишется со строчной буквы (в том числе и в официальных документах).

Грамматически верно: проинспектировали ход строительства. Но лучше: проинспектировали строительство.

Можно поставить двоеточие или тире.

Оба сочетания существуют в русском языке и немного различаются значением: по словам кого-либо – 'как говорит, пишет, учит, сообщает и т. п. кто-либо'; со слов кого-либо – 'основываясь на чьем-либо устном сообщении'. Например: по словам министра, нам известно... (=министр сказал, что нам известно); со слов министра нам известно (= нам известно благодаря словам министра).