Корректно: заведующий (чем?) теоретическим отделом.
Мужской род уместен в строгой деловой речи, где важно сообщить о должности безотносительно к полу (например, в приказе: назначить заведующим библиотекой Иванову...). В обиходной письменной и тем более устной речи о женщине верно: заведующая библиотекой.
Правильно: заведующий отделением.
Корректно: заведующий учебной частью.
О женщине - заведующая.
Правильно: заведующий тарным складом.
Верно: заведующий – чем? – кафедрой.