Существительным управляет дробная часть: 897,63 рубля. Или так: 897 рублей 63 копейки.
Да, верно: 100,65 рубля.
Конструкция с дательным падежом является книжным вариантом: по двадцати одному рублю, по двадцати девяти рублей. Если в составном числительном имеются слова два, три, четыре, то все счетное сочетание ставится в форме родительного падежа: по двадцать два рубля.
Правильно: 3723102,36 рубля (тридцать шесть сотых рубля). Существительным управляет дробная часть.