Слово кофе пришло к нам во времена Петра I вместе с самим напитком. Как это часто бывает с новыми словами, у него было поначалу несколько вариантов написания и произношения, и со временем наиболее употребительными стали формы кофий и кофей, возникшие под влиянием слова чай (выпить кофея как выпить чая). Эти формы, разумеется, были мужского рода (кстати, в русском языке и сейчас есть слово кофеёк мужского рода). Под их влиянием и слово кофе приобрело мужской род.

Другое дело, что в отличие от слов кофий и кофей существительное кофе несклоняемое. Вы правы: несклоняемые неодушевленные существительные иноязычного происхождения, оканчивающиеся на гласную, в русском языке в подавляющем большинстве случаев относятся к среднему роду, исключения единичны. Поэтому кофе и стремится стать существительным среднего рода. И это нормальный языковой процесс, в истории русского языка есть много примеров того, как слова меняли родовую принадлежность, достаточно назвать хотя бы слово метро, которое было мужского рода (под влиянием существительного метрополитен), а стало среднего.

Но слову кофе «не повезло»: оно попало в тот небольшой список слов (кофе, договор, звонит...), к которым приковано общественное внимание и изменение нормы в которых воспринимается носителями русского языка как признак его «деградации», «порчи» и т. д. Такое негативное отношение образованных носителей языка к этому варианту влияет на его кодификацию: варианты черный кофе и черное кофе пока не признаются равноправными. В словарях мужской род слова кофе дан как строгая литературная норма, а средний род – как допустимое разговорное употребление.

Найти такие слова, действительно, непросто. Это связано с тем, что имена существительные, оканчивающиеся на -е, – это либо обычные существительные среднего рода (море, солнце, сердце, честолюбие), либо слова мужского рода с экспрессивными суффиксами (носище, усище, голосище), либо несклоняемые слова иноязычного происхождения. В подавляющем большинстве такие слова тоже относятся к среднему роду (биде, драже, безе, саке, реле, божоле, кабаре, купе и т. п.), слов мужского и женского рода среди них единицы.

Мужской или женский род несклоняемые слова иноязычного происхождения приобретают только в тех случаях, когда к такому же роду относится русский синоним или слово, обозначающее родовое понятие, а также в тех случаях, когда они называют лиц или животных мужского (женского) пола. Так, к мужскому роду относятся слова атташе, конферансье (названия профессий – традиционно слова мужского рода), мсье, падре (названия лиц мужского пола). Медресе – существительное среднего рода. К женскому роду относятся слова протеже, кутюрье (если обозначают лиц женского пола), шимпанзе (если обозначает самку животного), цеце (влияние слова муха), биеннале (в значении 'выставка').

Заметим, что именно по указанным выше причинам такие трудности вызывает слово кофе. Это слово (несклоняемое нарицательное существительное иноязычного происхождения) самой системой языка втягивается в парадигму среднего рода, хотим мы того или нет. Мужской род (появившийся под влиянием прежних форм кофий, кофей) пока еще поддерживается традицией (и охраняется словарями), пока еще употребление слова кофе как существительного среднего рода допустимо лишь в непринужденной разговорной речи, но налицо все предпосылки для окончательного перехода  кофе  в разряд слов среднего рода (возможно, это случится через столетие, возможно, раньше).