室町時代の武家である安威氏は摂津出身の武士である。暦応四年（１３４１年）の室町幕府奉行人内において「安威性遵」なる名前があったとされる。康永二年（１３４３年）幕府の奉行人的地位にあり翌年に言上状から名前がないことから、何らかの理由で罷免され、摂津国の国人として勢力を持っていたと見られている。後に安威砦を建てる。築城の時期については、安威弥四郎の子で秀吉の被官として重要な職にあった五左衛門了佐が、天正十四年(１５８６年)に茨木城主となった頃と考えられていますが、その後、豊後竹田(大分県)の中川家の家臣として残った安威氏の系譜によると、了佐の子勝宗は最後の安威城主であったと言われている。中川清秀の嫡男、中川秀成が岡藩に転封された際、安威勝宗も行動をともに、安威の地から姿を消したと言われている