结合正交时频空(OTFS)技术与广义空间调制(GSM),提出混合置信度(EP)和期望传播(BP)的EP-BP信号检测算法. 该算法将离散概率分布投影到多元复高斯分布函数中,通过均值向量和协方差矩阵的迭代传递计算出GSM发射符号置信度. 为了降低计算复杂度,设计了两阶段的TS-EP-BP信号检测算法:第1阶段通过EP-BP确定激活天线组合,第2阶段将因子图中的矢量变量节点(VN)分离为多个子VN,并剪除无效子VN. 考虑调制符号独立于激活天线,采用一元复高斯分布函数近似以大幅度减少符号置信度计算次数. 通过仿真对不同条件下不同算法的误码率进行对比,结果表明,所提EP-BP和TS-EP-BP算法具有较优的误码率性能,尤其TS-EP-BP算法可以通过改变第1阶段的最大迭代次数来灵活地平衡误码率性能和计算复杂度.