最近，视觉和语言的多模态任务，例如图像字幕和视觉问题解答（VQA），引起了学术界和工业界的普遍乐趣。然而，大多数现有的模型都专注于个体任务。深圳琢磨生院消息工程学院邹月娴教授课题组琢磨觉察，这些任务存在定然的相仿性，因而感受万一模型能够同时琢磨这些多模态问题，则能够共同学习来自不同任务的不同知识，并且很有可能长进每个任务的功能。
最近，邹月娴课题组的琢磨“Federated Learning for Vision-and-Language Grounding Problems”被在美国纽约举行的第34届人工智能进展协会（AAAI）人工智能会议（AAAI Conference on Artificial Intelligence, AAAI 2020）接收公布并以口头汇报（Oral）的形式举行了揭示。该琢磨收获提出了一种联邦学习框架，能够从不同的任务中获得各种种类的图像表示，然后将它们混杂在同时以构成细粒度的图像表示。这些图像表示混杂了来自不同视觉和语言的多模态问题的有用图像表示，因而在个体任务中比独自的原始图像表示壮大得多。为了学习这种图像表示，该课题组提出了对齐（Aligning）、集成（Integrating）和照射（Mapping）、网络（aimNet）。aimNet由一个对齐模块，一个集成模块和一个照射模块构成（如下图）。
课题组提出的凑近式模型aimNet
其中，对齐模块穿越对提取的视觉和文本个性举行互相干注来发生对齐的图像表示，其能为显明图像区域供给了更打听的语义描写。接下来，集成模块偏重于穿越自我当心机制集成视觉和文本个性，该机制捉拿显明区域的分组和属性的搭配。最后，照射模块由两层非线性层构成，用于将学习到的细粒度图像表示照射到特定任务的个性域。各课题组提出的模块富余利用了图像中的所有管用消息，并将其作为输入递交给解码器，以生成故含义的句子或给出问题的准确答案。该课题组在两个图像字幕数据集和一个VQA数据集上，以及相应的三个联邦学习设置上，包括程度联合学习，垂直联合学习和联合迁移学习，举行实验用于检讨该课题组的动机以及所提出措施的管用性。
2019级硕士生刘峰林为该论文第一作者，邹月娴为通信作者，该工作获得了数字视频编解码技巧国度工程实验室、深圳市发改委（数据科学与智能计算学科进展计划）和Aoto-PKUSZ联合实验室的扶持。