扩散模型的出现推动了文本生成视频技术的发展，但这类方法的计算成本通常不菲，并且往往难以制作连贯的物体运动视频。未解决这样一些问题，来自中国科学院深圳先进技术研究院、中国科学院大学和 VIVO AI Lab 的研究者联合提出了一个无需训练的文本生成视频新框架 ——GPT4Motion。GP

  本文由站长之家合作伙伴自媒体作者“机器之心公众号”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了能够更好的保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。

  查看更多相关信息

  【新智元导读】谷歌全新视频生成模型VideoPoet再次引领世界!十秒超长视频生成效果碾压Gen-2可进行音频生成，风格转化。AI视频生成，或许就是2024年下一个最前沿的领域。对于未来的研究方向，谷歌研究人员表示，VideoPoet框架将会实现「any-to-any」的生成，比如扩展文本到音频、音频到视频，以及视频字幕等等。

  DreamTalk是一个由清华大学、阿里巴巴和华中科大共同开发的基于扩散模型的框架，可以让人物头像说话、唱歌并保持嘴唇的同步和模仿表情变化。项目地址:这一框架具有以下特点:DreamTalk能够生成高质量的动画，使人物脸部动作看起来非常真实。DreamTalk是一个具有创新技术的框架，能够为人物头像赋予说话和表情的能力，为多种领域带来更生动和丰

  计算机视觉领域的关键突破之一是MagicDance框架的问世，这是一种基于扩散的模型，旨在彻底改变人体运动传递。MagicDance框架通过两阶段训练策略，聚焦于人体动作解缠和外观因素，为特定目标身份生成逼真的人类舞蹈视频，成为计算机视觉和AI领域的新秀。尽管存在一些局限性，MagicDance框架仍然在人体运动传递和舞蹈视频生成领域取得了显著进展，为计算机视觉和人

  GoogleResearch最近发布了一款名为VideoPoet的大型语言模型，旨在解决当前视频生成领域的挑战。该领域近年来涌现出许多视频生成模型，但在生成连贯的大运动时仍存在瓶颈。VideoPoet作为大型语言模型，通过集成多种视频生成任务，为零镜头视频生成提供了新的可能性，为艺术创作、影视制作等领域带来了潜在的创新机遇。

  在多模态大型语言模型领域取得显著进展的同时，尽管在输入端多模态理解方面取得了显著进展，但在多模态内容生成领域仍存在很明显的空白。为填补这一空白，腾讯AI实验室与悉尼大学联手推出了GPT4Video，这是一个统一的多模态框架，赋予大型语言模型独特的视频理解和生成能力。其在多模态基准测试中表现出色进一步强调了其卓越性能。

  audio2photoreal:从音频生成照片般逼真的人类avatar

  audio2photoreal是一个从音频生成照片级逼真avatar的开源项目。它包含了一个pytorch实现,可以从音频中合成交谈中的人类形象。该项目提供了训练代码、测试代码、预训练的运动模型以及数据集访问。它的模型包括人脸扩散模型、人体扩散模型、人体VQ VAE模型和人体引导变换器模型。该项目让研究人员和开发者能够训练自己的模型,并基于语音合成高质量的逼真avatar。

  OmniAI是一款AI驱动的内容生成平台，能够轻松生成高质量、个性化的AI内容。解锁无限可能，节约时机，开始赚钱！产品基本功能包括AI Writer、AI Code、AI Image、AI Chat Bot、Speech to Text、Text to Voice等。适用于写作、生产力提升、图像创作、聊天互动、语音转文字等场景。提供灵感无限的AI生成器，支持多种语言。具有高质量代码、现代技术、友好的用户界面和使用者真实的体验、黑暗模式、文档集成、支付网关、SEO友好、高级仪表盘、自定义模板、社会化媒体账号登录、高质量支持等特点。根据不一样的需求，提供Omni Starter、Omni Explorer和Omni Professional三种月度付费方案。

  Rawuser是一款AI驱动的使用者真实的体验优化工具，通过智能分析用户行为并提供个性化的内容推荐，提升网站的用户互动和转化率。用户都能够根据指引将Rawuser与自己的平台进行集成，获取每日用户会话的统计和产品分析等功能。Rawuser的主要优势是凭借其AI魔力最大化网站的影响力，并提供定制化的用户体验，从而促进网站的发展和商业成功。产品定位为提升网站用户体验和转化率的生产力工具。

  Ideal Customers AI是一款专注于帮助初创公司发现并连接喜爱其产品的人群的人群分析工具。通过深入了解目标市场细分的特定特征、需求和行为，ICP指导产品开发和迭代，帮助您更好地满足这些需求。此外，ICP还有助于个性化营销和销售策略，确保更高效的客户获取和保留。通过AI分析，快速了解您的最佳客户，并获得定制的营销策略。该产品提供了初级计划和高级计划，价格分别为$9.99和$24.99。另外，还提供了专属优惠和产品发布特别活动。产品支持团队提供客户支持。

  ServiBot是一个基于AI的智能聊天机器人,可以帮助企业快速接入聊天机器人,提高用户体验和转化率。它具有易于集成、可高度自定义、智能对话等功能。企业可以通过ServiBot提升客户服务质量,同时获得用户行为数据分析。它既可以作为独立的聊天机器人使用,也可以集成在网站、APP等中。ServiBot可以帮助企业节省客服成本,提高工作效率。

  intfloat/e5-mistral-7b-instruct:使用大型语言模型改进文本嵌入

  E5-mistral-7b-instruct 是一个具有 32 层和 4096 个嵌入大小的文本嵌入模型。它可以用于编码查询和文档，以生成语义向量表示。该模型使用自然语言任务描述指导文本嵌入过程，能够准确的通过不同的任务进行定制。该模型在 MS-MARCO passage ranking 数据集上进行了训练，可用于信息检索、问答等自然语言处理任务。

  LimeSpot Personalizer Shopify App Store:智能个性化平台

  LimeSpot Personalizer是一个智能的数据驱动的个性化平台，市场营销人员和电商专业人员用它进行网站内的商品展示。通过产品推荐，销售增值，交叉销售，捆绑销售和内容个性化，提高转化率，平均订单价值和客户参与度。提供免费套餐和付费套餐，定价根据商店收入计算。

  one-api是一个开源的OpenAI接口管理与分发系统。它支持Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360智脑以及腾讯混元等多种大模型。可以用于二次分发管理key,仅单可执行文件,已打包好Docker镜像,一键部署使用。

  Intellexie帮企业交付并使其内部知识库对员工更加易于访问。它提供与各种业务工具（如Slack、Jira、Confluence）的无缝集成，通过添加AI技术，使企业能够更高效地获取和分享知识。Intellexie的基本功能包括：与各种业务工具的集成、AI助手的无缝整合、隐私保护、易于使用的界面等。Intellexie适用于各种企业使用场景，如团队协作、知识管理、客户支持等。详细定价和使用示例，请访问官方网站知道更多信息。