//再不认真就输了!
//致力于发现AIGC动态与教程。

喜好儿AI周报Weekly(第8期)AI机器人开源系统 | 阿里En3D | DreamTalk开源 | RunwayML | GPTs商店 | Audio2Photoreal | midreal AI升级 | AI音乐大师工具

探索人工智能,洞察智慧价值,一口气读完本周AIGC新鲜事

各位观众朋友们大家好!我是2024年第一天上班睡过头,痛失全勤奖的阿喜,请大家给我一个免费的赞,抚慰一下我受伤的心灵吧,拜托拜托。接下来去看看开年第一周发生了什么好玩的事情。

本期导读:

  • AI机器人开源系统Mobile ALOHA
  • 阿里巴巴宣布推出En3D,发放 DreamTalk代码
  • RunwayML发展历程
  • Open AI开放 GPTs 商店
  • Meta AI开源3D人物模型Audio2Photoreal
  • AI生成7万跟踪点,画面追踪新概念
  • 小说生成工具midreal AI升级
  • 音乐大师工具M2UGen

先看看斯坦福大学研究团队5年之作——Mobile ALOHA的AI系统,该系统可以通过人类演示进行模仿学习。训练员只需通过机械臂对相关任务操作,系统就会收集数据进行分析并克隆执行。这种联合训练可以将成功率提高多达 90%。这使得 Mobile ALOHA 能够自主完成复杂的移动操作任务,例如炒菜,洗刷等等。以后我要是被炒鱿鱼,连刷盘子的机会都没了。

Mobile ALOHA项目展示链接:https://mobile-aloha.github.io/
Mobile ALOHA开源代码下载链接:https://github.com/MarkFzp/act-plus-plus
Mobile ALOHA数据库地址:https://drive.google.com/drive/folders/1FP5eakcxQrsHyiWBRDsMRvUfSxeykiDc

https://heehel.com/aigc/mobile-aloha.html


最近非常勤快的阿里推出了 En3D 模型,3D 生成模型,在数百万张2D图像上进行训练,能够生成具有不同内容的视觉逼真的 3D人物。另外,阿里的DreamTalk终于发放代码了,能生成多样化说话图像,精准同步唇部动作,超过了现有的最先进的方法。你小子代码藏挺深呀,现在才放出来,有需要的朋友可以到网站上获取哦。

En3D项目展示链接:https://huggingface.co/papers/2401.01173
DreamTalk项目展示地址:https://dreamtalk-project.github.io/
DreamTalk项目论文链接:https://arxiv.org/abs/2312.09767
DreamTalk项目代码下载地址:https://github.com/ali-vilab/dreamtalk

https://heehel.com/aigc/dreamtalk.html


2024年,让我们来回顾一下RunwayML的发展历程吧。它从一个平平无奇的文生视频平台,由Gen1发展到Gen2的动态笔刷,再到Runway TV,一个全新的全天候直播的AI视频频道。看得见AI视频领域在短短的一年内就能发展得如此令人惊讶,展望2024年,期待AI视频技术变得更加稳定、成熟。

RunwayTV体验网址链接:https://www.runway.tv/
RunwayML官方网页地址:https://runwayml.com/

https://heehel.com/aigc/2023-runwayml-gen2.html


嗯,这里插一条快讯,Open AI 将于下周开放 GPTs商店,海量AI工具将会改善工作生活。让用户无需写代码即可创建自己的GPT,并为用户提供一个新的体验。

OpenAI官网链接:https://openai.com/

https://heehel.com/aigc/open-ai-gpts-store.html


搞事小子Meta AI又来啦!他们刚刚发布了一个新项目,你只需提供语音,它就能给你生小猴哦不,生成逼真的3D人物,而且还能根据语术作出表情动作,这个玩意儿叫Audio2Photoreal,是一个开源项目。AI模型分为三大部分,分别是脸部动作、引导姿态和身体运动。而在炫酷的训练演示中,生成的3D人物不但外貌逼真,还能根据语音对话内容中,作出非常自然的动作表现。简直是科技版的奇迹!

audio2photoreal项目开源代码链接:
https://github.com/facebookresearch/audio2photoreal/

audio2photoreal项目论文链接:
https://t.co/mABg4w0DSH

audio2photoreal项目展示地址:
https://people.eecs.berkeley.edu/~evonne_ng/projects/audio2photoreal/

https://heehel.com/aigc/audio2photoreal.html


不仅如此,meta还发布了AI追踪技术的新概念,虚拟轨道,这些追踪点在视频物体被遮挡或者离开视野后仍然起作用,让Co-Tracker稳稳地长时间追踪主体。而这个新技术如果应用在运动摄像机或者相机监控屏上,瞬间变身摄影大师呀!而对于绿幕拍摄的定点捕捉技术上,又将会有更进一步的提升!

Co-Tracker项目展示链接:
https://co-tracker.github.io/

Co-Tracker项目论文:
https://arxiv.org/abs/2307.07635

Co-Tracker项目代码下载:
https://github.com/facebookresearch/co-tracker

Co-Tracker在线演示:
https://huggingface.co/spaces/facebook/cotracker

https://heehel.com/aigc/meta-cotracker.html


最后说说两个工具吧,小说生成工具AI升级了!它可以生成真正意义上的AI小说,这次升级首先是模型更新到V2,新模型生成的小说内容具有更有逻辑性和连贯性。网站页面也更新了作品展示专区,用户可以在那阅览推荐的AI小说。更新了两条新命令,分别可以继续上次的故事以及创建私人频道。想写或者正在写文的小伙伴可以用用看,说不定能给你一个新的写作思路。

midrealAI官方网站地址:https://www.midreal.ai/
midrealAI在线使用体验链接:https://discord.com/invite/GUSTKcEJ7a

https://heehel.com/aigc/midreal-ai-2.html


腾讯与新加坡国立大学联合发布的AI模型M2UGen,它是一款强大的音乐生成框架。通过文本、图像和视频等多模态输入,实现了令人惊叹的音乐创作。只需用自然语言描述,即可生成多样化的AI音乐,并能要求模型按特定思路创作。M2UGen还可以根据用户提供的图像生成相似风格的音乐,更为独特的是,通过视频片段提供描述,可生成符合视频氛围的背景音乐。此外,M2UGen提供强大的编辑功能,用户可自行编辑乐器和节奏,实现个性化定制。好用的话记得回来评论告诉阿喜喔。

M2UGen项目展示链接:
https://crypto-code.github.io/M2UGen-Demo/

M2UGen项目代码链接:
https://github.com/shansongliu/M2UGen

M2UGen论文链接:
https://arxiv.org/abs/2311.11255

https://heehel.com/aigc/m2ugen.html

好了,以上就是2024年第一期周报了,新的一年,大家有没有找到好玩或者好用的工具呢,又或者想找什么工具呢?可以的话去评论区分享给大家吧!我们,下周再见,这里是喜好儿,长期更新热门AI教程与动态!我们一起探索人工智能的新世界吧。

版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《喜好儿AI周报Weekly(第8期)AI机器人开源系统 | 阿里En3D | DreamTalk开源 | RunwayML | GPTs商店 | Audio2Photoreal | midreal AI升级 | AI音乐大师工具》
文章链接:https://heehel.com/aigc/weekly-8.html
本站资源仅供个人学习交流,未经许可不得用于商业用途,自行承担法律责任。
如有疑问,请联系微信:heehelcom

评论 抢沙发

喜好儿——再不认真就输了!

致力于发现ai人工智能应用的新世界, 长期更新目前热门AI教程与动态!期待在这个工业变革时代中,希望你我都能发出一点光。

登录

找回密码

注册