暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【Fotor】打造图文设计神器!生成式AI让效率和创意齐飞

亚马逊云科技 2024-12-10
90


概 述


截至2024年7月,Fotor在全球已拥有6亿用户。面向海外客户,通过采用亚马逊云科技Amazon Bedrock等生成式AI服务和人工智能服务,Fotor高效应对高并发需求,优化用户设计、编辑图片图像体验,驱动自身业务全面增长。目前Fotor海外业务采用的亚马逊云科技服务包括:Amazon Bedrock、Amazon SageMaker、Amazon EC2 Spot 实例、Amazon SQS、Amazon SNS、Amazon S3、Amazon DynamoDB等。


数百个

推出数百个

生成式AI支撑的新特性

>300

每秒处理

300多个并发需求


十倍

日活用户十倍增长

20%

用户满意度增强20%

















机会 | 将生成式AI

引入到设计、编辑等工作流程

Fotor赋能用户高效进行图片图像创作


Fotor深耕图像处理领域超过15年,持续不断进行产品创新,创造更好的用户体验,让人人都能更高效地创作出专业水平的作品。随着生成式AI的出现,图片图像编辑行业迎来了全新机遇,Fotor率先将生成式AI技术融入设计、编辑等创作工作流程中,已经实现了文生图、图生图、文生视频、图生视频和视频编辑等场景的应用。用户可以使用Fotor对图片素材进行抠图、特效、设计等多种形式的编辑,输出可直接应用于电商广告、新媒体推广、PPT生成等商业场景中。

然而,生成式AI促进Fotor在产品功能、业务模式、成本效益等方面增强竞争力,与此同时也带来了挑战:


面对全球6亿用户带来的全天高并发需求,如何降低高并发场景下的推理时延,提升并发需求的处理效率;


如何降低人工投入,经济、高效、智能地对图片图像素材打标;


如何对用户生成内容进行全面、智能的审核,过滤不合规、不健康的内容,并迅速应对处理;


如何将生成式AI应用集成到现有业务系统中,以及训练开发新模型,对于Fotor的现有能力也是挑战。


Fotor与亚马逊云科技的合作自2014年就已开始,目前已将后端关键应用都部署在亚马逊云科技上。生成式AI时代,Fotor希望在亚马逊云科技提供的基础设施服务上,借助其丰富的生成式AI能力与经验赋能业务,提升团队效率,应对公司面临的挑战。


“借助Amazon SageMaker异步推理功能,降低高并发场景下的推理时延,每秒可处理300个并发需求。基于亚马逊云科技Amazon Bedrock调用业界领先的大语言模型(Large Language Model,LLM),Fotor面向其海外用户推出数百个生成式AI支撑的新特性,帮助Fotor大大提升素材标注效率和准确度,显著增强用户体验,驱动日活用户十倍增长,公司人效大幅提升。”


——颜河

Fotor CTO



















解决方案 | 亚马逊云科技

生成式AI和人工智能服务

赋能Fotor降低高并发场景的推理时延

提升素材标注效率和准确度

高效完成内容审核


采用Amazon SageMaker异步推理功能,降低模型高并发场景下的推理时延,加快用户请求的处理效率时间


Fotor的业务波峰波谷起伏不大,峰谷之间的需求差异不超过25%,并发需求一直较高。高并发需求下的推理时延是Fotor要解决的关键问题之一。Fotor采用Amazon SageMaker异步推理功能,结合使用Amazon SQS、Amazon SNS、Amazon EC2调度能力,高效实现异步推理应对高并发用户需求,使得推理时间比之前加快50%以上,每条需求的处理时间从原来的10~20秒降低到7~8秒,用户等待时间大大减少


通过Amazon Bedrock调用大语言模型,提升素材标注效率和准确度,通过语义拓展提升图片、视频生成效果


对图片进行标注是Fotor一项重要业务场景。以前,采用大规模外包人力来处理这类需求,由人工对素材的特点、色彩、美学等各个维度打上标签,但人工处理面临易疲劳、时间长效率降低、过于依赖预置模板等问题,导致标注效果不尽如意。现在,就Fotor的海外业务,通过Amazon Bedrock调用LLM模型,对图片或影像素材进行标注,不仅标注效率比传统人工标注高很多,而且标签的准确度和丰富性也得到了显著提升,极大地提升了以此为素材训练的模型的泛化能力,使得生成的内容更丰富、准确度更高。

在用户利用LLM实现文生图或视频的过程中,若输入的提示词不完整,Fotor可结合用户的历史信息和输入,对其进行提取并识别用户的倾向或意图,通过LLM结合提示词工程(Prompting)优化,进行语义扩展,生成更贴合用户需求的图片或视频等。

对于图生图场景,Fotor可通过LLM对原图先进行反推,获取到用户未直接描述的语义信息,然后基于反推出的信息再做下一步编辑,在原图基础上根据语义拓展生成更符合期望的图片。


通过Amazon Rekognition高效进行图片审核,直接给出置信度以迅速处理


如何对LLM生成的内容进行高效审核和过滤,是生成式AI应用中面临的共同问题。用户在利用Fotor生成的图片中,可能涉及到不合法、不健康的内容,因此Fotor需要对用户生成的图片进行审核,并将不满足审核要求的内容过滤出去。借助亚马逊云科技Amazon Rekognition,利用机器学习自动执行图像识别和视频分析并降低成本,针对包含暴力、低俗等在内的10多类不合法、不健康内容,采用预先训练和可定制的计算机视觉功能,从图片中提取信息、获取洞察,并针对审核的素材直接给出具体置信度,如判断某图片跟暴力相关的置信度为96%,Fotor无需自己开发模型,即可直接参考该置信度,迅速做出下一步处理。


采用Amazon SageMaker的模型训练等功能,加快定制开发自有图片和视频模型


基于开源模型调优是Fotor应用LLM的方式之一。一方面,开源模型普遍存在知识产权不够明晰的问题,另一方面,前期实践表明,基于开源模型生成的内容,即便经过多轮调优,在图文准确度和美学等方面与Fotor的业务需求还存在差距。为了生成符合期望的图片和视频,Fotor采用Amazon SageMaker的模型训练等功能,基于自身在图像编辑领域的深厚经验和长期积累的数据,在开源模型基础上加快定制开发自有知识产权的图片和视频模型。


Fotor基于

亚马逊云科技的产品架构示意图
















业务成果 | 推出数百个基于生成式AI特性

每秒处理300个并发需求

驱动用户、收入和人效全面增长


推出数百个生成式AI支撑的新特性,用户满意度增强20%


自2022年10月开始引入生成式AI以来,Fotor已经陆续推出了数百个生成式AI支撑的新特性,如为文生图提供多种类型模板,为图生图、文生视频预置多种参数的模板,还可根据用户的应用场景提供预置工作流等。有了这些新特性后,用户无需再使用复杂的图片编辑软件,即可借助Fotor丰富的生成式AI功能和便捷模板,自助、低成本生成符合期望的图像或视频等。针对海外业务,通过Amazon Bedrock调用LLM丰富图文创意特性,Fotor优化原有图文设计、编辑流程,帮助海外用户满意度提升20%。


每秒可处理300个并发需求,并发性能给用户带来流畅体验


Fotor在全球拥有6亿用户,用户的并发需求持续处于高位,若需求处理不及时将影响用户体验。采用Amazon SageMaker异步推理功能后,Fotor每秒能够处理的并发需求数可达到300个,大大减少用户等待时间,给用户带来了更流畅的使用体验。


推动日活用户实现十倍增长,收入大幅增长


借助Amazon Bedrock调用LLM为Fotor带来创意新功能,增强海外用户体验,推动了Fotor进行商业探索,实现日活用户十倍增长,收入也大幅增长


资源更优调配,组织人效实现数倍提升


借助生成式AI后,以前投入在重复性基础工作中的人力如素材标注和内容审核人员可被释放出来,相关资源可调配到更具创造力的岗位中,让组织的整体人效得到数倍提升。

Fotor和亚马逊云科技的生成式AI合作还在持续,在Fotor构建自有模型过程中,除了采用Amazon SageMaker训练功能,预计2025年将会采用Amazon SageMaker的数据清洗、训练、部署等功能,引入后期望将完成每轮试验的时间从一个月压缩到一周内,提升自有模型研发效率。
















关于Fotor


Fotor成立于2009年,深耕图像处理领域已超过15年,截至2024年7月,在全球已拥有6亿用户,致力于为美国、欧洲、东南亚、印度等200多个国家和地区的用户提供创意图文创作工具与服务。


系列往期内容







期待你的分享  收藏  在看  点赞

亚马逊的一小步,云计算的一大步!


点击阅读原文,获取更多精彩内容!

文章转载自亚马逊云科技,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论