薛以致用

避免空谈,成为构建者、创业者和创造者

飞蓬各自远,且尽手中杯

保持乐观、持续学习和长期战斗力

飞蓬各自远,且尽手中杯 时间越久,职场上的人来人往越难以激起内心的波澜,这是一种麻木还是成熟?有的人离开,有更多的人在加入,而对于所有人来说,无论是新入职的,还是待了好几年的“老人”,每一天都是崭新的一天,用亚马逊的信条来说,永远保持 Day 1 的心态,无论去留,无论身在何处! 其实,这几年,自己的内心也时不时的产生波动,观察自己也在观察别人,收到不少反馈,总结来说,促使大...

私房菜-2021云技术趋势

2020 reivent 盛宴时光

最近还在不断消化上个月刚刚结束的 2020 AWS reinvent 大餐,发现深度的技术解读有时不太适合“消遣式”的友圈好奇心,大家对技术趋势反而更愿意津津乐道,虽然预测通常不靠谱,作为一个从事云计算行业近 5 年之久的一线战士,也跟大家聊一聊云计算的技术趋势,权当饭后消遣谈资! 亚马逊 CTO 的预测 亚马逊 AWS 云计算官方推出了一篇业界名宿亚马逊 CTO 沃纳的预测:《2021...

云原生:AWS Lambda 支持自定义容器镜像初体验

2020 reivent 盛宴时光

看完费老师 2020 在线开发者大会 reinvent 的《在云端运行你的Tiny ML 推理》主题演讲,才发现自己又被推入了绝望深渊(太多令人兴奋的内容)尤其是函数计算 AWS Lambda 的发展,今年发布的一系列新特性,包括 AWS Lambda 支持自定义容器镜像,更多的资源支持,完整的开发语言和官方容器环境等等,我感觉函数计算从早期采用,逐渐走向成熟,必定会成为云原生应用的一个潮流...

云原生应用的开发和部署:从 Mahjong 到 AWS Proton 再到 OAM

2020 reivent 盛宴时光

云原生技术生态,客户在实际落地微服务项目的过程中会遇到各种挑战,而典型的需求是如何有机整合企业业务发展所需要的云服务,开源解决方案甚至是商业SaaS产品,优化企业内的开发者的协作效率,同时保障安全、高性能、高可用等诉求;因此在 DevOps 建设过程中,几乎每个企业都期望构建自身的平台即服务(PaaS)来加速业务开发上线效率,沉淀企业技术最佳实践并降低成本和运维工作量; 从应用的基础设施角...

新篇章:强一致性的对象存储

2020 reivent 盛宴时光

从 2006年第一个云服务对象存储服务 Amazon S3 发布直到 2020年12月1日之前,S3 对象操作都是遵循 “最终一致性”原则,对象存储服务本身就是一个复杂的分布式系统,对用户暴露简单的 API 服务接口,无限扩展存储大小,极高的数据持久性(标准存储在一个区域多个可用区进行多份冗余存储);对象存储服务已经成为数据和智能时代最重要的一个可靠“数据容器”,无论 AWS 自身的数据湖解...

“持续”和“混沌工程”嫁接的火花

DevOps 系列

11月21日在成都参与中国 DevOps 社区精心准备的思想碰撞,现场吸引了 300多位 DevOps 爱好者们,有限的25分钟日程中,我快速表达了对于 DevOps 和混沌工程结合及发展趋势,意犹未尽,周末花了点时间整理成文字,一来坚持文字表达要比 PPT 更全面,也便于更多混沌工程爱好者分享和参与探讨,其次,把其中的一些故事和实践更具体呈现给社区,期待有中国的混沌工程即服务的产品出现。 ...

云数仓哪家强,Benchmark 来帮忙?

云数据仓库系列

当客户不知道该如何选择某一款云原生数据仓库解决方案时,IT 部门总倾向于 “比武招亲”,利用公开的 OLAP 性能测试方法(比如 TPC-H,TPC-DS等)来评估众多选项,那数仓的性能测试能真正帮我们找到合适的数仓解决方案吗?大家网上搜索产品公开的 Benchmark 资料时,会发现每个厂家都声称自身的产品性能是最优的,而且有数据证明,可以想象数仓用户选型时候崩溃混乱的情形; 每一个测试...

从 670亿美金市值的 Snowflake 看云数据仓库

云数据仓库系列

今年9月成立于2012年,旨在创造一个基于云的弹性数据仓库 SaaS 软件新秀 Snowflake 上市发行,截止 10.16日,股价242美元,市值为 676亿美金,有巴菲特投资的第二家科技公司加持,不断刺激大家对于云数据仓库发展前景的想象和探讨,那上市即暴涨触发熔断的 Snowflake 到底有什么过人之处? Snowflake 是基于 AWS 平台发展起来的云原生数据仓库服务,也就是...

在 AWS EMR 上使用 Spark 访问关系数据库

Builder:Hello Spark

最近看到一篇 Twilio 团队如何利用 Spark 将每天数成百上千万的 API 调用记录从 MySQL 同步到数据湖,支持他们的用户可以导出历史调用记录的能力,如果他一个客户一天调用一百万次 Twilio 的 API,那么一年就有 3.65 亿次(条)调用日志,该团队最终采用了 Spark 以及它基于列值的并行查询特性来满足这样一个大数据处理的需求; 从架构实践来说,解决这样一个问题:...

直播转码和视频文件转码优化之路

视频和直播技术

对于一个视频相关业务(在线直播或者点播)的客户而言,CDN 和 转码是两个消耗最大的技术成本,至今很多在线流媒体厂商还在持续亏损中,无论是转码还是 CDN 本质上还是一个权衡,技术投入和用户视听体验之间取得一个的平衡;早在年初《聊直播,这些知识点你必须要懂》这篇文章中,我们就引用了亚马逊 Twitch 平台首席研发工程师沈悦时老师的一个直播三角来界定用户体验和 OTT 厂商投入之间的关系: ...