2020 第一场线下活动

致敬云计算之美,那些年一起追过的拉斯维加斯之夜

Posted by 薛以致用 on January 5, 2020

前言

作为一个技术人,埋头专心做事的同时,一定有一颗不安分的心,“世界那么大,我想出去看看”,而每年各种顶级技术盛会不容错过,比如NVIDIA GTC 深度学习和人工智能大会,AWS re:Invent 云计算科技大会,Amazon re:Inforce 安全大会,Amazon re:Mars 人工智能大会,CNCF 的 KubeCon + CloudNativeCon 开源和云原生大会,InfoQ 技术大会等等;今天我们一起回顾下,2017年 到 2019年,我们一起度过的拉斯维加斯之夜。

极致开发者年度盛会

很多客户都愿意每年组团参加一年一度的 AWS 云计算行业开发者盛会,在拉斯维加斯举办的 re:Invent 技术狂欢,会议一直保持一颗 Builder 的初心,每年开场 AWS CEO Andy Jessy 都会强调,“这不是一个市场营销的大会,而是一个学习和分享的大会。”抱着积极坦诚和极度开放态度,和全球的客户、用户一起享受云技术进步的成果。

我们看一组最近三年,大会的超高人气值,AWS 关注客户,吸引开发者,构建者及创业者:

  • re:Invent2017:总计超 43,000人现场参与,超 6万人在线观看,1,300个技术分享
  • 到 re:Invent2018, 吸引了超 50,000 人现场参与,10万多人在线观看,超 2,100场技术分享;
  • 刚刚结束一个多月的re:Invent2019,总计超 65,000人现场参加,超 3000场技术演讲;

熟悉亚马逊的创新机制(逆向工作法)的读者,可以真切感受到,(1)你们想要的 AWS 都会支持(客户至上,客户驱动创新和新服务,最广泛和深度的云服务)(2)统一以云服务的方式惠及所有用户(快速迭代,市场验证持续反馈改进,第一天就提供完整的 API 接口支持等等)

正如《re:Invent 观感:AWS是如何解决信任问题的?》文中所感慨的 “从开放程度上可以讲,AWS 更像一家开源公司。只是不同于传统的开源公司,传统开源公司的核心标志是开放源代码,而真正从开放源代码到生产可用,中间还需要懂源代码的高级工程师能够管理代码、打包成服务上线运行、构建持续运维和运营体系,然后再是你的业务逻辑。

而 AWS 开放的不是源代码,而是开放一整套直接可生产使用的服务及整合流程,你只需要关注你的核心业务逻辑即可。当然如果你很好奇,想了解 AWS 服务更多细节,通过 AWS 开放材料,你能够知道 AWS 是如何实现这些服务的,如果你对实现不满意,完全可以自己重新开发,或者选择其他的云。”

reinvent

“数”字 AWS

全球基础设施加速延伸:2006~2010 第一个5年,4个区域,包括北加利福尼亚、北弗吉尼亚州、都柏林和新加坡;2011~2015 第二个 5年,新建了 7个区域,北京、东京、悉尼、法兰克福、俄勒冈、圣保罗以及美国政府区域;2016~2020,第三个 5年,新增了包括宁夏、香港、孟买、巴林在内的 11个区域,同时宣布计划在印度尼西亚、意大利、南非和西班牙新增四个区域。这些全球区域总计有 69个可用区,190多个 边缘点,所有点都通过冗余的 100Gbps 海缆进行互联互;同时全球有超 100个专线接入点,可以方便客户数据中心互联,构建混合架构,详情可参考 https://www.infrastructure.aws/

2014年,AWS 发布了 516 项新服务和新特性;2015年是 722 项;2016年增至 1,017 项。2017年新增服务超过 1,430 项, 到2018年新服务和特性达到 1,957 项。

云服务的企业采用还刚刚开始,很多投资者认为,云计算市场有足够容量容纳多个大厂;同时 AWS 依旧是云计算市场领头羊,整体营收从 2017年 175亿美金增长到 2019年349亿美金,几乎翻了一倍;市场占有率保持在 40%左右。

2017年以来大会热点技术或方向,你正在参与哪个方向?

1. 值得关注的 AWS 开源项目、公开数据集及架构实践文档

  • Firecracker (http://firecracker-microvm.io/): 2018年发布,无服务器计算的安全、快速的轻量级虚拟化,这是一种利用 KVM的新虚拟化技术,客户可以在几分之一秒内在非虚拟化环境中启动轻量级微虚拟机(microVM),充分利用传统虚拟机提供的安全性和工作负载隔离以及容器随附的资源效率,Firecracker 作为“AWS Serverless 产品背后的技术”而广泛受到关注。
  • AWS SageMaker NEO (https://aws.amazon.com/cn/sagemaker/neo/): 训练一次,就可以任意部署运行的深度学习模性编译器,将减少您模型框架中运行的软件集,仅保留必要的部分来作出预测。通常,这会将框架所需的内存量减少到 1/10。然后模型和框架会被编译为单一可执行程序,并部署到生产中来执行快速、低延迟预测。
  • Gluon (https://github.com/gluon-api/gluon-api/): 2017年和 Microsoft 联合发布 Gluon 深度学习库,借助 Gluon,开发人员可以使用简单的 Python API 和一系列预先构建并经过优化的神经网络组件来构建机器学习模型。这使得开发人员可以更轻松地使用简单、简洁的代码来构建神经网络,同时又不牺牲训练性能。
  • Amazon Corretto(https://github.com/corretto): 2019年正式发布,永久免费,多平台支持,承诺长期技术支持的生产级 OpenJDK 分发。
  • Amplify Framework (https://aws-amplify.github.io/): 构建云原生的移动和 Web 应用工具集和 UI 组件。
  • 无服务器应用框架 Chalice (https://github.com/aws/chalice) 及 AWS Serverless Application Model (SAM) (https://github.com/awslabs/serverless-application-model)
  • Open Data On AWS (https://aws.amazon.com/cn/opendata/):通过 AWS 共享和使用大规模数据集,用作应用构建,数据分析及机器学习项目。
  • DGL(Deep Graph Library)(https://www.dgl.ai/pages/about.html): 一个 Python 库,简化图神经网络应用的构建,基于现有的深度学习框架,比如 PyTorch,MXNet,Gluon,等等。
  • Amazon SageMaker Operators for Kubernetes (https://github.com/aws/amazon-sagemaker-operator-for-k8s): 在 K8S 集群如 Amazon EKS 中来集成 Amazon SageMaker 平台,进行模型训练,超参调优,部署推理服务等。
  • AWS 构建者库:2019年发布,介绍 Amazon 如何开发、构建、发布和操作技术的实用文章和视频。构建者库的内容由 Amazon 高级技术主管和工程师编写,主题涵盖架构、软件交付和操作等。
  • AWS 优良架构框架 (https://aws.amazon.com/cn/well-architected-tool/):2018年发布,可为您的组织提供一种工具和一致的流程,帮助您审核和衡量云架构,您可以随时启动新的审核流程,以确保您的架构能够获得持续改进。

更多开源项目请参考 https://aws.github.io/ 站点。

2. 全新的虚拟化 Nitro 系统走向成熟和大规模应用

2015年 亚马逊 AWS 以 3.5~3.7亿美金收购了以色列一家名为 Annapurna Labs 的创业公司,并与 Annapurna 合作开发了新的芯片,推出了全新设计的 Nitro Hypervisor,在 Nitro 系统架构中,网络、存储、安全管理及监控都从传统实例中解耦,被迁移到专属硬件中。这些功能都将模块化、微服务化,使其能够快速迁移并且随时能够根据新的需求而演进。这种架构的好处,是我们可以将所有服务器资源都分配给客户的实例,并且我们最终的目标是让 EC2 实例与裸金属主机之间没有区别。

AWS 在 2016 年对外公布了 Nitro 技术,到 2018 年年底,Nitro 已经迭代到了第四个版本。

经过第三方测试, Nitro Hypervisor 对宿主机的性能损耗在 1% 以下。

2017年, AWS 宣布推出 Amazon EC2 Bare Metal Instance(裸金属实例 I3),裸金属实例允许客户应用可以在 AWS 上直接使用底层服务器的处理器和存储,并具有 AWS 云服务的所有弹性、安全性和可扩展性!

2017年,AWS 推出了第二代 Nitro 架构的 EC2 C5 实例类型,2018年,推出基于第四代 Nitro 卡的 EC2 C5n 实例类型,单个实例提供 100Gbps 的网络吞吐量,使得单机网络从2.5万兆进入10万兆时代。

3. 云主机进入高性价比 ARM CPU 时代

2018年,AWS 第一次推出基于 ARM 架构的 AWS Graviton 处理器,是由亚马逊收购的 Annapurna Labs 研发的定制化的 CPU 芯片,同年推出使用 Graviton处理的 EC2 A1 实例类型。

2019年, AWS 发布 AWS Gravition 2 处理器,该处理器是由 AWS 使用 64 位 Arm Neovers e内核定制构建的,可为在 Amazon EC2 中运行的云工作负载提供最佳的性价比。Amazon EC2 提供了最广泛和最深入的计算实例组合,包括许多由最新一代的 Intel 和 AMD 处理器提供支持的计算实例。AWS Graviton 处理器提供了更多选择,可帮助客户优化工作负载的性能和成本。

4. 容器平台和无服务器被广泛应用

2014 年,AWS 发布了 Lambda,从此开启了一个新的 Serverless 时代;同年,Kubernetes 诞生。 2015 年,AWS 正式发布 Amazon EC2 Container Service,自研的容器编排托管服务。 2016 年,Kubernetes 捐献给 云原生计算基金会(CNCF)进行托管。 2017 年,AWS 发布了 Fargate,简化了 AWS 用户使用容器的操作,使用户再也不用管理底层的虚拟机,以容器为目标管理应用;同年宣布支持托管的 K8S 集群服务 Amazon Elastic Kubernetes Service(EKS); 2019 年,AWS 发布了 Fargate for Amazon Elastic Kubernetes Service(EKS),让客户可以更轻松地在 AWS 上运行、部署、管理和扩展 Kubernetes 工作负载和应用。

5. 竞价实例大放异彩

2009年12月份AWS开始推出竞价实例购买方式,初衷是随着AWS规模的不断壮大和硬件更新升级换代,云中很多算力未能充分利用,如何将这部分闲置算力提供给客户,为了区分EC2现货市场,推出了竞价市场,客户可以以非常低的价格竞价抢占使用;直到2017年底,AWS宣布推出全新的、更加简化实用的定价模型,并且将竞价实例的启动方式和普通现货的EC2实例统一一致,这两项举措大大促进了竞价实例的繁荣和广泛应用。我想不需要任何额外的商务条款即可最低以现货按需实例价格的10% 的低折扣使用云计算算力资源,任何客户都无法拒绝!

容器和竞价实例的结合已经有大规模客户成功案例,很多客户已经采用了基于竞价实例的容器服务,而AWS托管的容器服务ECS和EKS已经无缝集成竞价实例中断信号的自动监听、容器实例节点的自动耗尽处理以及容器编排相关的自动化协作,底层 Spot Fleet 和弹性扩展组可以混合使用按需和竞价实例,并且利用多个竞价市场缓解客户对于目标计算容量的保障。

批处理任务及高性能计算场景等通用密集计算场景,竞价实例的应用也非常的广泛;Novartis 一家创新药物研发企业在2013年跑了10600个竞价实例集群用于一个针对癌症靶标的1000万个混合物的筛选项目,仅仅花费了四千多美金;

大数据处理,如 AWS EMR 内置支持竞价实例;业界论文《Cost-Effective Cloud Server Provisioning for Predictable Performance of Big Data Analytics》

持续集成和持续部署流水线场景,Lyft 技术团队仅仅修改了4行Salt模块代码就用上了竞价实例,并成功把他们跑 Jenkins 的持续集成测试流水线的成本降低了75%。

6. 快速全球组网

前文中我们谈到 AWS 全球基础设施,AWS 分布全球的区域,边缘节点都是通过 AWS 冗余的 100Gbps 的骨干网互联互通,这些年不断完善的网络服务,使得企业全球组网越来越容易的同时,安全和可管理性大幅提高。

2018年,发布的 AWS Global Accelerator 使从用户到多个 AWS 区域中运行的应用程序端点的 Internet 流量的引导变得简单。这样,用户可以使用 AWS 庞大,高度可用且无拥塞的全球网络骨干网和边缘位置,将用户的互联网流量引导至应用程序端点。

2018年,AWS Transit Gateway 和 2019年 发布的 AWS Transit Gateway network manager,简化了用户的网络架构,提供跨 VPC 之间,不同 AWS 账户之间,以及本地部署网络间的连接,从应用角度,Transit Gateways 易于设置和使用,其设计具有高度可扩展性和弹性。每个网关最多可以连接 5000个VPC,每个附件最多可以处理50 Gbits /秒的突发流量;网络管理器进一步把复杂的网络进行图形化展示,提供单一的全局视图。

7. 边缘计算和混合云

计算资源往边缘延伸,把计算节点往越来越靠近终端用户的地方延伸。AWS 在这方面做了很多探索:

2016年,发布的 Snowball Edge,是一台容量为 100TB 的数据传输设备,具有板载存储与计算能力。您可以使用 Snowball Edge 将大量数据移入和移出 AWS,将其用作大型本地数据集的临时存储层,或为远程位置的独立本地工作负载提供支持。可以在 Snowball Edge 上运行 AWS Lambda 代码,来执行诸如分析传感器数据流、转码多媒体内容或实时压缩图像等任务。

2017年,Lambda@Edge 正式发布,支持客户在 AWS Cloudfront 边缘节点上跑 Node.js 代码,从而第一次使客户可以在 AWS 边缘节点初 CDN 功能之外有了灵活的自定义业务逻辑的能力。

2017年,AWS 宣布裸金属机器 I3 实例,支持 VMware 和 AWS 联合开发测试的 VMware Cloud on AWS 服务,借助这种独特的混合云服务,客户能够使用其现有的基于 VMware 的部署与管理方法将其本地数据中心环境扩展到 AWS 云中。裸机实例使 VMware 能够直接在 EC2 托管的基础设施上运行其包括 vSphere Hypervisor 在内的全套软件。

2019年,进一步宣布的 Local Zones 实现了新型的 AWS 基础架构部署,使 AWS 计算、存储和数据库服务更靠近人员、行业和 IT 中心(洛杉矶的 Local Zone 现在已经可用);

同年,与 5G 运营商 Verizon 组成的边缘计算梦之队,发布 Wavelength(计划在 2020 年之后可用)通过 5G 网络边缘的 AWS 计算和存储,构建可为移动设备和用户提供毫秒级延迟的应用程序。

同时,正式揭开在 2018年预发布今年正式可用的私有云节点服务 Outposts,可将本地 AWS 服务、基础设施和运营模式引入绝大部分数据中心、主机托管空间或本地设施。您可以跨本地和 AWS 云使用相同的 AWS API、工具和基础设施,实现真正一致的混合体验。AWS Outposts 设计用于互联环境,并且可用于支持由于低延迟或本地数据处理需求而需要保留在本地的工作负载。VMWare 也宣布 VMWare On Outposts Beta 版计划及软件栈细节。

8. Cloud HPC,i.e, HPC As A Service

如今被频繁提及的高性能计算和传统的 HPC已经大不相同了。包括AI、生命科学、计算化学家等技术的突飞猛进无疑凸显了对计算力的强烈需求,从而推动了HPC的发展和变化。看几个例子:

《上榜啦~花费4小时5500美元,速石科技跻身全球超算TOP500》

一、用云算力比肩这些传统超级计算中心

我们是全球第二,亚洲唯一一家完全用公有云算力跻身超级计算机榜单的公司。 这个事其实AWS在2013年自己干过,那时候的HPL成绩是0.4842 Petaflops,排名64位。这六年来榜单的要求已经提高了非常多。最新排名64位的HPL成绩是3.4096 Petaflops。进入榜单的最低门槛都是1.14 Petaflops。

二、时间和花费低到惊人 我们一共只花了5530美元,跑了4个小时,远远低于TOP500榜单上其他各种组织所需的成本。 按4万个核假设:每台机器按36个核算,共1111台机器。 每台机器20万,约2.2亿元人民币。 这还只是机器,不考虑网络,安装,人力等等。 还有,6-12个月甚至更长的等待时间。

西部数据基于 AWS 构建高可扩展的 HDD Simulation HPC 集群– 250万 HPC 任务, 40000台 EC2 竞价实例

Illumina 每月节省近 40 万美元,使用 Amazon EC2 Spot 实例加速基因组分析

我们看看通用云计算平台为 HPC 工作负载做了哪些优化?

首先,还是 AWS Nitro 系统的进步,使得单机网络性能得到极大提升,达到 100Gbps,同时提升了计算性能。 其次,针对 HPC 任务的优化特性,比如 2017 发布的弹性结构适配器(EFA: Elastic Fabric Adapter),这是适用于 Amazon EC2 实例的网络适配器,可提供具有AWS 弹性和可伸缩性的本地 HPC 群集的性能 EFA 可提高实例间通信的性能,这对于扩展 HPC 应用程序至关重要,实现云上量跑传统HPC应用;2018发布的Amazon was FSx for Lustre,这是AWS全托管的、针对繁重计算负载的 Lustre 文件系统,基于成熟且流行的 Lustre开源项目,Amazon 构建出一个高度并行的文件系统,支持亚毫秒级访问PB级文件系统。成千上万的并发客户端(EC2实例和本地服务器)可以每秒驱动数百万次输入/输出操作并传输数百GB的数据。完全托管的特点就是,用户无需维护,也无需管理,就可以构建用于短暂使用的独立文件系统,也可以将它们无缝地连接到S3。每个文件系统都由NVMe SSD存储支持,增量为3.6 TiB,设计为每 1 TiB 预配置容量以10000 IOPS 提供 200 Mbps的总吞吐量。

更多的新用户也能够利用高性能计算技术 / 平台拓展新的业务,或者重构现有的计算应用,同时享受云端的扩展性等福利。

9. 机器学习持续复兴和普及

每年 Matt Wood 博士都会跟大家更新机器学习相关的进展,其中有几个趋势跟大家更新下:

首先是硬件加速,从 NVIDIA 专用 GPU 芯片的 P2/P3/G3/G4,到 FPGA 实例 F1,再到 AWS 定制的针对推理优化的 AWS Inferentia 芯片,EC2 Inf1 实例,为客户提供云中最快和最低成本的推理;任何人都可以在海量数据集上训练复杂模型,用于医学图像分析或自动驾驶等场景;CPU的推理延迟可能无法满足在线应用程序的需求,而且成熟 GPU 的成本可能并不合理。AWS在 EC2 实例上辅以图形加速处理,以实现低成本的快速推断运算。Amazon Elastic Inference支持流行的机器学习框架 TensorFlow、Apache MXNet和 ONNX(通过MXNet应用)。对现有代码的更改很少,并在本地CPU资源和连接的加速器之间分配计算。

其次是开箱即用的机器学习SaaS服务,机器学习或深度学习只有产生业务价值才是客户的最终诉求,不断发展来自亚马逊电商20多年沉淀的智能算法服务,可以直接嵌入到客户业务工作流中,比如预测(Amazon Forecast)和推荐(Amazon Personalize),欺诈识别(Amazon Fraud Detector),翻译服务(Amazon Translate),图像和视频识别和处理(AMAZON REKOGNITION),文本分析(AMAZON COMPREHEND),文档 OCR 文字和表格提取(AMAZON TEXTRACT),文本转语音(AMAZON POLLY),语音转文本即转录(AMAZON TRANSCRIBE)等等。

最后是机器学习开发者平台,结合人工标注和自动标注的数据标注服务 SageMaker Ground Truth,2019年 AWS 发布了一整套提升机器学习开发人员体验的新特性,其中,Amazon SageMaker Studio 是第一个用于机器学习的全集成开发环境,可为机器学习模型的开发部署提供更高的自动化,集成,调试和监控;Amazon SageMaker Debugger 为机器学习模型提供实时监控,以提高预测准确性,减少培训时间,并增强模型的可解释性;Amazon SageMaker Model Monitor,可通过概念漂移检测,发现生产中运行的模型性能何时偏离原始训练的模型;Amazon SageMaker Experiments 帮助开发人员可视化并比较机器学习模型的迭代,训练参数和结果;Amazon SageMaker Autopilot 允许开发人员将简单数据以 CSV 文件格式提交,自动生成机器学习模型,并且让使用者了解模型的创建方式,以便随着时间的推移影响其发展。

10. 智能设备改变生活

  • AWS DeepLens(2018和2019版本):面向开发人员的全球首个支持深度学习的摄像机,实际上,AWS DeepLens 可通过完全可编程的摄像机、教程、代码和旨在拓展深度学习技能的预受训模型,帮助开发人员进行机器学习。
  • AWS DeepRacer: 各技能水平的开发人员都可以通过基于云的 3D 赛车模拟器、由强化学习驱动的全自动 1/18 比例赛车和全球赛车联盟亲身体验机器学习。
  • AWS DeepComposer: 开始使用 AWS DeepComposer 键盘,创建可在几秒内完全转化为原创歌曲的旋律,由 AI 提供所有支持。
  • Alexa Enabled Echo: Alexa for Business, Echo 系列,Amazon CTO 沃纳在 2017年大会上高呼 “语音将是重要入口,语音是云计算的下一个颠覆”

AWS Cool Goods

11. 云服务持续迭代,润物细无声

云服务的使用必须是可编程,精细化,自动化管理才能获得最大的收益,虽然大家老生常谈熟悉的不能再熟悉的云服务,比如负债均衡,弹性扩展,对象存储,数据仓库,Hadoop托管,数据库等等,一直在随着客户上云的工作负载和应用特性不断迭代演进,比如:

对象存储 Amazon S3,2018年,进一步根据数据的冷热特性,发布了 Glacier Deep Archive 存储,匹配企业超长期存储冷数据的要求,同时降低整体成本(“没错,对于很多客户来说,1TB 数据一个月仅仅 1美金的成本(美东)或者11块人民币(中国宁夏),与磁带服务相当,可以在 12小时或更短的时间内检索数据,当然很开心”),截止目前,Amazon S3 具有七种不同的存储类选项,可提供当今云中可用的最广泛的成本优化选项,也是企业构建数据湖的核心存储服务。2019年进一步发布了 Amazon S3 Access Points,使得管理 S3 数据的访问权限变得更加简单方便。

对于数据库领域,Gartner 2019年发布了《The Future of the DBMS Market Is Cloud》,几大云厂商的数据库服务的市场份额在 2011年到2018年间,持续增长,亚马逊 AWS 更成为第三大的数据库服务供应商。

reinvent

Amazon EMR托管的 Hadoop 集群及支持以 S3 为核心的数据湖架构,最新的 EMR 5.28 已经集成 Apache Hudi,一个由 Uber 2016年开源的改善数据条目级别的增删改操作效率,同时与社区紧密合作,增强了 Hudi 和 Spark 2.4.4集成,Spark Avro,以及支持 AWS Glue Data Catalog(可参考官方博客-New – Insert, Update, Delete Data on S3 with Amazon EMR and Apache Hudi;

另外一个令人兴奋的改进是,引入了 优化 Apache Spark 的 EMR Runtime运行时(EMR 5.24+),比 EMR 5.16版本的 Spark 最高可快 32倍,同时与开源的 Spark 完全兼容。

负载均衡AWS 单一区域内由下一代负载均衡服务处理的 S3 流量更是高达 37Tb/s(数据来自 《云计算之美——AWS re:Invent 2017》),AWS 研发了 AWS Hyperplane 服务,这是一项针对内部使用的服务,让 Amazon EFS、AWS Managed NAT、AWS Network Load Balancer 以及 AWS PrivateLink 等服务真正得以实现;AWS Application Load Balancer 和 API Gateway 全面支持 WebSocket;弹性扩展支持目标跟踪的扩展策略以及基于机器学习算法的流量分析预测的扩展策略。

开发者工具 2017年 AWS 发布了 Cloud9 一个在线的 IDE,2018年进一步发布了 AWS Toolkits for popular IDEs, 2019年发布了 Amazon CodeGuru(预览版)帮助软件开发人员自动进行代码审查,并识别应用程序中最重要的代码行;当然也有第一款面向机器学习开发人员的 IDE,Amazon SageMaker Studio;

总结:无边界创新

每年年底其实是 AWS 团队比较兴奋也是比较痛苦的时刻,每次大会之后,新的技术信息扑面而来,容不得半点停留,人人必须更新自己的技术“堆栈”,如果说你认为以上 11项总结没什么了不起,那请继续关注 AWS RoboMaker,AWS 地面基站(AWS Ground Station),量子技术 Amazon Braket等等;创新无边界,从客户中来,到客户中去,从这角度而言,AWS 是务实的拜客户教主义。

_上海_活动预告,欢迎一起来 Meetup

我想能耐心看到最后的小伙伴一定不会错过,2020年第一场上海 Builder 线下 Meetup,就在本周四,请扫描如下二维码报名:

上海 Meetup



公众号二维码

诞生于 2019,遇见 2020。

感谢关注,欢迎动动手指标星和置顶;

这样就不会错过少但精彩的技术探讨、团队建设、案例分享!

每周至少一更,转发是对我的最大鼓励!

学习之路漫漫,走走停停,
偶有所感,随心所记,
言由心声,问心无愧!

从客户中来,到客户中去!