Twitter 将其使用的 MySQL 开源

新闻来源:Twitter官方博客

MySQL 是被广泛使用的一个数据库,但是 Web 开发人员会在大规模访问时的数据库扩展以及性能方面遇到问题。这也是近年来 NoSQL 数据库开始出现并逐渐繁荣的一个原因。对于关注 MySQL 可扩展性的 DBA 人员来说,当然非常希望看到像 Twitter 这样的网站是怎样运用和优化 MySQL 的。

Jeremy Cole 和 Davi Arnaut 是 Twitter DBA 和 DB 开发组的成员,他们表示, 大部分 Twitter 数据都采用了 MySQL 作为持久化存储,包括发表的 Tweets、兴趣图、时间线,以及用户数据。由于 Twitter 的数据规模和访问规模, 他们不得不对 MySQL 源码进行修改优化以适应这种级别的应用。为了回馈社区,他们决定在 BSD 许可证下开源他们对 MySQL 所做的贡献。项目托管在 GitHub,主要的修改包括:

  • 增加状态变量,特别是在 InnoDB 引擎内。这样能更有效地监控系统负载和运行状态。
  • 在非一致性内存访问系统中优化内存分配。在初始化时就分配 InnoDB 的缓存池,如果内存不足则可迅速获得错误报告,这样在服务器面临内存压力时也能保证性能稳定。
  • 减少查询超时中一些不必要的操作。这样服务器可以在毫秒级别主动取消耗时过长的查询。
  • 以一种轻量的方式导入导出 InnoDB 的缓存池。这样可以让我们以最小的代价执行回滚。
  • 针对 SSD 固态硬盘进行优化,包括 page-flushing 以及减少写操作以改善 SSD 硬盘寿命。

另外在4月12日,Twitter 还将对 Gizzard, 一个 MySQL 的分片复制框架进行详细介绍。如果有任何问题,都可以在 GitHub 上向他们提 issue。

雅虎 CEO 致全体员工邮件全文:重组为三大部门

据国外媒体报道,雅虎首席执行官斯科特·汤普森(Scott Thompson)周二在致全体员工的电子邮件中表示,将5月1日起将公司重组为三大核心业务部门。以下为汤普森致雅虎全体员工的电子邮件全文:

雅虎同仁:

对 雅虎而言,目前已是向前和快速发展的时刻。在我们这样做的时候,我希望所有人都把一件事情记在心中:即我们所做的一切都是为了消费者,而并非为了自己。为 了雅虎能在核心业务中取胜,我们所有人都必须把消费者放在首位。具体而言,我们必须把精力全部放在信赖我们向他们提供个性化内容和通信的用户身上,放在希 望能与用户进行沟通广告主身上。需要非常明确地说明,我们最优先考虑的问题是让核心业务取得胜利,这将让我们获得寻求最新增长机会的权利。

为 了实现这一目标,我们将会建立一个新的管理层结构,围绕着雅虎消费者对自身的所有活动进行组织。从5月1日开始,雅虎将分成三个部门进行运营–消费者部 门、地区部门和技术部门–这些部门都将由既有的法人团队提供支持。这三个部门都将有责任提供最好的客户体验,并在取得这种成果方面有着非常明确的职责。

我们新组建的消费者集团将全力以赴地致力于创造极优异、迷人的用户体验。按照地理划分的地区部门将为广告主和广告代理机构提供服务,并对雅虎的全部营收负责。我们的科技团队将提供先进的基础设施和科学技术,令消费者集团和地区部门能迅速而规模化地向市场交付我们最好的产品和体验。

消费者部门

我 们的成功取决于能在何种程度上向消费者提供有趣和有益的体验,让其觉得我们的服务是专门为他们而设计的。我们的消费者集团将由三个部门组成–媒体、连接 和商业–每个部门都将利用雅虎庞大的消费者兴趣数据,向用户提供他们期盼而又应得的个性化独特内容。我们将加倍努力把重点放在雅虎的竞争优势上,也就是 我们核心的自有和运营消费者财产。另外很重要的一点,我们将向每个部门都注入产品工程资源,使其更加接近于我们的用户。

·媒体部门

我 们的在线媒体业务一直是公司最明显的竞争优势。罗斯·列文森(Ross Levinsohn)领导下的媒体部门,将涵盖公司在全球范围内的所有媒体业务,拥有雅虎位于行业前沿的业务:主页、新闻、财经、体育和娱乐等。我们将让 顶级的设计和工程人才以及各种不同的技术–如雅虎出版平台等–与内容制作者和编辑结成密切的合作关系。列文森及其团队将继续推动我们领先的媒体体验的 差异化进程,其中包括从突发新闻事件的原创内容到皇室婚礼、奥运会和美国大选等重要事件等各种体验。

·连接部门

连 接部门将由沙什·塞特(Shashi Seth)负责,业务涉及联系和通知用户的各项消费者业务,如Mail、Messenger、Flickr和Answers等搜索、通信和社交业务等。对 塞特及其团队来说,最重要的任务是不仅仅要关注用户今天如何搜索、沟通和在线共享,而且还要看得更远。连接团队将负责重新构想我们如何设计和交付下一代的 雅虎基础体验。

·商业部门

我 们将重新把重心放在商业业务上,我预计这个新成立的团队将在雅虎的未来增长中扮演至关重要的角色。我们的商业团队将基于雅虎广泛的影响力和强大的消费者关 系而建立起来,但其职责将超出传统的电子商务领域。这个团队的工作重心将是推升广告主和广告代理机构的投资回报率,将用户兴趣、广告主支出、消费者意向和 购物行为结合起来,令广告主和广告代理机构能与用户进行沟通。商业部门的基础将是汽车、购物、旅游、就业、个人和房地产等业务。我们预计将在不久以后任命 这个部门的领导者。

地区部门

对 于我们三个地区的业务而言,广告主和广告代理机构都是其主要的客户和重心。我们的地区销售团队将成为广告客户的宣传力量,将听取客户的意见,让我们开发的 产品符合其需求。地区销售团队必须给我们为广告主所做的一切事情都带来紧迫性和强韧的销售执行,此外这些团队还将利用我们独特而庞大的数据资源,让雅虎成 为广告主与用户沟通的良好场所,从而使其广告支出能带来最好的、可测量的投资回报率。

·美洲部门将由里奇·莱利(Rich Riley)负责,他在近年来负责领导欧洲、中东和非洲地区业务,将其带上了一条营收持续增长以及市场份额和利润增长的道路。莱利将在不久以后从欧洲回到我们的纽约办公室。

·亚太地区部门涵盖许多增长最为迅速的国家和许多最强大的消费产品,将继续由邹开莲(Rose Tsou)负责。

·欧洲、中东和非洲地区部门将暂时由该地区销售负责人克里斯托弗·帕克特(Christophe Parcot)负责,我们已着手为这个部门寻找一名新的领导人。

美洲、欧洲、中东和非洲以及亚太部门将为雅虎在其各自所在地区的营收负上全责。我希望地区部门的领导人和团队能与列文森及其他消费者集团的领导人展开非常密切的合作,从而使其营收增长和执行的目标完全匹配起来,继续将用户和广告主放在首要的位置。

技术部门

我们的消费者和地区部门将继续由业内最有才能的一些科技专业人士提供支持,他们将提供先进的平台和技术,允许雅虎交付极好的消费产品。

· 核心平台。该部门将由马克·莫里西(Mark Morrissey)负责。核心平台部门将提供基础平台、技术和研究业务,从而让我们能向客户提供极好的产品。这个部门还将利用雅虎的庞大数据,以进行深 度个性化和优化后的商业化进程。这个团队将领导Apt、RMX、用户数据及分析、内容优化相关性引擎、雅虎实验室及其他重要的技术性业务活动。

·中心技术。该部门将继续由大卫·迪伯(David Dibble)负责。中心技术部门业务包括数据中心和服务工程等业务,同时还将把云基础设施团队容纳在内。

雅 虎在建造现代化的可扩展平台和基础设施的问题上已取得了实际的进步,但为了依据消费者和行业的需求迅速向前发展,我们需要的不仅仅是可扩展技术。这是我们 所作出的最重要的改变之一:我们必须让最优秀的一些产品设计师和工程师开发更加符合消费者需求的产品。许多顶级工程师将继续建设我们的基础平台和技术,以 继续提升速度和规模。但为了确保真正了解消费者需求及向其提供服务,我们还将在消费者集团的各个业务部门中部署顶级的设计和工程人才,为用户最喜爱的雅虎 产品提供直接的支持,从而确保我们所交付的每种产品都能更快地提供和更加符合客户需求。

企业智能

我 们的主要企业只能将继续为这些新部门提供支持。财务、法律和人力资源部门将继续在首席财务官蒂姆·莫斯(Tim Morse)、总法律顾问迈克·卡拉汉(Mike Callahan)和首席人力资源官大卫·温德利(David Windley)的领导下。在我们积极寻觅首席营销官人选的同时,潘尼·鲍德温(Penny Baldwin)将临时担任企业营销和通信团队的负责人。约翰·克雷默(John Kremer)将领导一个新成立的转型团队,负责确保我们的重组计划及相关组织变动能得到完全的执行。

首席产品官布莱克·埃文(Blake Irving)已决定从公司离职,未来几周时间里将与新的负责人们密切合作,以确保实现顺利的过渡。他为过去两年中雅虎产品战略和执行的进步作出了重大的贡献,我知道你们也将跟我一样祝愿他未来一切顺利。

未来一段时间,你们将听到更多业务领导人对各自部门制定的发展规划。展望雅虎的未来,我们所有人都需铭记在心,永远把消费者放在收费。最后,只有我们的消费者将决定我们在市场中的输赢。

我期待着在今天的全体大会中向你们发表演讲。如在此之前有何问题,请查看Backyard上的信息来寻找问题的答案;如果没有看到答案,那么可以在Backyard上提出问题,或者也可直接向领导团队发送电子邮件提问。

斯科特

编译/腾讯科技

创意示范:苹果如何使用无线充电技术

无线充电技术并不新鲜,AppleInsider一篇名为”Active Electronic Media Packaging”的文章提及了一个新申请的专利,其中描述了一个全新的动态包装系统,在没有数据线连接的情况下,它不但能给设备充电,还可以同步数据 和资料。据悉,苹果对此兴趣浓厚,现在的问题就是如何使用这项新技术。

在将来,这项专利演变的新系统很可能替代目前的电子产品外包装,传统包装上通常可见的标签和广告也将不复存在。这也意味着,苹果产品的包装将能够自 动演示和推销里面的商品。“尽管传统包装可以有效地保护电子产品,但是在其他方面的功用却非常有限。”在产品还如婴儿般包裹在“襁褓”中的时候,如果你想 全方位了解产品细节或进行一些交互体验,目前的大部分电子产品外包装设计无法满足这一需求。

动态包装如果能提供外部电源给产品充电的话,其具备的允许用户试用和体验这样的功能,就可以真正在应用层面上实现。从技术上来说,每个产品的动态包 装都需要跟同一充电源建立无线连接,实现起来却有难度。苹果提出了一个这样的解决方案,使用射频能量发射器,动态包装作为一个能量接收单元,就可以给包装 内的iPhone 或iPad 充电。

另外,当产品仍然密封在包装内的时候,是无法实现固件和内置软件的升级。动态包装能够给产品提供外部电源从而实现类似的功能。

最后,需要说明下,归功于前苹果新技术部门经理Michael Rosenblatt,这项专利在2011年12月的时候就已经推出。在2年的任职时间内,他的团队还提出了42项跟iPhone和iPod相关的专利申请,在他们的创新成果中,有70%已经运用在产品上。

苹果产品如工艺品般精致,不乏创意又充满艺术气息,把冰冷粗糙的新技术跟产品完美糅合一起是苹果最为擅长的地方。我们有理由期待,将来苹果店展示产品的时候,会有更潮更酷的体验。

Linux Kernel 2.4 分支生命周期终结

Linux内核开发者Willy Tarreau在邮件中透露,Linux kernel 2.4分支即将终结,将不再提供更新。

Willy Tarreau曾在2010年底称,如果在一年内没有关键性修复被合并到2.4分支,该分支的生命周期将在一年后(2011年12月)结束。

现在又过去4个月了,Willy Tarreau称不能再推迟了。在去年结束该分支可能对于部分用户来说会有一些困难,但是该分支已经没有真正重要的代码合并进来了,已经到了最后的结束期限了。

对于仍在使用2.4分支的开发者,内核团队给出了一个Git树,并称在今后的一段时间内,可能会发布一些重要的修复。

内核团队建议开发者尽快将内核版本升级至2.6分支或更高的3.x分支,目前最新的稳定分支是3.3.1,可以通过官网获取。

Via LWN

OpenStreetMap 与 Google Maps:小巫遇大巫

OSM如 果要问 Google 除了搜索引擎之外最受欢迎的服务是什么,得到最多票数的答案之一肯定是 Google Maps。据调查,71 % 的在线地图服务使用者都在使用 Google Maps。这个免费地图服务(对个人用户来说)几乎是大多数人出门在外的必备工具,在迷路的时候,Google Maps 就是最可靠的指路人。

如此优秀的地图服务吸引了大量公司去使用 Google Maps API。然而,去年十月,Google 宣布 Google Maps API 开始限制使用次数,并对超出的使用次数进行收费。这一举措对依赖 Google Maps 的小型网站来说无疑是巨大的打击,这给他们产生的每个月额外费用可达上万美元。很明显如此沉重的费用不是每个网站可以承担得起的,而这导致的直接后果就是 一部分网站开始放弃使用 Google Maps API,转而使用免费的开源地图服务 OpenStreetMap,这其中不乏一些巨头和准巨头们:

  • 签到巨头 Foursquare 在今年二月底宣布不再使用 Google Maps API,最直接的原因就是 Google 的收费政策。
  • 今年三月份,在随同新 iPad 一起推出的 iOS 版 iPhoto 中,细心的人发现 iPhoto 的内置地图使用的是 OpenStreetMap 而不是我们熟悉的 GoogleMaps。
  • 近日,在线百科全书 Wikipedia 的官方移动客户端也开始使用 OpenStreetMap。
  • 值得一提的是,微软也是 OpenStreetMap 的大力支持者。Bing Mobile 的首席工程师正是 OpenStreetMap 的创建者 Steve Coast

种种迹象似乎表明 OpenStreetMap 已经开始有一点威胁到 Google Maps 的“在线地图头把交椅”。除了世界各地的地图编写人,像苹果、微软这样的巨头显然能给 OpenStreetMap 提供更大的帮助。

然而,与强大的 Google Maps 相比,OpenStreetMap 还是差得太远。由于地图信息的不完整,Foursquare 用户开始抱怨签到的地方在 OpenStreetMap 上根本就看不到;iOS 设备的默认地图应用还是我们熟悉的 Google Maps,而 iPhoto 不使用 Google Maps 造成的影响也非常有限。

尽管协作编辑的模式在维基百科上展现出了强大的力量,但就目前来讲,说 OpenStreetMap 是“维基百科地图版”还太早了点。真正的维基百科地图版,至少要能让几乎每一个人都可以看到自己身处何方,还要有像 Google Maps 一样完美的地图细节。在这个基础上,OpenStreetMap 还需要有能媲美 Google Maps 的增强功能。

总而言之,OpenStreetMap 还有很长的路要走,让我们等等看小巫有没有成为大巫的一天。