V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
kkfnui
V2EX  ›  云计算

求公有云大数据服务推荐

  •  
  •   kkfnui · 2018-03-05 11:45:12 +08:00 · 3200 次点击
    这是一个创建于 2447 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现状

    目前产品的时间都是存在 mysql 中。 相同的日志保存在同一个库中,按天分表。 不同的日志就需要保存在不同的数据库实例中了。 每天新增日志 30G 左右。

    现在遇到了问题:

    1. 分库、分表在做数据分析的时候麻烦,影响写代码效率
    2. 磁盘空间不足。
      服务器磁盘只有 ssd 可选,的且空间上限是 200G。 每天就需要将历史的日志备份到亚马逊上面,要做长时间的日志分析,再从亚马逊还原回来。

    采用现有的模式肯定是走不下去了,考虑要迁移到大数据平台。

    1. 自己搭建
    2. 使用公有云

    由于现有团队没有大数据平台搭建和维护的经验,主要考虑使用公有云。

    公有云

    目前对大数据平台的需要主要是集中在存储和数据分析上。 这块使用经验匮乏,不知道其中会存在什么坑?向大家请教下!

    目前想到的几个点:

    1. 服务可用性
    2. 数据安全性
    3. 服务资费

    跪求有经验的老司机分享下。

    8 条回复    2018-03-05 15:10:30 +08:00
    opengps
        1
    opengps  
       2018-03-05 13:48:47 +08:00
    收藏坐等,同样关注中。。。
    我们的数据也是每天不少,但是依然使用传统分库分表分区应付阶段
    fredcc
        2
    fredcc  
       2018-03-05 13:58:29 +08:00   ❤️ 1
    既然是现有日志都在 AWS 上,如果日志是结构化的,那么直接使用 redshift 就很方便啊。可以继续使用 jdbc 分析,日增量 30G 很小。
    imstand
        3
    imstand  
       2018-03-05 14:12:23 +08:00 via iPhone   ❤️ 1
    Google 的 Bigquery
    leofml
        4
    leofml  
       2018-03-05 14:26:27 +08:00   ❤️ 1
    如果使用青云的话, 存储可以使用对象存储 QingStor, 数据分析可以使用数据仓库 HashData.
    参考入门指南 http://docs.hashdata.cn/getting-started-guide/hashdata_warehouse_guide.html
    zhchyu999
        5
    zhchyu999  
       2018-03-05 14:33:30 +08:00   ❤️ 1
    七牛也有基于 ES 的大数据。需要联系开通。不过上云容易,下云难
    fredcc
        6
    fredcc  
       2018-03-05 14:48:20 +08:00   ❤️ 1
    1、可用性:托管服务,有完整的自动快照等备份能力,基本不用担心。SLA 可以看下文档
    2、安全性:指数据丢失还是数据加密?
    3、资费以美东区一年计算,单个 DC2.large 是 2190 美元,购买一年 RI 可以 6 折。可用存储 160GB,标准 nginx 日志压缩率在 1:0.4 左右,可以看下能否满足需要
    imstand
        7
    imstand  
       2018-03-05 15:03:19 +08:00   ❤️ 1
    服务可用性
    https://cloud.google.com/bigquery/sla
    数据安全性
    https://cloud.google.com/security/
    服务资费
    存储 0.02USD/G/月,查询 5USD/T

    总结,在所有 OLTP 服务中最省时省力省钱的产品。
    kkfnui
        8
    kkfnui  
    OP
       2018-03-05 15:10:30 +08:00
    @fredcc
    安全性考虑的是数据丢失。
    亚马逊没有这样的顾虑。

    但是其他的一些云,不知道怎么样。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4074 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 05:27 · PVG 13:27 · LAX 21:27 · JFK 00:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.