V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ablegao  ›  全部回复第 1 页 / 共 1 页
回复总数  20
2019-09-14 07:03:56 +08:00
回复了 muxueqz 创建的主题 Linux 迁移密码管理器始末,从 KeePass 到 Pass
1. Git 读取 https remote 是可以保存密码的,可以设置一小时内有效什么的,或者永久有效,
git config --global credential.helper store

2. 只用过 1password
2018-03-16 11:42:18 +08:00
回复了 HuLaDanDan 创建的主题 Python 不知道各位都用什么 IDE,写 Python
emacs
https://sciter.com
Sciter 是个 C++的类库, 商业版, 有提供 Linux , Mac , Windows 上使用的免费动态库。
有多种语言的 SDK , 可以使用 Python , Golang , D , Rust , C# .net , Delphi 开发。
https://sciter.com/developers/sciter-sdk-bindings/

遵循的 HTML5 协议规范自己定义的自己的 HTML 引擎,Javascript 层面上,使用的 TScript , 兼容 W3c 标准 Javascript 语法。 渲染性能很好。
Sciter
2017-12-29 16:00:43 +08:00
回复了 h4lt 创建的主题 Apple iOS 11.0-11.1.2 越狱终于来了!
越狱后大有可为!!
2017-12-29 11:56:28 +08:00
回复了 impig33 创建的主题 Android 求推荐一个开源的 im 软件?
位什么没人提到 utox . Windows , linux , Android , iOS 客户端都有。 还开源
2017-09-27 15:03:32 +08:00
回复了 nullcoder 创建的主题 程序员 你[会]因为什么加入创业团队?
钱,老板能力, 自己空间。
@xiaobu 其实,就是这句老话, 让部分人的气焰更涨。如今世界变小了, 给我们的空间更多了, 时代也进步了。 我想说, 有些事情,留在心里面,等我们老了以后, 他会不会变成一种遗憾?如果真的成了遗憾, 那死也带着遗憾而死的。
不如想办法, 怎么能变成猎头手里的抢手资源, 这比你抓来的招聘信息有价值的多。
2015-09-10 14:05:34 +08:00
回复了 chuanwu 创建的主题 Redis redis 本身有持久化,为什么还要写进 mysql 呢?
我阐述一下我的观点,


1.我记得是先有得 memcache , 后推出的 redis , 增加了数据运算功能, hash 和队列等,当时都不支持固化,起点都是提高访问速度,减少数据压力, redis 分析市场需求,尝试推出的本地固化功能,可实际应用中是这样的, 数据会分为热数据和冷数据,或者称为活跃数据和非活跃数据,全都在 redis ,显然长期下来并不合理, redis 的 RDB 快照和 AOF 纪录都会有一定的硬盘负担。关系数据库又是必不可少的,项目中多少都会用, 既然少不了, 索性不如更多的利用起来, redis 可以是一个小硬盘,多内存的专属服务器集群, 专心做缓存。 mysql 专心做存储。(补充, redis 在热数据冷数据的区分上,是支持的,可以将冷数据固化起来,有需要时提取出来, 但作为 key 的值,会一直在内存中。)

2. 没有可靠的先例或者有谁把 redis 本身的固化机制用的很好又不出问题。那在这个前提下, redis 本身在内存崩溃和重启数据恢复复杂且不确定是否数据完整的情况下,过渡依赖 redis 自身固化机制, 是在给上线的项目找麻烦。所以,同上观点, 把数据转储到一个关系数据反而更容易一些。

其实这些都是需求催生的, 所以有了很多类似于 leveldb 这种纯硬盘的 kv 数据库。 redis 的起点是 cache 。
2015-09-06 13:49:50 +08:00
回复了 cnaic 创建的主题 奇思妙想 开发一个人工智能的程序,你希望他能为你做点什么呢?
端茶送水擦地洗衣服做饭
2015-01-13 14:46:45 +08:00
回复了 ablegao 创建的主题 Go 编程语言 一个好玩的 Go ORM
@njutree 目前只支持mysql , 但又一个比较清晰的扩展例子, 很容工艺扩展第三方数据库。
@Comdex 是么?没有用过beego的。 这个orm 后面重要的一个功能是支持一个redis负载均衡的缓存中间件。 目前还属于内部使用阶段。 后期会放出来。 这个orm的定位也是解决游行服务器开发过程中的常规数据操作而设计。
2015-01-13 10:30:24 +08:00
回复了 ablegao 创建的主题 Google 证实 google 已经发布了 gmail 的 webapi , 速度比 imap 快三倍
@nameryan 想啥呢。怎么可能
2015-01-13 00:37:57 +08:00
回复了 kofj 创建的主题 编程 遇到千万级数据排重问题,欢迎童鞋们来讨论,指教。
不确定你这个千万级是日千万级,还是总量千万级。另外这千万数据是分散存储还是集中存储。
一千万数据不算多, 利用硬盘IO . 直接利用你程序的内存空间过滤就好。 当时我们做广告数据分析, 把一天几千万的日志压缩到文件里面, 直接用php脚本排重,效率很高。

搜索引擎笼统说几个功能:
1.爬虫。
2.分词相关操作
3.用户搜索任务触发

方向上的建议:
1.你的架构不能主要依赖数据库和什么nosql , 这个在千万级的数据处理中, 网络io消耗不起。太慢。所以本地硬盘的文件读取, 直接在内存中做数据处理。你可以把这个些数据分包处理,多用几个脚本来跑。 很快可以搞定。

2. 建立一个预处理任务链。 这个任务链的意思, 就是将数据有先有后的分开, 然后根据需要分成多步, 一步步向后传递, 来提高数据的处理速度。
比如说爬虫1, 爬虫2, 爬虫3 。 每个都爬数据, 爬到后粗略计算有效性然后向自己的后面仍。 在一个你认为合适的时机,将数据整合到一起。然后可以根据不同的分词再向后仍给多哥服务,比如这个脚本只处理A-C的数据, 另外一个脚本只处理1~9的数据。不过衡量你脚本的拆分细节标准,一个时时间消耗, 还有一个是CPU利用。 要把一个内核跑到100%情况下程序都能有效快速执行, 速度上不来不行,CPU不满不行。 这个你得自己衡量。

通过上面的步骤,你就会有一堆已经分门别类的基础数据。 这些数据你可以随便灌入到一个数据库中,根据新旧程度建立索引。

3. 用户的搜索操作是另外一个分词的时候。 这时候你需要一个快速响应的服务。利用MQ 建立一个任务的分发机制, 让一个点去做用户输入的内容分词操作, 将数分词向后发, 计算用户词组的分词系数, 就是 比如说:我饿了,是分成 “我、饿了” 还是“我饿、了”这样的系数, 然后根据系数向后分发,每个点开始读取你对应分词的内容。 然后整理,开始向用户反馈。当然反馈中还有一些机制。你需要去处理。



东西太多。。。 我就不废脑细胞了。 适不适用的,随便看看吧。欢迎指正。 如果错字, 算你倒霉。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1099 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 18:55 · PVG 02:55 · LAX 10:55 · JFK 13:55
Developed with CodeLauncher
♥ Do have faith in what you're doing.