面试题:处理一千条数据与处理一千万条数据的区别

2024-11-24 23:55:51
推荐回答(2个)
回答1:

从目前的计算机发展角度看是没什么区别的,因为一台高性能的服务器完全可以处理一千万条简单数据(个人实践经验)不需要优化,但是如果你的数据比较复杂,需求又不止于去重排序之类的,那么需要针对问题。可以用hadoop、spark等大数据平台,也可以自己做hash把大文件分解为小文件,加上用数据库来处理。数据量过大主要是害怕内存爆掉,可以通过改变数据存储结构,减少内存使用。这也是为什么mysql用B+树(不知道记得准不)如果是排序用外部排序。对于一些特殊问题还有奇技淫巧,比如bitmap去重。使用mysql等数据库时也要注意方法,因为数据过多后时间复杂度变得重要,在1000条数据时不需要优化的操作也变得需要慎重处理。不过,已经有很多合适的解决方案,可以系统调研。

回答2:

可能说,数量过于大的,我们需要用其他办法,但是我重点要说的是,除了数量,没有任何区别,都需要认真去做,但是,我们更倾向于去处理一千条,因为我们必须要稳,无论从事什么工作,都不可以好大喜功,稳中求胜才是上策,考虑能力,权衡利弊,然后再去处理问题,到那时候,无论处理多少,都可以细心稳重,游刃有余。
(我不懂编程,但是这是一道面试题,不要从完全正面的角度考虑会比较好)