别人仅凭卡号是不能直接转走钱的。为了进行转账，除了银行卡号，通常还需要其他关键信息，如账户名、开户行信息，以及最关键的是，需要有正确的授权，比如密码、动态令牌或者生物识别信息等。这些都是为了保证交易的安全，防止未经授权的访问和资金转移。举个例子，如果你在网上银行进行转账，通常需要输入收款人的银行卡号、账户名以及转账金额。在确认转账信息无误后，还需要输入自己的网银密码或者使用手机银行APP的动态令牌进行验证。这些都是多层安全防护措施，以确保资金的安全。总的来说，仅凭卡号是无法进行资金转移的，因为现代金融体系设计了多重安全验证机制来防范欺诈和盗窃行为。所以，即使别人知道了你的卡号，没有其他的验证信息，他们也是无法转走你的钱的。